Методы анализа и обработки медицинских изображений

Анализ изображений
Определение
Анализ изображений – область прикладной математики, изучающая методы извлечения полезной информации из изображений
Что означает “извлечение полезной информации”?
Улучшение изображений
Выделение объектов на изображении и расчет их характеристик
Сегментация изображений
Классификация и кластеризация изображений и объектов Высокоуровневое описание изображений
Многие задачи анализа изображений легко решаются человеком, но чрезвычайно сложны для компьютера
/ 40

Связанные дисциплины
Решением трудноформализуемых задач занимается искусственный интеллект
Дисциплины, работающие с изображениями:
Цифровая обработка изображений (digital image processing) Анализ изображений (image analysis)
Компьютерное зрение (computer vision) Распознавание образов (pattern recognition)
Используются методы:
Математической статистики Машинного обучения Искусственного интеллекта
/ 40

Обработка изображений и анализ изображений
Обработка изображений: на входе – изображение, на выходе – другое изображение
Анализ изображений: на входе – изображение, на выходе – количественные или качественные характеристики
/ 40

Компьютерное зрение
Компьютерное зрение – научная дисциплина, изучающая методы высокоуровневого описания изображений и видео
Высокоуровневое описание изображения связано с его пониманием. Понимание изображения ⇒ принятие решений
/ 40

Распознавание образов
Распознавание образов – дисциплина, изучающая методы отнесения объектов или событий к одной из заранее заданных категорий
Распознавание образов акцентирует внимание на задачах классификации, в том числе, изображений
/ 40

Computer Imaging
Анализ изображений использует методы обработки изображений
Компьютерное зрение использует методы анализа изображений
Обработка изображений, анализ изображений и компьютерное зрение образуют область, называемую computer imaging
Computer imaging – совокупность технологий получения, процессинга и визуализации изображений с помощью компьютера
/ 40

Этапы computer imaging
Получение исходных данных (data acquisition) Реконструкция изображений (image reconstruction) Обработка и анализ изображений (image analysis) Формирование результатов анализа
/ 40

Этапы анализа медицинских изображений
/ 40

Получение исходных данных
Data acquisition – получение сырых, необработанных данных, содержащих информацию об измеренных физических величинах, описывающих связанные с проводимым исследованием физические явления
Этапы получения исходных данных:
Измерение физической величины Преобразование в электрический сигнал Фильтрация
Оцифровка
Виды и особенности используемых методов зависят от типа измеряемой величины
/ 40

Реконструкция изображений
Реконструкция изображений (image reconstruction) – это математический процесс формирования интерпретируемых изображений на основе множества исходных необработанных изображений, полученных на предыдущем этапе
Реконструкция изображений включает в себя комбинирование нескольких изображений, снятых под разными углами или в разные моменты времени
Математически, задача реконструкции относится к т.н. обратным задачам, заключающимся в восстановлении объекта на основе данных о его проекциях
Подходы к решению обратных задач:
Аналитический Итерационный
/ 40

Реконструкция изображений. Иллюстрация
/ 40

Компьютерный анализ изображений
Цель анализа изображений: улучшение интерпретируемости реконструированного изображения и извлечение из него значимой информации
Для естественных изображений:
Классификация Детекция объектов Треккинг объектов Стилизация
Синтез изображений
Для медицинских изображений:
Улучшение качества Устранение артефактов
Сопоставление нескольких изображений
Выделение контуров Сегментация Классификация текстур
/ 40

Направления computer imaging
Улучшение изображений (image enhancement) Повышение качества изображений, улучшения их интерпретируемости и точности результатов последующего анализа
Высокоуровневый анализ изображений (high-level image analysis)
Понимание изображений
Визуализация изображений (image visualization) Визуальное представление улученных изображений и результатов анализа
Управление изображениями (image management) Сжатие, хранение, передача, предоставление доступа к изображениям
/ 40

Улучшение изображений
Цель: подготовка изображения для последующего анализа, а также улучшение визуальной интерпретируемости изображения
Задачи:
Оптимизация контрастности Устранение шумов
Улучшение качества границ объектов на изображении
...
В результате преобразований на изображениях могут появляться специфичные артефакты
/ 40

Высокоуровневый анализ изображений
Выделение объектов на изображении (органов, патологических образований и т.п.)
Сегментация изображений (разбиение изображения на области)
Классификация изображений и объектов на них (отнесение объектов к одному из классов, например, тип опухоли и т.п.)
Кластеризация изображений и объектов на них (обнаружение схожих объектов на множестве изображений)
Поиск изображений, содержащих схожие объекты, среди множества изображений
Количественная оценка изображений (вычисление свойств идентифицируемых структур, таких как объем, диаметр, состав и пр.)
/ 40

Визуализация изображений
Визуализация финальных и промежуточных результатов – неотъемлемая часть анализа изображений
/ 40

Управление медицинскими изображениями
Управление изображениями включает в себя различные методы хранения, извлечения и передачи изображений
Стандарты и технологии:
Система архивирования и передачи медицинских изображений PACS (Picture Archiving and Communication System)
Экономичное хранение и доступ к изображениям разных модальностей
Информационная система RIS (Radiology Information System)
Планирование и интерпретация результатов исследований, выставление счетов пациентам и пр.
Стандарт DICOM (Digital Imaging and Communication Medicine)
Хранение медицинских изображений в файлах
/ 40

Понятие цифрового изображения
Аналоговое двумерное изображение в реальном мире определяется как функция двух вещественных переменных
? ( x, y), где ? — амплитуда (например, яркости) изображения в точке с координатами (x, y )
Типы яркостей:
Вещественные (например, от 0 до 100%)
Целочисленные (например, от 0 до 255)
Квантование – представление целыми числами вещественных яркостей
Дискретизация – переход у узлам двумерной сетки на плоскости (x, y)
Оцифровка – перевод изображения в цифровую форму в результате квантования и дискретизации
/ 40

Виды цифровых изображений
Цифровое изображение – дискретная аппроксимация реального изображения
На пересечении строки и столбца расположен элемент изображения, называемый пикселем (pixel, picture element)
Каждому пикселю может быть сопоставлено:
Бинарное число (0 или 1)
Бинарное изображение (black-white image)
Целое число
Изображение в оттенках серого (grayscale image) Индексированное изображение (paletted, or indexed, image)
Три целых числа
Цветное изображение (color image)
Три целых числа и время Цветное видео (color video)
/ 40

Пространственное разрешение изображения
Физический размер области, характеризуемой одним пикселем изображения, называется пространственным разрешением изображения (resolution)
Например, пространственное разрешение отсканированных документов 300 dpi (dots per inch) означает, что 1 физический дюйм листа бумаги представлен на изображении 300 пикселями
Высокое пространственное разрешение важно для того, чтобы различать структуры, расположенные на небольшом расстоянии друг от друга
/ 40

Яркостное разрешение изображения
Яркостное (или полутоновое) разрешение (color depth) определяется числом различных значений полутона (уровня серого), которое способен точно воспроизвести АЦП сканера
Высокое яркостное разрешение важно для того, чтобы различать структуры, яркость которых слабо отличается друг от друга
Глаз человека способен различить до сотен оттенков серого и до 10 млн. цветов
/ 40

m,n
Динамический диапазон изображения
Динамическим диапазоном изображения называется интервал значений яркости
[?min, ?max],
где
?max = max ?(m,n) – максимальное значение яркости,
?min = min ?(m,n) – минимальное значение яркости
m,n
Динамический диапазон определяет контраст изображения
Если динамический диапазон занимает весь диапазон уровней серого, то говорят, что изображение имеет высокий контраст
Изображение с малым динамическим диапазоном имеет низкий контраст и обычно выглядит тусклым, размытым и серым
/ 40

/ 40
Гистограмма яркости

Гистограмма яркости. Иллюстрация
/ 40

Понятие границы
Определение
Границей (edge) называется множество пикселей, соединяющих две области изображения с различными характеристиками яркости
Что означает “различные характеристики яркости”?
Интуитивно: на границах происходит перепад яркости изображения
Сложности: на реальных изображениях перепад яркости редко скачкообразный, амплитуда может быть небольшой, происходит на фоне шума
/ 40

Модели перепадов яркости на границах
/ 40

Цели выделения границ
Как правило, результат выделения границ – совокупность линий на изображении, представляющих границы между объектами
Цели:
Расчет характеристик границ и их использование для дальнейшего анализа
Сегментация изображения
Выделение объектов на изображении и их классификация Упрощение представления изображения
Требования:
Минимум ложных границ Минимум необнаруженных границ Точная локализация границы Робастность
/ 40

Линейный фильтр
Линейный фильтр характеризуется некоторой матрицей К, называемой ядром (kernel)
Применение линейного фильтра – это вычисление свёртки изображения с матрицей К
/ 40

Пример вычисления свертки
/ 40

Виды преобразований изображений
Точечные преобразования (point) Локальные преобразования (local) Глобальные преобразования (global)
Операция свертки реализует локальные преобразования изображения
/ 40

Виды соседства
В локальных преобразованиях для расчета новой яркости пикселя используется информация о яркостях соседних с ним пикселей
Виды соседства:
4-соседство 8-соседство
/ 40

Градиентный фильтр 2 × 2
Для оценки градиента могут быть использованы ядра 2 × 2:
Недостатки:
Сильная чувствительность к шумам
Обе компоненты вектора градиента относятся к одной и той же точке ( i + 0.5, j+ 0.5), лежащей между пикселями исходного изображения
33 / 40

Оператор Робертса
Ядра оператора Робертса:
Оператор Робертса оценивает градиент на основе перепадов яркости в диагональных направлениях
/ 40

Оператор Превитта
Ядра оператора Превитта:
Особенности:
Имеет центральный элемент
Учитывает яркости пикселей в 8-соседстве при расчете частных производных
Является сепарабельным
/ 40

Оператор Собеля
Ядра оператора Собеля:
Особенности:
Дает больший вес пикселям, расположенным в 4-соседстве от текущего и меньший вес – расположенным в диагональном соседстве
Является сепарабельным
Оператор Собеля – один из наиболее популярных операторов, используемых для оценки градиента изображения
/ 40

Сепарабельный линейный фильтр
Определение
Двумерный линейный фильтр называется сепарабельным, если его ядро может быть представлено как произведение двух или более одномерных ядер
Двумерная свертка может быть заменена на последовательность одномерных:
? = K * ? = (K1K2) * ? = K1 * (K2 * ?)
37 / 40

Градиентные операторы
Градиентные операторы:
Оператор Робертса Оператор Превитта Оператор Собеля Оператор Кирша Оператор Робинсона
Модификации операторов Превитта, Собеля и пр. на
случай ядер более высоких размерностей (например, 5 × 5,
7 × 7)
В результате применения градиентных операторов получаются 4 градиентных изображения:
в горизонтальном направлении в вертикальном направлении изображение нормы градиента
изображение угла наклона градиента
/ 40

Выделение границ. Иллюстрация
/ 40