автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.17, диссертация на тему:Метод и система обработки динамических медицинских изображений

На правах рукописи

м.

Марьяскин Евгений Леонидович

МЕТОД И СИСТЕМА ОБРАБОТКИ ДИНАМИЧЕСКИХ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ

Специальность: 05.11.17 - Приборы, системы и изделия медицинского назначения

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 0 ЛЕН 2012

Санкт-Петербург - 2012

005047688

005047688

Работа выполнена в Санкт-Петербургском государственном электротехническом университете "ЛЭТИ" им. В.И.Ульянова (Ленина), кафедра биотехнических систем

Научный руководитель -

доктор технических наук, профессор Немирко Анатолий Павлович Официальные оппоненты:

Доктор технических наук, профессор Гельман Виктор Яковлевич, ГБОУ ВПО «Северо-Западный государственный медицинский университет имени И.И. Мечникова», профессор кафедры медицинской информатики и физики

Кандидат технических наук Левашов Сергей Юрьевич, ООО «ВиТэк-Автоматика», заместитель директора по техническим вопросам

Ведущая организация - ФГБОУ ВПО «Санкт-Петербургский государственный политехнический университет»

Защита диссертации состоится " 2 С» ОЛИд^А^- 2012 г. в

-а/

часов на

заседании диссертационного совета Д1212.238.09 Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан " 19 " 2012 г.

Ученый секретарь

диссертационного совета Д 212.238.09

Садыкова Е.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

В последние годы визуализация биологических процессов становится основным способом проведения диагностических исследований. На данный момент существует множество различных видов медицинского исследования, тесно связанных с проблемами обработки изображений. Эти виды исследования активно развиваются в последние годы и сейчас являются основными диагностическими средствами в своих областях.

Сегодня очень развиты методы обработки статических изображений, однако, в медицинской диагностике все чаще используются динамические изображения. К сожалению, в настоящее время методы обработки динамических изображений развиты недостаточно, остаются нерешенными многие проблемы, связанные с определением движения и вычислением динамических параметров движущихся объектов.

В таких диагностических исследованиях, как ангиографическое и эхо-кардиографическое, где движение играет важную роль, особенно эффективно было бы применение динамических методов сегментации последовательностей изображений, которые работают с понятием движения и позволяют при сегментации учитывать одновременно несколько кадров исходной последовательности, анализируя изменение изображения с течением времени.

Динамические методы обработки изображений получили в настоящее время большое развитие, что связано с повышением мощности вычислительной техники, позволяющей эффективно обрабатывать большие потоки данных в реальном времени. В этой связи представляется актуальной разработка автоматизированных методов обработки динамических медицинских изображений на основе динамических методов, которые могли бы эффективно решать задачи ангиографической и эхокардиографической диагностики, как исследований, в которых движение наиболее актуально.

Цель диссертационной работы состоит в разработке методов и системы автоматизированной динамической обработки изображений в задачах медицинской диагностики на примере задач ангиографии и эхокардиогра-фии. Для достижения поставленной цели определены следующие задачи:

1. Разработка метода автоматической динамической сегментации последовательностей медицинских изображений с учетом отличительных особенностей медицинских изображений и адаптация к задачам медицинской диагностики.

2. Разработка метода автоматизированной обработки динамических медицинских изображений для ангиографического и эхокардиографического исследования на основе динамических методов сегментации.

3. Разработка системы анализа динамических медицинских изображений, реализующей разработанный метод сегментации и обработки; экспериментальная апробация разработанной системы на реальных данных ангиографического и эхокардиографического исследований.

Объектом исследования является система для автоматизированной динамической сегментации последовательностей медицинских изображений. Предметом исследования является информационное, методическое, метрологическое, математическое и программно-алгоритмическое обеспечение системы.

Методы исследования:

Методы исследований базируются на методах организации вычислительных процессов и компьютерных экспериментов по испытанию и исследованию алгоритмов, на методах вычислительной математики и статистического оценивания, на методах решения некорректных задач, на методах преобразований и анализа изображений. Новые научные результаты

В процессе проведения исследований получены новые научные результаты:

1. Автоматический алгоритм динамической сегментации видеопоследовательности, основанный на сегментации по движению исходной последовательности и последующей статической сегментации полученного поля оптического потока, позволяющий достоверно выделять движущиеся объекты и оценивать параметры движения.

2. Автоматизированный метод динамической обработки динамических изображений для систем медицинского назначения, включающий в себя автоматическую сегментацию поля оптического потока, вычисление динамических параметров движения и их обработку для применения к эхокардиогра-фическому и ангиографическому исследованиям.

3. Структура системы анализа и исследования динамических медицинских изображений, содержащая модули автоматизированной обработки изображений, оценки эффективности обработки на основе моделирования сцен и модули взаимодействия с пользователем; позволяющая повысить эффективность обработки динамических медицинских изображений. Практическую ценность работы составляют:

1. Быстрые алгоритмы вычисления оптического потока, позволяющие обрабатывать измерения в режиме реального времени, а в режиме постобработки существенно повысить оперативность анализа данных.

2. Разработанные алгоритмы выделения движущихся объектов, адаптированные к постоянным деформациям объектов и высокому уровню защум-ления, характерным для медицинских изображений.

3. Разработанный метод автоматизированной обработки динамических медицинских изображений, учитывающий характерные особенности медицинских изображений: непоследовательное движение малой амплитуды, сильное зашумление, значительное изменение яркости объектов динамической сцены; работоспособный в тех случаях, когда существующие стандартные алгоритмы не дают надежных результатов.

4. Практическая реализация системы обработки видеопоследовательности, ориентированной на выполнение в реальном времени и пригодной к использованию медицинским специалистом.

5. Результаты экспериментальной апробации разработанного метода и системы на модельных и реальных данных эхокардиографического и ангио-графического исследований.

Научные положения, выносимые на защиту:

1. При обработке динамических медицинских изображений необходимо использовать алгоритмы автоматической сегментации изображений, основанные на вычислении оптического потока и позволяющие определять динамические параметры объектов; алгоритмы автоматизированной обработки, включающие сегментацию и решение конкретных медицинских задач, учитывающие особенности медицинских изображений; а также в структуре системы предусмотреть возможность исследования методов на модельных и реальных данных и организовать взаимодействие с пользователем, что позволит более эффективно решать задачи медицинской диагностики в исследованиях, связанных с обработкой динамических медицинских изображений. Внедрение результатов работы:

Результаты работы были использованы при выполнении научных проектов РФФИ № 12-01-00583, № 09-01-00501, внедрены и используются в практике научных исследований СПбГЭТУ «ЛЭТИ».

Результаты работы были внедрены в практическую деятельность следующих медицинских учреждений: «35-й Ордена Ленина Военно-Морской госпиталь имени H.A. Семашко», «442-й Окружной Военный Клинический Госпиталь им. З.П. Соловьева», «Многопрофильная клиника «Мединеф».

Апробация работы:

Основные положения, результаты исследований и выводы, содержащиеся в диссертационной работе, обсуждались на конференциях: международная конференция «Интеллектуализация Обработки Информации 2012», г. Будва, Черногория, сентябрь 2012; «Метромед-2011», Санкт-Петербургский Государственный Технический Университет, г. Санкт-Петербург, декабрь 2011; Всероссийская конференция «Математические Методы Распознавания Образов - 2011», г. Петрозаводск, сентябрь 2011; конференция Профессорско-преподавательского состава - 2011», Санкт-Петербургский Государственный Электротехнический Университет «ЛЭТИ», г. Санкт-Петербург, январь 2011; международная конференция «Интеллектуализация Обработки Информации 2010», г. Пафос, Кипр, октябрь 2010; Всероссийская научная школа молодых ученых, преподавателей, аспирантов БМИ-2010, Санкт-Петербургский Государственный Электротехнический Университет «ЛЭТИ», г. Санкт-Петербург, сентябрь 2010; международная конференция «Image Mining Theory & Applications 2010», г. Анже, Франция, май 2010; Всероссийская конференция «Математические Методы Распознавания Образов 2009», г. Суздаль, сентябрь 2009. Публикации:

По теме диссертации опубликовано 15 научных работ, из них 3 статьи в ведущих рецензируемых научных журналах и изданиях, определенных ВАК, 8 - в трудах международных и российских научно-технических конференций, получено 4 свидетельства государственной регистрации на программы для ЭВМ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав с выводами, заключения, одного приложения и списка литературы, включающего 79 наименований. Основная часть работы изложена на 122 страницах машинописного текста. Работа содержит 36 рисунков, 41 формулу и 6 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, дается характеристика работы, приводится краткое содержание работы по главам.

В первой главе диссертации описаны проблемы обработки и анализа динамических медицинских изображений. Изучены аспекты и особенности, связанные с медицинской и с динамической природой рассматриваемых изображений. Рассмотрены методы и подходы к анализу динамических медицинских изображений на примере эхокардиографической и ангиографиче-ской диагностики, проведено исследование методов выделения движения на динамическом изображении.

При установлении диагноза и проведении лечения врачи все больше полагаются на медицинские изображения. Развитие компьютерных технологий способствует внедрению новых методов в медицинской диагностике. Например, возможность представлять процессы с помощью динамических изображений и получать результаты, анализируя изображения. С одной стороны, динамические изображения прочно вошли в практику медицинской диагностики, но с другой, их использование сводится к визуальному представлению информации и не предполагает применения методов сегментации.

Особенности медицинских динамических изображений и соответствующих им методов обработки складываются из собственных особенностей методов сегментации медицинских изображений и особенностей, связанных динамической природой изображений.

Таким образом, существующие методы медицинской диагностики на основе визуального представления информации имеют ряд существенных недостатков, однако, современные методы обработки изображений позволяют эффективно решать многие задачи, возникающие в рамках медицинских диагностических исследований.

В частности, такие виды исследований, как ангиографическое и эхо-кардиографическое в настоящее время осуществляются с помощью средств, не позволяющих эффективно распознавать и анализировать движение. Более того, эти исследования ощутимо затруднены непроизвольными движениями пациента, связанными, например, с процессом дыхания.

Динамическая сегментация последовательностей изображений, работающая с понятием и параметрами движения, может позволить решать возникающие диагностические задачи. Кроме того, поскольку методики динамической сегментации сами по себе недостаточно развиты, появляется возможность разработки нового метода обработки динамических медицинских изображений на основе динамической и статической сегментации. Во второй главе описана разработка метода автоматической сегментации динамических медицинских изображений, основанного на вычислении оптического потока и последующей статической сегментации полученного векторного поля. Использованы существующие подходы к методам динамической сегментации, а статические адаптированы для работы с векторными данными поля потока.

Многие алгоритмы динамической сегментации опираются на определение оптического потока между близкими кадрами. Предлагаемый для дальнейшей реализации и развития метод представляет собой комбинацию сегментации исходной последовательности по движению и статическую целевую сегментацию полученного на первом этапе поля оптического потока. В сравнении с применяемыми в настоящее время в медицинской диагностике методами, можно выделить некоторые отличия.

1. На каждом шаге используется информация нескольких кадров.

2. Предоставляется возможность отслеживать параметры движения.

3. Сегментация поля оптического потока учитывает информацию о направлении и скорости движения, что позволяет более полно и точно оценить происходящее в кадре.

4. Анализ результатов сегментации предыдущих кадров позволяет прогнозировать движение объектов и оценивать изменения сцены на основе данных прогнозов.

Первый этап автоматической сегментации состоит в вычислении поля оптического потока. Уравнение неразрывности для оптического потока является стартовой точкой для дифференциальных методов:

Где / - уровень яркости, а { — вектор оптического потока, для частных производных использованы обозначения ^ = V/ = (1Х ^у), ^ =

^ = /у. Пусть для заданной окрестности П(х) определено преобразование

множества точек окрестности ^ ^00} в вектор

X = г2 ... 2т]т и обратно.

Введем вектор Н = [У/^) 2) ... V/ (гш)]т и вектор

В = — Сг1~) Ь■■■ тогда оценка оптического потока по

методу наименьших квадратов получается минимизацией функционала:

] = № - В)ТШ(Ш - В),

Где Ш — весовая матрица, определяемая окрестностью.

Окончательный алгоритм получается, если использовать регуляризован-ные оценки и медианную фильтрацию совместно с мультимасштабным вычислением оптического потока. Применение мультимасштабного подхода позволяет разложить исходное изображение на набор масштабных представлений, при этом каждый последующий масштаб содержит информацию о более высоких гармониках, а за счет прореживания изображения одни и те же фильтры могут успешно анализировать каждый из масштабов.

Для дальнейшего исследования оказывается необходимым разработать комплекс алгоритмов автоматической сегментации, позволяющих проводить

разработанный метод, совершенствовать его и комбинировать с другими алгоритмами. Метод основан на сегментации полученного на предыдущем этапе поля оптического потока.

В разработку включены два класса разработанных алгоритмов, относящихся в обработке поля оптического потока. Одни алгоритмы предназначены для анализа текущего состояния, но не направлены на изменение актуального набора данных. Другие алгоритмы, напротив, модифицируют текущие данные в различных целях, связанных с выделением целевых объектов.

Сегментация поля оптического потока, соответствующая требованиям автоматической сегментации состоит из нескольких основных этапов:

Рисунок 1. - Алгоритм сегментации отдельного кадра потока

Было проведено исследование эффективности метода на модельных задачах. Модельные сюжеты выбирались на основе максимального несоответствия ограничениям метода. Исследование основано на оценке качества обработки более 100 различных модельных сюжетов, содержащих различные классы объектов.

Таблица

Результаты сравнения методов обработки

Объекты, удовлетворяющие условиям метода вычисления ОП Объекты переменной яркости Объекты переменной формы Быстро движущиеся, вращающие объекты

Методы: Проп., % Ложн. Сраб., % Проп., % Ложн. Сраб., % Проп., % Ложн. Сраб., % Проп., % Ложн. Сраб., %

Классический 94 57 94 60 96 71 95 76

Новый 25 8 42 30 25 16 40 41

На рисунке 2 показано состояние поля потока до и после применения алгоритмов сегментации, согласно разработанному методу.

Рисунок 2. - Результат применения алгоритмов сегментации.

В третьей главе описан процесс исследования и разработки алгоритмов, входящих в состав нового автоматизированного метода обработки динамических медицинских изображений и адаптации их для реализации в программной системе.

Разработанный выше метод автоматической сегментации включается в общий автоматизированный метод обработки динамических медицинских изображений. Кроме вычисления и сегментации оптического потока метод включает в себя этапы оценки качества сегментации и решения диагностиче-

ских задач, основанного на взаимодействии с пользователем. Алгоритм работы метода и вид получаемых результатов представлен на рисунке 3.

С

Исходный видеоряд

I Построение модельного I изображения

>1

Вычисление оптического потока

г

Автомат сегмеь поля г "ическая тгация готока

/РазмеченныйЧ видеоряд у

/''Выходные данные\ <

визуализирован ный поток

3

Карактеристик^Х объектов )

I

(Результаты решения у

Оценка Вычисление динамических

сегментации характеристик

Решение диагностических задач

(Действия ^ пользователя)

Рисунок 3. - Автоматизированный метод обработки изображений

С помощью модельных сюжетов исследована эффективность определения отдельных параметров движения. Результаты приведены в таблице:

Таблица

Результаты определения параметров изображения

Объекты, удовлетворяющие условиям метода вычисления ОП Объекты переменной яркости Объекты переменной формы Быстро движущиеся, вращающие объекты

Точность определения, % Точность определения, % Точность определения, % Точность определения, %

Величина скорости объектов 93 59 62 85

Направление скорости объектов 85 73 64 62

Размеры объектов 75 58 75 60

Границы объектов 96 87 88 91

В четвертой главе диссертации описан процесс разработки системы, реализующей разработанный метод, показаны модули, составляющие систему. На рисунке 4 приведена структура разработанной системы.

Рисунок 4. - Структура системы обработки изображений

В результате практической разработки был создан и протестирован программный комплекс, отвечающий поставленным требованиям и позволяющий проводить обработку динамических медицинских изображений разработанным методом, применять готовые схемы алгоритмов сегментации, адаптировать метод к новым задачам обработки изображений и исследовать получаемые результаты с помощью модельных сцен, также создаваемых комплексом.

В пятой главе диссертации описан процесс экспериментального исследования и апробации разработанных метода и системы на реальных данных эхокардиографической и ангиографической диагностики. Исследование проводилось на основе открытых баз медицинских изображений, доступных в сети Интернет и в условиях диагностических исследований в медицинских

учреждениях Санкт-Петербурга. Использованы изображения 15 записей эхо-кардиографического и 35 записей ангиографического исследований.

Рассмотрим задачу воссоздания процесса циркуляции крови. Последовательный анализ пар кадров видеоряда воссоздает процесс кровотока, показывая движение крови за временной интервал между данными кадрами.

Рисунок 5. - Изображение процесса циркуляции крови

Поскольку поле потока дает возможность оценивать не только факт движения точек картинной плоскости, но и направление, возможно исследовать общее направление движения крови и разделять на изображении артериальный и венозный кровоток. На рисунке 6 показаны изображения артериального и венозного кровотока

Рисунок 6. - Схемы венозного и артериального кровотока

Другой класс задач относится к случаям возможного интерактивного участия специалиста.

Оценка поля скоростей может быть применена для вычисления скорости кровотока. На рисунке 7 показан график скорости прохождения крови через разные сечения руки пациента.

Рисунок 7. - График средней скорости кровотока

При указании сечения, становится возможным определение площади сечения сосуда в этом месте в зависимости от времени. На графике на рисунке 8 изображена зависимость диаметра сонной артерии от времени.

А, А

м

1 2 3 4 5 б 7 8 9 и с Рисунок 8. - График растяжения стенок сонной артерии

Для тестирования на реальных сюжетах были взяты результаты эхо-кардиографии. Сегментация в каждом таком кадре очень затруднена и только опытный врач может делать правильные выводы об объекте наблюдения.

Исследования подтверждают эффективность применения разработанного и реализованного в программной системе метода динамической сегментации изображений в задачах эхокардиографической и ангиографической диагностики.

1. Проведено исследование задач медицинской диагностики, связанных с обработкой динамических изображений, показана эффективность применения динамических методов обработки изображений.

2. Разработан метод автоматической сегментации динамических медицинских изображений, подтверждена его вычислительная эффективность.

Рисунок 9 - Обработанный кадр эхокардиографии

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

3. Разработан комплексный метод обработки медицинских динамических изображений, включающий динамическую сегментацию и последующую обработку поля оптического потока.

4. Выбрана система оценки эффективности методов обработки изображений для исследования на модельных данных.

5. Разработана система моделирования динамических сцен по известным параметрам для проведения исследования метода обработки.

6. Разработана и реализована система по обработке медицинских изображений, реализующая предложенный метод и позволяющая проводить исследования эффективности.

7. Проведено экспериментальное исследование разработанного метода на примерах модельных и реальных динамических медицинских изображений. Показана эффективность предложенного метода и системы.

Публикации автора в журналах, рекомендованных ВАК

1. Марьяскин Е.Л. Исследование применимости методов динамической сегментации на основе оптического потока к задачам ангиографической диагностики [текст] / Немирко А.П., Ивановский С.А., Марьяскин Е.Л. // Биомедицинская радиоэлектроника. 2010, №11. - с. 10-15.

2. Марьяскин Е.Л. Исследование задач ангиографической диагностики методом динамической сегментации на основе оптического потока [текст] / Марьяскин Е.Л., Ивановский С.А., Немирко А.П. // Биотехносфера. 2010, вып. 3, - с. 11-15.

3. Марьяскин Е.Л. Использование методов динамической сегментации последовательностей изображений в применении к эхокардиографии [текст]/ Немирко А.П., Марьяскин Е.Л. // Биомедицинская радиоэлектроника. 2009, №11.-с. 51-56.

Публикации автора в других изданиях

4. Марьяскин Е.Л. Динамическая сегментация изображений в задачах ангиографической диагностики [текст] III В кн.: Интеллектуализация обработки информации: 9-я международная конференция. Черногория, г. Будва, 2012 г.: Сборник докладов. - М.: Торус Пресс, 2012. - с. 551-554.

5. Марьяскин Е.Л. Применение методов обработки динамических медицинских изображений в задачах ангиографической и эхокардиографиче-ской диагностики [текст] // Конференция Метромед-2011, Санкт-Петербург, декабрь 2011 г. Сборник докладов. - с. 34-37.

6. Марьяскин Е.Л. Анализ эхокардиографических данных на основе вычисления оптического потока [текст] / Марьяскин Е.Л., Ивановский С.А., Немирко А.П. // Математические методы распознавания образов: 15-я Всероссийская конференция, г. Петрозаводск, 11-17 сентября 2011 г. Сборник докладов. - М.: МАКС Пресс, 2011. - с. 489-492.

7. Марьяскин Е.Л. Применение методов динамической сегментации на основе вычисления оптического потока в задачах ангиографической диагностики [текст] // Конференция профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ», Санкт-Петербург, январь 2011 г. Сборник докладов. - с. 76-77.

8. Марьяскин Е.Л. Подход к ангиографической диагностике с помощью вычисления оптического потока [текст] / Марьяскин Е.Л., Ивановский С.А., Немирко А.П. // В кн.: Интеллектуализация обработки информации: 8-я международная конференция. Республика Кипр, г. Пафос, 17-24 октября 2010 г.: Сборник докладов. - М.: МАКС Пресс, 2010. - с. 450-453.

9. Марьяскин Е.Л. Исследование задач ангиографической диагностики методом динамической сегментации на основе оптического потока [текст] // Научная Школа Биомедицинских исследований-2010, Санкт-Петербург, октябрь 2010 г. Сборник докладов. — с. 124-127.

10. Evgeny Maryaskin. Images dynamical segmentation using for the problems of medical diagnostics, [текст] (Применение динамической сегментации изображений в задачах медицинской диагностики) / Evgeny Maryaskin , Sergey A. Ivanovsky and Anatoly P. Nemirko // Proceedings of the Third International Workshop on Image Mining Theory and Applications (IMTA 2010). Angers , France , May 2010 . ISBN: 978-989-674-030-6. - pp. 78-84.

11. Марьяскин E.JI. Метод определения на видеоряде объектов, скрытых за другими [текст] / Ивановский С.А., Марьяскин E.JI. // Математические методы распознавания образов: 14-я Всероссийская конференция. Владимирская обл., г. Суздаль, 21-26 сентября 2009 г .: Сборник докладов. - М.: МАКС Пресс,2009.-с. 355-358.

Зарегистрированные программы

12. Немирко А.П., Марьяскин E.JI. Motion Video Modeler [программа] // Программы для ЭВМ / RU БПБТ 19.06.2012, Свидетельство № 2012615505

13. Немирко А.П., Марьяскин E.JI. Medical Images Processor [программа] // Программы для ЭВМ / RU БПБТ 19.06.2012, Свидетельство № 2012615506

14. Немирко А.П., Марьяскин E.JI. Optical Flow Viewer [программа] // Программы для ЭВМ / RU БПБТ 19.06.2012, Свидетельство № 2012615507

15. Немирко А.П., Марьяскин E.JI. Clustering Automatic Segmentation [программа] // Программы для ЭВМ / RU БПБТ 19.06.2012, Свидетельство № 2012615508

Подписано в печать 07.11.12. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 115. Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ «ЛЭТИ»

Издательство СПбГЭТУ «ЛЭТИ» 197376, С.-Петербург, ул. Проф. Попова, 5

Введение.

ГЛАВА 1. Проблемы обработки и анализа медицинских изображений.

1.1. Использование динамических изображений в медицинской диагностике.

1.2. Особенности обработки динамических медицинских изображений.

1.3. Обзор методов функциональной диагностики.

1.4.Методы определения движения.

1.4.1. Формулировка задачи выделения движения.

1.4.2. Основные обозначения.

1.4.3 Локальные методы вычисления оптического потока.

1.4.4. Глобальные методы вычисления оптического потока.

1.4.5. Дополнительные модификации.

Вывод.

ГЛАВА 2. Разработка метода автоматической сегментации динамических медицинских изображений.

2.1. Алгоритмы вычисления оптического потока.

2.1.1. Дифференциальные методы.

2.1.2. Применение медианного фильтра и мультимасштабного подхода.

2.2. Сегментация поля потока.

2.2.1. Традиционный подход к динамической сегментации.

2.2.2. Разработка методики сегментации.

2.3. Разработка автоматических алгоритмов сегментации.

2.3.1. Характеристики кластеризации.

2.3.2. Определение информации предыдущих сессий.

2.3.3. Первичное выделение кластеров.

2.3.4. Определение характеристик.

2.3.5. Этап подготовки к окончательной сегментации.

2.3.6. Этап постобработки.

4.1. Разработка программного комплекса.87

4.1.1. Построение модели.88

4.1.2. Описание алгоритма.89

4.1.3. Задание исходных данных.90

4.1.4. Вычисление оптического потока.93

4.1.5. Визуализация потоков. .94

4.1.6. Сегментация потока. .94

4.1.7. Пользовательский интерфейс.95

4.1.8. Служебно-исследовательский протокол. .98

4.1.9. Вычисление характеристик.99

Заключение.100

ГЛАВА 5. Экспериментальное исследование и апробация разработанных метода и системы.101

5.1. Задачи ангиографической диагностики.101

5.1.1. Особенности исследования.101

5.1.2. Применение метода.103

5.1.3. Результаты.107

5.2. Задачи эхокардиографической диагностики.108

5.2.1. Особенности исследования.108

5.2.2. Применение метода.109

5.2.3. Результаты.112

Заключение.114

Список литературы.116

Введение

Актуальность проблемы

В последние годы визуализация биологических процессов становится основным способом проведения диагностических исследований. Все больше медицинских специалистов используют в своей работе аппаратные и программные средства, представляющие визуальную информацию о работе органов пациента в реальном времени

На данный момент существует множество различных видов медицинского исследования, тесно связанных с проблемами обработки изображений, таких, например, как ангиографическое исследование, позволяющее визуализировать работу кровеносной системы или эхокардиографическое исследование, проводящее визуализацию работы сердца. Оба эти вида исследования активно развиваются в последние годы и сейчас являются основными диагностическими средствами в своих областях. Основными недостатками такой диагностики является слабое программное оснащение существующих средств ее проведения. На данный момент большинство специализированных систем лишь предоставляет изображение или последовательность изображений, не проводя их компьютерный анализ, который мог бы помочь провести распознавание. Таким образом, эффективность работы даже автоматизированных диагностических методов максимально зависит от квалификации исследователя и требует от него визуально проводить всю необходимую в диагностике сегментацию.

Кроме того, применяемые в медицинской диагностике методы обработки изображений относятся к так называемым статическим методам, то есть работающим с каждым отдельным изображением и не учитывающим последовательность. Исследование показывает, что в диагностических исследованиях, где движение играет важную роль, как например, в ангиографической и эхокардиографической диагностике, особенно эффективно было бы применение динамических методов сегментации последовательностей изображений.

Динамические методы обработки изображений получили в настоящее время большое развитие, что связано со значительным повышением средней мощности вычислительной техники, позволяющей в настоящее время эффективно обрабатывать большие потоки данных в реальном времени. В этой связи представляется актуальной разработка автоматизированных методов сегментации на основе динамических методов, которая могла бы эффективно решать задачи тех видов медицинской диагностики, в которых движение наиболее актуально.

Проведенный анализ показал, что существующие методы ангиографической и эхокардиографической диагностики не в полной мере используют возможности обработки изображений, в то время, как вычислительные мощности позволяют применять динамические методы сегментации, что способствовало бы повышению эффективности работы диагноста и снижению риска ошибки, связанной с квалификацией врача.

Целыо диссертационной работы является

Разработка методов и системы автоматизированной динамической обработки изображений в задачах медицинской диагностики на примере задач ангиографии и эхокардиографии. Для достижения поставленной цели определены следующие задачи:

1) Разработка метода автоматической динамической сегментации последовательностей медицинских изображений с учетом отличительных особенностей медицинских изображений и адаптация к задачам медицинской диагностики.

2) Разработка метода автоматизированной обработки динамических медицинских изображений для ангиографического и эхокардиографического исследования на основе динамических методов сегментации.

3) Разработка системы анализа динамических медицинских изображений, реализующей разработанный метод сегментации и обработки; экспериментальная апробация разработанной системы на реальных данных ангиографического и эхокардиографического исследований.

Объектом исследования является система для автоматизированной динамической сегментации последовательностей медицинских изображений.

Предметом исследования является информационное, методическое, метрологическое, математическое и программно-алгоритмическое обеспечение системы.

Методы исследований

Методы исследований базируются на методах организации вычислительных процессов и компьютерных экспериментов по испытанию и исследованию алгоритмов, на методах вычислительной математики и статистического оценивания, на методах решения некорректных задач, на методах преобразований и анализа изображений.

Новые научные результаты

В процессе проведения исследований получены новые научные результаты:

1) Автоматический алгоритм динамической сегментации видеопоследовательности, основанный на сегментации по движению исходной последовательности и последующей статической сегментации полученного поля оптического потока, позволяющий достоверно выделять движущиеся объекты и оценивать параметры движения.

2) Автоматизированный метод динамической обработки динамических изображений для систем медицинского назначения, включающий в себя автоматическую сегментацию поля оптического потока, вычисление динамических параметров движения и их обработку для применения к эхокардиографическому и ангиографическому исследованиям.

3) Структура системы анализа и исследования динамических медицинских изображений, содержащая модули автоматизированной обработки изображений, оценки эффективности обработки на основе моделирования сцен и модули взаимодействия с пользователем; позволяющая повысить эффективность обработки динамических медицинских изображений.

Практическая значимость

Практическую ценность работы составляют:

1) Быстрые алгоритмы вычисления оптического потока, позволяющие проводить вычисления в режиме реального времени, и существенно повысить скорость анализа изображения.

2) Разработанные алгоритмы выделения движущихся объектов, адаптированные к постоянным деформациям объектов и высокому уровню зашумления, характерным для медицинских изображений.

3) Разработанный метод автоматизированной обработки динамических медицинских изображений, учитывающий характерные особенности медицинских изображений: сильное зашумление, непоследовательное движение малой амплитуды, значительное изменение светимости объектов рассматриваемой динамической сцены; работоспособный в сложных, с точки зрения обработки изображений, случаях.

4) Практическая реализация системы обработки видеопоследовательности, ориентированной на выполнение в реальном времени и пригодной к использованию медицинским специалистом.

5) Результаты экспериментальной апробации разработанного метода и системы на модельных и реальных данных эхокардиографического и ангиографического исследований.

Научные положения, выносимые на защиту

1) При обработке динамических медицинских изображений необходимо использовать алгоритмы автоматической сегментации изображений, основанные на вычислении оптического потока и позволяющие определять динамические параметры объектов; алгоритмы автоматизированной обработки, включающие сегментацию и решение конкретных медицинских задач, учитывающие особенности медицинских изображений; а также в структуре системы предусмотреть возможность исследования методов на модельных и реальных данных и организовать взаимодействие с пользователем, что позволит более эффективно решать задачи медицинской диагностики в исследованиях, связанных с обработкой динамических медицинских изображений.

Реализация

Результаты работы были использованы при выполнении научных проектов РФФИ № 12-01-00583, № 09-01-00501, внедрены и используются в практике научных исследований СПбГЭТУ «ЛЭТИ».

Результаты работы были внедрены в практическую деятельность следующих медицинских учреждений: «35-й Ордена Ленина Военно-Морской госпиталь имени H.A. Семашко», «442-й Окружной Военный Клинический Госпиталь им. З.П. Соловьева», «Многопрофильная клиника «Мединеф».

Апробация

Основные положения, результаты исследований и выводы, содержащиеся в диссертационной работе, обсуждались на конференциях: международная конференция «Интеллектуализация Обработки Информации 2012», г. Будва, Черногория, сентябрь 2012; «Метромед-2011», Санкт-Петербургский Государственный Технический Университет, г. Санкт

Петербург, декабрь 2011; Всероссийская конференция «Математические Методы Распознавания Образов - 2011», г. Петрозаводск, сентябрь 2011; конференция Профессорско-преподавательского состава - 2011», Санкт-Петербургский Государственный Электротехнический Университет «ЛЭТИ», г. Санкт-Петербург, январь 2011; международная конференция «Интеллектуализация Обработки Информации 2010», г. Пафос, Кипр, октябрь 2010; Всероссийская научная школа молодых ученых, преподавателей, аспирантов БМИ-2010, Санкт-Петербургский Государственный Электротехнический Университет «ЛЭТИ», г. Санкт-Петербург, сентябрь 2010; международная конференция «Image Mining Theory & Applications 2010», г. Анже, Франция, май 2010; Всероссийская конференция «Математические Методы Распознавания Образов 2009», г. Суздаль, сентябрь 2009.

Публикации

По теме диссертации опубликовано 15 научных работ, из них 3 статьи в ведущих рецензируемых научных журналах и изданиях, определенных ВАК, 8 - в трудах международных и российских научно-технических конференций, получено 4 свидетельства государственной регистрации на программы для ЭВМ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав с выводами, заключения, одного приложения и списка литературы, включающего 79 наименований. Основная часть работы изложена на 122 страницах машинописного текста. Работа содержит 36 рисунков, 41 формулу и 6 таблиц.

3.2.5. Результаты исследования

В данном разделе собраны обобщенные результаты исследования разработанного метода автоматизированной обработки медицинских динамических изображений, полученные при анализе модельных сюжетов, аналогичных рассмотренным выше.

Заключение

В диссертационной работе были поставлены следующие задачи:

1. Разработка метода автоматической динамической сегментации последовательностей медицинских изображений с учетом отличительных особенностей медицинских изображений и адаптация к задачам медицинской диагностики.

2. Разработка метода автоматизированной обработки динамических медицинских изображений для ангиографического и эхокардиографического исследования на основе динамических методов сегментации.

3. Разработка системы анализа динамических медицинских изображений, реализующей разработанный метод сегментации и обработки; экспериментальная апробация разработанной системы на реальных данных ангиографического и эхокардиографического исследований.

В рамках работы проведено исследование задач медицинской диагностики, связанных с обработкой динамических изображений, показана эффективность применения динамических методов обработки изображений.

Разработан метод автоматической сегментации динамических медицинских изображений, подтверждена его вычислительная эффективность.

Разработан комплексный метод обработки медицинских динамических изображений, включающий динамическую сегментацию и последующую обработку поля оптического потока. Выбрана система оценки эффективности методов обработки изображений для исследования на модельных данных.

Разработана и реализована система по обработке медицинских изображений, реализующая предложенный метод и позволяющая проводить исследования эффективности. Разработана система моделирования динамических сцен по известным параметрам для проведения исследования метода обработки.

Проведено экспериментальное исследование разработанного метода на примерах модельных и реальных динамических медицинских изображений. Показана эффективность предложенного метода и системы.

В результате, поставленная в диссертационной работе задача была успешно решена.

1. JI. Шапиро, Дж. Стокман (2009). Компьютерное зрение. М.: БИНОМ. Лаборатория знаний.

2. Enkelmann, W. (1991). Obstacle detection by evaluation of optical flow fields from image sequences. Image and Vision Computing, 9(3), 160-8.

3. DeSouza, G. N. and Как, A. C. (2002). Vision for mobile robot navigation: A survey. IEEE Trans. Pattern Anal. Mach. Intell, 24(2), 237-267.

4. Д. Форсайт, Ж. Понс (2004). Компьютерное зрение. Современный подход. Издательский дом «Вильяме».

5. Б. Яне (2007). Цифровая обработка изображений. Техносфера.

6. Zhang, Y. (2006). Advances in image and video segmentation. In IRM Press.

7. Viitaniemi, V. and Laaksonen, J. (2008). Techniques for image classification, object detection and object segmentation. In , pages xx-yy.

8. Lucas, B. D. and Kanade, T. (1981). An iterative image registration techniquewith an application to stereo vision. In , pages 674-679.

9. Beauchemin, S. and Barron, J. (1995). The computation of optical-flow.,27(3), 433-467.

10. Horn, В. K. P. and Schunck, B. G. (1981). Determining optical flow. ARTIFICAL1.TELLIGENCE, 17, 185-203.

11. Horn, B. and Schunck, B. (1993). Determining optical flow: A retrospective.,59(1-2), 81-87.12 ho Kim, Y., Martinez, A. M. and Как, A. C. (2005). Robust motion estimationunder varying illumination. Image and Vision Computing, 23.

12. Elad, M., Teo, P. and Hel Or, Y. (2005). On the design of filters forgradient-based motion estimation., 23(3), 345-365.

13. L.M. Biberman, ed. Electro Optical Imaging: System performance and modeling. SPIE, Bellingham, WA, 2001

14. Pock, T., Unger, M., Cremers, D. and Bischof, H. (2008). Fast and exact solution of total variation models on the gpu. In , pages 1-8.

15. Bruhn, A. (2006). Variational Optic Flow Computation: Accurate Modellingand Efficient Numerics. PhD thesis, Saarland University. 109

16. Simoncelli, E. P. (1994). Design of multi-dimensional derivative filters. In In

17. First International Conference on Image Processing , pages 790-793.

18. Aubert, G., Deriche, R. and Kornprobst, P. (1999). Computing optical flow via variational techniques. SI AM Journal on Applied Mathematics, 60(1), 156-182.

19. H. Burkhardt and S. Siggelkow. Invariant features in pattern recognition -fundamentals and applications. In C. Kotropoulos and I. Pitas eds., Nonlinear Model-Based Image/Video Processing and Analisys, pp. 269-307. John Wiley&Sons, 2001

20. Zach, C., Pock, T. and Bischof, H. (2007). A duality based approach for realtime tv-11 optical flow. In In Ann. Symp. German Association Patt. Recogn , pages 214-223.

21. Alvarez, L., Deriche, R., Papadopoulo, T. and Sanchez, J. (2007). Symmetrical dense optical flow estimation with occlusions detection. International Journal of Computer Vision, 75(3), 371-385.

22. Wedel, A., Pock, T., Zach, C., Bischof, H. and Cremers, D. (2009). An improved algorithm for tv-11 optical flow., pp. 23-45.

23. N. Christiani and J. Shawe-Taylor. An Introduction to Suppor Vector Machines. Cambridge Univercity Press, Cambridge, 2000.

24. Bruhn, A., Weickert, J., Kohlberger, T. and Schnorr, C. (2006). A multigrid platform for real-time motion computation with discontinuity-preserving variational methods. Int. J. Comput. Vision, 70(3), 257-277.

25. Konrad, J. and Dubois, E. (1988). Multigrid bayesian estimation of image motion fields using stochastic relaxation. In , pages 354-362.

26. Bruhn, A., Weickert, J., Feddern, C., Kohlberger, T. and Schnorr, C. (2003). Real-time optic flow computation with variational methods. In In CAIP 2003 , pages 222-229.

27. M.J. Riedl. Optical Design Fundamentals for Infrared Systems. SPIE, Bellingham, WA, 2001

28. A.Bruhn and J.Weickert (2005). Towards ultimate motion estimation: Combining highest accuracy with real-time performance. In In Proc. 10th International Conference on Computer Vision, Vol. 1 , pages 749-755.

29. Amiaz, T. and Kiryati, N. (2005). Dense discontinuous optical flow via contour-based segmentation. In ICIP , pages III: 1264-1267.

30. Amiaz, T., Lubetzky, E. and Kiryati, N. (2007). Coarse to over-fine optical flow estimation., 40(9), 2496-2503.

31. Brox, T., Bruhn, A., Papenberg, N. and Weickert, J. (2004). High accuracy optical flow estimation based on a theory for warping. In ECCV , pages Vol IV: 25-36.

32. Weickert, J. and Schnorr, C. (2001). Variational optic flow computation with a spatio-temporal smoothness constraint. J. Math. Imaging Vis., 14(3), 245-255.

33. Papenberg, N., Bruhn, A., Brox, T., Didas, S. and Weickert, J. (2006). Highly accurate optic flow computation with theoretically justified warping. Int. J. Comput. Vision, 67(2), 141-158.

34. Lempitsky, V., Roth, S. and Rother, C. (2008). Fusionflow: Discrete-continuous optimization for optical flow estimation. In 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'08). Anchorage, USA.

35. Zimmer, H., Bruhn, A., Weickert, J., Valgaerts, L. and Salgado, A. et al. (2009). Complementary optic flow. In Cremers, D., Boykov, Y., Blake, A. and

36. Schmidt, F. R., editors, EMMCVPR, number 5681 in Lecture Notes in Computer Science, pages 207-220.

37. Werlberger, M., Trobin, W., Pock, T., Wedel, A. and Cremers, D. et al. (2009). Anisotropic huber-11 optical flow. In Proceedings of the British Machine Vision Conference (BMVC) . London, UK. to appear.

38. Glocker, B., Paragios, N., Komodakis, N., Tziritas, G. and Navab, N. (2008). Optical flow estimation with uncertainties through dynamic mrfs. In CVPR .

39. Weber, J., Malik, J., Devadas, S. and Michel, P. (1994). Robust computation of optical flow in a multi-scale differential framework. International Journal of Computer Vision, 14, 12-20.

40. Castro, E. D. and Morandi, C. (1987). Registration of translated and rotated images using finite fourier transforms. IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-9(5), 700-703. Fourier Transforms.

41. Alvarez, L., Weickert, J. and Sánchez, J. (2000). Reliable estimation of dense optical flow fields with large displacements. International Journal of Computer Vision, 39(1), 41-56.

42. Duda R.O., D.Stork, and P. Hart. 2000. Pattern Classification. John Wiley & Sons, New York.

43. Jain, R. Duin and J. Mao. 2000. Statistical pattern recognition, a review. IEEE-TPAMI. 22(l):4-37

44. Anandan, P. (1989). A computational framework and an algorithm for the measurement of visual motion. International Journal of Computer Vision, 2(3), 283-310.

45. Bruhn, A., Weickert, J. and Schnorr, C. (2005). Lucas/kanade meets horn/schunck: combining local and global optic flow methods. Int. J. Comput. Vision, 61(3), 211-231.

46. Black, M. J. (1994). Recursive non-linear estimation of discontinuous flow fields. In ECCV , pages A:138-145.

47. Black, M. J., Yacoob, Y. and Ju, S. X. (1997). Recognizing human motion using parameterized models of optical flow. In Motion-Based Recognition , pages Chapter 11.

48. Black, M. J. and Jepson, A. (1996). Estimating optical flow in segmented images using variable-order parametric models with local deformations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18, 972-986.

49. А. Альберт (1977). Регрессия, псевдоинверсия и рекуррентное оценивание. Москва Наука. Физматлит.

50. Alvarez, L., Weickert, J. and Sanchez, J. (1999). A scale-space approach to nonlocal optical flow calculations. In Scale Space , pages 235-246.

51. Cremers, D. and Soatto, S. (2005). Motion competition: A variational approach to piecewise parametric motion segmentation. International Journal of Computer Vision, 62(3), 249-265.

52. D.A. Forsyth and J. Ponce. Computer Vision, a Modern Approach. Prentice Hall, Upper Sadie River, NJ, 2003.

53. Tzeng, S. and Wei, L.-Y. (2008). Parallel white noise generation on a gpu via cryptographic hash. In I3D '08: Proceedings of the 2008 symposium on Interactive 3D graphics and games , pages 79-87. New York, NY, USA.

54. Simoncelli, E. P. (1993). Bayesian multi-scale differential optical flow. In IEEE Workshop on Image and Multidimensional Signal Processing , pages 128-129.

55. Black, M. J. and Anandan, P. (1991). Robust dynamic motion estimation over time. IEEE Proceedings of Computer Vision and Pattern Recognition, pp. 296302.

56. Castro, E. D. and Morandi, C. (1987). Registration of translated and rotated images using finite fourier transforms. IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-9(5), 700-703. Fourier Transforms.

57. Brox, Т., Bruhn, A. and Weickert, J. (2006). Variational motion segmentation with level sets. In ECCV , pages I: 471^183.

58. Werlberger, M., Trobin, W., Pock, T., Wedel, A. and Cremers, D. et al. (2009). Anisotropic Huber-Ll optical flow. In Proceedings of the British Machine Vision Conference (BMVC) . London, UK.

59. Luettgen, M. R., Karl, W. C. and Willsky, A. S. (1993). Efficient multiscale regularization with applications to the computation of optical flow. IEEE Transactions on image processing, 3, 41-64.

60. Black M. J. Anandan, P. (1996). The robust estimation of multiple motions: Parametric and piecewise-smooth flow fields. COMPUTER VISION AND IMAGE UNDERSTANDING, 63(1), 75-104.

61. NVIDIA (2008b). NVIDIA CUDA C Programming Best Practices Guide 2.O.

62. Roth, S. and Black, M. J. (2007). On the spatial statistics of optical flow. Int. J. Comput. Vision, 74(1), 33-50.

63. Bell, W. N., Olson, L. N. and Schroder, J. (2008). Pyamg: Algebraic multigrid solvers in python. Version 1.0.

64. Sanner M. F. Stoffler D., O. A. J. (2002). Viper, a visual programming environment for python. In In Proceedings of the 10th International Python conference , pages 103-115.

65. Che, S., Boyer, M., Meng, J., Tarjan, D. and Sheaffer, J. W. et al. (2008). A performance study of general-purpose applications on graphics processors using cuda. J. Parallel Distrib. Comput., 68(10), 1370-1380.

66. B. Jahne, ed. Image Sequence Analysis to Investigate Dynamic Processes, Lecture Notes in Computer Science, 2005. Springer, Berlin.

67. Black, M. J. and Anandan, P. (1996). The robust estimation of multiple motions: parametric and piecewise-smooth flow fields. Comput. Vis. Image Underst., 63(1), 75-104.

68. Memin, E. and Perez, P. (1998). Dense estimation and object-based segmentation of the optical flow with robust techniques. IEEE Transactions on Image Processing, 7(5), 703-719.

69. Ryoo, S., Rodrigues, С. I., Stone, S. S., Baghsorkhi, S. S. and Ueng, S.-Z. et al. (2008). Program optimization space pruning for a multithreaded gpu. In Soffa, M. L. and Duesterwald, E., editors, CGO , pages 195-204.

70. Weiss, B. (2006). Fast median and bilateral filtering. ACM Trans. Graph., 25(3), 519-526.

71. Zach, C., Pock, T. and Bischof, H. (2007). A duality based approach for realtime tv-11 optical flow. In Pattern Recognition (Proc. DAGM) , pages 214-223. Heidelberg, Germany.

72. Т. Кормен, Ч. Лейзерсон, P. Ривест, К. Штайн (2007). Алгоритмы: построение и анализ. Вильяме.

73. Huang, Т., Yang, G. and Tang, G. (1979). A fast two-dimensional medianfiltering algorithm. ,27, 13-18.75 (2007). Optimizing parallel reductiion in cuda. .

74. Adams, R. and Bischof, L. (1994). Seeded region growing. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(6), 641-647.

75. D.G. Mitchell and M.S. Cohen. MRI Principles. Saunders,Philadelphia, 2001

76. Baronti, S., Casini, A., Lotti, F., Favaro, L. and Roberto, V. (1990). Variable pyramid structures for image segmentation., 49(3), 346-356.

77. Baker, S., Scharstein, D., Lewis, J. P., Roth, S. and Black, M. J. et al. (2007). A database and evaluation methodology for optical flow. In ICCV , pages 1-8.