автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Методы и средства дистанционной онкологической диагностики с применением технологии формирования панорамных изображений

Национальный исследовательский ядерный университет «МИФИ»

На правах рукописи

005013°'*

Комаров Владимир Владимирович

Методы и средства дистанционной онкологической диагностики с применением технологии формирования панорамных изображений

05.11.16 - Информационно-измерительные и управляющие системы

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 5 МДР ¿012

Москва - 2012

005013679

Работа выполнена в Национальном исследовательском ядерном университете «МИФИ».

Научный руководитель: доктор технических наук,

профессор,

Никитаев Валентин Григорьевич Официальные оппоненты: доктор физико-математических наук,

доцент,

Герасимов Андрей Николаевич кандидат технических наук, Калинушкин Андрей Евгеньевич Ведущая организация: Федеральное государственное уни-

тарное предприятие «Специальное научно-производственное объединение ....... ЭЛЕРОН»

Защита состоится 9 апреля 2012 г. в 15 часов на заседании диссертационного совета Д 212.130.02 в Национальном исследовательском ядерном университете «МИФИ», расположенном по адресу: 115409, Москва, Каширское шоссе, 31

С диссертацией можно ознакомиться в библиотеке НИЯУ «МИФИ». Автореферат разослан 7 марта 2012 г.

Отзывы и замечания по автореферату в двух экземплярах, заверенные печатью, просьба высылать по вышеуказанному адресу на имя ученого секретаря диссертационного совета.

Ученый секретарь диссертационного совета,

д. т. н., профессор фГ П. К. Скоробогатов

Общая характеристика работы

Актуальность работы

Гистологические и цитологические методы исследования являются одним из наиболее важных методов, используемых при постановке диагнозов по онкологическим заболеваниям. Сложные случаи заболеваний в условиях дефицита высококвалифицированных кадров требуют коллегиального обсуждения морфологического заключения.

Развитие компьютерной микроскопии и телемедицинских технологий позволило в корне изменить подход к коллегиальному рассмотрению случаев заболеваний вне зависимости от расстояния. Особое место среди систем компьютерной микроскопии занимают системы морфологического анализа биопрепаратов, призванные решать обширный класс диагностических и исследовательских задач в самых разнообразных областях (гистология, цитология, гематология, биология, бактериология и др). Архитектура таких систем включает микроскоп (с моторизованным предметным столиком или без него), телекамеру, устройство цифрового видеоввода, ЭВМ.

Однако, при проведении дистанционной диагностики, может иметь место ошибка в выборе информативной зоны для передачи изображения от консультируемого врача к врачу-консультанту. Это происходит из-за технических ограничений: микроскопы позволяют одновременно наблюдать лишь малую часть исследуемого препарата. В частности, при рассмотрении микро- . препарата размером 15x15 мм, на объективе 4х в поле зрения попадает около 1% от всей площади препарата. Таким образом, достоверность диагностики попадает в сильную зависимость от квалификации врача-консультируемого: если он пересылает изображения фрагментов препарата, не содержащие информации о патологии, то диагноз может быть неверным, независимо от квалификации врача-консультирующего. Данная ситуация усугубляется с уве-

личением кратности объектива (например, на объективе 40х видна в 100 раз меньшая площадь препарата, чем на объективе 4х).

В этой связи становится актуальной задача осуществления панорамной съемки изображений микропрепаратов. Она и определяет цель настоящей работы. Необходимость решения такой задачи остро выявилась при создании кафедрой компьютерных медицинских систем МИФИ телемедицинского комплекса онкологической диагностики «АТЛАНТ-МИКРО». Одна из нерешенных до настоящего времени задач состоит в получении максимума информации об исследуемом материале (микропрепарате) в условиях жестких временных ограничений — до 5 минут, с возможностью одновременного предоставления информации как на месте проведения биопсии, так и в удаленном консультирующем учреждении. Указанные сроки обусловлены требованиями проведения интраоперационных биопсий.

Наиболее существенной проблемой при решении данной задачи является характерная для всех систем компьютерной микроскопии погрешность перемещения моторизованных столиков микроскопов. Точность позиционирования механических компонентов традиционно отстает от размеров объектов, анализируемых при микроскопическом исследовании. При известном шаге движения моторизованного стола и при измеренных масштабных коэффициентах и направлении смещения изображения, сформировать изображение без разрывов, разместив фрагменты с фиксированным смещением, невозможно. В сложившейся ситуации, оптимальным решением является совмещение фрагментов путем поиска схожих объектов в области перекрытия, выбираемой заведомо большей, чем случайная составляющая погрешности перемещения.

Цель диссертационной работы - разработка методов и средств проведения онкологической диагностики, в т. ч. дистанционной, с применением технологии формирования панорамных изображений, имеющей существен-

ное значение для повышения достоверности и оперативности диагностики онкологических заболеваний. К решаемым в рамках диссертации задачам относятся:

• разработка принципов проектирования информационно-измерительных систем дистанционных телемедиципских консультаций с применением технологии панорамирования исследуемых изображений;

• анализ и формирование основных характеристик систем компьютерной микроскопии с моторизованным управлением;

• разработка методов экспериментального измерения характеристик панорамных систем компьютерной микроскопии;

• разработка высокоскоростных методов построения панорамных изображений для интраоперационной (во время проведения хирургических операций) диагностики; .

• разработка программных средств для формирования панорамных изображений и проведения телемедицинских консультаций по онкологиче-

. ской диагностике.

Научная новизна:

1. Разработаны принципы проектирования информационно-измерительных панорамных систем для гистологической, цитологической и гематологической диагностики на базе компьютерной микроскопии, что дало возможность практически реализовать предложенные в диссертации решения в аппаратно-программном комплексе.

2. Предложена модель проведения дистанционных телемедицинских консультаций с применением технологии формирования панорамных изображений и дистанционного управления микроскопом, позволяющая значительно увеличить объем передаваемой диагностической информации.

3. Разработан метод автоматизированного измерения основных характеристик моторизованных систем компьютерной микроскопии: размеров шага моторизованного привода по осям, поправки при изменении направления движения и смене объективов, ориентация камеры относительно направления движения. Это позволяет реализовать режим самонастройки и ввести эффективный контроль качества систем компьютерной микроскопии с моторизованным управлением.

4. Разработан метод формирования панорамных изображений, допускающий реализацию с использованием инструкций параллельной обработки данных современных процессоров (БН/Ш-инструкций), что позволяет достичь быстродействия, обеспечивающего сканирование типового препарата за время менее 5 минут (требование для интраоперационной диагностики).

Практическая значимость:

• Предложенные в диссертации методы и средства дистанционной онкологической диагностики с применением технологии формирования панорамных изображений были использованы в разработке программно-аппаратного комплекс «АТЛАНТ». С момента реализации и по настоящее время, метод проведения телемедицинских консультаций с применением технологии формирования панорамных изображений и удаленного управления микроскопом используется при эксплуатации системы в клинической практике.

• Возможности комплекса, реализующего предложенные решения, позволяют единовременно наблюдать значительно большую (в сотни раз) площадь препарата, что выгодно отличает разработку от классических подходов в компьютерной микроскопии. Применение технологии формирования панорамных изображений можно сравнить с использовани-

ем гипотетического микроскопа, способного не только предоставлять значительно больший объем информации для постановки диагноза, но и осуществлять более быстрое (на порядок) перемещение между информативными областями на препарате и их масштабирование.

• Со стороны врача-днагноста многократно сокращается количество рутинных операций. Основную часть времени при анализе микропрепаратов классическим способом специалист тратит время на позиционирование предметного столика микроскопа с целью поиска информативных зон. С использованием разработанных средств информативные зоны выявляются специалистом на уже сформированном обзорном изображении, после автоматизированного процесса формирования. Освобождение специалиста от рутинных действий позволяет ему больше сконцентрироваться на самом процессе анализа, что положительным образом сказывается на достоверности диагностики.

• С использованием привязки к позициям отдельных кадров на панорамных изображениях микропрепаратов значительно упрощается процесс дистанционных телемедицинских консультаций, т. к. удаленному специалисту предоставляется возможность управлять микроскопом на расстоянии, отдавая указания переместить моторизованный предметный стол в позиции, определенно содержащие информативные кадры, с целью их наблюдения на объективах с большим увеличением.

На защиту выносятся следующие основные результаты и положения:

1. Модель проведения дистанционных телемедицинских консультаций с. применением технологий формирования панорамных изображений и удаленного управления микроскопом.

2. Метод оценки характеристик моторизованных приводов в системах ком-

пьютерной микроскопии на основе совмещения повторяющихся фрагментов в смежных кадрах.

3. Метод формирования панорамных изображений медицинских микропрепаратов с применением инструкций параллельной обработки данных, доступных в современных процессорах.

4. Методики по настройке (для тех. персонала) и проведения телемедицинских консультаций (для врачей) с использованием комплексов компьютерной микроскопии в режиме формирования панорамных изображений.

5. Экспериментально выявленная зависимость погрешности при перемещении моторизованного стола микроскопа от его координат, что позволяет снизить случайную составляющую погрешности при перемещении моторизованных приводов микроскопов.

Апробация работы. С 2005 г. в составе комплексов онкологической диагностики «ATJIAHT-МИКРО» разработка была внедрена и апробирована в ряде медицинских учреждений ФМБА России, обслуживающих сотрудников атомной отрасли: Российский онкологический научный центр им. Н. Н. Блохина РАМН, г. Москва; Федеральный медицинский биофизический центр им. А. И. Бурназяна (г. Москва) ФМБА России; ЦМСЧ № 141 ФМБА России (г. Удомля, Тверская область); МСЧ №33 ФМБА России (г. Нововоронеж, Воронежская область); МСЧ 135 ФМБА России (г. Десногорск, Смоленская область); МСЧ №125 ФМБА России (г. Курчатов, Курская область); МСЧ №38 ФМБА России (г. Сосновый Бор, Ленинградская область); МСЧ № 118 ФМБА России (г. Полярные Зори, Мурманская область).

Публикации. Материалы диссертации опубликованы в 19 работах, из них: одна статья в журнале из перечня ВАК [1], два патента на изобретение [2, 3], три патента на полезную модель [4-6], одно свидетельство офи-

циалыюй регистрации программы для ЭВМ [7], одно учебное пособие [8], 11 работ в сборниках трудов научных конференций [9-19]. Три работы [12,13,18] опубликованы без соавторов.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав и заключения. Общий объем диссертации - 130 страниц.

Содержание работы

Во Введении обоснована актуальность диссертационной работы, сформулирована цель и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, представлены выносимые на защиту научные положения, сведения об апробации и внедрении работы.

Первая глава посвящена обоснованию постановки диссертационной задачи, анализу предметной области. Рассмотрена проблема правильного выбора информативной области препарата в процессе онкологической диагностики. Предложен подход к ее решению посредством формирования панорамных изображений медицинских препаратов.

С целью обеспечения дистанционной диагностики в условиях жесткого временного ограничения (до 5 минут) предложена модель проведения теле-меднцинских консультаций с применением технологии формирования панорамных изображений. Сформулированы требования к аппаратно-программным средствам для обеспечения дистанционных консультаций согласно предложенной модели.

На рис. 1 представлена схема взаимодействия основных узлов системы компьютерной микроскопии в одной из наиболее распространенных реализаций. Регистрация изображений, получаемых с помощью микроскопа осуществляется, как правило, путем сопряжения последнего с видеокамерой (причем используются как специализированные видеокамеры, так и общего

устройство видеоввода телекамера

ПК Устройство управления Микроскоп

СОМ-порт СОМ-порт моторизованный стол

Рис. 1. Аппаратная часть системы компьютерной микроскопии

назначения).

Основными объектами исследования при гистологическом и цитологическом анализе являются медицинские микропрепараты. При гистологических исследованиях обычно используются объективы 4х, 10х и 40х, для цитологических - 10 х, 40 х и 100 х. Площадь препарата составляет порядка 1 см2 и более, поэтому даже на объективе 4х площадь поля зрения составляет менее сотой доли от площади всего препарата.

Важной особенностью рассматриваемых изображений является большая пространственная концентрация диагностически значимых объектов и их групп.

При коллегиальном рассмотрений сложных случаев в ходе телемедицинских консультаций происходит передача изображений препаратов, регистрируемых систем компьютерной микроскопии. Передача отдельных изображений полей зрения, при их малых относительных размерах, не обеспечивает удаленного специалиста информацией о полной морфологической картине исследуемого материала.

Объем передаваемой диагностической информации можно существенно увеличить путем формирования панорамных изобрао/сений медицинских препаратов, обеспечиваемого за счет совмещения отдельных фрагментов. Такая задача выполнима при наличии моторизованного управления предметным столиком системы компьютерной микроскопии. Однако, как показывает прак-

тика, точность позиционирования моторизованных приводов может вносить существенные искажения в относительные позиции фрагментов. Для решения этой проблемы с учетом сложной пространственно-яркостной организации изображений микропрепаратов предложен подход, связанный с выполнением следующих этапов:

• съемка фрагментов с областями перекрытия, площадь которых определяется с учетом возможных отклонений при перемещении моторизованного привода к следующему фрагменту панорамирования;

• поиск относительных позиций смежных фрагментов, при которых перекрывающиеся области содержат совпадающие по пространственно-яркостной организации структуры (за вычетом шума).

Предложенный подход дает возможность не только формировать обзорные изображения для гистологической и цитологической диагностики, но и проводить измерения, позволяющие определять характеристики моторизованных приводов, что важно для задач микроскопии, требующих высокой точности позиционирования.

Предлагаемая модель телемедицинских консультаций включает следующие этапы. Сначала осуществляется построение обзорного панорамного изображения препарата, для съемки фрагментов которого используется объектив с малым увеличением (для гистологии обычно 4х). Далее консультанту обеспечивается возможность указать на обзорном изображении информативные для диагностики области, и повторить процесс сканирования ограниченного участка препарата, но с большим увеличением. Процесс может проводиться в несколько итераций, пока наиболее информативные области препарата не будут проанализированы консультантом. Указанную модель иллюстрирует рис. 2.

Разработаны следующие требования к системе, обеспечивающей прове-

Передача сопроводительной информации

Рис. 2. Модель проведения консультации с панорамной съемкой препарата

дение телемедицинских консультаций с применением технологии формирования панорамных изображений:

1. Автоматическая съемка фрагментов микропрепарата должна выполняться на различных объективах, с регулируемыми размерами областей перекрытия.

2. Ошибка определения относительной позиции двух смежных фрагментов, при наличии контрастных структур в области перекрытия, должна быть на более 1 пиксела - для обеспечения надлежащего качества формирования обзорных изображений.

3. Время формирования системой обзорного изображения на стороне врача-консультанта1 для микропрепаратов площадью 1 см2 не должно превышать 5 минут .

4. Выбор консультантом области на панорамном изображении при удаленном управлении сканированием должен допускать автоматическое позиционирование моторизованного привода в данную область с возмож-

1 Подразумевается полный цикл сканировадия микропрепарата на объективе 4 х: съемка, передача

кадров, совмещение фрагментов.

ностыо последующего сканирования (или съемки/передачи отдельного кадра).

5. Система должна предоставлять возможность отправки необходимой сопроводительной текстовой информации консультанту (в том числе в процессе сканирования).

Вторая глава состоит из двух частей. В первой части подробно рассмотрен процесс совмещения двух фрагментов, снятых с областью перекрытия. При рассмотрении определен ряд характеристик, индивидуальных для калсдой конкретной системы компьютерной микроскопии с моторизованным управлением, в числе которых: смещение поля зрения на шаг моторизованного привода, продольная и поперечная составляющие погрешности перемещения и др. Корректная оценка данных характеристик влияет на точность позиционирования и быстродействие при формировании обзорных изображений.

При решении поставленной задачи необходимо:

• определить, какие характеристики системы должны быть известны, для первичной (грубой) оценки относительной позиции фрагментов;

• предложить способ точного (с точностью до пиксела) определения относительной позиции фрагментов на. основании наличия схожих про-странственно-яркостных структур в области перекрытия;

• рассмотреть возможность минимизации вычислений при известных па; раметрах системы.

Первый фрагмент опишем как функцию F(x,y),x 6 [0, w),у € [О,Л), возвращающую вектор цветовых компонентов (напр. RGB) для известных координат (х,у). w и h - размеры изображения по осям. Второй фрагмент опишем как Fr(х, у), х б [0, w), у 6 [0, h).

При перемещении на (I шагов (условных единиц смещения привода) поле зрения гипотетически «идеального» моторизованного привода сместится на величину, определяемую вектором

г = ¿и, (1)

где и - смещение поля зрения на 1 шаг (или шаг-вектор). В системе координат изображений, фиксируемых телекамерой, компоненты векторов и и г будем обозначать (хи,уи) и , уТ) соответственно.

С учетом погрешности, реальное смещение поля зрения опишем как

г = г + Дг (2)

Погрешность в перемещении моторизованного привода микроскопа можно разложить на две составляющие - продольную (направлению движения) и поперечную:

Дг = Дгц + Дгх (3)

Первая обусловлена в большей части люфтом механики, а вторая - вибрацией. Уже на этом этапе можно обоснованно предполагать, что Дгц > Дгх (разница в несколько раз или на порядок).

Поскольку погрешность перемещения моторизованного привода ограничена, всегда можно найти такие параметры Дц и Д_1_, такие, что

Д;, > |'Дг;||,Д, > |Дг; | ■ (4)

с достаточно большой вероятностью. Эти параметры и определят область поиска. <5 - прямоугольной формы, размерами 2Дц х 2Дх, с центром в точке (%,2/г) (рис. 3).

Будем считать, что для любой точки (жг, уТ) внутри области поиска <3, задающей смещение Рг относительно Р, найдется область перекрытия Р, внутри которой фрагменты содержат пространственно-яркостные структуры. Это

14

Рис. 3. Процесс совмещения двух фрагментов при формировании панорамного изображения - основные параметры

является необходимым условием для получения корректного результата. При Гг, смещенном относительно Р на г, область перекрытия определяется следующим образом:

Р(хг, Ут) =

(х Л

•ьтгп

Утт

\Утах I

( тах(0, хТ) ^

тах(0,2/г) тт(ил IV -+- хг) тш(/г, к + уг)

(5)

Следующим этапом является определение функции сходства перекрывающихся областей Г и Гг. Определим функцию цветовой дистанции пикселов как ||рг — Рг||- Для пикселов, представленных ЛСВ-моделью рг = 6;),

можно использовать следующие варианты:

IIPi - Р2|| = (п - r2)2 + Cffi - 9?)2 + (bi - b2)2 (6)

IIPi - P2II = In - r21 + |ffl - g21 4- |6i - 62| (7)

||pi -P2II =max(|ri -r2|,~g2\,\h -b2\). (8)

Тогда определим критерий сходства частей фрагментов F, Fr, попавших в область перекрытия, как

^mat Утах

С(Хт'Ут) = ™ Е £ (9)

i=i«i» FS™

где nm = (ж mar — 2-min) X {ymax ~ Утгп) ~ ПЛОЩЭДЬ области Перекрытия, изменение которой должно учитываться в процессе поиска.

При наложении схожих пространственно-яркостных структур, функции цветовой дистанции будут снижаться на всей площади области перекрытия, в результате чего С{х,у) должна иметь ярко выраженный минимум в искомой позиции (хг,уг). Таким образом, ' ■ '

С(хт,ут) = min С{х,у). (10)

. (x-yfcQ

Во второй части главы рассмотрены и обобщены характеристики систем компьютерной микроскопии с моторизованным управлением, влияющие на точность позиционирования независимо от конкретной задачи:

• смещение поля зрения на шаг моторизованного привода (по осям движения и объективам);

• угол ориентации видеокамеры относительно направлений движений (для всей системы);

• продольная и поперечная составляющие погрешности перемещения моторизованного привода (по осям движения);

Рис. 4. Этапы измерений характеристик моторизованного привода

• поправки позиционирования на обратный ход моторизованного привода (по осям движения);

• поправки позиционирования моторизованного привода при смене объективов (по объективам).

Далее во второй части главы предложен метод, позволяющий в автоматизированном режиме измерять перечисленные выше характеристики моторизованных систем компьютерной микроскопии. Особенностью данного метода является применение технологии формирования панорамных изображений в процессе измерения, что делает принципиально возможной самонастройку системы путем раскрутки (bootstrapping). Самонастройка дает высокий уровень автоматизации, сопряженный с минимальными действиями оператора. Общая последовательность этапов измерений представлена на рис. 4.

В третьей главе представлена реализация метода формирования панорамных изображений в телемедицинском аппаратно-программном комплексе «АТЛАНТ».

Приведены характеристики основных узлов аппаратной части (телекамера, моторизованный стол, устройство видеоввода) и особенности их взаимодействия.

Основная часть главы описывает реализацию программной части, которая разделена на две составляющие: АРМ (консультируемого) врача - клиент и АРМ консультанта сервер. В состав программной части входят модули, отвечающие за следующие операции:

• взаимодействие с устройством видеозахвата (клиент);

• управление моторизованным приводом (клиент);

• совмещение фрагментов и формирование панорамного изображения (клиент и сервер);

• сканирование микропрепарата и обнаружение фона (клиент);

• визуализация панорамных изображений;

• сетевое взаимодействие (клиент и сервер);

• автоматическая фокусировка (клиент).

Для осуществления видеозахвата использована технология Microsoft DirectShow. Работа с устройством видеозахвата вынесена в отдельную библиотеку-оболочку с «тонким» интерфейсом (т. к. непосредственная работа с DirectShow приводит к достаточно громоздким конструкциям в коде). В библиотеке было предусмотрено два режима ввода изображения: съемка отдельных кадров (используется при сканировании) и ввод видеопоследовательностей в реальном времени (необходим для автоматической фокусировки). Управление моторизованным приводом также вынесено во вспомогательную библиотеку, осуществляющую передачу ASCII-команд в СОМ-порт ПК, используя средства Windows API.

Модуль , формирования панорамных изображений является ключевым элементом системы, и его реализация рассмотрена наиболее подробно. Вопрос

18

быстродействия являлся критичным: используемый моторизованный привод позволет обеспечить съемку фрагментов типового препарата за время менее 5 минут, п необходимо, чтобы совмещение фрагментов происходило с не меньшей скоростью (причем параллельно процессу сканирования). С целыо добиться максимальной производительности, блоки кода, рассчитывающие сходство областей перекрытия, реализованы на встроенном ассемблере, с использованием наборов SIMD-инструкций1 SSE2 и SSE3. Наибольший выигрыш в быстродействии дало использование инструкций: PSADBW (из набора SSE2), обеспечивающей параллельное вычисление различия шестнадцати RGB -компонентов (5| пикселов) функцией (7) за одну операцию и LDDQU (SSE3), ускорявшей загрузку невыровненных блоков памяти в ХММ-реги-стры примерно на 50%.

При сканировании микропрепарата обеспечивается распараллеливание операций позиционирования моторизованного привода, съемки, совмещения фрагментов и отправки кадров по сети. На стороне клиентской части одновременно с позиционированием микроскопа на фрагмент Fi происходит отправка консультанту фрагмента F^. На стороне сервера, одновременно с получением по сети фрагмента Fj осуществляется совмещение фрагментов Fj_i и Fj_2. Помимо этого, осуществляется обнаружение кадров, совмещение которых невозможно ввиду отсутствия изображения препарата в области перекрытия.

Из-за высоких (от сотен мегабайт) объемов панорамных изображений, необходимость обеспечения удобной для пользователя навигации потребовала разработки специального модуля. Использование стандартных средств про-

1 SIMD (Single Input, Multiple Data) - набор инструкций процессора, обеспечивающие параллельную обработку упакованных данных.

2 Загрузка выровненных по 128-битным границам блоков памяти в ХММ-регистры значительно быстрее, чем невыровненных. При «скольжении» области перекрытия в ходе поиска обеспечить выравнивание обрабатываемых блоков не представляется возможным.

смотра приводило к большим задержкам при масштабировании, что неприемлемо для оперативного анализа обзорного изображения. В результате, был создан отдельный модуль, осуществляющий масштабирование изображений БШИ-ииструкциями и кэширование уменьшенных копий.

В четвертой главе представлены результаты трех экспериментальных исследований. В первых двух исследовались характеристики моторизованных приводов, в третьем оценивалось качество алгоритма детекции фона.

Первый эксперимент проводился с целью определить, какую часть от площади кадра должны составлять области перекрытия, для гарантированной компенсации погрешности при перемещении моторизованного стола микроскопов, применяемых в комплексах «АТЛАНТ-МИКРО» при съемке на различных объективах. Для этого, с помощью программы расчетов характеристик моторизованных приводов, были определены среднеквадратические отклонения продольных составляющих погрешностей перемещения, и сопоставлены с размерами поля зрения на различных объективах.

Цель второго эксперимента заключалась в проверке предположения о неравномерности величин обратного хода в различных позициях моторизованного стола. Последовательно, с равномерным сдвигом, проводились измерения величины обратного хода, и построены графики зависимости измеренной величины от позиции привода. Полученные результаты свидетельствует о наличии детерминированной составляющей периодического характера в измеренной величине, что позволяет снизить влияние обратного хода на точность позиционирования моторизованного привода.-

Третий эксперимент проводился с целью проверки применимости используемого в системе формирования панорамных изображений алгоритма детекции фона. Исследовались области двух микропрепаратов, снятых с различными яркостью и увеличением объектива. В процессе подготовки изображений каждому из них присваивался статус: область содержит только фон, область-

содержит фон и препарат, область содержит только препарат. Далее все фрагменты обрабатывались с помощью программы, реализующей используемый в детекции фона алгоритм, и вычислялась ошибка. В результате проведенного эксперимента ошибка определения фона составила менее 2%, что говорит о эффективности исследуемого алгоритма.

В Заключении сформулированы основные научные и практические результаты:

1. Предложена модель проведения дистанционных телемедицинских консультаций с применением технологий формирования панорамных изображений и удаленного управления микроскопом. Это позволило увеличить объем передаваемой диагностической информации в десятки (а в ряде случаев - в сотни) раз.

2. Разработан метод автоматизированной оценки характеристик моторизованных приводов в системах компьютерной микроскопии на основе совмещения повторяющихся фрагментов в смежных кадрах. Применение данного метода позволяет реализовать режим самонастройки и ввести эффективный контроль качества информационно-измерительных систем компьютерной микроскопии с дистанционным управлением при их производстве.

3. Разработан метод формирования панорамных изображений медицинских микропрепаратов с применением инструкций параллельной обработки данных, доступных в современных процессорах. Реализация метода в ИИС компьютерной микроскопии с дистанционным управлением позволила в среднем в 5 раз сократить время построения обзорных изображений опухолей. Это позволяет применять разработанный метод при срочной диагностике во время проведения хирургических операций.

4. Разработана методика проведения телемедицинских консультаций с

применением технологии панорамных изображений. Использование данной методики обеспечивает эксплуатацию указанной системы в клинической практике.

5. Предложенные в настоящей диссертации научные решения защищены пятью патентами РФ [2-6].

6. С использованием предложенных в диссертации методов и средств дистанционной онкологической диагностики с применением технологии формирования панорамных изображений был разработан программно-аппаратный комплекс «АТЛАНТ». Комплекс был внедрен в семи удаленных медсанчастях ФМБА России, обслуживающих работников атомной отрасли, Федеральном медицинском биофизическом центре им. А. И. Бурназяна ФМБА России (г. Москва), в РОНЦ им. Н. Н. Блохина РАМН (г. Москва). За счет применения комплекса «АТЛАНТ» повышена выявляемость онкологических заболеваний на ранней стадии с 40% до 56%х.

Список публикаций

1. Никитаев В. Г., Проничев А. Н., Комаров В. В., Белопольский В. М. Формирование панорамных • изображений. Применение в телемедицинских комплексах для онкологической диагностики. // Электроника. 2009. №5. С. 96-98.

2. Никитаев В. Г., Проничев А. Н., Комаров В. В: и др. Способ автоматизированного микроскопического исследования образца // Патент России на изобретение. 14.05.2007, № 2330265.

1 По отзыву руководителя ФМБА Уйбы В. В. за 2010 год.

3. Никитаев В. Г., Проничев А. Н., Комаров В. В. и др. Способ подавления неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов. // Патент России на изобретение. 27.05.2010. № 2390842.

4. Никитаев В. Г., Проничев А. Н., Комаров В. В. Комплекс автоматизированной гистологической экспресс-диагностики опухолей // Патент России на полезную модель. 18.05.2006. № 57576.

5. Никитаев В. Г., Проничев А. Н., Комаров В. В. и др. Автоматизированный комплекс для оцифровки изображений микропрепаратов. // Патент России на полезную модель. 10.03.2009. № 81353.

6. Никитаев В. Г., Проничев А. Н., Комаров В. В. и др. Устройство для автоматического обнаружения бластных клеток в периферической крови. // Патент России на полезную модель. 10.03.2007. № 61890.

7. Никитаев В. Г., Проничев А. Н., Комаров В. В. и др. Система автоматизированного анализа бластных клеток крови при диагностике острых лейкозов // Свидетельство об официальной регистрации программы для ЭВМ. 21.06.2005. № 2005611778.

8. Никитаев В. Г., Воробьев И. А., Комаров В. В. и др. Компьютерные системы гематологической диагностики. Введение. М.: ФГУП «ЦНИИАТО-МИНФОРМ», 2006.

9. Никитаев В. Г., Комаров В. В., Проничев А. Н. Формирование панорамных изображений медицинских микропрепаратов // Научная сессия МИФИ - 2005. Сборник научных трудов. М.: МИФИ, 2005. С. 317-318.

10. Никитаев В. Г., Бердникович Е. Ю., Комаров В. В. и др. Экспериментальное исследование цветовых моделей в задачах автоматизированного

анализа изображений. // Научная сессия МИФИ - 2004. Сборник научных трудов. М.: МИФИ, 2004. С. 253-254.

11. Бердникович Е. Ю., Гончаренко И. И., Комаров В. В. и др. Лабораторный практикум «Методы и средства предобработки медицинских изображений: основные положения» // Научная сессия МИФИ - 2006. Сборник научных трудов. М.: МИФИ, 2006. С. 282-283.

12. Комаров В. В. Метод повышения производительности систем «АТЛАНТ» в режиме формирования панорамных изображений // Научная сессия МИФИ 2007. Сборник научных трудов. М.: МИФИ, 2007. С. 274 275.

13. Комаров В. В. Оптимизация процесса автоматической фокусировки моторизованных микроскопов систем «АТЛАНТ» // Научная сессия МИФИ - 2007. Сборник научных трудов. М.: МИФИ, 2007. С. 276-277.

14. Уйба В. В., Бежина Л. Н., Комаров В. В. и др. Единая консультативно-диагностическая система ФМБА России: итоги совместных работ 2007 г. // Научная сессия МИФИ ^ 2008. Сборник научных трудов. М.: МИФИ, 2008. С. 63-66.

15. Комаров В. В., Проничев А. Н. Разработка программного обеспечения для автоматизированной настройки моторизованных приводов микроскопов // Научная сессия МИФИ - 2008- Сборник научных трудов. М.: МИФИ, 2008. С-106-109.

16. Комаров В. В., Проничев А. Н., Чистов К. С. Разработка системы автоматизированной Съемки изображений клеток крови на гематологических препаратах // Научная сессия МИФИ - 2008. Сборник научных трудов. М.: МИФИ, 2008. С. 109-110.

17. Комаров В. В., Проничев А. Н. Разработка средств визуализации панорамных изображений сверхвысокого разрешения // Научная сессия МИФИ - 2008. Сборник научных трудов. М.: МИФИ, 2008. С. 110-113.

18. Комаров В. В. Организация распределенной телемедицинской сети с использованием VPN // Научная сессия МИФИ - 2008. Сборник научных трудов. М.: МИФИ, 2008. С. 113-114.

19. Никитаев В. Г., Проничев А. Н., Комаров В. В. и др. Применение видео-конференц-связи в телемедицинской сети «АТЛАНТ» /7 Научная сессия МИФИ 2008. Сборник научных трудов. М.: МИФИ, 2008. С. 115 117.

Национальный исследовательский ядерный университет «МИФИ»

61 12-5/3190

На правахрукописи

Комаров Владимир Владимирович

Методы и средства дистанционной онкологической диагностики с применением технологии формирования панорамных

изображений

05.11.16 - Информационно-измерительные и управляющие системы

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель

д. т. н., профессор

Никитаев Валентин Григорьевич

Научный консультант к. т. н.

Чистов Кирилл Сергеевич

Москва - 2012

Содержание

Введение ................................... 4

Глава 1. Системный подход к разработке методов и средств формирования панорамных изображений в компьютерной микроскопии...............................11

1.1. Анализ предметной области....................11

1.2. Анализ объектной среды......................14

1.3. Проблема выбора информативной области............16

1.4. Модель телемедицинских консультаций..............17

1.5. Определение требований к системе................22

1.6. Выводы................................23

Глава 2. Методы формирования панорамных изображений и измерений характеристик моторизованных систем компьютерной микроскопии..........................25

2.1. Модель совмещения фрагментов панорамного изображения . . 25

2.2. Метод формирования панорамных изображений.........29

2.3. Определение характеристик систем компьютерной микроскопии 33

2.4. Метод измерения характеристик систем компьютерной микроскопии ................................41

2.5. Выводы................................54

Глава 3. Реализация решений в информационно-измерительном комплексе онкологической диагностики «АТЛАНТ» 56

3.1. Аппаратное обеспечение ......................57

3.2. Программный модуль видеоввода.................67

3.3. Программный модуль управления моторизованным приводом . 77

2

3.4. Программный модуль формирования панорамных изображений 85

3.5. Управление визуализацией панорамных изображений......93

3.6. Методика практического применения системы компьютерной панорамной съемки.........................98

3.7. Выводы................................107

Глава 4. Экспериментальные исследования............110

4.1. Экспериментальное измерение ошибки позиционирования . . .110

4.2. Исследование неравномерности обратного хода.........111

4.3. Экспериментальная оценка критерия наличия фона.......113

4.4. Анализ результатов исследований.................121

4.5. Выводы................................127

Заключение..................................129

Литература..................................131

Введение

Актуальность работы

Гистологические и цитологические методы исследования являются одним из наиболее важных методов, используемых при постановке диагнозов по онкологическим заболеваниям [1-6]. Сложные случаи заболеваний в условиях дефицита высококвалифицированных кадров требуют коллегиального обсуждения морфологического заключения.

Развитие компьютерной микроскопии и телемедицинских технологий позволило в корне изменить подход к коллегиальному рассмотрению случаев заболеваний вне зависимости от расстояния. Особое место среди систем компьютерной микроскопии занимают системы морфологического анализа биопрепаратов, призванные решать обширный класс диагностических и исследовательских задач в самых разнообразных областях (гистология, цитология, гематология, биология, бактериология и др) [7-14]. Архитектура таких систем включает микроскоп (с моторизованным предметным столиком или без него), телекамеру, устройство цифрового видеоввода, ЭВМ [15-17].

Однако, при проведении дистанционной диагностики, может иметь место ошибка в выборе информативной зоны для передачи изображения от консультируемого врача к врачу-консультанту. Это происходит из-за технических ограничений: микроскопы позволяют одновременно наблюдать лишь малую часть исследуемого препарата. В частности, при рассмотрении микропрепарата размером 15x15 мм, на объективе 4х в поле зрения попадает около 1% от всей площади препарата. Таким образом, достоверность диагностики попадает в сильную зависимость от квалификации врача-консультируемого: если он пересылает изображения фрагментов препарата, не содержащие информации о патологии, то диагноз может быть неверным, независимо от квалификации врача-консультирующего. Данная ситуация усугубляется с уве-

личением кратности объектива (например, на объективе 40х видна в 100 раз меньшая площадь препарата, чем на объективе 4х).

В этой связи становится актуальной задача осуществления панорамной съемки изображений микропрепаратов. Она и определяет цель настоящей работы. Необходимость решения такой задачи остро выявилась при создании кафедрой компьютерных медицинских систем МИФИ телемедицинского комплекса онкологической диагностики «АТЛАНТ-МИКРО». Одна из нерешенных до настоящего времени задач состоит в получении максимума информации об исследуемом материале (микропрепарате) в условиях жестких временных ограничений — до 5 минут, с возможностью одновременного предоставления информации как на месте проведения биопсии, так и в удаленном консультирующем учреждении. Указанные сроки обусловлены требованиями проведения интраоперационных биопсий.

Наиболее существенной проблемой при решении данной задачи является характерная для всех систем компьютерной микроскопии ошибка позиционирования моторизованных столиков микроскопов. Точность позиционирования механических компонентов традиционно отстает от размеров объектов, анализируемых при микроскопическом исследовании. При известном шаге движения моторизованного стола и при измеренных масштабных коэффициентах и направлении смещения изображения, сформировать изображение без разрывов, разместив фрагменты с фиксированным смещением, невозможно. В сложившейся ситуации, оптимальным решением является совмещение фрагментов путем поиска схожих объектов в области перекрытия, выбираемой заведомо большей, чем случайная составляющая ошибки позиционирования.

Цель диссертационной работы - разработка методов и средств проведения онкологической диагностики, в т. ч. дистанционной, с применением технологии формирования панорамных изображений, имеющей существен-

ное значение для повышения достоверности и оперативности диагностики онкологических заболеваний. К решаемым в рамках диссертации задачам относятся:

• разработка принципов проектирования информационно-измерительных систем дистанционных телемедицинских консультаций с применением технологии панорамирования исследуемых изображений;

• анализ и формирование основных характеристик систем компьютерной микроскопии с моторизованным управлением;

• разработка методов экспериментального измерения характеристик панорамных систем компьютерной микроскопии;

• разработка высокоскоростных методов построения панорамных изображений для интраоперационной (во время проведения хирургических операций) диагностики;

• разработка программных средств для формирования панорамных изображений и проведения телемедицинских консультаций по онкологической диагностике.

Научная новизна:

1. Разработаны принципы проектирования информационно-измерительных панорамных систем для гистологической, цитологической и гематологической диагностики на базе компьютерной микроскопии, что дало возможность практически реализовать предложенные в диссертации решения в аппаратно-программном комплексе.

2. Предложена модель проведения дистанционных телемедицинских консультаций с применением технологии формирования панорамных изоб-

ражений и дистанционного управления микроскопом, позволяющая значительно увеличить объем передаваемой диагностической информации.

3. Разработан метод автоматизированного измерения основных характеристик моторизованных систем компьютерной микроскопии: размеров шага моторизованного привода по осям, поправки при изменении направления движения и смене объективов, ориентация камеры относительно направления движения. Это позволяет реализовать режим самонастройки и ввести эффективный контроль качества систем компьютерной микроскопии с моторизованным управлением.

4. Разработан метод формирования панорамных изображений, допускающий реализацию с использованием инструкций параллельной обработки данных современных процессоров (ЗШБ-инструкций), что позволяет достичь быстродействия, обеспечивающего сканирование типового препарата за время менее 5 минут (требование для интраоперационной диагностики).

Практическая значимость:

• Предложенные в диссертации методы и средства дистанционной онкологической диагностики с применением технологии формирования панорамных изображений были использованы в разработке программно-аппаратного комплекс «АТЛАНТ». С момента реализации и по настоящее время, метод проведения телемедицинских консультаций с применением технологии формирования панорамных изображений и удаленного управления микроскопом используется при эксплуатации системы в клинической практике.

• Возможности комплекса, реализующего предложенные решения, позволяют единовременно наблюдать значительно большую (в сотни раз)

7

площадь препарата, что выгодно отличает разработку от классических подходов в компьютерной микроскопии. Применение технологии формирования панорамных изображений можно сравнить с использованием гипотетического микроскопа, способного не только предоставлять значительно больший объем информации для постановки диагноза, но и осуществлять более быстрое (на порядок) перемещение между информативными областями на препарате и их масштабирование.

• Со стороны врача-диагноста многократно сокращается количество рутинных операций. Основную часть времени при анализе микропрепаратов классическим способом специалист тратит время на позиционирование предметного столика микроскопа с целью поиска информативных зон. С использованием разработанных средств информативные зоны выявляются специалистом на уже сформированном обзорном изображении, после автоматизированного процесса формирования. Освобождение специалиста от рутинных действий позволяет ему больше сконцентрироваться на самом процессе анализа, что положительным образом сказывается на достоверности диагностики.

• С использованием привязки к позициям отдельных кадров на панорамных изображениях микропрепаратов значительно упрощается процесс дистанционных телемедицинских консультаций, т. к. удаленному специалисту предоставляется возможность управлять микроскопом на расстоянии, отдавая указания переместить моторизованный предметный стол в позиции, определенно содержащие информативные кадры, с целью их наблюдения на объективах с большим увеличением.

На защиту выносятся следующие основные результаты и положения:

1. Модель проведения дистанционных телемедицинских консультаций с применением технологий формирования панорамных изображений и удаленного управления микроскопом.

2. Метод оценки характеристик моторизованных приводов в системах компьютерной микроскопии на основе совмещения повторяющихся фрагментов в смежных кадрах.

3. Метод формирования панорамных изображений медицинских микропрепаратов с применением инструкций параллельной обработки данных, доступных в современных процессорах.

4. Методики по настройке (для тех. персонала) и проведения телемедицинских консультаций (для врачей) с использованием комплексов компьютерной микроскопии в режиме формирования панорамных изображений.

5. Экспериментально выявленная зависимость ошибки позиционирования моторизованного стола микроскопа от его координат, что позволяет снизить случайную составляющую ошибки при позиционировании моторизованных приводов микроскопов.

Апробация работы. С 2005 г. в составе комплексов онкологической диагностики «АТЛАНТ-МИКРО» разработка была внедрена и апробирована в ряде медицинских учреждений ФМБА России, обслуживающих сотрудников атомной отрасли: Российский онкологический научный центр им. Н. Н. Блохина РАМН, г. Москва; Федеральный медицинский биофизический центр им. А. И. Бурназяна (г. Москва) ФМБА России; ЦМСЧ № 141 ФМБА России (г. Удомля, Тверская область); МСЧ №33 ФМБА России (г. Нововоронеж, Воронежская область); МСЧ 135 ФМБА России (г. Десногорск, Смоленская область); МСЧ №125 ФМБА России (г. Курчатов, Курская область); МСЧ

9

№38 ФМБА России (г. Сосновый Бор, Ленинградская область); МСЧ № 118 ФМБА России (г. Полярные Зори, Мурманская область).

Публикации. Материалы диссертации опубликованы в 19 работах, из них: одна статья в журнале из перечня ВАК [18], два патента на изобретение [19, 20], три патента на полезную модель [21-23], одно свидетельство официальной регистрации программы для ЭВМ [24], одно учебное пособие [25], И работ в сборниках трудов научных конференций [26-36]. Три работы [29, 30, 35] опубликованы без соавторов.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав и заключения. Общий объем диссертации - 130 страниц.

Глава 1

Системный подход к разработке методов и

средств формирования панорамных изображений в компьютерной микроскопии

1.1. Анализ предметной области

Компьютерная микроскопия - компоненты и их взаимодействие

За последнее время, во всех областях, где требуются микроскопические исследования различного материала, все большее распространение стали получать системы, основанные на взаимодействии микроскопа и ЭВМ [37-43]. Широкое распространение такого класса систем привело к появлению обобщенного термина - "компьютерная микроскопия". Наиболее важные особенности архитектуры систем компьютерной микроскопии будут рассмотрены далее.

В современных системах компьютерной микроскопии можно выделить два основных канала взаимодействия микроскопа и ПК. Первый - это использование компьютера для регистрации, обработки, хранения либо передачи изображений, наблюдаемых с помощью микроскопа. Второй - это автоматизация управления микроскопом с помощью ПК. Необходимо отметить, что два указанных направления можно считать независимыми друг от друга не только с функциональной, но и с технической точки зрения, т. к. кардинально отличается и смысл передаваемый по этим каналам информации, и интерфейсы, по которым такая передача осуществляется.

На рис. 1.1 представлена схема взаимодействия основных узлов системы компьютерной микроскопии в одной из наиболее распространенных pell

Рис. 1.1. Аппаратная часть системы компьютерной микроскопии

ализаций. Регистрация изображений, получаемых с помощью микроскопа осуществляется, как правило, путем сопряжения последнего с видеокамерой (причем используются как специализированные видеокамеры, так и общего назначения).

Сопряжение видеокамер с микроскопами осуществляется посредством тринокуляров, позволяющих телекамере фиксировать изображения, не мешая оператору системы одновременно вести наблюдение в окуляры. Видеосигнал с камеры в аналоговом или цифровом виде передается в ПК, где в случае аналогового сигнала он подвергается оцифровке с помощью устройства видеоввода (обычно платы видеозахвата на РСРинтерфейсе). Дальнейшая обработка изображений с микроскопа возлагается на программное обеспечение конкретной системы.

Уровни автоматизации

Другой аспект взаимодействия микроскопа и ЭВМ - это автоматизированное управление компонентами микроскопа. Здесь следует отметить три момента. Во-первых, моторизованные приводы могут быть как изначально встроенными в конструкцию микроскопа, так и являться отдельными компонентами, возможно выпускаемыми независимыми от производителя микроскопа компаниями. Причем стоимость системы на базе изначально обычного микроскопа, оснащенного такими «моторизованными комплектами» за-

частую значительно ниже, чем систем на базе микроскопов с изначально заложенными производителем моторизованными функциями. Во-вторых, как правило, управление моторизованными приводами осуществляется с помощью устройства-посредника, преобразующего команды, поступающие от ПК в цифровом виде (наиболее часто для этого используется последовательный порт) в сигналы, управляющими моторами приводов микроскопа. Такие устройства-посредники часто называют блоками управления. Третий момент заключается в том, что под термином «компьютерная микроскопия» могут подразумеваться различные уровни автоматизации действий пользователя [5, 8, 44-46].

В числе наиболее распространенных уровней автоматизации можно выделить следующие:

• отсутствие автоматизации управления - система только позволяет вводить изображения в память ПК, управление идет только вручную;

• моторизованный в горизонтальный плоскости стол микроскопа - в дополнение к предыдущему пункту, с компьютера возможно автоматизированное управление перемещением предметного столика в горизонтальной плоскости;

• моторизованный г-привод - в дополнение к предыдущему пункту, допускается управление с компьютера перемещением предме�