автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка программных средств распознавания образов для решения задачи трехмерного моделирования в микроскопии

Гаганов Виктор Александрович

Исследование и разработка программных средств распознавания образов для решения задачи трехмерного моделирования в микроскопии

Специальность 05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

•диссертации на соискание ученой степени кандидата физико-математических наук

1 2 МАЙ 2011

Москва - 2011

4845246

Работа выполнена в Учреждении Российской академии наук Институте прикладной математики имени М.В. Келдыша РАН.

Научный руководитель:

кандидат физико-математических наук, доцент,

Банковский Юрий Матвеевич

Официальные оппоненты:

доктор физико-математических наук, профессор,

Kapmaw.ee Владимир Алексеевич

кандидат физико-математических наук, Ветров Дмитрий Петрович

Ведущая организация:

Учреокдении Российской академии паук Институт вычислительной математики и математической геофизики Сибирского отделения РАН

Защита состоится «31» мая 2011 г. и 11 часов на заседании диссертационного совета Д 002.024.01 при Учреждении Российской академии наук Институте прикладной математики имени М.В. Келдыша РАН, расположенном по адресу: 125047, Москва, Миусская пл., 4

С диссертацией можно ознакомиться в библиотеке Института прикладной математики им. М.В. Келдыша РАН.

Автореферат разослан « ^ »

2011 г.

Ученый секретарь диссертационного сонета,

доктор физико-математических наук

Т.А. Полилова

Общая характеристика работы

Объект исследования и актуальность работы

С момента появления первого оптического микроскопа в конце XVI -начале XVII века это устройство плотно вошло в жизнь человека. Сейчас практически невозможно представить себе современное общество без этого изобретения. В данный момент оптические микроскопы находят применение в широком спектре приложений, начиная от рутинных медицинских и биологических исследований, заканчивая контролем качества на высокотехнологичных производствах.

Распространение цифровых видеокамер во второй половине XX века привело к появлению нового класса задач, связанных с оптическими микроскопами. Появление возможности захвата изображений в цифровом формате дало толчок развитию технологий автоматического улучшения и анализа изображений, полученных с помощью микроскопа1. Благодаря стремительному росту вычислительных мощностей процессоров круг задач по обработке и анализу изображений с микроскопа расширяется с каждым годом, ставя перед исследователями все новые и новые задачи.

В данной работе рассматривается одна из важнейших проблем в задачах автоматического анализа изображений, полученных с помощью оптического микроскопа, — задача построения трехмерной модели сцены, наблюдаемой с помощью микроскопа. Трехмерная модель сцены незаменима в таких приложениях, как, например, анализ качества на производстве печатных плат, где требуются измерения различных показателей формы поверхности наблюдаемого объекта. Стоит заметить, что реконструкция трехмерных моделей микрообъектов традиционными методами, такими как лазерное сканирование, является затруднительной из-за физических ограничений, налагаемых размерами объектов. Этот факт придает дополнительную актуальность методам построения трехмерных моделей, которые оперируют непосредственно изображениями, полученными с помощью микроскопа.

Задача построения трехмерных моделей объектов по изображениям с микроскопа рассматривается в работе в двух формулировках.

• Построение модели поверхности общего вида — в данной формулировке предполагается, что форма участка поверхности объекта, наблюдаемого с помощью микроскопа, представима в виде карты глубины 2.

1 Юрковец Д. И. Программное обеспечение для количественного морфологического анализа структур по полутоновым изображениям // Кандидатская диссертация. ВМиК МГУ им. М.В. Ломоносова, Москва. 1998.

2 Картой глубины называется представление трехмерной модели в виде матрицы, в каждой ячейке которой записано расстояние от некоторой фиксированной плоскости в трехмерном пространстве до поверхности объекта.

3 V

Тогда по набору изображений с микроскопа требуется построить трехмерную модель участка поверхности объекта.

• Построение модели плоского участка поверхности объекта — предполагается, что наблюдаемый под микроскопом участок объекта плоский, и требуется оценить положение и ориентацию данного участка поверхности объекта.

Цель диссертационной работы

Целью работы является исследование и разработка методов и алгоритмов построения трехмерных моделей объектов по изображениям с микроскопа, а также создание на основе разработанных методов программной системы для построения трехмерных моделей микрообъектов.

Основные задачи работы:

• Исследование существующих алгоритмов построения трехмерных моделей объектов по изображениям с микроскопа. Разработка метода построения трехмерной модели участка поверхности объекта, который представим в виде карты глубины.

• Разработка специализированного метода для оценки положения и ориентации плоского участка поверхности объекта по набору изображений с микроскопа.

• Верификация разработанных алгоритмов путем оценки качества их работы на реальных данных и сравнение предложенных методов с существующими аналогами.

• Разработка программной системы построения трехмерных моделей микрообъектов с применением предложенных методов.

Научная новизна

В рамках диссертации разработан новый метод построения трехмерных моделей участка поверхности объекта, который представим в виде карты глубины. Отличительной чертой предложенного метода является его повышенная устойчивость к ложным данным, часто возникающим в областях поверхности объектов, которые не содержат текстуры, слабо освещенных областях поверхности и в местах присутствия бликов. В работе представлены результаты сравнительного анализа, подтверждающие, что предложенный метод позволяет добиться более устойчивых и точных результатов, чем существующие аналоги.

В рамках решения задачи оценки положения и ориентации плоского участка поверхности объекта предложен новый метод для определения того, можно ли считать замер положения участка сцены надежным. Также предложен метод, позволяющий определить, можно ли по набору трехмерных замеров, содержащему ошибки измерения, осуществить надежную оценку положения и ориентации плоскости. Кроме того, предложенные методы позволяют сделать оценку положения и ориентации плоского участка поверхности объекта более устойчивой к ошибкам в измерениях.

Практическая значимость

Предложенный метод построения трехмерной модели участка поверхности объекта по изображениям с микроскопа существенно расширяет класс объектов, для которых применим данный подход. Существующие методы в основном ориентированы на работу с объектами, отражающие свойства поверхности которых близки к Ламбертовской модели. Предложенный метод позволяет строить корректные модели объектов, состоящих из таких материалов, как металл и стекло, на поверхности которых возможно наличие бликов. Также предложенный метод способен корректно моделировать объекты, на поверхности которых присутствуют области без текстуры, в то время как существующие методы ориентированы на работу с объектами, на поверхности которых видимая текстура присутствует повсеместно.

Разработанный метод определения положения и ориентации плоского участка поверхности объекта позволяет производить оценку плоскости даже при наличии во входных данных шумов и большого количества ошибочных измерений. Разработанный метод определения надежности оценки плоскости позволяет для любых входных данных определить, удалось ли по ним корректно оценить положение и ориентацию плоского участка поверхности объекта.

На основе предложенных методов была создана программная система для моделирования поверхности алмазов и дефектов внутри алмазного сырья. Данная система была интегрирована в программный продукт Oxygen Microscope Server компании-заказчика Octonus Software Ltd. Данный программный продукт активно используется:

• в реальной работе более чем на 20 ограночных заводах таких центров ал-мазообрабатывающей промышленности, как г. Сурат (Индия) и г. Антверпен (Бельгия);

• в процессе подготовки и обучения специалистов по огранке алмазов в Геммологическом центре Московского государственного университета им. М.В. Ломоносова.

Апробация работы

Основные результаты диссертации докладывались и обсуждались на:

• 18-ой международной конференции по компьютерной графике и машинному зрению «СгарЫсоп'2008», Россия, Москва, 2008;

• 15-ой международной конференции студентов аспирантов и молодых ученых «Ломоносов-2008», Россия, Москва, 2008;

• семинаре по компьютерной графике и мультимедиа под руководством Ю.М. Баяковского (ф-т ВМиК МГУ), Россия, Москва, 2009;

• секции вычислительной математики и кибернетики научной конференции «Ломоносовские чтения-2009», Россия, Москва, 2009;

• 19-ой международной конференции по компьютерной графике и машинному зрению «СгарЫсоп'2009», Россия, Москва, 2009;

• семинаре по компьютерной графике под руководством А.В.Игнатенко (ф-т ВМиК МГУ), Россия, Москва, 2010;

• объединенном семинаре по робототехническим системам ИПМ им. М.В. Келдыша РАН, МГУ им. М.В. Ломоносова, МГТУ им. Н.Э. Баумана, ИНОТиИ РГГУ и отделения "Программирование" ИПМ им. М.В.Келдыша РАН, Россия, Москва 2010.

Публикации

Материалы диссертации опубликованы в 5 печатных работах: 2 статьи в рецензируемых журналах, рекомендованных ВАК [1, 2], две статьи в сборниках трудов конференций [3, 4], а также тезисы доклада [5].

Структура и объем диссертации

Диссертация состоит из введения, 4 глав, заключения и библиографии. Общий объем диссертации составляет 133 страницы, включая 33 рисунка. Библиография включает 73 наименования.

Содержание работы

Во введении обоснована актуальность диссертационной работы, сформулированы цели и задачи, аргументирована научная новизна исследований, показана практическая значимость полученных результатов. Описана структура диссертации.

В первой главе приводится описание математической модели формирования изображения и дается понятие области резкости, описываются базовые принципы работы методов построения трехмерных моделей по изображениям с микроскопа и дается обзор существующих методов.

В первом разделе описывается модель формирования изображения и дается базовый принцип работы методов построения трехмерных моделей по изображениям с микроскопа.

Для понимания методов построения трехмерных моделей объектов по изображениям с микроскопа необходимо понимание принципов формирования изображений в реальных оптических системах. На рис. 1 а) изображена простейшая модель оптической системы - оптическая система с тонкой линзой. За линзой находится поверхность сенсора, с помощью которого осуществляется считывание изображения. Все световые лучи, исходящие из точки сцены Р и попадающие на линзу, сходятся в точке <3. При этом расстояния от точек Р и <5 до линзы подчиняются т.п. уравнению тонкой линзы:

где / — фокусное расстояние линзы. В случае если для какой-то точки Р' точка схода преломленных линзой лучей <2' не попадает на сенсор, который осуществляет считывание изображения, энергия лучей, исходящих из точки Р\ рассеивается по небольшому участку поверхности сенсора (рис. 1 б).

Рис. 1. На рисунке а) изображена оптическая система и точка Р, изображение которой попадает на сенсор с идеальным фокусом. На рисунке б) изображение точки Р' на сенсоре будет расфокусированным

(б)

Размер участка поверхности сенсора, по которому рассеиваются лучи,

исходящие из точки Р', пропорционален расстоянию от точки Q' до поверхности сенсора. Поэтому при получении фотографии сцены только некоторая часть сцены оказывается на фотографии в резкости. Эта часть сцены называется областью резкости, и чем дальше точка сцены находится от области резкости, тем более размытым будет выглядеть изображение этой точки на фотографии. Расстояние между самой близкой и самой дальней границами пространства, которые видны на изображении в резкости, называется глубиной резкости.

Методы построения трехмерных моделей по изображениям с микроскопа используют информацию о степени размытия точки изображения для того, чтобы восстановить геометрию наблюдаемой сцены.

Во втором разделе дается обзор существующих методов построения трехмерных моделей по изображениям с микроскопа.

Методы построения трехмерных моделей объектов по изображениям с микроскопа делятся на два семейства: это методы семейства «Ларе from focus (SFF) и методы семейства shape from defocus (SFD). При использовании методов SFF для оценки положения некоторого участка наблюдаемой сцены происходит получение множества по-разному сфокусированных изображений сцены. После этого ищется изображение, на котором данный участок сцены виден в резкости, и положение области резкости оптической системы для найденного изображения принимается за оценку расстояния до данного участка сцены. Далее оценки расстояния для различных участков сцены комбинируются для получения трехмерной модели всей сцены целиком. Методы семейства SFD моделируют степень резкости участка изображения как функцию расстояния до поверхности объекта. Затем по двум различно сфокусированным изображениям сцены формулируется обратная задача, решением которой является карта расстояний до поверхности сцены, которая полностью определяет трехмерную модель наблюдаемого участка сцены.

Достоинством методов семейства SFD по сравнению с методами SFF является то, что для построения трехмерной модели сцены необходимо получение всего двух изображений. Недостатком же методов SFD является необходимость явного моделирования процесса формирования изображения сцены. Поэтому зачастую методы SFD требуют сложной процедуры калибровки для настройки на конкретную оптическую систему и в целом менее устойчивы. В свою очередь методы семейства SFF не требуют никакой настройки на конкретный объектив, что делает их универсальными и потому привлекательными. При этом точность реконструкции поверхности, которой можно добиться с использованием методов SFF, ограничена только величиной глубины резкости оптической системы. Для оптических микроскопов величина глубины резкости может составлять 20 микрон и меньше, тем самым обеспечивается возможность проводить высокоточные измерения формы поверхности микро-

объектов. Именно поэтому в диссертационной работе рассматриваются методы семейства ЭРГ.

Разработка методов трехмерной реконструкции семейства БРР началась еще в 80-х годах прошлого века. С тех пор было разработано большое количество алгоритмов БРР, но большинство из них работает по весьма схожей схеме.

Пусть у нас имеется оптический микроскоп, на котором установлена цифровая камера. Предполагается, что у нас имеется возможность программно управлять фокусировкой микроскопа. Управление фокусировкой может достигаться как за счет взаимного перемещения линз в микроскопе, так и за счет перемещения всей оптической системы или наблюдаемого образца с помощью механической подвижки. Пусть с помощью микроскопа получен набор изображений сцены I = {/[,..., 1п} с разными положениями области резкости. Будем считать, что все изображения набора сделаны последовательно и положение области резкости для двух соседних изображений отличается на одинаковую величину, т.е. съемка ведется с регулярным шагом по положению области резкости. Тогда схема алгоритма 8РР выглядит следующим образом:

1. Для каждого изображения из набора / вычисляем меру резкости, тем самым получая карты значения меры резкости 3 = {Ях,..., Бп}. В качестве меры резкости используются высокочастотные фильтры, которые реагируют на наличие резких деталей на изображении. Одной из наиболее популярных мер резкости является т.н. модифицированный оператор Лапласа

Ь(1) =

д21

дх2

+

дЧ

ду

(2)

2. Для каждого проводим усреднение с помощью низкочастотного фильтра, чтобы ослабить влияние шумов камеры. Наиболее часто для усреднения значений меры резкости используется фильтр Гаусса: §к = вк *

3. Для каждого пикселя (г, находим на котором достигается максимум величины меры резкости.

4. Положение центра области резкости оптической системы для изображения к принимаем за оценку положения поверхности объекта в пикселе

(и)-

5. В связи с тем, что построение трехмерной модели ведется с одного направления обзора, для представления модели обычно используется так

называемая карта глубины О = в каждом пикселе которой со-

держится индекс изображения, соответствующий максимальному значению меры резкости.

В третьем разделе описываются основные недостатки существующих методов построения трехмерных моделей по изображениям с микроскопа семейства ЭРР.

Слабой стороной существующих методов семейства ЭРГ является ряд предположений, которые эти методы делают о поверхности объекта и об условиях съемки объекта. Понятно, что в случае, если на некотором участке поверхности объекта отсутствует текстура, то независимо от того, каким образом сфокусировано изображение, данный участок поверхности никогда не будет виден на изображении в резкости. Для таких участков поверхности оценка положения в трехмерном пространстве, полученная методами семейства БРР, будет ошибочной. Также ошибочные оценки положения могут возникать при неидеальных условиях съемки объекта. Видимая текстура на поверхности объекта может отсутствовать в слабо освещенных областях и при наличии на изображении объекта сильных бликов. Описанные выше эффекты неизбежно возникают при работе с реальными микрообъектами, состоящими из металлов, стекла и других недиффузных материалов. Для успешной работы с такими объектами требуются новые методы построения трехмерных моделей по изображениям с микроскопа, отличающиеся повышенной устойчивостью.

В четвертом разделе вводится понятие мультифокус-изображений, которые активно используются в работе для иллюстрации входных данных алгоритмов БРР.

Во второй главе предлагается новый метод построения трехмерных моделей по изображениям с микроскопа семейства БРР, отличающийся от существующих аналогов повышенной устойчивостью к ложным данным, которые возникают в областях поверхности объекта без текстуры, слабо освещенных областях поверхности и в местах присутствия бликов.

В первом разделе дается введение в теорию Марковских случайных полей (МИР), на которой основан предлагаемый автором метод; дается краткий обзор приложений компьютерного зрения, в которых успешно применяется данная теория.

Во втором разделе описывается разработанный метод построения трехмерных моделей по изображениям с микроскопа.

Основным отличием предлагаемого метода от существующих аналогов является то, что он основан на оптимизации функционала качества. В то время как существующие методы решения задачи по сути являются локальными, предлагаемый метод ищет решение задачи через минимизацию функции

энергии. Именно благодаря этому предлагаемый метод имеет более высокую устойчивость к ложным данным.

Будем считать, что карта глубины D, которую необходимо построить по набору изображений I = {1\...., /„}, представляет собой Марковское случайное поле. Входной набор изображений / = {/i,...,/n} в этом случае представляет собой наблюдаемые данные, тогда как D представляет собой неизвестное нам состояние случайного поля, оценку которого нам требуется построить. По формуле Байеса имеем:

wi^M. (3)

Это значит, что оценку максимальной апостериорной вероятности (MAP) для D можно записать в виде

DmaP = arg min(— In P(i\D) - In P(/)). (4)

Первое слагаемое в формуле (4) соответствует вероятности наблюдать входные данные при некой заданной конфигурации поля, а второе слагаемое соответствует априорной вероятности наблюдать некую заданную конфигурацию поля. Априорная вероятность конфигурации поля позволяет накладывать на итоговую оценку некоторые ограничения, такие как гладкость или кусочная гладкость, и, в сущности, отвечает за регуляризацию решения.

Для простоты запишем карту глубины D в виде одномерного вектора d = {d\,..., dm}. Будем считать, что непосредственно зависимыми между собой являются только те элементы поля, которые соответствуют соседним пикселям в карте глубины. Обозначим как N(dp) множество элементов поля, которые статистически зависят от dp. Множество N(dp) для любого элемента dp, который не соответствует краевому пикселю карты глубины, содержит в себе 4 элемента - это соседние ячейки карты глубины сверху, снизу, слева и справа. При этом (4) можно записать следующим образом 3:

dтар = arg min {E{d)), E(d) = ^ + A J] UkiP(dk, dp)), (5)

ä dteN(dp)

где V и U — это унарные и парные потенциалы элементов поля соответственно. Константа Л представляет собой вес парных потенциалов, и отвечает за силу регуляризации решения. Определив V и U и оптимизировав функционал в формуле (5), можно получить оценку карты глубины, которая является оценкой максимума апостериорной вероятности (MAP). Область допустимых значений каждого dp предлагается ограничить множеством {1,2,.... п}, где п количество изображений во входном наборе.

Рис. 2. Результаты работы методов Наира/Стюарта а) и предложенного метода б) для визуального сравнения. Видно, что в результатах работы метода Наира/Стюарта присутствуют резкие скачки в карте глубины, которые отмечены эллипсами. Эти скачки связаны с наличием на входных изображениях сильных бликов. Видно, что в результатах предложенного метода они отсутствуют

а)

б)

Рис. 3. Пример набора точек, полученных с помощью метода ЭРГ для плоского участка поверхности реального объекта. На рисунках а) и б) можно видеть точки, которые образуют плоскость и большое количество ложных замеров с двух различных ракурсов

'о 01 о? 05 01 04 о» о; а» о» I

а) б) в)

Рис. 4. На рисунке а) изображены ШЭС-кривые классификации. Сплошной линией обозначен предложенный метод, курсивом — метод на основе среднеквадратичного отклонения по окрестности пикселя. На рисунках б) и в) приведен пример результатов фильтрации, на рисунке б) изображены изначальные замеры, а на рисуике в) — результат фильтрации. На рисунке в) синим обозначены верно классифицированные точки, принадлежащие плоскости, а красным обозначены ошибки классификации

а) б)

Рис. 5. Снимки экрана программы Oxygen Microscope Server. На рисунке а) приведено изображени камня и включений, размеченных в нем. На рисунке б) приведено изображение камня, выровненное относительно модели камня, построенной на сканере

Унарный потенциал поля отвечает за правдоподобие, т.е. этот потенциал должен быть тем меньше, чем больше вероятность наблюдать имеющийся набор изображений / = {Д,.... 1п} при условии некоторой заданной конфигурации поля d. Поэтому для некоторого элемента поля dp значение унарного потенциала Vp{dp) должно быть большим при значениях dp, которые соответствуют нерезким изображениям. Обозначим как ,s вектор значений {йрд,..., sPia'} меры резкости в пикселе, который соответствует элементу поля dp. Вектор s будем называть профилем меры резкости. Тогда предлагается рассчитывать унарный потенциал элемента поля dp по следующей формуле:

W)^min((maxjg-^))2;Td). (6)

Величина а2 представляет собой дисперсию шума в профиле меры резкости I. Величина Т<г ограничивает максимальное значение, которое может принимать потенциал Vp(dp) и является одним из входных параметров алгоритма.

Парный потенциал в формуле (5) отвечает за регуляризацию результирующей поверхности. Предлагаемая форма парного потенциала способствует тому, чтобы поверхность была гладкой, но при этом за счет ограничения значения потенциала сверху значением Ts, в некоторых местах поверхности допускаются сильные перепады глубины:

I г/min ((dp- dk)2 ,Ts),min{wp,wk) = 1 .

\ v{dp - dk)2, min{wp, wk) = 0

Коэффициент и представляет собой квадрат отношения между размером пикселя изображений и величиной шага по фокусу между парой соседних изображений в наборе I. Использование нормировочного коэффициента ¡/ позволяет сделать разность v{dp — dk)2 пропорциональной квадрату Евклидова расстояния в трехмерном пространстве.

Величина wp представляет собой индикатор наличия сильной текстуры в окрестности элемента поля dp и рассчитывается следующим образом. Вычислим матрицу И7, элемент (г, j) которой равен максимальному значению меры резкости в пикселе (i.j) среди всех изображений набора I. Затем рассчитаем маску Wt, каждый элемент которой равен 1, если соответствующий пиксель IV превосходит некоторый порог р, и равен 0 в противном случае. После этого полученную таким образом маску предлагается отфильтровать с помощью математической морфологии операцией "открытие"с круглым структурным элементом радиуса R. Затем полученную отфильтрованную маску предлагается записать в виде одномерного вектора wp, каждый элемент которого

3 Boykov Y., Vekslcr О., Zabili R. Markov Random Fields with Efficient Approximations. Proc. Computer

Vision and Pattern Recognition, 1998. pp. 648-053

U{dp,dk)

является индикатором наличия существенной текстуры в окрестности соответствующего элемента поля. За счет такой формы wp предлагаемый парный потенциал допускает сильные перепады в карте глубины только в областях, где присутствует значительное количество текстуры. Величины /I и R являются входными параметрами алгоритма.

Для оптимизации полученного функционала в формуле (5) предлагается использовать метод a-expansion 4.

Тогда итоговый алгоритм выглядит следующим образом:

1. Для каждого изображения набора вычисляем меру резкости S*.

2. По картам меры резкости Sk вычисляем для каждого пикселя изображения значение унарного потенциала Vp(dp) с помощью формулы (6), тем самым получая трехмерный массив значений унарного потенциала

3. По картам меры резкости Sk вычисляем карту наличия существенной текстуры w.

4. С помощью алгоритма a-expansion осуществляем оптимизацию (5) с парным потенциалом в виде, задаваемом (7).

В третьем разделе приводится анализ разработанного метода и сравнение его с существующими аналогами на реальных данных.

Для оценки качества работы предлагаемого метода и сравнения метода с существующими аналогами была собрана тестовая база из 27 наборов изображений с микроскопа. В качестве объектов для тестирования использовались полупрозрачные природные минералы. Был разработан специальный программный инструмент, позволяющий вручную разметить эталонную карту глубины для набора изображений с микроскопа, с помощью которого были размечены эталонные карты глубины для всех наборов изображений из тестовой базы. Для сравнения результатов работы предложенного метода и существующих аналогов с эталоном использовалась следующая метрика:

где dud— это результат оценки и эталонная карта глубины соответственно. Данная метрика представляет собой процент пикселей карты глубины, отличия от эталона в которых превосходят порог Те.

4 Boykov Y., Veksler О., Zabih R. Fast Approximate Energy Minimization via Graph Cuts. IEEE

Transactions on Pattern Analysis and Machine Intelligence, 2001, v.23, n.ll, pp. 1222-1239.

Q{d,d) = 100

(8)

m

Название метода Ошибка Q

Наяра 15.6%

Наира и Стюарта + постобработка 6.4%

Предложенный метод 3.6%

Таблица 1. Результаты сравнения предлагаемого метода с существующими аналогами

В таблице 1 приведены результаты сравнения предложенного метода с методами Наяра 5 и методом Наира и Стюарта 6, который был дополнен постобработкой карты глубины с помощью медианного и гауссовского фильтров. При проведении сравнения входные параметры всех методов были настроены таким образом, чтобы давать оптимальный результат на собранной базе изображений. Параметр Те при сравнении был установлен равным двум глубинам резкости микроскопа, для того чтобы оценить процент грубых ошибок в результатах работы всех методов.

Из таблицы 1 видно, что процент грубых ошибок в предлагаемом методе приблизительно в два раза ниже, чем у лучшего из существующих аналогов, что делает его существенно более устойчивым. На рисунке 2 также приведены примеры результатов для визуального сравнения.

В третьей главе описывается предлагаемый метод определения положения и ориентации плоского участка поверхности объекта по набору изображений с микроскопа.

В первом разделе дается обзор существующих методов построения плоскости по набору точек в трехмерном пространстве и приводится анализ устойчивости различных методов к ложным замерам.

Во втором разделе приводится схема предлагаемого метода оценки положения и ориентации плоского участка поверхности объекта по набору изображений с микроскопа и приводится описание нового метода обнаружения ложных замеров.

Для решения задачи оценки положения и ориентации плоского участка поверхности объекта алгоритм, описанный в прошлой главе, неприменим. За счет разработки специализированного алгоритма для решения этой задачи, который в явном виде учитывает то, что наблюдаемая поверхность является плоской, можно получить оценку плоскости, которая обладает высокой точностью. Для того чтобы произвести оценку положения плоскости в трехмерном пространстве, достаточно трех точек. В случае когда точек' больше трех, появляется возможность произвести усреднение, тем самым поднимая

5 Nayar S. К., Y. Nakagawa. Shape from focus, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, v.I6, n.8, pp. 824-831.

8 Nair H.N., and Stewart C.V. Robust focus ranging, Proc. Computer Vision and Pattern Recognition, 1992, pp. 309-314.

точность оценивания. Также это позволяет обеспечить методу дополнительную устойчивость к ложным данным.

Предлагаемый для решения задачи оценки положения и ориентации плоского участка поверхности объекта алгоритм выглядит следующим образом:

1. С помощью классического подхода ЯРГ (С. 9) получить набор замеров для точек плоскости в трехмерном пространстве Р = {xi¡yi,Zi},i =

1,771.

2. Произвести отбрасывание ложных замеров в полученном наборе с помощью специальной процедуры фильтрации.

3. По отфильтрованным данным произвести оценку положения и ориентации плоского участка поверхности объекта.

4. Произвести оценку надежности полученной оценки положения плоскости.

На рисунке 3 изображен пример набора замеров в трехмерном пространстве, полученных после шага 1 данного алгоритма для реального набора входных данных. Видно, что входные данные содержат большое количество ложных замеров. В сложных случаях количество ложных замеров может доходить до 95-97%, тем самым делая невозможным оценку положения плоскости по таким данным даже устойчивыми методами математической статистики.

Существующие методы фильтрации ложных замеров основаны на отбрасывании замеров по порогу на максимальное значение меры резкости либо на максимальное значение среднеквадратичного отклонения цвета в окрестности пикселя. К сожалению, зачастую такие методы обнаружения ложных замеров не в состоянии обеспечить достаточное качество фильтрации. Для решения этой проблемы в работе предлагается алгоритм фильтрации ложных замеров, позволяющий отбросить большую часть ложных данных и сделать оценку плоскости возможной даже для сложных ситуаций. Предлагается схема для определения надежности оценки глубины на основе формы профиля меры резкости в пикселе в = {в!,..., На рис. 6 приведены примеры профилей меры резкости для различных областей. Понятно, что профиль, который соответствует достаточно текстурированной, а следовательно, надежной области, имеет один главный пик и, возможно, несколько существенно более слабых пиков (рис. 6 а) и в), в то время как профиль ненадежной области имеет более случайную структуру и несколько сильных пиков, из которых затруднительно выбрать один главный (рис. 6 б).

В связи с тем, что сформулировать четкое правило, которое по профилю меры резкости решает, надежный он или не надежный, в явном виде

а) б) в)

Рис. 6. Примеры профилей меры резкости. На рисунке а) изображен надежный профиль. На рисунке (б) находится пример ненадежного профиля с большим количеством локальных максимумов, найти по которому наиболее резкое положение надежно не представляется возможным. На в) изображен еще один пример профиля, по которому можно надежно определить положение, несмотря на то что максимальное значение меры резкости в профиле меньше, чем в б)

затруднительно, предлагается для этой цели использовать методы машинного обучения. Для каждого точечного замера положения точки плоскости в пространстве определим набор признаков на основе профиля меры резкости 5, которые характеризуют поведение профиля меры резкости. Список признаков приведен в таблице 2. В формулах таблицы вектор г"1ах = {г™*,..., г™"} представляет собой вектор индексов всех локальных максимумов в профиле меры резкости I, упорядоченный по убыванию величины максимумов.

Номер Формула Номер Формула

1 1еп(1та%) 6 ^тах _ г£«и|/ЛГ

2 1еп(1тах) / N 7 ¿(¿р^/тах^)

3 ¿(г™11)/^™11) 8 | агдтах(3) — г™х|

4 1^тах ¿тах 1 1г1 — г2 1 9 \агдтах(з)

5 тах(з)

Таблица 2. Список признаков, использованных для классификации профилей меры резкости на надежные и ненадежные

Обозначим функцию, которая вычисляет признаки из таблицы 2 как / = /(5). Тогда итоговый вектор признаков для профиля меры резкости 5 предлагается вычислять следующим образом:

= {/(5 **£(<))}, (9)

где * обозначает свертку, а С(.) — гауссовское ядро свертки. Для описанного итогового набора признаков автором была собрана и вручную размечена обучающая выборка на основе реальных данных и построено решающее правило, которое классифицирует любой замер, полученный с

помощью методой SFF, как надежный или ненадежный. Для построения решающего правила использовался алгоритм Gentle Ada Boost7. После отбрасывания ложных замеров в соответствии с решающим правилом по отфильтрованным данным строится плоскость с помощью адаптивного преобразования Хафа.

В третьем разделе описывается новый метод определения надежности оценки плоскости.

Надо заметить, что с помощью метода, описанного в прошлом разделе, можно построить наилучшую плоскость по абсолютно любому набору входных данных. Даже если, например, вся поверхность объекта пересвечена и не имеет видимой текстуры, описанный метод успешно построит по таким данным оптимальную плоскость. Это связано с тем, что локальная процедура фильтрации, основанная на наборе признаков (9), не в состоянии отбросить абсолютно все ложные замеры. Для того чтобы решить эту проблему, предлагается новый метод определения надежности оценки плоскости.

Пусть у нас есть набор точек Р = {pt,i = 1 , m} в трехмерном пространстве. Будем считать, что все точки из этого набора представляют собой случайные ошибки измерения. Традиционно для моделирования поведения ошибок измерения используется равномерное распределение, таким образом Pi ~ U(П), где П — это область пространства, в которой расположены точки Р. В данном случае в качестве О. можно взять сферу, ограничивающую все точки из Р. Теперь зафиксируем в пространстве плоскость в, которая проходит через область il, и обозначим через По множество точек, лежащих от зафиксированной плоскости на расстоянии, не большем некоторого заданного порога. Тогда понятно, что каждая конкретная точка из Р принадлежит области По с вероятностью Pr(pi £ По) = |^о|/|П| и, таким образом, количество ложных замеров, попавших в окрестность плоскости, подчиняется биномиальному закону с ~ £?г(|По|/|П|,т)- Тогда, если использовать в качестве основной гипотезы Но тот факт, что точки из Р распределены равномерно, а в качестве критической статистики использовать с, можно построить тест, проверяющий надежность плоскости, следующим образом. Найдем такое количество точек со, что вероятность того, что со точек или более принадлежат зафиксированной окрестности плоскости По при условии Яо, равна /3, и положим ß достаточно малым, например, равным 0.01. Тогда, если количество точек, которые попали в окрестность плоскости, превосходит со, можно утверждать, что с большой вероятностью гипотеза Щ неверна и наблюдаемые точки имеют неравномерное распределение.

Эту идею предлагается применить для оценки надежности плоскости следующим образом. После построения итоговой оценки плоскости вычисляется

7 Friedman, J., Hastie, Т., Tibshirani, R Additive Logistic Regression: a Statistical View of Boosting, Stanford University Tech. Report, 1998.

количество точек с, лежащих на расстоянии, не большем чем половина глубины резкости от плоскости, и сравниваем это количество точек ссо, которое подсчитано описанным выше методом. Если с > Со, то построенная плоскость считается надежной.

В четвертом разделе приводятся результаты анализа предлагаемого метода фильтрации ложных замеров и процедуры проверки надежности оценки плоскости.

В первом эксперименте оценивалось качество фильтрации ложных замеров предложенным методом с машинным обучением. Для этого на вручную размеченной тренировочной базе, собранной на реальных примерах, были обучены два классификатора. Первый классификатор использовал для классификации замеров на надежные и ненадежные только максимальное значение меры резкости в профиле, а второй классификатор — признаки, описанные в формуле (9). На рис. 4 а) приведены ROC-кривые для обоих классификаторов. Оценка ошибок классификации осуществлялась методом скользящего контроля. По ROC-кривым видно, что при одинаковом уровне ложных срабатываний (false positives) предложенный классификатор обеспечивает существенно большее количество правильно классифицированных надежных замеров (true positives). На рисунках 4 б) и в) можно видеть пример работы предложенного алгоритма фильтрации.

Во втором эксперименте оценивалось качество работы предложенного теста для определения надежности плоскости. Для проведения эксперимента использовались обработанные прозрачные природные минералы с крупными плоскими гранями. Было снято несколько наборов фотографий, на которых грани минерала достаточно грязные и детали хотя бы на части их поверхности различимы под микроскопом. Также было снято некоторое количество наборов фотографий, на которых грань практически не видна. К каждому из полученных наборов фотографий был применен описанный алгоритм построения плоскости, и для каждого набора вручную было установлено, удалось ли построить плоскость корректно. После ручной разметки к каждому из наборов был применен алгоритм автоматического определения надежности оценки плоскости.

Ручная классификация Общее количество Ошибки

Оценка корректна 36 3

Оценка некорректна 29 0

Таблица 3. Во второй колонке приведено общее количество надежно/ненадежно построенных граней, участвовавших в эксперименте. В третей приведено количество ошибок автоматического определения надежности

Статистика, демонстрирующая согласованность результатов ручной раз-

метки и результатов работы теста на надежность, приведена в таблице 3. Как можно заметить, предложенный тест успешно обнаруживает ситуации, когда грани на изображениях видны слишком плохо, но при этом иногда он отбрасывает грани, по которым можно построить плоскость надежно.

В четвертой главе описывается интерфейс и функциональность программной системы Oxygen Microscope Server, в которую были встроены предлагаемые алгоритмы, а также описывается программная реализация предложенных методов.

В первом и втором разделах описывается приложение, в которое внедрялись разработанные методы, а также интерфейс и функциональность программной системы Oxygen Microscope Server.

Программный продукт Oxygen Microscope Server предназначен для анализа алмазного сырья с помощью микроскопа, выставления включений 8 в алмазном сырье и уточнения модели поверхности алмаза с помощью микроскопа. На алмазообрабатывающих предприятиях продукт Oxygen Microscope Server применяется в рамках следующего цикла:

1. Алмазное сырье поступает на завод, после чего камни проходят стадию предварительной обработки и жестко крепятся на подставку, называемую холдером (ЛоМег);

2. Закрепленные на подставке камни устанавливаются на специальный сканер, с помощью которого строится трехмерная модель поверхности камня;

3. Камни переносятся под микроскоп, подключенный к компьютеру, на котором установлен продукт Oxygen Microscope Server, с помощью которого происходит разметка включений внутри камней и уточнение модели, построенной с помощью сканера. За счет использования holder модель камня остается зарегистрированной относительно фотографий, полученных с помощью микроскопа;

• С помощью предложенного метода построения участка поверхности объекта, представимого в виде карты глубины, происходит уточнение модели камня в областях мелких каверн на поверхности, которые невозможно построить на сканере из-за физических ограничений;

• С помощью разработанного метода оценки положения и ориентации плоского участка поверхности объекта происходит уточнение модели в области больших плоских граней па поверхности камня,

8 Включениями в алмазе называются различные дефекты/внутренние неоднородности, которые при попадании в ограненный камень существенно снижают его визуальное качество.

через которые происходит моделирование включений в камне. Это позволяет повысить точность расчета преломления в камне и повысить точность моделей включений.

4. Далее, после того как построены модель камня и модели включений внутри пего, определяется оптимальный способ огранки камня и он гранится.

На рисунке 5 можно видеть главное окно программного продукта Oxygen Microscope Server в двух различных режимах работы.

В третьем разделе описывается программная реализация разработанной системы.

Разработанные в рамках диссертации методы были реализованы как часть подсистемы InclEngine. Помимо предложенных методов построения участка поверхности объекта, представимого в виде карты глубины, и оценки положения и ориентации плоского участка поверхности разработанная система включает в себя функциональность, предназначенную для моделирования включений различных типов внутри алмазного сырья. Суммарный объем кода подсистемы составляет более 200000 строк кода на языке С++.

Подсистема InclEngine реализована в виде динамически подключаемой библиотеки (DLL). Доступ подсистемы к ресурсам Oxygen Microscope Server, таким как камера, микроскоп, модель камня и список включений, осуществляется за счет интерфейсов автоматизации, предоставляемых Oxygen Microscope Server. За счет применения принципа инкапсуляции реализации методов, разработанных в рамках диссертации, полностью изолированы от конкретных интерфейсов Oxygen Microscope Server и работают с ними через классы-посредники. Благодаря этому разработанные методы могут быть легко повторно использованы в рамках других систем с другим аппаратным обеспечением и другими программными интерфейсами, без изменения кода самих методов.

В заключении представлены основные результаты работы. Основные результаты работы состоят в следующем:

1. На основе проведенного исследования были разработаны и программно реализованы новые устойчивые алгоритмы моделирования участков, представимых в виде карты глубины, и плоских участков поверхности объекта, позволяющие существенно расширить класс объектов, к которым применимы методы построения трехмерных моделей по изображениям с микроскопа.

2. Произведен анализ разработанных методов и алгоритмов на реальных данных, который показывает, что предложенные методы позволяют строить трехмерные модели объектов точнее, чем существующие аналоги.

3. На базе разработанных алгоритмов реализован программный модуль для построения формы поверхности микрообъектов, позволяющий ускорить и автоматизировать производственный процесс в реальных практических приложениях.

Список публикаций

1. Гаганов В. А., Игнатенко А. В. Устойчивое построение трехмерных моделей объектов по набору изображений с микроскопа // Информационные технологии п проектировании и производстве. 2009. Т. 4. С. 5G-G4.

2. Гаганов В. А., Игнатенко А. В. Реконструкция плоских объектов по изображениям с микроскопа // Программные продукты и системы. 2009. Т. 3. С. 78-82.

3. Гаганов В. А., Игнатенко А. В. Трехмерная реконструкция плоских граней прозрачных минералов по набору изображений с микроскопа // Труды конференции Графиком. 2008. С. 227 -233.

4. Gaganov V., Iguateuko A. Robust Shape from Focus via Markov Random Fields // Proceedings of Graphicon Conference. 2009. Pp. 74-80.

5. Гаганов В. А., Игнатенко А. В. Трехмерная реконструкция плоских граней прозрачных объектов но набору изображений с микроскопа // Сборник трудов XV Международной конференции студентов аспирантов и молодых ученых « Ломоносов-2008». 2008. С. 58.

Подписано в печать 18.04.2011 Формат 60x88 1/16. Объем 1.0 п.л. Тираж 100 экз. Заказ № 1100 Отпечатано в ООО «Соцветие красок» 119991 г.Москва, Ленинские горы, д.1 Главное здание МГУ, к. А-102

Введение

Глава 1. Задача построения трехмерной модели по изображениям с микроскопа.

1.1. Моделирование микрообъектов

1.1.1. Особенности изображений с микроскопа.

1.1.2. Методы на основе изображений.

1.2. Обзор существующих методов.

1.2.1. Постановка задачи.

1.2.2. Методы семейства SFD.

1.2.3. Методы семейства SFF.

1.2.4. Мера резкости.

1.2.5. Базовая схема методов SFF.

1.2.6. Уточнение модели.

1.2.7. Сравнение подходов SFF и SFD.

1.3. Недостатки существующих методов семейства SFF.

1.4. Мультифокус изображения.

Объект исследования и актуальность работы

С момента появления первого оптического микроскопа в конце XVI -начале XVII века это устройство плотно вошло в жизнь человека. Сейчас практически невозможно представить себе современное общество без этого изобретения. В данный момент оптические микроскопы находят применение в широком спектре приложений, начиная от рутинных медицинских и биологических исследований, заканчивая контролем качества на высокотехнологичных производствах.

Распространение цифровых видеокамер во второй половине XX века привело к появлению нового класса задач, связанных с оптическими микроскопами. Появление возможности захвата изображений в цифровом формате дало толчок развитию технологий автоматического улучшения и анализа изображений, получепных с помощью микроскопа [1]. Благодаря стремительному росту вычислительных мощностей процессоров круг задач по обработке и анализу изображений с микроскопа расширяется с каждым годом, ставя перед исследователями все новые и новые задачи.

В данной работе рассматривается одна из важнейших проблем в задачах автоматического анализа изображений, полученных с помощью оптического микроскопа, — задача построения трехмерной модели сцены, наблюдаемой с помощью микроскопа. Трехмерная модель сцены незаменима в таких приложениях, как, например, анализ качества на производстве печатных плат, где требуются измерения различных показателей формы поверхности наблюдаемого объекта. Стоит заметить, что реконструкция трехмерных моделей микрообъектов традиционными методами, такими как лазерное сканирование, является затруднительной из-за физических ограничений, налагаемых размерами объектов. Этот факт придает дополнительную актуальность методам построения трехмерных моделей, которые оперируют непосредственно изображениями, полученными с помощью микроскопа.

Задача построения трехмерных моделей объектов по изображениям с микроскопа рассматривается в работе в двух формулировках.

• Построение модели поверхности общего вида — в данной формулировке предполагается, что форма участка поверхности объекта, наблюдаемого с помощью микроскопа, представима в виде карты глубины 1. Тогда по набору изображений с микроскопа требуется построить трехмерную модель участка поверхности объекта.

• Построение модели плоского участка, поверхности объекта — предполагается, что наблюдаемый под микроскопом участок объекта плоский, и требуется оценить положение и ориентацию данного участка поверхности объекта.

Цель диссертационной работы

Целью работы является исследование и разработка методов и алгоритмов построения трехмерных моделей объектов по изображениям с микроскопа, а также создание на основе разработанных методов программной системы для построения трехмерных моделей микрообъектов.

Основные задачи работы:

• Исследование существующих алгоритмов построения трехмерных моделей объектов по изображениям с микроскопа. Разработка метода

1 Картой глубины называется представление трехмерной модели в виде матрицы, в каждой ячейке которой записано расстояние от некоторой фиксированной плоскости в трехмерном пространстве до поверхности объекта. построения трехмерной модели участка поверхности объекта, который представим в виде карты глубины.

• Разработка специализированного метода для оценки положения и ориентации плоского участка поверхности объекта по набору изображений с микроскопа.

• Верификация разработанных алгоритмов путем оценки качества их работы на реальных данных и сравнение предложенных методов с существующими аналогами.

• Разработка программной системы построения трехмерных моделей микрообъектов с применением предложенных методов.

Научная новизна

В рамках диссертации разработан новый метод построения трехмерных моделей участка поверхности объекта, который представим в виде карты глубины. Отличительной чертой предложенного метода является его повышенная устойчивость к ложным данным, часто возникающим в областях поверхности объектов, которые не содержат текстуры, слабо освещенных областях поверхности и в местах присутствия бликов. В работе представлены результаты сравнительного анализа, подтверждающие, что предложенный метод позволяет добиться более устойчивых и точных результатов, чем существующие аналоги.

В рамках решения задачи оценки положения и ориентации плоского участка поверхности объекта предложен новый метод для определения того, можно ли считать замер положения участка сцены надежным. Также предложен метод, позволяющий определить, можно ли по набору трехмерных замеров, содержащему ошибки измерения, осуществить надежную оценку положения и ориентации плоскости. Кроме того, предложенные методы позволяют сделать оценку положения и ориентации плоского участка поверхности объекта более устойчивой к ошибкам в измерениях.

Практическая значимость

Предложенный метод построения трехмерной модели участка поверхности объекта по изображениям с микроскопа существенно расширяет класс объектов, для которых применим данный подход. Существующие методы в основном ориентированы на работу с объектами, отражающие свойства поверхности которых близки к Ламбертовской модели. Предложенный метод позволяет строить корректные модели объектов, состоящих из таких материалов, как металл и стекло, на поверхности которых возможно наличие бликов. Также предложенный метод способен корректно моделировать объекты, на поверхности которых присутствуют области без текстуры, в то время как существующие методы ориентированы на работу с объектами, на поверхности которых видимая текстура присутствует повсеместно.

Разработанный метод определения положения и ориентации плоского участка поверхности объекта позволяет производить оценку плоскости даже при наличии во входных данных шумов и большого количества ошибочных измерений. Разработанный метод определения надежности оценки плоскости позволяет для любых входных данных определить, удалось ли по ним корректно оценить положение и ориентацию плоского участка поверхности объекта.

На основе предложенных методов была создана программная система для моделирования поверхности алмазов и дефектов внутри алмазного сырья. Данная система была интегрирована в программный продукт Oxygen Microscope Server компании-заказчика Octonus Software Ltd. Данный программный продукт активно используется:

• в реальной работе более чем на 20 ограночных заводах таких центров алмазообрабатывающей промышленности, как г. Сурат (Индия) и г. Антверпен (Бельгия);

• в процессе подготовки и обучения специалистов по огранке алмазов в Геммологическом центре Московского государственного университета им. М.В. Ломоносова.

Апробация работы

Основные результаты диссертации докладывались и обсуждались на:

• 18-ой международной конференции по компьютерной графике и машинному зрению «СгарЫсоп'2008», Россия, Москва, 2008;

• 15-ой международной конференции студентов аспирантов и молодых ученых «Ломоносов-2008», Россия, Москва, 2008;

• семинаре по компьютерной графике и мультимедиа под руководством Ю.М. Баяковского (ф-т ВМиК МГУ), Россия, Москва, 2009;

• секции вычислительной математики и кибернетики научной конференции «Ломоносовские чтения-2009», Россия, Москва, 2009;

• 19-ой международной конференции по компьютерной графике и машинному зрению «СгарЬюоп'2009», Россия, Москва, 2009;

• семинаре по компьютерной графике под руководством А.В.Игнатенко (ф-т ВМиК МГУ), Россия, Москва, 2010;

• объединенном семинаре по робототехническим системам ИПМ им. М.В. Келдыша РАН, МГУ им. М.В. Ломоносова, МГТУ им. Н.Э.

Баумана, ИНОТиИ РГГУ и отделения "Программирование"ИПМ им. М.В.Келдыша РАН, Россия, Москва 2010.

Публикации

Материалы диссертации опубликованы в 5 печатных работах: 2 статьи в рецензируемых журналах, рекомендованных ВАК [2, 3], две статьи в сборниках трудов конференций [4, 5], а также тезисы доклада [6].

Структура и объем диссертации

Диссертация состоит из введения, 4 глав, заключения и библиографии. Общий объем диссертации составляет 133 страницы, включая 33 рисунка. Библиография включает 73 наименования.

Основные результаты работы состоят в следующем:

1. На основе проведенного исследования были разработаны и программно реализованы новые устойчивые алгоритмы моделирования участков, представимых в виде карты глубины, и плоских участков поверхности объекта, позволяющие существенно расширить класс объектов, к которым применимы методы построения трехмерных моделей но изображениям с микроскопа.

2. Произведен анализ разработанных методов и алгоритмов на реальных данных, который показывает, что предложенные методы позволяют строить трехмерные модели объектов точнее, чем существующие аналоги.

3. На базе разработанных алгоритмов реализован программный модуль для построения формы поверхности микрообъектов, позволяющий ускорить и автоматизировать производственный процесс в реальных практических приложениях.

Благодарности

Автор выражает благодарность научному руководителю Ю.М. Банковскому и научным консультантам A.B. Игнатенко, В.А. Галактионову и А.Г. Волобою за содействие и помощь в работе, а также всему коллективу лаборатории компьютерной графики и мультимедиа Московского государственного университета им М.В. Ломоносова за плодотворные совместные обсуждения, способствовавшие реализации идей диссертации.

Заключение

1. Юрковед Д. И. Программное обеспечение для количественного морфологического анализа структур по полутоновым изображениям // Кандидатская диссертация. ВМиК МГУ им. М.В. Ломоносова, Москва. 1998.

2. Гаганов В. А., Игнатенко А. В. Устойчивое построение трехмерных моделей объектов по набору изображений с микроскопа // Информационные технологии в проектировании и производстве. 2009. Т. 4. С. 56-64.

3. Гаганов В. А., Игнатенко А. В. Реконструкция плоских объектов по изображениям с микроскопа // Программные продукты и системы. 2009. Т. 3. С. 78-82.

4. Гаганов В. А., Игнатенко А. В. Трехмерная реконструкция плоских граней прозрачных минералов по набору изображений с микроскопа // Труды конференции Графикон. 2008. С. 227-233.

5. Gaganov V., Ignatenko A. Robust Shape from Focus via Markov Random Fields // Proceedings of Graphicon Conference. 2009. Pp. 74-80.

6. Гаганов В. А., Игнатенко А. В. Трехмерная реконструкция плоских граней прозрачных объектов по набору изображений с микроскопа // Сборник трудов XV Международной конференции студентов аспирантов и молодых ученых «Ломоносов-2008». 2008. С. 58.

7. Scharstein D., Szeliski R. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms // Proceedings of ICCV. Vol. 1-3. 2002. Pp. 7-42.

8. Cox I., Hingorani S., Rao S. Maximum Likelihood Stereo Algorithm // Computer Vision and Image Understanding. 1996. Vol. 63.

9. Nayar S., Nakagawa Y. Shape from focus // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1994. Vol. 16. Pp. 824-831.

10. Seitz S., Dyer C. Photorealistic Scene Reconstruction by Voxel Coloring // Proceedings of CVPR. 1997. Pp. 1067-1073.

11. Kutulakos K. N., Seitz S. M. A Theory of Shape by Space Carving // International Journal of Computer Vision. 2000. Vol. 38, no. 3. Pp. 199-218.

12. Eisert P., Steinbach E., Girod B. Multi-hypothesis, Volumetric Reconstruction of 3-D Objects from Multiple Calibrated Camera Views // Proceedings of ICASSP. 1999. Pp. 3509-3512.

13. Hertzmann A., Seitz S. Example-Based Photometric Stereo: Shape Reconstruction with General, Varying BRDFs. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2005. Vol. 27, no. 8. Pp. 1254-1264.

14. Woodham R. Reflectance Map Techniques for Analyzing Surface Defects in Metal Castings, Technical Report AI-TR-457: Tech. rep.: 1978.

15. Subbarao M., Choi T. Accurate recovery of three-dimensional shape from image focus // IEEE Transactions on Pattern Analysis and Machine Intelligence,. 1995. Vol. 17, no. 3. Pp. 266-274.

16. Darrell T., Wohn K. Pyramid Based Depth from Focus // Proc. Computer Vision and Pattern Recognition. 1988. Pp. 504-509.

17. Yun J., Choi T. Accurate 3-d shape recovery using curved window focus measure // Proc. IEEE International Conference on Image Processing. Vol. 3. 1999. Pp. 910-914.

18. Jin H., Favaro P. A variational approach to shape from defocus // Proc. IEEE European Conference on Computer Vision. 2002. Pp. 18-30.

19. Subbarao M., Surya G. Depth from defocus by changing camera aperture: A spatial domain approach // Proc. Computer Vision and Pattern Recognition. 1993. Pp. 61-67.

20. Rajagopalan A. N., Chaudhuri S. Optimal Recovery of Depth from Defo-cused Images Using an MRF Model //In Proc. International Conference on Computer Vision. 1998. Pp. 1047-1052.

21. Xiong Y., Sliafer S. A. Depth from Focusing and Defocusing //In Proc. of the DARPA Image Understanding Workshop. 1993. Pp. 68-73.

22. Nair H., Stewart C. Robust focus ranging // Proc. Computer Vision and Pattern Recognition. 1992. Pp. 309-314.

23. Pentland A. P. A new sense for depth of field // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1987. Vol. 9. Pp. 523-531.

24. Nayar S. K., Noguchi M., Watanabe M., Nakagawa Y. Focus Range Sensors // Proc. of Intl. Conf. on Computer Vision. 1995. Pp. 995-1001.

25. Nayar S. K., Nakagawa Y. Shape from focus: An efficient Approach for Rough Surfaces // Proc. of IEEE Conference on Robotics and Automation. Vol. 16. 1990. Pp. 218-225.

26. Krotkov E. Focusing // International Journal on Computer Vision. 1987. Vol. 1. Pp. 223-237.

27. Ahmad M., Choi T.-S. A heuristic approach for finding best focused shape // IEEE Transactions on Circuits and Systems for Video Technology. 2005. Vol. 15, no. 4. Pp. 566-574.

28. Asif M., sun Choi T. Shape from Focus Using Multilayer Feedforward Neural Networks // IEEE Transactions on Iamge Processing. 2000. Vol. 10. Pp. 1670-1675.

29. Aydin T., Akgul Y. A New Adaptive Focus Measure for Shape From Focus // Proc. British Machine Vision Conference. 2008.

30. Niederoest M., Niederoest J., Scucky J. Automatic 3D Reconstruction and Visualization of Microscopic Objects from a Monoscopic Multifocus Image Sequence // Proc. International Workshop on Visualization and Animation of Reality based 3D Models. 2002.

31. Fedorov D., Sumengen B., Manjunath B. S. Multi-focus imaging using local focus estimation and mosaicking // Proc. IEEE International Conference on Image Processing. 2006. Pp. 227-231.

32. Li H., Manjunath B. S., Mitra S. K. Multisensor image fusion using the wavelet transform // Proc. IEEE International Conference on Image Processing. 1994. P. 51-55.

33. Eltoukhy H. A., Kavusi S. A computationally efficient algorithm for multi-focus image reconstruction //In Proc. SPIE. Electronic imaging. 2003. Pp. 332-341.

34. Forster B., Ville D. V. D., Berent J. et al. Extended Depth of Focus for Multi-Channel Microscopy Images: A Complex Wavelet Approach // Proceedings of the 2004 IEEE International Symposium on Biomedical Imaging. 2004. Pp. 660-663.

35. Seales W., Dutta S. Everywhere-in-focus image fusion using controllable cameras //In Proc. of SPIE. 1996. Pp. 227-234.

36. Boykov Y., Jolly M. Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D Images. //In Proc. International Conference On Computer Vision. 2001. Pp. 105-112.

37. Boykov Y., Veksler 0., Zabih R. Fast Approximate Energy Minimization via Graph Cuts // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001. Vol. 23, no. 11. Pp. 1222-1239.

38. Geman S., Geman D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1984. Vol. 6. Pp. 721-741.

39. Boykov Y., Veksler O., Zabih R. Markov Random Fields with Efficient Approximations. //In Proc. Computer Vision and Pattern Recognition. 1998. Pp. 648-655.

40. Kolmogorov V., Zabih R. What energy functions can be minimized via graph cuts // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004. Vol. 26. Pp. 65-81.

41. Perez P. Markov random fields and images // CWI Quarterly. 1998. Pp. 413-437.

42. Ishikawa H. Exact optimization for markov random fields with convex priors // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003. Vol. 25. Pp. 1333-1336.

43. Boykov Y., Kolmogorov V. An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001. Vol. 26. Pp. 359-374.

44. Shotton J., Winn J., Rother C., Criminisi A. TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation // In Proc. of ECCV. 2006. Pp. 1-15.

45. Szeliski R., Zabih R., Scharstein D. et al. A comparative study of energy minimization methods for Markov random fields //In Proc. of ECCV. 2006. Pp. 16-29.

46. Yedidia J., Freeman W., Weiss Y. Generalized belief propagation //In Proc. of NIPS. 2000. P. 689-695.

47. Kolmogorov V. Convergent Tree-reweighted Message Passing for Energy Minimization // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. Vol. 28. Pp. 1568-1583.

48. Rother C., Kumar S., Kolmogorov V., Blake A. Digital tapestry // In Proc. of Computer Vision and Pattern Recognition. 2005. Pp. 589-596.

49. Hampel F. R., Rousseeuw P. J., Ronchetti E., Stahel W. A. Robust Statistics: The Approach Based on Influence Functions // Wiley Series in Probability and Statistics. 1986.

50. Haralick R. M., Joo H., Lee C.-N. et al. Pose estimation from corresponding data // IEEE Trans. Systems Man Cybernetics. 1989. Vol. 19. Pp. 1426-1446.

51. Stewart C. Robust parameter estimation in computer vision // SIAM Review. 1999. Vol. 1, no. 3. Pp. 513-537.

52. P. J.Rousseeuw. Least median of squares regression // Journal of the American Statistical Association. 1984. Vol. 79. Pp. 871-880.

53. Bernholt T. Computing the least median of squares estimator in time O(nd) // Proceedings of ICCSA 2005, LNCS 3480. 2005. Pp. 697-706.

54. Olson C. An Approximation Algorithm for Least Median of Squares Regression // Information Processing Letters. 1997. Vol. 63. Pp. 237-241.

55. Duda R. O., Hart P. E. Use of the Hough Transformation to Detect Lines and Curves in Pictures // Communications of the ACM. 1979. Vol. 15. P. 11-15.

56. J.Illingworth, J.Kittler. A survey of the Hough transform //In Proc. of CVGIP. Vol. 44. 1988. Pp. 87-116.

57. Fernandes L. A., Oliveira M. M. Real-time line detection through an improved Hough transform voting scheme // Pattern Recognition. 2004. Vol. 41, no. 9. Pp. 299-314.

58. M.A.Fischler, R.C.Bolles. Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography // In Communications of the ACM. 1981. Vol. 24, no. 6. Pp. 381-395.

59. P.H.S.Torr, A.Zisserman. MLESAC: A New Robust Estimator with Application to Estimating Image Geometry // In Proc. of CVIU. Vol. 78. 2000. Pp. 138-156.

60. Myatt D., Torr P., Nasuto S., Craddock. R. NAPSAC: High Noise, High Dimensional Robust Estimation //In Proc. BMVC. 2002. Pp. 458-467.

61. Chum O., Matas J. Randomized RANSAC with T(d,d) test. // In Proc. BMVC. 2002. Pp. 448-457.

62. Chum O., Matas J., Kittler J. Locally Optimized RANSAC. // In Proc. 25th Pattern Recognition Symposium (DAGM). 2003. Pp. 236-243.

63. Friedman J., Hastie Т., Tibshirani R. Additive Logistic Regression: a Statistical View of Boosting // Annals of Statistics. 1998. Vol. 28. R 2000.

64. Schapire R., Freund Y., Bartlett P., Lee. W. S. Boosting the margin: A new explanation for the effectiveness of voting methods // In Machine Learning: Proceedings of the Fourteenth International Conference. 1997.

65. Breiman L. Bagging Predictors // Machine Learning. 1996. Pp. 123-140.

66. Burges C. J. C. A tutorial on support vector machines for pattern recognition // Data Mining and Knowledge Discovery. 1998. Vol. 2. Pp. 121-167.

67. Ninomiya H., Sasaki A. A Study on Generalization Ability of 3-Layer Recurrent Neural Networks // Proc. of IJCNN. 2002. Pp. 1063 1068.

68. Rowley H. A., Member S., Baluja S., Kanade T. Neural Network-Based Face Detection // IEEE Transactions On Pattern Analysis and Machine intelligence. 1998. Vol. 20. Pp. 23-38.

69. Viola P., Jones M. Robust real-time face detection // International Journal of Computer Vision. 2004. Vol. 57. Pp. 137-154.

70. Japkowicz N., Stephen S. The class imbalance problem: a systematic study // In Proc. of IDAJ. 2002. Pp. 429-450.

71. Вежневец В. П. Оценка качества работы классификаторов, http:// cgm.computergraphics.ru/content/view/106.

72. Laurentini A. The visual hull concept for silhouette-based image understanding // IEEE Trans. Pattern Analysis and Machine Intelligence. 1994. P. 150-162.

73. Intel Integrated Performance Primitives, http: //software. intel. com/ en-us/articles/intel-ipp.