автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Алгоритмическое и программное обеспечение мультипроцессорных систем для распознавания графических образов на основе нейросетевого подхода

На правах рукописи

ТИЩЕНКО ИГОРЬ ПЕТРОВИЧ

АЛГОРИТМИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ МУЛЬТИПРОЦЕССОРНЫХ СИСТЕМ ДЛЯ РАСПОЗНАВАНИЯ ГРАФИЧЕСКИХ ОБРАЗОВ НА ОСНОВЕ НЕЙРОСЕТЕВОГО ПОДХОДА

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Переславль-Залесский 2009

1 2 Г.]¿р 2^3

003463736

Работа выполнена в Исследовательском центре искусственного интеллекта Учреждения Российской академии наук Института программных систем РАН.

Научный руководитель - Хачумов Вячеслав Михайлович, профессор, доктор технических наук.

Официальные оппоненты:

Новосельцев Виталий Борисович, доцент, доктор физико-математических наук, Славин Олег Анатольевич, кандидат технических наук.

Ведущая организация: ФГУП «Российский научно-исследовательский институт космического приборостроения»

Защита состоится 20 марта 2009 г. в 13 часов на заседании Диссертационного совета ДМ 002.084.01 при Учреждении Российской академии наук Институте программных систем РАН по адресу: 152020, Ярославская обл., Переславский район, с. Веськово, ул. Петра Первого, д. 4а.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии наук Института программных систем РАН.

Автореферат разослан «(3 » дэг&^ЛЯ 2009 г. Автореферат размещен на сайте ИПС РАН ЬИр:/\у\у\у.Ьо11к.ги/Р81

Ученый секретарь диссертационного

совета, кандидат технических наук,

С.М. Пономарева

Общая характеристика работы Актуальность работы

В России проводится большая работа по проектированию суперкомпьютеров, средств распараллеливания вычислительных процессов и созданию прикладных программных систем на их основе. С созданием отечественных мультипроцессорных систем появилась возможность построения программных комплексов для решения различных сложных задач требующих больших временных ресурсов, таких как: расчеты обтеканий тел, моделирование процессов горения, расчет движения и столкновения многих объектов и т.д. Одна из актуальных задач алгоритмического обеспечения мультипроцессорных систем связана с обработкой потоков данных, доставляемых из космоса средствами технического зрения (СТЗ) с целью обнаружения заданных объектов (летательных аппаратов, регионов, сооружений и т.д.). Под потоком понимается последовательность снимков, преобразованных к цифровой форме. В силу высокой сложности решение задачи целесообразно разбить на ряд последовательных этапов (предварительная обработка снимка, выделение объектов, получение интегральных информативных параметров, кластеризация, распознавание, определение местоположения и ориентации), каждый из которых имеет самостоятельное значение, но может быть использован, при необходимости, как составная часть общего алгоритма. При этом существенную в вычислительном отношении долю составляют средства интеллектуальной обработки графической информации, которые целесообразно реализовать на мультипроцессорной системе. Большой вклад в развитие теории распознавания образов внесли российские ученые: Ю.И. Журавлев, Э.М. Браверман, Л.И. Розоноэр, М.А. Айзерман, В.А. Сойфер, В.Л. Матросов, В.Н. Вапник, А.Я. Червоненкис, А.Н. Горбань, М.Ю. Хачай, Н.Г Загоруйко и др. Известны различные методы распознавания образов: детерминистские, структурные (лингвистические), статистические. В последнее время большое распространение получили методы, основанные на математическом аппарате искусственных нейронных сетей (ИНС). Одно из направлений обработки изображений связано с ИНС, которые эффективно фильтруют данные (сеть Хопфилда), распознают графические образы (сеть Хемминга, многослойный

персептрон), кластеризуют объекты (сеть Кохонена), а также выполняют другие немаловажные функции. Существенный вклад в развитие теории нейронных сетей и нейрокомпьютеров внесли А.Н. Горбань, А.И. Галушкин, Е.М. Миркес, В.Г.Редько, В.Г. Яхно и др.

Реализация программного обеспечения может осуществляться в виде пакетов прикладных программ, библиотек прикладных или системных программных средств. На данный момент существует множество программных пакетов, с помощью которых можно проектировать, настраивать и применять ИНС для решения различных задач, например, Neurooffice, Neuro Emulator, BrainMaker, Neural 10, Neural Planner, Mathlab и др. Специально для обработки данных ДЗЗ разработаны современные программные комплексы: ENVI (Environment for Visualizing Images), ER Mapper, ERDAS Imagine. Кроме этого имеются библиотеки для обработки и распознавания, такие как OpenCV, LTI, VXL и др. Однако перечисленные нейропакеты и программные комплексы не рассчитаны на потоковую обработку снимков и на использование параллельных вычислителей. Решение же практических задач требует быстрого анализа последовательности изображений большого формата, доставляемых СТЗ. С появлением отечественных мультипроцессорных систем стала актуальной задача построения программных систем, ориентированных на параллельную обработку снимков с целью ускорения процессов выделения и распознавания требуемых объектов.

Как показывают проведенные экспериментальные исследования, и накопленный опыт, возможности ИНС при работе с реальными космическими снимками весьма ограничены и раскрываются только в сочетании с другими сопутствующими алгоритмами. Для успешного функционирования ИНС необходимо выполнить предварительные преобразования изображений, направленные на выделения информативных признаков. Среди таких преобразований можно отметить особые классы сегментации, выделения и нормализации локальных объектов. Для выделения объектов часто используют метод сканирующего окна, который предполагает знание размеров и ориентации объекта, что достаточно трудоемко для объектов имеющих случайное местоположение, различную размерность и масштаб. Таким образом, необходимы

новые эффективные алгоритмы и программные средства обработки космических снимков, хорошо сочетающиеся с нейросетевыми методами распознавания и суперкомпьютерными технологиями параллельных вычислений.

Предлагаемое в рамках настоящей работы алгоритмическое и программное обеспечение основывается на разработке параллельных алгоритмов ИНС и предварительной обработки изображений, при этом учитываются возможности современных технологий параллельного программирования и аппаратных средств отечественного суперкомпьютера типа «СКИФ». Задача программного обеспечения заключается в предоставлении пользователю возможностей компоновки программных компонентов ИНС, средств обработки изображений и их интеграции для решения прикладных задач распознавания графических образов, как на ПЭВМ, так и на суперкомпьютере. Программный комплекс содержит удобные, понятные пользователю и одновременно с этим, мощные средства создания задач распознавания графических образов.

Цель работы

Целью диссертационной работы является: разработка алгоритмического и программного обеспечения как суперкомпьютерной технологии, направленной на повышение скорости и качества работы искусственных нейронных сетей при решении задач обнаружения и распознавания локальных объектов с использованием кластерных вычислительных систем; создание на этой основе прикладного программного комплекса автоматического распознавания графических объектов на космических снимках.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Разработка метода автоматического выделения объектов с использованием адаптивного преобразования цветных космических снимков с последующим анализом гистограмм или выделением границ;

2. Разработка методов автоматической «сборки» и нормализации выделенных локальных объектов;

3. Исследование в составе ИНС Кохонена метрик Махаланобиса и Евклида-Махаланобиса, распараллеливание алгоритмов её функционирования;

4. Разработка программного обеспечения мультипроцессорных систем в виде программного комплекса для решения задач выделения и распознавания объектов на космических снимках на основе нейросетевого подхода.

Методы исследования

В работе для проведения исследований были использованы математические методы обработки изображений и распознавания образов, математический аппарат искусственных нейронных сетей, методы теории алгоритмов, машинной графики, концепции и методы параллельного программирования.

Научная новизна

1. Разработаны новые методы автоматического выделения и нормализации объектов, расширяющие возможности нейронной сети Кохонена до неокогнитрона.

2. Разработаны и исследованы методы ускорения работы нейронной сети Кохонена с учетом технологий параллельного программирования и аппаратных средств отечественного суперкомпьютера кластерного типа, позволяющие масштабировать время решения задач кластеризации и распознавания.

3. Впервые применены и исследованы в составе ИНС Кохонена метрики Махаланобиса и Евклида-Махаланобиса, которые, как показывают эксперименты, замедляют работу сети, но повышают точность кластеризации при обработке космических снимков.

4. Разработан и реализован программный комплекс автоматического распознавания графических объектов, отличающийся от известных систем наличием гибкой моделирующей среды, настраиваемой на

решение задач обработки космических снимков с использованием кластерных вычислительных устройств.

Практическая значимость работы

Практическая значимость результатов работы определяется их применимостью для решения задач обнаружения объектов на космических снимках, что отражено в научных отчетах выполненных актуальных исследований в рамках:

1) проектов РФФИ (№ 07-07-12029-офи «Создание интеллектуальной технологии для анализа данных и распознавания образов», № 06-07-89083а «Разработка новых методов непрерывной идентификации и прогнозирования состояний динамических объектов на основе интеллектуального анализа данных»)

2) программы Союзного государства «Развитие и внедрение в государствах-участниках Союзного государства наукоёмких компьютерных технологий на базе мультипроцессорных вычислительных систем», шифр «ТРИАДА» (проект ПР5 «Разработка новых алгоритмов, принципов создания систем обработки изображений и другой информации от космических средств наблюдения, ориентированных на применение многопроцессорных вычислительных кластеров повышенной вычислительной мощности», подпроект «Программная система для распознавания графических образов на основе моделей искусственных нейронных сетей»).

Разработанная в настоящей работе интеллектуальная технология и программный комплекс на ее основе предоставляют пользователю возможности интеграции имеющихся модулей в определенную технологическую цепочку для решения задач распознавания графических образов с применением суперкомпьютеров семейства «СКИФ». Отдельные алгоритмы и инструментальные средства, в том числе графический интерфейс, алгоритмы нормализации и выделения объектов могут иметь самостоятельное значение и использоваться в других системах анализа изображений. Возможные области применения программного комплекса: обработка потоков космических снимков, задачи

мониторинга состояния сложных технических систем, использование в качестве компоненты робототехнических систем.

Апробация работы н публикации

Основные результаты работы докладывались и обсуждались на следующих конференциях и семинарах:

• международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» в г. Санкт-Петербург (2006);

• 9-я международная конференция "Распознавание образов и анализ изображений: новые информационные технологии (РОАИ-9-2008) в г. Нижний Новгород (2008);

• 8-я международная конференция «Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (САЕ>/САМ/РВМ-2008) в г. Москва (2008);

• семинары Исследовательского центра искусственного интеллекта ИПС РАН в г. Переславль-Залесский (2006-2008).

Основные результаты диссертации отражены в семи печатных работах, в том числе в трудах трех научных конференций и четырех статьях, включая две публикации [1,2] в изданиях из списка ВАК.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Общий объем основного текста диссертации 104 страницы, список литературы состоит из 75 наименований. В работе содержатся 49 рисунков и 12 таблиц.

Содержание работы

Во введении дается постановка задачи диссертационной работы, приводится обоснование ее актуальности и новизны, сформулированы основные задачи, методы решения.

В первой главе выполнен обзор алгоритмов распознавания графических образов и осуществлен выбор программного обеспечения для их параллельного выполнения на кластерной установке. Приведена классификация изображений, используемых в аэрокосмической области (многоспектральные, полутоновые, бинарные; числовые данные). Дан анализ комплекса основных методов предобработки изображений, содержащего поэлементные и интегральные преобразования. Выделены два метода сегментации изображений: разбиением и группировкой. Рассмотрены особенности методов распознавания графических образов, включая: структурные методы, деревья решений, байесовский метод классификации, нейронные сети. Приведены описания основных нейронных сетей, выделены их достоинства и недостатки. Дан обзор современных программных комплексов на основе нейронных сетей. Рассмотрены особенности решения задач распознавания с использованием высокопроизводительных вычислительных средств. Выполнен сравнительный анализ технологий и языков параллельного программирования для реализации нейросетевых алгоритмов на кластерной установке, включая: стандарт ОрепМР, систему DVM, стандарт MPI, язык МС#, язык Т++. Проведенные сравнения позволили отдать преимущество стандарту MPI. На основе выполненного аналитического обзора сформулированы выводы, определены направления исследований и задачи диссертационной работы.

Во второй главе разрабатывается алгоритмическое обеспечение в виде технология автоматического выделения объектов на снимках космического назначения.

Предлагаемая технология содержит три главных этапа: преобразование исходного изображения в полутоновое, выделение объектов и нормализацию. Рассмотрим каждый их этих этапов. Перевод цветного изображения в полутоновое выполняется, как правило, с использованием одной их следующих формул:

/?+<?+д

3

1 =0.299-./? +0.587-С+ 0.114-В,

(2) (3)

ыкг-я + ке-с + кь-в

г

Однако, стандартные преобразования (1), (2) не учитывают общих характеристик изображений в целом, а преобразование (3) требует ручного подбора коэффициентов Кг, и Кь. Причем, как показывают эксперименты, выбор

формул (1)-(3) влияет на последующий этап выделения объектов. Заслуживает внимания метод адаптивного преобразования цветного изображения в полутоновое, как часть предложенного метода выделения объектов. Для построения адаптивного преобразования предлагается использование метода главных компонент (МГК). Применительно к изображениям МГК содержит следующие операции:

1) нахождение матрицы парных корреляций между различными составляющими (красная, синяя и зеленая) изображения;

2) нахождение собственных значений и соответствующих собственных векторов матрицы;

3) нахождение максимального собственного значения для выбора новой оси проекции яркостей изображения и пересчет значений входного пространства признаков с использованием соответствующего собственного вектора;

Дополнительно к пунктам 1)-3) выполняется операция линейного преобразования (контрастирования), необходимая для нормирования проекции.

Второй этап предлагаемой технологии опирается на метод отделения фона от объектов с помощью гистограмм, построенных по результатам первого этапа и, в свою очередь содержит несколько взаимосвязанных процедур (собственно удаление фона, устранение полостей, склеивание). Исследованы три основных алгоритма удаления фона: интервальный, циклический и с использованием эталонов. Примеры применения данных алгоритмов показаны на рис. 1.

Рисунок 1. Результаты удаления фона

Интервальный метод

Исходное изображение

Циклический метод

С использование эталонов

Схема формирования задачи выделения объектов средствами специального языка графического интерфейса программного комплекса, показана на рис.2, и содержит следующие модули:

1) преобразование цветного изображения (RGB2Grayscale);

2) удаление фона с использованием гистограммы (hist_delete_using_etalons);

3) маркировка объектов переднего и заднего планов (Mark Data Entities);

4) устранение полостей (Remove Holes);

5) склейка сегментов (Merge Data Entities).

Из рис. 2 видно, что некоторые операции технологии выделения объектов могут выполняться параллельно на кластерной установке. Процедура маркировки объектов выполняется с использованием линейного метода связных компонент. Предложена модификация этого метода, выполняющаяся после первого обхода изображения, с целью экономии памяти и оптимизации последующих вычислений. Алгоритм устранения образовавшихся в ходе удаления фона полостей в промаркированных объектах учитывает цветовые составляющие объектов переднего и заднего планов и множественность их вложений друг в друга. Для этого строится граф связности смежных областей переднего и заднего планов, при

11

этом номера областей берутся из соответствующих маркировок объектов. В процессе удаления фона возможно разделение объектов на несколько составных частей. Поэтому предлагается процедура «сборки» объектов на изображении, учитывающая следующие параметры: усредненный цвет объектов, расстояния между центрами масс объектов, отношения между площадями объектов, количество объединяемых фрагментов.

Второй этап может быть выполнен по альтернативной схеме сегментации изображения на основе выделения границ, содержащей следующие модули (рис. 3):

1) преобразование цветного изображения (RGB2Grayscale);

2) выделение границ на изображении (Sobel Edge Detector);

3) бинаризация границ (Canny Edge Detector);

4) выделение сегментов (Mark Data Entities From Matrix);

5) присоединение границ к сегментам (Edges 2 Data Entities);

6) склейка сегментов (Merge Data Entities).

Рисунок 2. Схема выделения объектов с Рисунок 3. Схема выделения объектов использованием гистограммы на основе выделения границ

Рассмотрены основные методы «сглаживания» изображения (усредняющий фильтр, сглаживающие маски, медианная фильтрация, гауссовское сглаживание) и выделения границ (дифференциальные маски и дифференциальные операторы). Для нахождения как значений градиентов, так и их направлений используется метод Собеля (Sobel). Исследованы основные алгоритмы бинаризации полученных границ: по порогу и специальными методами. В результате анализа выбран алгоритм Кении (Canny), являющийся наиболее эффективным. Часть границ после применения алгоритма содержит разрывы, что не позволяет выделять объекты. Предложены модификации алгоритма: без использования техники сужения границ (рис. 4) и с использованием операции бинарной морфологии. Разработан алгоритм присоединения границ к сегментам по цветовым характеристикам. Процедура склейки объектов выполняется аналогично. Примеры «сборки» распавшихся объектов показаны на рис. 5.

Рисунок 4. Выделение границ

Рисунок 5. Примеры «сборки» объектов

На третьем этапе осуществляется нормализация размеров и положений выделенных объектов на основе построения линий положения. Техника поворота изображения с использованием линии положения позволяет производить корректное совмещение объектов с эталонами для решения задачи распознавания, что повышает возможности нейронной сети до уровня неокогнитрона. После проведения нормализации выделенный объект подается на вход нейронной сети для распознавания.

В третьей главе рассмотрены особенности настройки и параллельной реализации ИНС Кохонена при выполнении операций распознавания и кластеризации с применением кластерных установок.

Задача распознавания в соответствии с предложением Ю.И.Журавлева формулируется следующим образом. Пусть дано множество М объектов [щ }; на этом множестве имеется разбиение на конечное число подмножеств (классов)

0.к,к = \,т, (^Пд. = М . Каждый класс С1к имеет внутреннюю структуру, ы 1

например, в виде некоторого множества объектов-эталонов. Объекты задаются

значениями некоторых признаков хр] = 1,Ы (этот набор всегда один и тот же для

всех объектов, рассматриваемых при решении задачи). Совокупность значений

14

признаков х] определяет описание объекта /(&>) = {х1,х2,...,х^/}. Информация о вхождении некоторого объекта со в какой-либо класс представляется в виде информационного вектора 7(«) = |/1(«),/2(су),...,/т(й))|, где 4(й)) несет информацию о принадлежности объекта со к классу :

1, аеПк О, ычПк

Д, если неизвестно а е С1к или а>(0.к

Решение о принадлежности ю объекта классу принимается на основе

сравнения расстояний между объектом и классами. Расстояния могут быть получены с помощью разнообразных метрик: евклидовой, Махаланобиса, Евклида-Махаланобиса, семейства метрик Минковского и т.д.

Задача кластеризация предназначена для объединения объектов в непересекающиеся группы (кластеры, классы, множества) «близких» объектов, каждый из которых характеризуется набором из п признаков. Узловым моментом здесь также считается выбор метрики (или меры близости объектов), от которого существенным образом зависит вариант разбиения объектов на группы при заданном алгоритме разбиения.

Схема подключения и структура ИНС Кохонена, предназначенной для кластеризации растровых изображений, представлены на рис.6.

Рисунок 6. Схема подключения ИНС Кохонена 15

Техника преобразования цветного изображения в вектор с использованием канала прозрачности изображения позволяет обрабатывать цветные изображения без учета пикселей, не принадлежащих объекту. Разработаны алгоритмы оптимальной загрузки КВУ для выполнения счета в соответствии с ИНС Кохонена в зависимости от соотношения числа векторов-кластеров и процессов (рис. 7).

а) б)

Рисунок 7. Блок-схемы работы параллельных программ

На рис. 8 показаны соответствующие графики скорости обучения нейронной сети Кохонена в зависимости от числа процессов при 10000 итерациях.

1400 1200 1000 8 «оо & 600 400

гоо о

а) б)

Рисунок 8. Результат испытаний ИНС Кохонена с метрикой Евклида

Исследованы возможности интеграции ИНС Кохонена с метриками Махаланобиса и Евклида-Махаланобиса. Для настройки нейронной сети Кохонена с данными метриками предложен следующий алгоритм обучения:

А1) Веса связей (i = l..n,j' = l..m) устанавливаются случайным

образом в области допустимых значений. А2) На вход сети подается случайно взятый вектор х из обучающей выборки.

A3) Для каждого нейрона-кластера су вычисляются расстояния между его вектором весов w, =(wly,w2j.,...,w„y) и входным вектором

xj={xij>xij>->x»i) по формуле dj = ^j(Wj-x)T А~'(ч/j-х) , где А, = Е.

А4) Находится нейрон-победитель сj с минимальным расстоянием: min(i/j) ,j = l..m.

А5) Для нейрона-победителя су и его соседей из некоторой окрестности

производится коррекция весовых значений с определенной нормой

17

..................-....................................-............. ; 150 • ........................

2 1 A S б 7 в 9 10 j И 12 13 14 15 16 17 13 19 20 21 22 2} 24 25 26 27

Ноя ичестм процесс о* ! Количество процессе*

по формуле + = + где: и-Д/) -

значение весового коэффициента, /¡(/,7) - значение функции

окрестности нейрона-победителя и е(г) - коэффициент скорости

обучения в момент времени Г, х1. - элемент входного вектора х .

А6) Уменьшить коэффициент скорости обучения . Если е(() больше

установленного порога, то идти на пункт 2), иначе на пункт 7). А7) Для всех векторов из обучающей выборки определить их принадлежность к найденным кластерам.

А8) Вычислить обратные матрицы А] = (с, + Е), где С, - матрица

ковариаций у -го класса, которая строится на основе распределения векторов обучающей выборки по классам. Алгоритм распознавания:

В1) На вход сети подается вектор - кандидат на распознавание. В 2) Для каждого нейрона-кластера cJ вычисляются расстояния с1)

между его векторами весов и входным вектором х .

ВЗ) Находится нейрон-победитель с} с минимальным расстоянием

Результаты распараллеливания пунктов А7), А8) алгоритма обучения и пунктов В1)-В3) алгоритма распознавания как самых трудоемких показаны на рис.9 и рис.10 соответственно. Проведен эксперимент по распознаванию 96 автоматически развернутых (нормированных) изображений с обучающей выборкой содержащей 21 эталонных изображений (7 классов по 3 изображения).

Рисунок 9. Результат распараллеливания Рисунок 10. Результат распараллеливания процедур А7), А8) алгоритма обучения процедур В1)-В3) алгоритма

распознавания

Использование метрики Евклида-Махаланобиса дает некоторое улучшение по точности кластеризации объектов, выделенных на космических снимках, но существенно уступает по быстродействию метрике Евклида. Этот недостаток устраняется применением программно-аппаратных средств мультипроцессорных систем.

В четвертой главе дано описание программного обеспечения кластерной установки в виде программного комплекса обработки космических снимков, общая структура которого приведена на рис. 11.

Рисунок 11. Структура программного комплекса 19

Комплекс состоит из следующих компонентов: моделирующая среда; графический интерфейс; модули параллельных реализаций ИНС, фильтров и других специальных алгоритмов. Моделирующая среда наследована из архитектуры программной системы «ПС ИНС», выполненной в рамках проекта Союзного государства ПР5, и предназначена для представления и обработки входных данных в соответствии с задачей пользователя.

Графический интерфейс программного комплекса предназначен для быстрого и гибкого формирования задач выделения и распознавания объектов на космических снимках (рис. 12).

»у Ие йелюь £<*( ТооЬ Щ"*™* Уе1р

М<хУез

Рагате(егэ

Ьдсо1ог_гв<1: ¡0 Ьдозк)г_згв«п: ¡0 Ья<якг_Ыц*: О

Рисунок 12. Главное окно графического интерфейса

Выполнено тестирование разработанного программного обеспечения на серии (потоке) космических снимков с распознаванием летательных объектов (самолетов), которое показало эффективность предложенных методов параллельной и конвейерной обработки. Пример распознавания объектов одного космического снимка приведен нарис.13.

Рисунок 13. Пример обработки космического снимка

Результат тестирования на кластерной установке СКИФ «Первенец-М» (16 узлов) для последовательности из 15 снимков показан в табл. 1.

Таблица 1

Результаты тестирования _

Количество процессов Время (сек) Ускорение

2 192,84 1

3 147,58 1,306681

4 114,49 1,684339

5 106,33 1,813599

6 90,47 2,131535

7 87,72 2,198358

8 73,37 2,628322

9 72,59 2,656564

10 62,82 3,069723

11 61,86 3,117362

12 57,79 3,336909

13 56,85 3,392084

В заключении перечислены основные результаты, полученные в рамках диссертационной работы.

Основные результаты и выводы

Основным результатом диссертации явилось создание алгоритмического и программного обеспечения мультипроцессорных систем, реализующего новую технологию нейросетевого распознавания объектов на космических снимках. Решены следующие задачи:

1. Разработан адаптивный подход преобразования цветных изображений в полутоновые на основе метода главных компонент, который позволяет получать более контрастные изображения по сравнению со среднестатистическими формулами преобразования.

2. Предложены и реализованы два метода выделения объектов-кандидатов на распознавание: с удалением фона на основе гистограммы и с помощью выделения границ. Показано, что метод на основе гистограмм позволяет быстрее выделить объекты, однако он чувствителен к изменениям яркости.

3. Разработан алгоритм «сборки» объектов, распавшихся на отдельные части в результате предварительной обработки, который обеспечивает повышение точности и скорости распознавания.

4. Разработаны специальные методы кластеризации выделенных объектов на основе сети Кохонена, впервые использующие метрики Махаланобиса и Евклида Махаланобиса. Показано, что использование данных метрик дает некоторое улучшение по точности кластеризации объектов, выделенных на космических снимках, но приводит к снижению быстродействия по сравнению с метрикой Евклида.

5. Разработаны и исследованы схемы параллельного выполнения нейросетевого алгоритма Кохонена с метриками Евклида и Евклида-Махаланобиса, обеспечивающие ускорение обучения и распознавания с ростом числа вычислительных процессов.

6. Показано, что интеграция алгоритмов выделения и нормализации объектов с ИНС Кохонена позволяет получать сеть неокогнитронного типа.

7. Разработан программный комплекс нейросетевого распознавания объектов на космических снимках, функционирующий на мультипроцессорных системах семейства СКИФ.

Публикации по теме диссертации

1. Виноградов А.Н., Калугин Ф.В., Недев М.Д., Погодин C.B., Талалаев A.A., Тищенко И.П., Фраленко В.П., Хачумов В.М. Выделение и распознавание локальных объектов на аэрокосмических снимках. — Авиакосмическое приборостроение, 2007, № 9, с.39-45.

2. Тищенко И.П. Параллельная кластеризация цветных изображений на основе нейронной сети Кохонена с использованием суперкомпьютера семейства «СКИФ». - Нейрокомпьютеры: разработка, применение, 2008, №9, с.30-34.

3. Талалаев A.A., Тищенко И.П., Фраленко В.П., Хачумов В.М. Анализ эффективности искусственных нейронных сетей. - Искусственный интеллект и принятие решений, 2008, №2, с.24-33.

4. Виноградов А.Н., Коданев И.В., Талалаев A.A., Тищенко И.П., Хачумов В.М., Щербаков A.B. Библиотека нейронных сетей для распознавания графических образов на кластерном вычислительном устройстве. - Сб. трудов 2-ой Международной научн.-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (07-09.02.2006, Санкт-Петербург). - Санкт-Петербург: Издат.-во Политехнического университета, 2006, с.8-10.

5. Talalaev A.A., Tishchenko I.P., Fralenko V.P., Khachumov V.M. Neural methods in aerospace systems. - 9th International Conference "Pattern Recognition and image analysis: New Information Technologies" (PRIA-9-2008): Conference proceedings (Nizhni Novgorod, 14-20.09.2008). - H. Новгород: Издат.-во "Диалог Культур", т. 2, 2008, с.193-196.

6. Тищенко И.П. Графический интерфейс ПС ИНС. - Тезисы докладов VIII международной конференции «Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта» (CAD/CAM/PDM-2008, Москва, ИПУ РАН, 21 - 23 октября 2008). - Материалы 8-й

международной конференции. - М.: Институт проблем управления РАН, 2008, с. 16-19.

7. Талалаев А.А., Тищенко И.П., Хачумов М.В. Выделение и кластеризация текстовых и графических элементов на полутоновых снимках. -Искусственный интеллект и принятие решений, 2008, №3, с.72-84.

Личный вклад автора в работах, опубликованных в соавторстве, заключается в следующем: в [1] автору принадлежит описание метода удаления фона с использованием гистограмм; в [3] - использование графического интерфейса для формирования задачи распознавания объектов на панорамных снимках и метода главных компонент для преобразования цветного изображения в полутоновое; в [4] - реализация ИНС Кохонена; в [5] - технология выделения объектов на изображении; в [7] - кластеризация изображений с использованием ИНС Кохонена.

ВВЕДЕНИЕ.

ГЛАВА 1. Аналитический обзор современных алгоритмов распознавания графических образов и технологий параллельного программирования.

1.1. Классы графических образов.

1.2. Методы предобработки данных.

1.3. Методы сегментации изображений.

1 .4. Методы распознавания графических образов.

1.5. Программные системы распознавания на основе нейронных сетей.

1.6. Особенности решения задач распознавания с использованием высокопроизводительных вычислительных средств.

1.7. Технологии параллельного программирования.

1.8. Архитектура программной системы «ПС ИНС».

Актуальность работы

В России проводится большая работа по проектированию суперкомпьютеров, средств распараллеливания вычислительных процессов и созданию прикладных программных систем на их основе. С созданием отечественных мультипроцессорных систем появилась возможность построения программных комплексов для решения различных сложных задач требующих больших временных ресурсов, таких как: расчеты обтеканий тел, моделирование процессов горения, расчет движения и столкновения многих объектов и т.д. Одна из актуальных задач алгоритмического обеспечения мультипроцессорных систем связана с обработкой потоков данных, доставляемых из космоса средствами технического зрения (СТЗ) с целью обнаружения заданных объектов (летательных аппаратов, регионов, сооружений и т.д.). Под потоком понимается последовательность снимков, преобразованных к цифровой форме. В силу высокой сложности решение задачи целесообразно разбить на ряд последовательных этапов (предварительная обработка снимка, выделение объектов, получение интегральных информативных параметров, кластеризация, распознавание, определение местоположения и ориентации), каждый из которых имеет самостоятельное значение, но может быть использован, при необходимости, как составная часть общего алгоритма. При этом существенную в вычислительном отношении долю составляют средства интеллектуальной обработки графической информации, которые целесообразно реализовать на мультипроцессорной системе. Большой вклад в развитие теории распознавания образов внесли российские ученые: Ю.И. Журавлев, Э.М. Браверман, Л.И. Розоноэр, М.А. Айзерман, В.А. Сойфер, B.JI. Матросов, В.Н. Вапник, А.Я. Червоненкис, А.Н. Горбань, М.Ю. Хачай, Н.Г Загоруйко и др. Известны различные методы распознавания образов: детерминистские, структурные, статистические. В последнее время большое распространение получили методы, основанные на математическом аппарате искусственных нейронных сетей (ИНС). Одно из направлений обработки изображений связано с ИНС, которые эффективно фильтруют данные (сеть Хопфилда), распознают графические образы (сеть Хемминга, многослойный персептрон), кластеризуют объекты (сеть Кохонена), а также выполняют другие немаловажные функции. Существенный вклад в развитие теории нейронных сетей и нейрокомпьютеров внесли А.Н. Горбань, А.И. Галушкин, Е.М. Миркес, В.Г.Редько, В.Г. Яхно и др.

Реализация программного обеспечения может осуществляться в виде пакетов прикладных программ, библиотек прикладных или системных программных средств. На данный момент существует множество программных пакетов, с помощью которых можно проектировать, настраивать и применять ИНС для решения различных задач, например, Neurooffice, Neuro Emulator, BrainMaker, Neural 10, Neural Planner, Mathlab и др. Специально для обработки данных ДЗЗ разработаны современные программные комплексы: ENVI (Environment for Visualizing Images), ER Mapper, ERDAS Imagine. Кроме этого имеются библиотеки для обработки и распознавания изображений, такие как OpenCV, LTI, VXL и др. Однако перечисленные нейропакеты и программные комплексы не рассчитаны на потоковую обработку снимков и на использование параллельных вычислителей. Решение же практических задач требует быстрого анализа последовательности изображений большого формата, доставляемых СТЗ. С появлением отечественных мультипроцессорных систем стала актуальной задача построения программных систем, ориентированных на параллельную обработку снимков с целью ускорения процессов выделения и распознавания требуемых объектов.

Как показывают проведенные экспериментальные исследования, и накопленный опыт, возможности ИНС при работе с реальными космическими снимками весьма ограничены и раскрываются только в сочетании с другими сопутствующими алгоритмами. Для успешного функционирования ИНС необходимо выполнить предварительные преобразования изображений, направленные на выделения информативных признаков. Среди таких преобразований можно отметить особые классы сегментации, выделения и нормализации локальных объектов. Для выделения объектов часто используют метод сканирующего окна, который предполагает знание размеров и ориентации объекта, что достаточно трудоемко для объектов имеющих случайное местоположение, различную размерность и масштаб. Таким образом, необходимы новые эффективные алгоритмы и программные средства обработки космических снимков, хорошо сочетающиеся с нейросетевыми методами распознавания и суперкомпьютерными технологиями параллельных вычислений.

Предлагаемое в рамках настоящей работы алгоритмическое и программное обеспечение основывается на разработке параллельных алгоритмов ИНС и предварительной обработки изображений, при этом учитываются возможности современных технологий параллельного программирования и аппаратных средств отечественного суперкомпьютера типа «СКИФ». Задача программного обеспечения заключается в предоставлении пользователю возможностей компоновки программных компонентов ИНС, средств обработки изображений и их интеграции для решения прикладных задач распознавания графических образов, как на ПЭВМ, так и на суперкомпьютере. Программный комплекс содержит удобные, понятные пользователю и одновременно с этим, мощные средства создания задач распознавания графических образов.

В настоящей диссертационной работе предлагаются новые подходы к улучшению качества работы ИНС, основанные на процедурах построения гистограмм, извлечения из них информативных параметров и нормализации объектов, способствующих решению задач кластеризации и распознавания с применением кластерных установок. Работа выполнена в рамках следующих проектов ИПС РАН:

• НИР "Перспективные алгоритмы и структуры вычислительных устройств для задач обработки изображений, распознавания образов и управления движением".

• проект РФФИ № 06-07-89083а «Разработка новых методов непрерывной идентификации и прогнозирования состояний динамических объектов на основе интеллектуального анализа данных».

• проект РФФИ № 07-07- 12029-офи «Создание интеллектуальной технологии для анализа данных и распознавания образов».

• программа Союзного государства «Развитие и внедрение в государствах-участниках Союзного государства наукоёмких компьютерных технологий на базе мультипроцессорных вычислительных систем», шифр «ТРИАДА», проект ПР5 «Разработка новых алгоритмов, принципов создания систем обработки изображений и другой информации от космических средств наблюдения, ориентированных на применение многопроцессорных вычислительных кластеров повышенной вычислительной мощности». Цель работы

Целью диссертационной работы является:

1) разработка алгоритмического и программного обеспечения как суперкомпыотерной технологии, направленной на повышение скорости и качества работы искусственных нейронных сетей при решении задач обнаружения и распознавания локальных объектов с использованием кластерных вычислительных систем;

2) создание на этой основе прикладного программного комплекса автоматического распознавания графических объектов на космических снимках.

Для достижения поставленной цели решаются следующие задачи:

1. Разработка метода автоматического выделения объектов с использованием адаптивного преобразования цветных космических снимков с последующим анализом гистограмм или выделением границ;

2. Разработка методов автоматической «сборки» и нормализации выделенных локальных объектов;

3. Исследование в составе ИНС Кохонена метрик Махаланобиса и Евклида-Махаланобиса, распараллеливание алгоритмов её функционирования;

4. Разработка программного обеспечения мультипроцессорных систем в виде программного комплекса для решения задач выделения и распознавания объектов на космических снимках на основе нейросетевого подхода.

Методы исследования

В работе для проведения исследований были использованы математические методы обработки изображений и распознавания образов, математический аппарат искусственных нейронных сетей, методы теории алгоритмов, машинной графики, концепции и методы параллельного программирования.

Научная новизна

1. Разработаны новые методы автоматического выделения и нормализации объектов, расширяющие возможности нейронной сети Кохонена до неокогнитрона.

2. Разработаны и исследованы методы ускорения работы нейронной сети Кохонена с учетом технологий параллельного программирования и аппаратных средств отечественного суперкомпьютера кластерного типа, позволяющие масштабировать время решения задач кластеризации и распознавания.

3. Впервые применены и исследованы в составе ИНС Кохонена метрики Махаланобиса и Евклида-Махаланобиса, которые, как показывают эксперименты, замедляют работу сети, но повышают точность кластеризации при обработке космических снимков.

4. Разработан и реализован программный комплекс автоматического распознавания графических объектов, отличающийся от известных систем наличием гибкой моделирующей среды, настраиваемой на решение задач обработки космических снимков с использованием кластерных вычислительных устройств.

Практическая значимость работы

Практическая значимость результатов работы определяется их применимостью для решения задач обнаружения объектов на космических снимках, что отражено в научных отчетах выполненных актуальных исследований. Разработанная в настоящей работе интеллектуальная технология и программный комплекс на ее основе предоставляют пользователю возможности интеграции имеющихся модулей в определенную технологическую цепочку для решения задач распознавания графических образов с применением суперкомпьютеров семейства «СКИФ». Отдельные алгоритмы и инструментальные средства, в том числе графический интерфейс, алгоритмы нормализации и выделения объектов могут иметь самостоятельное значение и использоваться в других системах анализа изображений. Возможные области применения программного комплекса: обработка потоков космических снимков, задачи мониторинга состояния сложных технических систем, использование в качестве компоненты робототехнических систем.

Апробация работы

Основные результаты работы докладывались и обсуждались на следующих конференциях и семинарах:

• международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2006);

• 9-я международная конференция "Распознавание образов и анализ изображений: новые информационные технологии (РОАИ-9-2008, Нижний Новгород, 2008);

• 8-я международная конференция «Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2008, Москва, 2008);

• семинары Исследовательского центра искусственного интеллекта ИПС РАН (Переславль-Залесский, 2006-2008).

Публикации в рецензируемых журналах:

1) Виноградов А.Н., Калугин Ф.В., Недев М.Д., Погодин С.В., Талалаев А.А., Тищенко И.П., Фраленко В.П., Хачумов В.М. Выделение и распознавание локальных объектов на аэрокосмических снимках. — Авиакосмическое приборостроение, 2007, № 9, с.39-45.

2) Тищенко И.П. Параллельная кластеризация цветных изображений на основе нейронной сети Кохонена с использованием суперкомпьютера семейства «СКИФ». - Нейрокомпьютеры: разработка, применение, 2008, №9, с.30-34.

Публикации в журналах:

1) Талалаев А.А., Тищенко И.П., Фраленко В.П., Хачумов В.М. Анализ эффективности искусственных нейронных сетей. — Искусственный интеллект и принятие решений, 2008, №2, с.24-33.

2) Талалаев А.А., Тищенко И.П., Хачумов М.В. Выделение и кластеризация текстовых и графических элементов на полутоновых снимках. — Искусственный интеллект и принятие решений, 2008, №3, с.72-84.

Публикации в материалах научных мероприятий:

1) Виноградов А.Н., Коданев И.В., Талалаев А.А., Тищенко И.П., Хачумов В.М., Щербаков А.В. Библиотека нейронных сетей для распознавания графических образов на кластерном вычислительном устройстве. - Сб. трудов 2-ой Международной научн.-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (07-09.02.2006, Санкт-Петербург). — СПб.: Издат.-во Политехнического университета, 2006, с.8-10.

2) Talalaev А.А., Tishchenko I.P., Fralenko V.P., Khachumov V.M. Neural methods in aerospace systems. — 9th International Conference "Pattern Recognition and image analysis: New Information Technologies" (PRIA-9-2008): Conference proceedings (Nizhni Novgorod, 14-20.09.2008). - H. Новгород: Издат.-во "Диалог Культур", т. 2, 2008, с. 193-196.

3) Тищенко И.П. Графический интерфейс ПС ИНС. - Тезисы докладов VIII международной конференции «Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта» (CAD/CAM/PDM-2008, Москва, ИПУ РАН, 21-23 октября 2008). - Материалы 8-й международной конференции. — М.: Институт проблем управления РАН, 2008, с.16-19.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Общий объем основного текста диссертации 104 страницы, список литературы состоит из 75 наименований. В работе содержатся 49 рисунков и 12 таблиц.

Основные выводы

1. Разработаны специальные методы кластеризации выделенных объектов на основе сети Кохонена, использующие различные метрики. В том числе впервые применены метрики Махаланобиса и Евклида Махаланобиса.

2. Исследованы вопросы применимости метрик Махаланобиса и Евклида-Махаланобиса в составе нейронной сети Кохонена. Показано, что использование данных метрик дает некоторое улучшение по точности кластеризации объектов, выделенных на космических снимках, но существенно уступает по быстродействию метрике Евклида.

3. Разработаны и исследованы две схемы оптимизации параллельного выполнения нейросетевого алгоритма Кохонена с метрикой Евклида на кластерной установке СКИФ. Проведенные экспериментальные исследования разработанных параллельных алгоритмов на суперкомпьютере показали наличие ускорения вычислений с ростом числа процессов (масштабируемость), что определяет перспективность предложенного подхода.

4. Интеграция алгоритма определения ориентации объекта с нейронной сетью позволяет фактически получать ИНС когнитронного типа без усложнения типовой структуры сети Кохонена при решении задач кластеризации и распознавания.

ГЛАВА 4. Программное обеспечение кластерной установки для распознавания графических образов

В данной главе дано описание программного обеспечения кластерной установки в виде прикладного программного комплекса обработки космических снимков.

4.1. Требования к программному комплексу

Построение прикладной программной системы обработки космических снимков является одной из важнейших задач обработки и распознавания космических изображений, доставляемых средствами технического зрения. Такая система должна отвечать следующим требованиям:

1) Потоковая и параллельная обработка данных.

2) Обработка снимков различного типа и качества.

3) Наличие дружественного пользовательского интерфейса.

Под потоковой обработкой данных понимается возможность системы обрабатывать большие объемы снимков космического назначения. Кроме потоковой обработки необходима параллельная обработка снимков.

4.2. Архитектура программного комплекса

Основной особенностью архитектуры системы явилось обеспечение гибкости и расширяемости. На рис.4.1. показана общая архитектура программного комплекса, которая в целом наследует архитектуру программной системы «ПС ИНС» (рис. 1.7, рис 1.8), разработанной силами сотрудников лаборатории интеллектуального управления Института программных систем РАН, в рамках проекта ПР5 Программы Союзного государства «Триада» [52,61].

Модуль системы 1

Модуль системы 2

Модуль системы q

Графический интерфейс

Модуль ГИ 1

Модуль ГИ 2

Модуль ГИ п

Рисунок 4.1. Структура программного комплекса

Основу программного комплекса составляют универсальная моделирующая среда (УМС), графический интерфейс, модули параллельных реализаций ИНС, фильтров и других алгоритмов. УМС обеспечивает связь модулей в процессе выполнения задачи. С помощью графического интерфейса формируется образ задачи, который записывается в виде XML-файла и может быть сохранен и/или выполнен на КВУ. Основные назначения УМС — загрузка назначенных модулей задачи, выполнение цикла распознавания и обеспечение отказоустойчивости. В том числе: чтение xml-файлов с описанием решения задачи и каждого из требуемых модулей; инициализация каналов передачи данных; запуск системы и ожидание завершения работы системы.

Гибкость системы обеспечивается использованием механизмов каналов и схем описания задачи. У каждого конкретного модуля есть набор входов и выходов (каналов), по которым он получает данные на обработку и отсылает обработанные результаты. Механизм схемы описания задачи позволяет задать произвольный набор модулей и связей между ними. Выбранная архитектура обеспечивает расширяемость системы, т.к. допускает реализацию и включение новых модулей в различные схемы задачи пользователя. Модули системы реализуются в виде подгружаемых библиотек и могут содержать как последовательную, так и параллельную реализацию алгоритма. В первом случае параллелизм обеспечивает УМС (разделяя все обрабатываемые данные между доступными узлами кластера), во втором, стратегию параллельной обработки определяет программист, реализующий модуль. Помимо параллелизма используются возможности конвейерной обработки потока данных. Пакеты данных от одного модуля передаются следующему в цепочке (возможно, на другой узел кластера) после чего, сразу же, запускается их обработка.

Шаблон модулей

В соответствии с требованиями архитектуры все алгоритмы - модули должны быть оформлены определенным стандартным образом. У каждого модуля есть ряд характеристик, определяющих его положение в системе: параллельная или последовательная реализация алгоритма, число и тип каналов для пересылки данных, настройки модуля «по умолчанию» и специально для текущей задачи, и т.д.

Структура шаблона состоит из следующих частей:

- типа модуля и типа его реализации,

- раздела описания параметров модуля,

- раздела писания входных и выходных данных (каналов) модуля,

- раздела описания модуля для интерфейса.

В типе модуля указывается, является ли данный модуль обработчиком данных или нейронной сетью, а в типе реализации — является ли его реализация параллельной или нет.

В разделе описания входных и выходных данных (каналов) описываются типы данных, которые получает и отсылает модуль, а для различия каналов модуля им присваиваются уникальные имена.

В разделе описания параметров указываются имена параметров, их типы, а также значения, присваиваемые им по умолчанию. Среди типов параметров модуля можно выделить возможность указания:

- ссылок на файлы и директории,

- строковых типов,

- целых и вещественных типов.

Описания модулей программного комплекса приведены в табл.4.1.

Заключение

Основным результатом диссертации явилось создание алгоритмического и программного обеспечения мультипроцессорных систем, реализующего новую технологию нейросетевого распознавания объектов на космических снимках. Решены следующие задачи:

1. Разработан адаптивный подход преобразования цветных изображений в полутоновые на основе метода главных компонент, который позволяет получать более контрастные изображения по сравнению со среднестатистическими формулами преобразования.

2. Предложены и реализованы два метода выделения объектов-кандидатов на распознавание: с удалением фона на основе гистограммы и с помощью выделения границ. Показано, что метод на основе гистограмм позволяет быстрее выделить объекты, однако он чувствителен к изменениям яркости.

3. Разработан алгоритм «сборки» объектов, распавшихся на отдельные части в результате предварительной обработки, который обеспечивает повышение точности и скорости распознавания.

4. Разработаны специальные методы кластеризации выделенных объектов на основе сети Кохонена, впервые использующие метрики Махаланобиса и Евклида Махаланобиса. Показано, что использование данных метрик дает некоторое улучшение по точности кластеризации объектов, выделенных на космических снимках, но приводит к снижению быстродействия по сравнению с метрикой Евклида.

5. Разработаны и исследованы схемы параллельного выполнения нейросетевого алгоритма Кохонена с метриками Евклида и Евклида-Махаланобиса, обеспечивающие ускорение обучения и распознавания с ростом числа вычислительных процессов.

6. Показано, что интеграция алгоритмов выделения и нормализации объектов с ИНС Кохонена позволяет получать сеть неокогнитронного типа.

7. Разработан программный комплекс нейросетевого распознавания объектов на космических снимках, функционирующий на мультипроцессорных системах семейства СКИФ.

1. Автоматический анализ сложных изображений / Сб. пер. под ред. Э.М. Бравермана. М.: 1969.

2. Айзерман М.А., Браверманн Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970.

3. Алгоритмы обучения распознаванию образов / Под ред. В.Н. Вапника-М. : Советское радио, 1973. -200с.

4. Аркадьев А.Г., Браверман Э.М. Обучение машины классификации объектов -М. : Наука, 1971. 192с.

5. Бонгард М.М. Проблема узнавания. М.: Наука, 1967.

6. Васильев В.И. Распознающие системы: Справочник. Киев : Наукова думка, 1969. — 292с.

7. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения) М. : Наука, 1974. - 416с.

8. Введение в искусственные нейронные сети, http://masters.dormtu.edu.Ua/2007/fVti/yemeliyanenko/library/5.litm

9. Введение в теорию нейронных сетей Электронный ресурс], http://nn.do.am/news/2008-11-14-5

10. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления — СПб. : БХВ-Петербург, 2002. 608с.

11. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем / Т.А. Гаврилова, В.Ф. Хорошевский СПб : Питер, 2000. - 384с.

12. Геоинформационный портал ГИС-Ассоциации — ENVI Электронный ресурс], http://www.gisa.ru/3430.html

13. Геоинформационный портал ГИС-Ассоциации ERDAS IMAGINE Электронный ресурс], http://www.gisa.ru/1878.html

14. Геоинформационный портал ГИС-Ассоциации — ER Mapper Электронный ресурс], http://www.gisa.ru/1878.html

15. Гилой В. Интерактивная машинная графика: Структура данных, алгоритмы, языки / Пер. с англ. М.: Мир, 1981. - 384с.

16. Горелик A. JL, Гуревич И. Б., Скрипкин В. А. Современное состояние проблемы распознавания: Некоторые аспекты.— М.: Радио и связь, 1985.

17. Горелик А.Д., Скрипкин В.А. Методы распознавания — М. : Высшая школа, 1989. —232с.

18. Горский Н., Анисимов В., Горская JI. Распознавание рукописного текста: от теории к практике. СПб.: Политехника, 1997. -126 с.

19. Гренандер У. Лекции по теории образов М. : Мир.

20. Т.1 : Синтез образов. — 384с.

21. Т.2 : Анализ образов. 448с.

22. Т.З : Лекции по теории образов. 432с.

23. Гуревич И.Б., Журавлев Ю.И. Минимизация булевых функций и эффективные алгоритмы распознавания // Кибернетика, 1974, № 3. С. 1620.

24. Джордж Ф. Люгер. Искусственный интеллект. Стратегии и методы решения сложных проблем. — М.: Издательский дом Вильяме, 2003.864 с.

25. Донской В.И. Алгоритмы обучения, основанные на построении решающих деревьев // Журнал вычислит, матем-ки и математич. физики, 1982, т. 22, № 4. С. 963-974.

26. Дуда Р., Харт П. Распознавание образов и анализ сцен / Пер. с англ.; Под ред. В.Л. Стефанюка М. : Мир, 1976. - 512с.

27. Дюкова Е.В. Алгоритмы распознавания типа «Кора»: сложность реализации и метрические свойства // Распознавание, классификация, прогноз. Математические методы и их применение. Вып. 2. М.: Наука, 1989.-С. 99-125.

28. Журавлев Ю.И., Гуревич И.Б. Распознавание образов и распознавание изображений // Распознавание, классификация, прогноз. Математические методы и их применение. Вып. 2. -М.: Наука, 1989, с. 5-72.

29. Журавлев Ю.И. Об алгебраических методах в задачах распознавания и классификации// Распознавание. Классификация. Прогноз. Математические методы и их применение. Вып. 1. -М.: Наука. 1989, с. 9-16.

30. Загорулько Н.Г. Прикладные методы анализа данных и знаний. -Новосибирск: Издательство Института математики, 1999. -270 с.

31. Китахаси Т. Приобретение знаний. / Пер. с япон.; Под ред. С.Осуги, Ю.Саэки М. : Мир, 1990. - 304с.

32. Классификация и кластер / Под ред. Дж. Вэн Райвин; Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1978.

33. Лагиева М.М., Хачумов В.М., Шабалов Д.В. Метод построения линий положения для идентификации полутоновых изображений. — Автометрия, 1991, N6, с.7-12.

34. Лбов Г.С., Бериков В.Б. Устойчивость решающих функций в задачах распознавания образов и анализа разнотипной информации / Г.С. Лбов, В.Б. Бериков Новосибирск : Издательство Института математики, 2005.-218с.

35. Линдри К. Практическая обработка изображений на языке Си / Пер. с англ. А.А. Брюзгина-М. : Мир, 1996. 512с.

36. МАДИ (ГТУ) АСУ Электронный ресурс], http://www.madi.ru/study/kafera/asu/metod/nero/52.html

37. Мазуров В.Д. Комитеты систем неравенств и задача распознавания //Кибернетика, 1971, № 2. С. 140-146.

38. Мазуров В.Д. Метод комитетов в задачах оптимизации и классификации. -М.: Наука, 1990.

39. Мазуров В. Д., Хачай М.Ю. Комитеты систем линейных неравенств // Автоматика и телемеханика. 2004, №2, с. 43-54.

40. Методы компьютерной обработки изображений. / Под редакцией В.А. Сойфера-М.: Физматлит, 2003.-784с.

41. Метод Якоби вычисления собственных значений и векторов Электронный ресурс], http://www.prografix.narod.ru/rus iacobi.html

42. Минский М., Пейперт С. Персептроны / Пер. с англ.; Под ред. В.А. Ковалевского М. : Мир, 1971. -264с.

43. Миркес Е.М. Нейрокомпьютер: проект стандарта. Новосибирск: Наука. Сиб. предприятие РАН, 1998. - 343 с.

44. Обработка изображений при помощи цифровых вычислительных машин / Т.Хуанг, В.Шрейбер, О.Третьяк, с. 17-47.

45. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2004. - 344 е.: ил.

46. Пересада В.П. Автоматическое распознавание образов. СПб. : Энергия, 1970.-92с.

47. Персептрон система распознавания образов / Под ред. А.Г. Ивахненко - Киев : Наукова думка, 1975. - 432с.

48. ПО на основе технологии искусственного интеллекта Электронный ресурс], http://artint.iino-net.ru/neuroshell.html

49. Потапов А.С. Распознавание образов и машинное восприятие: Общий подход на основе принципа минимальной длины описания. СПб. : Политехника, 2007. - 548с.

50. Растригин JI.A, Эренштейн Р.Х. Метод коллективного распознавания. -М. : Энергоиздат, 1981. — 80с.

51. Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики. — М.: КомКнига; 2007. 224 стр.

52. Рудаков К.В. О числе гиперплоскостей, разделяющих конечные множества точек//ДАН СССР, 1976, т. 231, №6. -С. 1296-1299.

53. Себестиан Г.С. Процессы принятия решений при распознавании образов. Киев: Техника, 1965.

54. Суперкомпьютерная программа «СКИФ» союзного государства, Электронный ресурс], http://skif.pereslavl.ru/skif/

55. Талалаев А. А. Особенности архитектуры параллельной программной системы распознавания графических образов на основе искусственных нейронных сетей. Нейрокомпьютеры: разработка и применение, 2008, N9, с.43-51.

56. Тарков М.С. Нейрокомпьютерные системы М. : Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2006. - 142с.

57. Теоретические и прикладные вопросы распознавания изображений: Сб. науч. Тр. / Киев, 1995. — 90с.

58. ТОРА-Центр Электронный ресурс], http://www.tora-centre.ru/library/ns/spekulant03.htm

59. Фу К. Последовательные методы в распознавании образов и обучении машин / Пер. с англ.; Под ред. JI.А. Мееровича, ЯЗ. Цыпкина — М. : Наука, 1971.-256с.

60. Фу К. Структурные методы в распознавании образов / Пер. с англ.; Под ред. М.А. Айзермана М. : Мир, 1977 - 320с.

61. Фукунага К. Введение в статистическую теорию распознавания образов / Пер. с англ.; Под ред. А.Н. Дорофеюка М. : Наука, 1979. - 368с.

62. Хайкин С. Нейронные сети: полный курс. М.: Издательский дом «Вильяме», 2006. -1104 с.

63. Хант. Э. Искусственный интеллект / Пер. с англ.; Под ред. B.JI. Стефанюка М. : Мир, 1978. - 560с.

64. Хачумов В.М. Проект создания программной системы для распознавания графических образов на основе нейронных сетей. — Нейрокомпьютеры: разработка и применение, 2008, N9, с.52-54.

65. Цифровая обработка изображений в информационных системах / И.С. Грузман, B.C. Киричук и др. Новосибирск : НГТУ, 2002. - 352с.

66. Читающие автоматы и распознавание образов / Отв. Ред. В.А. Ковалевский — Киев : Найкова думка, 1965. — 288с.

67. Шалютин С.М. Искусственный интеллект: Гносеологический аспект. -М. : Мысль, 1985. 199с.

68. Шапиро Д., Стокман Дж. Компьютерное зрение / Пер. с англ.; Под ред. С.М. Соколова М. : Бином. Лаборатория знаний, 2006. — 752с.

69. Эндрю А. Искусственный интеллект / пер. с англ., под ред. и с предисл. Д.А. Поспелова М.: Мир, 1985. - 264с.

70. Яхно В.Г. Процессы самоорганизации в распределенных нейроноподобных системах. Примеры возможных применений. // Сборник "Нейроинформатика 2001. Лекции по нейроинформатике", М: МИФИ, 2001, стр. 103-141

71. Digital Image Processing, Chapter 5, Part III. Segmentation: Region growing segmentation Электронный ресурс], http://www.icaen.uiowa.edu/~dip/LECTURE/Segmentation3.html

72. DVM система на русском языке, Электронный ресурс], http://www.kiam.ru/dvm/dvmhtml 107/rus/index.html

73. MPI: The Message Passing Interface — русскоязычная страница, Электронный ресурс], http://parallel.ru/tech/techdev/mpi.html

74. OpenMP Wikipedia, the free encyclopedia, Электронный ресурс], http://en.wikipedia.org/wiki/OpenMP

75. OpenTS :: Описание языка Т++, Электронный ресурс], http://www.opents.net/index.php/ru/lang-tpp

76. Principal components analysis Электронный ресурс], http://en.wikipedia.org/wiki/Principalcomponentsanalysis

77. MATLAB Википедия Электронный ресурс], http://ru.wikipedia.org/wiki/MATLAB

78. МС# (Multiprocessor С#), Электронный ресурс], http://u.pereslavl.ru/~vadim/MCSharp/index.ru.php