автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Организация распределенной вычислительной среды для синтеза системы распознавания летательных аппаратов

На правах рукописи

Аракчеев Павел Владимирович

ОРГАНИЗАЦИЯ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ ДЛЯ СИНТЕЗА СИСТЕМЫ РАСПОЗНАВАНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ

Специальность 05.13.15 - вычислительные машины и системы

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва 2003

Работа выполнена на кафедре Вычислительной техники Московского энергетического института (технического университета).

Научный руководитель

кандидат технических наук, профессор Потемкин Игорь Семенович

Официальные оппоненты

доктор технических наук, профессор Крупский Александр Александрович

кандидат технических наук Костенко Валерий Алексеевич

Ведущая организация

ОАО «Институт электронных управляющих машин»

Защита состоится « 24 » декабря 2003 г. в 18 ч. 00 м. на заседании диссертационного совета Д 212.157.01 по адресу: 111250, Москва, Красноказарменная ул., д. 17.

С диссертацией можно ознакомиться в библиотеке МЭИ.

Автореферат разослан «¿3_» несера 2003 г.

Отзывы в двух экземплярах, заверенные печатью организации, просим отправлять по адресу: 11250, г. Москва, Красноказарменная ул., д. 14, Учёный совет МЭИ(ТУ).

Учёный секретарь Диссертационного совета

к.т.н., профессор

И. И. Ладыгин

"7776

з

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Система распознавания летательных аппаратов необходима для повышения надежности средств противовоздушной обороны. Для обеспечения требуемого быстродействия в системе распознавания летательных аппаратов целесообразно использовать нейросетевые алгоритмы. Синтез системы распознавания летательных аппаратов возможен при условии обеспечения приемлемой длительности процесса обучения нейронной сети. Разработка распределенной вычислительной среды на основе существующих сетей ЭВМ обеспечивает ускорение обучения нейронных сетей при минимальных затратах на дополнительное оборудование, хотя и не исключает применения специализированных аппаратных компонентов для дополнительного увеличения быстродействия вычислительной системы.

Целью работы является разработка архитектуры распределенной вычислительной среды для синтеза систем распознавания летательных аппаратов. Цель работы предполагает решение следующих задач:

1. Разработка архитектуры распределенной вычислительной среды, позволяющей ускорить обучение нейронных сетей.

2. Исследование потоков данных, передаваемых по сетевому каналу в распределенных реализациях алгоритма обучения нейронных сетей.

3. Исследование влияния числа процессорных узлов распределенной вычислительной среды на скорость обучения нейронной сети.

РОС. НАЦИОНАЛЬНАЯ БИБЛИОТЕКА СПетербург и

о» »вЗмт/и,

4. Оценка оптимального числа процессорных узлов распределенной вычислительной среды, предназначенной для обучения нейронных сетей.

5. Разработка широковещательного сетевого протокола с гарантированной доставкой пакетов для обучения нейронных сетей в распределенной вычислительной среде.

6. Исследование влияния организации и технических характеристик сетевого канала на скорость обучения нейронных сетей в распределенной вычислительной среде.

Методы исследования. В работе использовались методы теории синтеза дискретных систем, нейроматематики, математической статистики и объектно-ориентированного программирования.

Научная новизна работы.

1. Предложена архитектура распределенной вычислительной среды, предназначенной для решения задач синтеза системы распознавания летательных аппаратов, которая позволяет сократить длительность обучения нейронной сети средствами сети ЭВМ.

2. На основе проведенного анализа потоков данных в сетевом канале распределенной вычислительной сети разработан широковещательный сетевой протокол с гарантированной доставкой данных, отличающийся от стандартных протоколов применением узла коммутации оповещений, который позволяет повысить эффективность использования сетевого канала в распределенной вычислительной среде.

3. Предложены новые способы распараллеливания

алгоритма обучения нейронной сети, адаптированные для п " ч

распределенной вычислительной среды, которые позволяют повысить скорость обучения нейронных сетей на различных этапах синтеза системы распознавания летательных аппаратов.

Защищаемые положения.

1. Архитектура распределенной вычислительной среды для синтеза системы распознавания летательных аппаратов.

2. Широковещательный ' сетевой протокол с гарантированной доставкой пакетов для реализации алгоритма обучения нейронной сети враспределенной вычислительной среде.

3. Алгоритм вычисления информативных признаков изображений летательных аппаратов.

4. Результаты решения задачи распознавания летательных аппаратов с использованием нейронной сети.

Практическая ценность работы. Результаты работы реализованы в НИР «Юпитер» и «Изображение», выполненных в НИИ Радиоэлектоники и лазерной техники МГТУ им. Н.Э. Баумана.

Апробация работы. Основные результаты работы докладывались автором на Всероссийской конференции «Нейрокомпьютеры и их применение» (Москва, 2000г.), на международной конференции «Advanced Computer Systems» (Шецин, 2001г.) и на Международном форуме информатизации (Москва, 2000 и 2001 гг.).

Публикации. По результатам работы опубликованы четыре печатные работы.

Личный вклад автора работы. Результаты, представленные в диссертационной работе, получены автором самостоятельно. Для получения экспериментальных данных, представленных во второй главе диссертации, были использованы математические модели поверхностей летательных аппаратов б и МиГ-31, предоставленные автору работы научно-исследовательским институтом Радиоэлектроники и лазерной техники Московского государственного технического университета им. Н.Э. Баумана.

Структура и объем работы. Диссертационная работа состоит I

из введения, четырех глав, заключения и списка литературы.

Содержание работы

Во введении обосновывается выбор темы диссертации, формулируются цели работы и кратко излагается содержание диссертации.

В первой главе проведен анализ методов получения информации о поверхности летательного аппарата (ЛА) для решения задачи распознавания типа ЛА. На основе проведенного анализа выявлены два метода, связанные с регистрацией телевизионного изображения и дальностного портрета ЛА, которые позволяют решить поставленную задачу. Распознавание ЛА по телевизионному изображению в реальном масштабе времени предполагает быструю /

обработку значительных объемов данных. В п. 1.3. приведен обзор методов получения признаков изображений, позволяющих упростить задачу распознавания ЛА по изображению. Существующие методы формирования пространства признаков изображений, применяемые для решения задачи распознавания лиц, не позволяют эффективно решать задачу распознавания ЛА. Ключевыми особенностями задачи

распознавания ЛА является большое разнообразие изображений одного и того же объекта, обусловленное изменением ракурса ЛА, различными вариантами окраски поверхности ЛА и сложными условиями наблюдения. Автором выявлена необходимость использования силуэта ЛА для распознавания, поскольку такой подход позволяет обспечить инвариантность признаков изображения к окраске поверхности ЛА и, в значительной степени, к условиям наблюдения. Существует несколько классов методов вычисления признаков, инвариантных к сдвигу, повороту и изменению масштаба изображения, которые широко используются в системах распознавания лиц для сокращения обучающей выборки. Методы, основанные на стандартизации изображения по опорным точкам, оказываются непригодными для задачи распознавания ЛА из-за невозможности выделения опорных точек на изображении- ЛА. Методы, основанные на анализе контура изображения объекта, обладают низкой устойчивостью к шуму, • что' ограничивает их применение в сложных условиях наблюдения. Большинство методов, основанных на применении дискретных ортогональных преобразований, не обеспечивают полной инвариантности признаков к афинным преобразованиям изображения. Метод вычисления инвариантов Фурье-Меллина, обеспечивающий инвариантность признаков к сдвигу, повороту и изменению масштаба изображения, не учитывает особенностей обработки силуэтов ЛА и характеризуется высокой сложностью реализации, обусловленной необходимостью многократного выполнения двумерного дискретного преобразования Фурье. Таким образом, проведенный анализ позволяет сделать вывод о необходимости разработки алгоритма вычисления значений признаков силуэтов ЛА, инвариантных к сдвигу, повороту и изменению масштаба изображения.

В п. 1.4 рассмотрены две группы методов распознавания образов по значениям признаков изображений. Методы, основанные на сравнении образа объекта с эталонными образами в пространстве признаков, характеризуются относительной простотой синтеза системы распознавания и значительными затратами, связанными с принятием решения о принадлежности распознаваемого объекта к какому-либо классу, которые возрастают с увеличением числа классов и сложности признакового пространства. Эта группа методов широко используется в системах распознавания лиц, где важно обеспечить возможность оперативного и полностью автоматического синтеза системы распознавания, а длительность принятия решения в пределах нескольких секунд считается допустимой. Поскольку для распознавания ЛА требуется существенно большее число эталонных образов, применение этого метода следует признать малоэффективным. В качестве альтернативы предложено использовать методы, основанные на описании системы распознавания функцией вида:

X х XV —»[0,1]^,

где Ы- число заранее известных классов объектов, ХсКА -

пространство признаков, XV с - пространство параметров системы распознавания, - вектор параметров системы

распознавания, х е X - вектор признаков, представляющий образ объекта в пространстве признаков. Для распознавания образа хо используется отклик системы распознавания z = F(xo,w). Образ хо относится к классу Кп, когда:

2п = гпахЬ}.

Значение вектора параметров системы распознавания уу должно быть определено при обучении системы распознавания. Предложенный

подход позволяет избежать сравнения образа с большим числом эталонных образов, что приводит к упрощению процедуры распознавания, которое необходимо для распознавания изображений ЛА в реальном масштабе времени. Это упрощение достигается за счет значительных вычислительных затрат на обучение системы распознавания. Для эффективной реализации описанного подхода в системах распознавания ЛА предложено выполнять синтез системы распознавания в нейросетевом базисе, поскольку нейронные сети (НС) эффективно реализуются средствами современных параллельных вычислительных систем. Кроме того, существуют методики обучения НС, хорошо зарекомендовавшие себя в решении сложных прикладных задач.

Во второй главе описан предложенный автором работы алгоритм вычисления признаков изображения ЛА, основанный на нахождении центра тяжести силуэта объекта, оценке относительного коэффициента масштаба изображения, преобразовании исходного изображения в полярную систему координат и вычислении одномерных спектров дискретного преобразования Фурье. Показано, что свойства предложенных преобразований используются для обеспечения инвариантности вычисляемых признаков к афинным преобразованиям исходного изображения.

В п.2.2 изложены способы построения нейронных сетей для распознавания ЛА по признакам изображений. Автором предложено использовать особенности матричной организации признаков изображений для уменьшения рецептивных полей нейронов второго слоя НС с трехслойной организацией. Применение этого подхода позволяет сократить размерность пространства параметров НС, что

приводит к ускорению ее обучения. Предложено проводить сравнение моделей НС по трем параметрам:

• вероятность правильного распознавания образов при заданных условиях эксплуатации;

• число вычислительных операций, необходимых для обучения НС;

• аппаратурные затраты на реализацию модели НС с заданным быстродействием.

Для подтверждения корректности предложенного алгоритма вычисления значений признаков изображения и сравнительного анализа НС с различной структурой были проведены экспериментальные исследования, в ходе которых решалась тестовая задача синтеза системы распознавания JIA F16 и МиГ-31. Диапазон изменения ракурса JIA был ограничен по азимуту [3 = -60°...60° и по углу места е - 0°...60°. Экспериментальные исследования состояли из нескольких взаимосвязанных этапов:

1. сравнение характеристик различных моделей НС;

2. выбор модели НС на основе результатов сравнительного анализа;

3. исследование влияния размерности НС и представительности обучающей выборки на качество распознавания ЛА.

4. исследование инвариантности алгоритмов распознавания ЛА к поворотам и изменениям масштаба изображений ЛА.

На первом этапе экспериментальных исследований выполнялось обучение четырех НС, имеющих различную структуру, с заведомо недостаточным числом нейронов во внутренних слоях. Для обучения НС использовалась обучающая выборка с малой представительностью. Таким образом удалось сравнить качество

аппроксимации задачи распознавания НС с различной структурой. Полученные результаты позволили выбрать модель трехслойной НС с ограниченными рецептивными полями нейронов первого слоя для реализации системы распознавания ЛА.

Было исследовано влияние числа нейронов во втором слое НС на вероятность правильного распознавания ЛА. Для этого проводилось обучение НС с выбранной структурой и различным числом нейронов во внутреннем слое. Результаты обучения НС позволяют определить оптимальное число нейронов во внутреннем слое М = 8, при котором достигается значение оценки вероятности правильного распознавания (р) - 0.99.

В п.2.5 анализируются временные затраты на различные этапы синтеза системы распознавания ЛА, зафиксированные при решении тестовой задачи. Основная часть затрат (97%) связана с обучением НС. Обучение одной НС, позволяющей решить тестовую задачу с приемлемой точностью, продолжалось в течение 95 часов, что составило 56% от общего времени. Поскольку для реальных задач распознавания ЛА характерно значительно большее числа типов ЛА при более широком диапазоне изменения ракурса, необходимо обеспечить приемлемую длительность синтеза системы распознавания ЛА за счет применения параллельных вычислительных средств.

В третьей главе приводится анализ существующих средств реализации нейросетевых алгоритмов с точки зрения их использования для обучения НС. Специализированные аппаратые компоненты - нейроускорители и нейронные процессоры ориентированы в основном на реализацию моделей НС и не могут быть использованы для обучения из-за недостаточной точности вычислений. Применение аппаратных компонентов для обучения НС оказывается малоэффективным из-за их высокой стоимости и

недостаточной гибкости, необходимой для сравнительного анализа различных моделей НС. Предлагается использовать для обучения НС существующие сети ЭВМ. Для реализации этого подхода необходимо на основе сети ЭВМ реализовать распределенную вычислительную среду, позволяющую выполнять обучение НС параллельно на нескольких процессорных узлах. Для этого необходимо решить ряд проблем, связанных с синхронизацией вычислительных процессов и организацией обмена данными между процессорными узлами.

В п. 3.2 анализируются основные подходы к решению проблемы распараллеливания алгоритма обратного распространения ошибки, применяемого для обучения НС: » фрагментация слоев НС; ■ фрагментация обучающей выборки.

В РВС должны быть реализованы оба метода распараллеливания алгоритма обучения НС, поскольку выбор конкретного метода связан с характеристиками вычислительных средств и параметрами задачи обучения НС.

В четвертой главе предлагаются четыре способа распараллеливания алгоритма обратного распространения ошибки для его реализации средствами гомогенной ЛВС. Два способа 1а и 16 основаны на методе фрагментации слоев НС и различаются способом фрагментации нейронов выходного слоя НС. Способ 16, предложенный автором работы, позволяет сократить число элементов данных, передаваемых между процессорный узлами РВС при обучении НС, в которых число нейронов во внутреннем слое превышает число нейронов в выходном слое НС.

Способы распараллеливания алгоритма обучения НС 2а и 26

основаны на методе фрагментации обучающей выборки и различаются способом реализации суммирования фрагментов

градиента, вычисленных для различных фрагментов обучающей выборки. Способ 26, предложенный автором работы, позволяет сократить число элементов данных, передаваемых между процессорными узлами РВС за счет увеличения числа арифметических операций. Предложенный способ распараллеливания алгоритма обучения НС позволяет повысить эффективность использования вычислительных средств РВС в случае перегрузки сетевого канала.

Для оценки эффективности предложенных способов распараллеливания алгоритма обучения НС вводится оценка

длительности выполнения одного шага алгоритма Т^ для случая, когда процессы выполнения арифметических операций и операций передачи данных между процессорными узлами выполняются параллельно:

Тц *тах{т,/7,7'с}, где ТП - длительность выполнения арифметических операций

п

алгоритма обучения НС, Т - длительность передачи данных между процессорными узлами.

п с

На основе зависимостей величин Т и Г от числа

процессорных узлов, полученных для сетевых каналов с топологией

*

"звезда" и "общая шина", оптимальное число процессорных узлов К оценивается как корень уравнения:

тп(к*)=тс(к*).

*

Оценка К позволяет ограничить сверху поиск оптимального

*

числа процессорных узлов К < К .

В п. 4.2. приведено описание широковещательного сетевого протокола передачи данных для реализации алгоритма обратного

распространения ошибки в РВС. Существующие стандартные протоколы передачи данных в локальных сетях могут быть разделены на две группы:

• протоколы передачи коротких сообщений - датаграмм, которые обеспечивают передачу данных в широковещательном режиме, но не гарантируют доставки сообщений получателю;

• протоколы обмена данными с гарантированной доставкой сообщений, организующие соединения между двумя узлами сети.

, - Поскольку для реализации алгоритма обучения НС в РВС необходио реализовать широковещательную передачу данных с гарантированной доставкой сообщений, автором был разработан протокол, использующий стандартные протоколы UDP и TCP/IP. Протокол передачи датаграмм UDP используется для обмена данными между процессорными узлами РВС в широковещательном режиме. Протокол TCP/IP используется только для передачи оповещений о принятых и непринятых пакетах. Отличительной особенностью ..предложенного протокола является реализация узла коммутации оповещений, предназначенного для сокращения объема передаваемых данных и числа соединений протокола TCP/IP.

В п. 4.3 представлена архитектура РВС (рис.1). Техническими средствами РВС являются управляющая ЭВМ и процессорные узлы РВС, объединенные сетевым каналом. Для управления техническими средствами РВС используется сетевая операционная система. На коммуникационном уровне РВС организуется обмен данными между фрагментами приложений, выполняемых на различных процессорных узлах. Для организации обмена данными используется широковещательный протокол с гарантированной доставкой сообщений, описанный в п.4.2.

Рис. 1. Архитектура распределенной вычислительной среды

На уровне интерфейса передачи сообщений реализуется синхронизация вычислительных процессов на различных процессорных узлах РВС и форматирование данных, передаваемых между процессорными узлами. Автором разработан объектно-ориентированный интерфейс передачи сообщений, который позволяет синхронизировать выполнение фрагментов приложения в РВС с моментами передачи данных между процессорными узлами. Разработанный интерфейс передачи сообщений обеспечивает организацию данных приложения в форме, удобной для их передачи, что позволяет достичь максимальной эффективности использования сетевого канала. Интерфейс передачи сообщений инкапсулирует ряд

методов обработки данных, позволяющих приложению интерпретировать объекты интерфейса передачи сообщений как векторы входных данных и результатов, что позволяет упростить разработку приложений РВС.

Приложение РВС организуется в виде произвольного числа взаимосвязанных фрагментов, выполняемых на различных процессорных узлах РВС. Интерфейс приложения реализуется на управляющей ЭВМ.

Уровень пользователя РВС состаляют компоненты трех типов:

• математические модели объектов, используемых при синтезе системы распознавания ЛА;

• приложения РВС, осуществляющие преобразования моделей и оценку их характеристик;

• интерфейсы приложений РВС, позволяющие пользователю вводить и редактировать параметры моделей, а также управлять их преобразованиями.

В заключении перечислены основные результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

• Разработан алгоритм вычисления значений признаков изображения, инвариантных к сдвигу, повороту и изменению масштаба изображения, который позволяет сократить длительность обучения НС при синтезе системы распознавания ЛА.

• Проведен вычислительный эксперимент, в ходе которого решалась задача синтеза системы распознавания тестовых объектов Л А Б16 и МиГ-31 по телевизионному изображению.

• Предложены новые способы распараллеливания алгоритма обратного распространения ошибки для обучения НС в РВС.

• Получены аналитические оценки скорости обучения НС и оптимального числа процессорных узлов РВС, позволяющие управлять распределением вычислительных ресурсов в РВС.

• Разработан широковещательный сетевой протокол с гарантированной доставкой сообщений для реализации обмена данными между процессорными узлами РВС.

• Разработаны программные модели, обеспечивающие синхронизацию фрагментов приложений в РВС.

• Разработана архитектура РВС, позволяющей использовать технические средства ЛВС для решения задач синтеза ЛА.

Основные результаты диссертации представлены в

следующих работах:

1. Аракчеев П.В., Бурый Е.В. Распределенная реализация алгоритмов обучения нейронных сетей // Современные вычислительные системы: Материалы восьмой международной конференции. -Шецин, 2001С. 335-339. (на англ. яз.).

2. Аракчеев П.В. Применение нейросетевых алгоритмов для распознавания контрастных телевизионных изображений // Международный форум информатизации: Доклады международной конференции «Информационные средства и технологии» - М.: Издательство «Станкин», 2001 - Т.1. - С. 29-32.

3. Аракчеев П.В., Бурый Е.В. Обучение нейронных сетей с использованием интегрированных вычислительных ресурсов // Нейрокомпьютеры и их применение: Труды VI Всеросс. конф. -М., 2000.-С. 32-43.

4. Аракчеев П.В., Потемкин И.С. Особенности цифровой обработки осциллограмм широкополосных сигналов // Международный форум информатизации: Доклады международной конференции «Информационные средства и технологии» - М.: Издательство «Станкин», 2000 - Т.1. - С. 139-142

_Подписано в печать fttl' заказ / тираж fCC' печатных листов

Типография МЭЙ. Красноказарменная, 13

V

I

г

I

\Ц7ё » 177 76

Введение

1. Система распознавания летательных аппаратов

1.1. Задача распознавания летательных аппаратов

1.2. Источники информации о поверхности летательных аппаратов

1.3. Методы формирования пространства признаков изображений летательных аппаратов

1.4. Методы распознавания образов по значениям информативных признаков

1.5. Выводы

2. Разработка и экспериментальные исследования алгоритмов распознавания летательных аппаратов

2.1. Алгоритмы вычисления информативных признаков контрастных изображений летательных аппаратов

2.2. Алгоритмы распознавания летательных аппаратов по значениям информативных признаков контрастных изображений

2.3. Постановка задачи исследования алгоритмов распознавания летательных аппаратов по контрастным изображениям

2.4. Результаты экспериментов

2.5. Вычислительные затраты на синтез системы распознавания летательных аппаратов

2.6. Выводы

3. Методы и средства реализации алгоритмов обучения нейронной сети

3.1. Реализация алгоритмов обучения нейронной сети в многопроцессорных вычислительных системах

3.2. Алгоритм обучения нейронной сети и методы его распараллеливания

3.3. Выводы

4. Разработка архитектуры распределенной вычислительной среды

4.1. Реализация алгоритма обратного распространения ошибки средствами локальной вычислительной сети

4.2. Организация обмена данным между процессорными узлами распределенной вычислительной среды

4.3. Архитектура и программное обеспечение распределенной вычислительной среды

4.4. Выводы

Интенсивное развитие вычислительной техники и искусственного интеллекта вызвало появление практического интереса к реализации систем распознавания образов. В настоящее время большое значение приобретает задача построения системы распознавания летательных аппаратов (JIA). Актуальность этой задачи определяется необходимостью предотвращения применения средств противовоздушной обороны против объектов гражданской авиации. Особое значение приобретают системы распознавания JIA, получающие информацию о поверхности объекта в оптическом диапазоне электромагнитного излучения с использованием телевизионных, тепловизионных и лазерных локационных систем, которые обладают следующими свойствами:

• слабая чувствительность к уровню электромагнитных помех;

• возможность работы телевизионных и тепловизионных систем в режиме пассивной локации;

• возможность распознавания ЛА независимо от технического состояния его бортового оборудования.

Сложность задачи распознавания JIA обусловлена рядом особенностей:

• значительный объем данных, содержащийся в изображениях JIA;

• жесткие требования к быстродействию системы распознавания ЛА, обусловленные высокой скоростью перемещения ЛА и сравнительно небольшой дальностью действия телевизионных и тепловизионных систем;

• большое разнообразие изображений ЛА одного типа, обусловленное различными условиями наблюдения, расположением и пространственной ориентацией ЛА относительно системы наблюдения.

Требования к быстродействию системы распознавания JIA связаны не столько со скоростью принятия решения, сколько с возможностью обобщения решений, принятых в нескольких последовательных циклах локации, с целью повышения качества распознавания J1A. Требования к быстродействию системы распознавания ЛА определяют коренные отличия этой системы от существующих систем распознавания человека по изображению лица, наиболее близких по характеру исходной информации. В отличие от систем распознавания лиц, в которых требуется обеспечить простоту наращивания числа распознаваемых объектов, от системы распознавания ЛА требуется высокая скорость принятия решения. Наилучшим образом этому требованию соответствуют нейросетевые алгоритмы распознавания образов, отличающиеся богатыми функциональными возможностями, простотой реализации и внутренним детерминизмом. Нейросетевые алгоритмы могут быть эффективно реализованы в параллельных вычислительных системах, а также в виде аналоговых и аналогово-цифровых схем.

Необходимо отметить, что применение столь простых и удобных моделей в системе распознавания становится возможным лишь за счет значительных затрат на этапе обучения нейронной сети (НС), выполняемого при синтезе системы распознавания. Важнейшим условием применимости моделей НС для решения практических задач распознавания образов является обеспечение приемлемой длительности обучения НС. Существует несколько подходов, позволяющих уменьшить временные затраты на обучение НС:

• совершенствование алгоритма обучения НС;

• сокращение размерности задачи обучения НС;

• ускорение выполнения алгоритмов обучения НС за счет применения параллельных вычислительных средств.

Выбор и модификация алгоритма обучения НС является одной из наиболее сложных задач теории нейронных сетей, поскольку свойства алгоритма обучения НС в значительной степени определяют качество обученной НС. Сравнение качества решений, получаемых при помощи различных алгоритмов обучения НС, часто оказывается невозможным, так как показатели качества распознавания объектов при помощи НС определяются для определенных условий эксплуатации, которые не всегда корректно воспроизводятся при помощи математических моделей.

Уменьшение размерности задачи обучения НС достигается в основном за счет преобразования исходных признаков объекта, например, его изображения, в новое пространство признаков, которое отличается от исходного меньшей размерностью, инвариантностью к различным формам представления одного и того же объекта, простотой разделения образов. В результате этих преобразований уменьшается объем обучающей выборки, число нейронов и настраиваемых параметров НС. Несмотря на то, что модель нейронной сети как таковая не требует каких-либо преобразований исходных данных, использование этой особенности на практике приводит как к неприемлемому уровню затрат на обучение НС, так и к снижению качества распознавания образов.

Применение параллельных вычислительных систем позволяет существенно ускорить процесс обучения НС. Этот подход порождает ряд специфических требований как к архитектуре вычислительной системы, так и к ее программному обеспечению, поскольку значительная часть алгоритмов обучения НС, включая классический алгоритм обратного распространения ошибки, не обладает явным параллелизмом, характерным для моделей НС. В настоящее время наибольший интерес с точки зрения параллельной реализации алгоритмов обучения НС представляют параллельные вычислительные системы, создаваемые на основе сетей персональных ЭВМ (ПЭВМ). Актуальность этого подхода определяется:

• высокой производительностью современных ПЭВМ;

• экономической эффективностью, обусловленной возможностью использования для обучения НС существующих сетей ПЭВМ;

• простотой изменения алгоритмов, используемых для обучения НС;

• возможностью применения в составе ПЭВМ дополнительных аппаратных компонентов, ускоряющих обучение НС;

• возможностью использования аппаратных ресурсов системы для решения других задач, возникающих при синтезе системы распознавания JIA.

Для решения задач, возникающих в процессе синтеза систем распознавания JIA, необходимо на основе сети ПЭВМ построить распределенную вычислительную среду (РВС), позволяющую рационально использовать ресурсы ПЭВМ и сетевых каналов для решения следующих задач:

• синтез математических моделей поверхностей распознаваемых ДА;

• синтез изображений ДА с использованием математических моделей ДА, атмосферного и приемного каналов;

• реализация алгоритмов первичной обработки и вычисления значений информативных признаков изображений ДА;

• автоматическая генерация обучающих и контрольных выборок для обучения и тестирования НС;

• реализация алгоритмов обучения для НС с различной структурой;

• выполнение статистических испытаний НС одновременно с ее обучением для достижения оптимального обучения НС;

• проведение статистических испытаний системы распознавания ДА для оценки показателей ее надежности и точности.

Наиболее сложной, с точки зрения объема вычислений и сложности реализации, является задача обучения НС, поэтому настоящая работа ориентирована на создание РВС для реализации алгоритмов обучения НС.

Актуальность темы обусловлена необходимостью применения нейросетевых алгоритмов в системах распознавания J1A, предназначенных для повышения надежности средств противовоздушной обороны. Синтез системы распознавания ЛА возможен при условии обеспечения приемлемой длительности процесса обучения НС. Разработка распределенной вычислительной среды на основе существующих сетей ЭВМ обеспечивает ускорение обучения НС при минимальных затратах на дополнительное оборудование, хотя и не исключает применения специализированных аппаратных компонентов для дополнительного увеличения быстродействия вычислительной системы.

Целью работы является разработка архитектуры распределенной вычислительной среды для синтеза систем распознавания летательных аппаратов. Цель работы предполагает решение следующих задач:

1. Разработка архитектуры распределенной вычислительной среды, позволяющей ускорить обучение нейронных сетей.

2. Исследование потоков данных, передаваемых по сетевому каналу в распределенных реализациях алгоритма обучения нейронных сетей.

3. Исследование влияния числа процессорных узлов распределенной вычислительной среды на скорость обучения нейронной сети.

4. Оценка оптимального числа процессорных узлов распределенной вычислительной среды, предназначенной для обучения нейронных сетей.

5. Разработка широковещательного сетевого протокола с гарантированной доставкой пакетов для обучения нейронных сетей в распределенной вычислительной среде.

6. Исследование влияния организации и технических характеристик сетевого канала на скорость обучения нейронных сетей в распределенной вычислительной среде.

Методы исследования. В работе использовались методы теории синтеза дискретных систем, нейроматематики, математической статистики и объектно-ориентированного программирования.

Научная новизна работы.

1. Предложена архитектура распределенной вычислительной среды, предназначенной для решения задач синтеза системы распознавания Л А, которая позволяет сократить длительность обучения НС средствами сети ЭВМ.

2. На основе проведенного анализа потоков данных в сетевом канале распределенной вычислительной среды разработан широковещательный сетевой протокол с гарантированной доставкой данных, отличающийся от стандартных протоколов применением узла коммутации оповещений, который позволяет повысить эффективность использования сетевого канала в распределенной вычислительной среде.

3. Предложены новые способы распараллеливания алгоритма обучения НС, адаптированные для распределенной вычислительной среды, которые позволяют повысить скорость обучения НС на различных этапах синтеза системы распознавания летательных аппаратов.

Защищаемые положения.

1. Архитектура распределенной вычислительной среды для синтеза системы распознавания летательных аппаратов.

2. Широковещательный сетевой протокол с гарантированной доставкой пакетов для реализации алгоритма обучения нейронной сети в распределенной вычислительной среде.

3. Алгоритм вычисления информативных признаков изображений ЛА.

4. Результаты решения задачи распознавания летательных аппаратов с использованием нейронной сети.

Практическая ценность работы. Результаты работы реализованы в НИР «Юпитер» и «Изображение», выполненных в НИИ Радиоэлектоники и Лазерной техники МГТУ им. Н.Э. Баумана.

Апробация работы. Основные результаты работы докладывались автором на всероссийской конференции «Нейрокомпьютеры и их применение» (Москва, 2000г.) и на международной конференции «Advanced Computer Systems» (Шецин, 2001г.).

Публикации. По результатам работы опубликованы четыре печатные работы.

Личный вклад автора работы. Результаты, представленные в диссертационной работе, получены автором самостоятельно. Для получения экспериментальных данных, представленных во второй главе диссертации, были использованы математические модели поверхностей летательных аппаратов F16 и МиГ-31, предоставленные автору работы научно-исследовательским институтом Радиоэлектроники и лазерной техники Московского государственного технического университета им. Н.Э. Баумана.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы.

4.4. Выводы

• Предложены новые способы распараллеливания алгоритма обратного распространения ошибки, которые позволяют уменьшить интенсивность обмена данными между процессорными узлами РВС.

• Получены аналитические оценки длительности выполнения алгоритма обучения НС в РВС, позволяющие осуществлять выбор оптимального способа распараллеливания алгоритма обучения НС в зависимости от характеристик НС и сетевого канала.

• Получены аналитические оценки оптимального числа процессорных узлов системы, позволяющие ограничить область поиска оптимального значения этого параметра при обучении НС средствами РВС.

• Разработан широковещательный сетевой протокол с гарантированной доставкой пакетов с применением коммутатора оповещений, обеспечивающий высокую эффективность использования сетевого канала при реализации алгоритма обучения НС средствами РВС.

• Разработана программная модель взаимодействия процессов в РВС на основе обмена сообщениями, которая позволяет сократить вычислительные затраты, связанные с преобразованиями формата данных и обращениями к операционной системе при обучении НС.

• На основе предложенной модели взаимодействия процессов и широковещательного протокола с гарантированной доставкой сообщений разработана архитектура РВС, предназначенной для решения задач синтеза систем распознавания JIA с использованием технических средств ЛВС.

Заключение

• На основе анализа современных методов распознавания образов сделан вывод о целесообразности применения модели искусственной НС для распознавания JIA по телевизионному изображению;

• Разработан алгоритм вычисления значений признаков изображения, инвариантных к сдвигу, повороту и изменению масштаба изображения, который позволяет сократить длительность обучения НС при синтезе системы распознавания JIA;

• Проведен вычислительный эксперимент, в ходе которого решалась задача синтеза системы распознавания тестовых объектов: ДА F16 и МиГ-31 по телевизионному изображению. Результаты эксперимента позволяют сделать следующие выводы: применение НС в сочетании с алгоритмом вычисления признаков изображения для распознавания J1A позволило решить тестовую задачу с приемлемой точностью; алгоритм вычисления значений признаков изображения обеспечивает устойчивость системы распознавания к сдвигу и повороту изображения объекта, а также к изменению масштаба изображения в некоторых пределах; для обеспечения приемлемой длительности синтеза системы распознавания JIA необходимо ускорить обучение НС за счет применения параллельных вычислительных средств.

• Предложено использовать технические средства ЛВС для организации РВС, обеспечивающей эффективное решение задач синтеза систем распознавания ЛА.

Предложены новые способы распараллеливания алгоритма обратного распространения ошибки для обучения НС в РВС; Получены аналитические оценки скорости обучения НС и оптимального числа процессорных узлов РВС, позволяющие управлять распределением вычислительных ресурсов в РВС; Разработан широковещательный сетевой протокол с гарантированной доставкой сообщений для реализации обмена данными между процессорными узлами РВС;

Разработаны программные модели, обеспечивающие синхронизацию фрагментов приложений в РВС; Разработана архитектура РВС, позволяющей использовать технические средства ЛВС для решения задач синтеза ЛА.

1. Горелик А.Л. и др. Селекция и распознавание на основе локационной информации. - М.: Радио и связь, 1990. - 240 с.

2. Небабин В.Г., Сергеев В.В. Методы и техника радиолокационного распознавания. М.: Радио и связь, 1984. - 152 с.

3. Бурый Е.В., Рождествин В.Н. Перспективы развития методов получения информации о форме объектов в лазерных локационных системах и способы ее использования / Вестник МГТУ им. Баумана. Сер. Приборостроение. 1998. - Спец. вып. - С. 62 - 67.

4. Бурый Е.В., Зубцов С.А., Савельев С.Б. Использование ультракоротких импульсов в лазерных локационных системах для задач распознавания: Обзор по материалам отечественной и зарубежной печати 1966 1990 гг. -М.: ГОНТИ МГТУ им. Н.Э. Баумана, 1990. - 61 с.

5. Бурый Е.В., Смирнова Ю.Л. Анализ устойчивости распознавания объектов в оптическом диапазоне при изменении характеристик рассеянияих поверхностей // Нейрокомпьютеры и их применение. Труды VIII Всеросс. конф. М., 2002. - С. 86 - 87.

6. Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. -М.: Наука, 1986.-320 с.

7. Гардан И., Люка М. Машинная графика и автоматизация конструирования: Пер. с франц. О.Н. Родинко; Под ред. Ю.М. Баяковского. М.: Мир, 1987. - 272 с.

8. Математика и САПР: в 2 кн. Кн. 2: Шенен П. и др. Вычислительные методы. Геометрические методы: Пер. с франц. С.Д.Чигиря; Под ред. Н.Г. Волкова. М.: Мир, 1989. - 260 с.

9. Бронштейн И.Н., Семендяев К.А. Справочник по математике для инженеров и учащихся втузов. М.: Наука, 1986. - 544 с.

10. Бутаков Е.А., Островский В.И., Фадеев И.Л. Обработка изображений на ЭВМ. М.: Радио и связь, 1987. - 240 с.

11. Кухарев Г.А. Биометрические системы: методы и средства идентификации личности человека. СПб: Политехника, 2001. -240с.

12. Kukharev G., Kuzminski A. Techniki Biometryczne. Czesc 1: Metody Rozpoznawania Twarzy. Szczecin: Politechnika Szczecinska, Wydzial Informatyki, 2003. -310 c.

13. Дуда P., Харт П. Распознавание образов и анализ сцен: Пер с англ. М.: Мир, 1976.-510 с.

14. Wang Y.F., Wang Jih-Fang. Surface reconstruction using deformable models with interior and boundary constraints // IEEE Trans, on Pattern Analysis and Machine Intelligence. 1992. - V. 14. - № 5. - P. 572-579.

15. Бурый Е.В., Асеф Джафар. Получение инвариантных информативных признаков для распознавания двухмерных контрастных изображений объектов // Нейрокомпьютеры и их применение: Труды VI Всеросс. конф. -М.,2000. С. 32-43.

16. Chen Q., Defrise М., Deconinck F. Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1994. V. 16. - № 12. - P. 1156 - 1168.

17. Бурый E.B. Синтез системы распознавания объектов по форме огибающей лазерного импульса при импульсно-периодической локации // Квантовая электроника. 1998. - Т. 25. - № 5. - С. 471 - 475.

18. Справочник по теории вероятностей и математической статистике / B.C. Королюк, Н.И. Портенко, А.В. Скороход и др. М.: Наука, 1985. - 640 с.

19. Вопросы статистической теории распознавания / Ю.Л. Барбаш, Б.В. Варский, В.Т. Зиновьев и др.; Под ред. Б.В. Барского. М.: Сов. радио, 1967. -400 с.

20. Swets D.L., Weng J. Using Discriminant Eigenfeatures for image Retrival.// IEEE Transactions Pattern Analysis and Machine Intelligence, Vol.6 - №8. -1996. -P.831 -836.

21. Классификация и кластер / Под ред. Дж. Вэн Райзина. М.: Мир, 1980. -389 с.

22. Mamistvalov A.G. n-Dimensional Moment Invariant and Conceptual Mathematical Theory of Recognition n-Dimensional Solids // IEEE Transactions Pattern Analysis and Machine Intelligence. 1998. - V. 20. - № 8. -P. 819-831.

23. Buryi E., Jafar A. Invariant Features Extraction Forming for Contrast Planer Objects Recognition // 8-th Int. Conf. ACS'2001. Szczecin (Poland), 2001. -Part. 2.-P. 205-207.

24. Гордиенко Е.К., Лукьяница А.А. Искусственные нейронные сети. Основные определения и модели // Техническая кибернетика. 1994. - № 5.-С. 79-92.

25. Галушкин А.И. Теория нейронных сетей. Кн.1 / под ред. А.И. Галушкина. М.: ИПРЖР. 2000. - 415с.

26. Widrow В., Winter R., Baxter R. Layered Neural Nets for Pattern Recognition //IEEE Trans. ASSP. 1988. - V. 36. -№ 7. - P. 1109 - 1118.

27. Горбань A.H. Обучение нейронных сетей. СПб.: ПараГраф, 1990.-159 с.

28. Исследование характеристик распознавания тестовых объектов в оптическом диапазоне. Отчет о НИР / НИИ Радиоэлектроники и лазерной техники Моск. гос. техн. ун-та им. Н.Э. Баумана; Руководитель Бурый Е.В. Л210201. - Инв. № РЛМ-64/02. - М., 2002. - 29 с.

29. Щербаков Ю.Н., Якунин Ф.Н., Метод построения треугольных адаптивных конечно-элементных сеток и его приближения // Математическое моделирование. 1992. - Т. 4. - № 4. - С. 109 - 118.

30. Шадуров В.В. Многосеточные методы конечных элементов,- М.: Наука, 1989, 288 с.

31. Шахнов В.А., Власов А.И., Кузнецов А.С., Поляков Ю.А. Элементная база для реализации параллельных вычислений: тенденции развития // Нейрокомпьютеры и их применение: Труды VII Всеросс. конф. М. ИПУ РАН, 2001.-С. 499-531.

32. Zhang D. Parallel VLSI Neural System Design for Time-Delay Speech Recognition Computing // Advances in Parallel and Distributed Computing: International Conference Proceedings. Shanghai, 1997 - P. 12-14.

33. Назарян K.M. Аппаратная реализация функционально полного цифрового нейрона и алгоритма обучения // Нейрокомпьютеры: разработка, применение 2001. - №1. - С. 22-28.

34. Шевченко П.А., Фомин Д.В., Черников В.М., Виксне П.Е. Архитектура нейропроцессора NeuroMatrix NM6403 // Нейрокомпьютеры и их применение: Труды VII Всеросс. конф. М. ИЛУ РАН, 1999. - С. 322 -326.

35. Нейронный процессор NM6403. Введение в архитектуру. М.: НТЦ Модуль, 1998. -43 с.

36. NLX420 Data Sheet. San Jose: Neurologix Inc., 1992. - 48p.

37. Шевченко П.А., Фомин Д.В., Черников В.М., Виксне П.Е. Применение микропроцессора NM6403 для эмуляции нейронных сетей // Нейрокомпьютеры и их применение: Труды VII Всеросс. конф. М. ИПУ РАН, 1999. - С. 322-326.

38. Hammerstrom D. A VLSI Architecture for High Performance, Low Cost, On-chip Learning // Int. Joint Conf. On Neural Networks: Proceedings. San Diego, 1990. - v.2. - P.537-544

39. Кирсанов Э.Ю. Цифровые нейрокомпьютеры: Архитектура и схемотехника / Под ред. А.И.Галушкина. Казань: Казанский Гос. У-т. 1995. 131 с.

40. Алюшин М.В. Аппаратная реализация быстродействующих нейросетей на основе программируемой логики фирм AMD, ALTERA, XILINX // Нейроинформатика-99: Сборник докладов конференции. М.: МИФИ. -С.18-24.

41. Kumar V., Shekhar S., Amin M.B. A Scalable Parallel Formulation of the Backpropagation Algorithm for Hypercubes and Related Architectures. // IEEE Transactions on Parallel and Distributed Systems. 1994. - Vol. 5. - № 10.1. P.1073-1090.

42. D. Aberdeen, J. Baxter and R. Edwards, A 98c/MFLOP Ultra-Large Scale Neural Network Training on a PIII Cluster // Supercomputing 2000: Proceedings of the International Conference. - Dallas, 2000. P. 23-29.

43. Минский M.JI., Пейперт С. Персептроны. М.: Мир, 1971. - 261 с.

44. Grossberg S. Nonlinear Neural Networks: Principles, Mechanism and Architectures //Neural Networks. 1988. -V. 1. - № 1. - P. 17 - 62.

45. Jacques de Villiers, Etienne Barnard. Backpropagation Neural Networks with One and Two Hidden Layers // IEEE Trans, on Neural Networks. 1992. - V. 4. -№ 1. -P. 136-141.

46. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика: Пер. с англ. М.: Мир, 1992. - 240 с.

47. Васильев Ф. П. Методы оптимизации. М.: Факториал Пресс, 2002. -823 с.

48. Реклейтис Г., Ревиндран А., Регсдел К. Оптимизация в технике. М.: Мир, 1986.-320 с.

49. Скурихин. А. Генетические алгоритмы // Новости искусственного интеллекта. 1995. - № 4. С. 6 -17.

50. Комарцова Л.Г. Двухэтапный алгоритм обучения нейронной сети на основе генетического поиска. II Нейрокомпьютеры: разработка, применение 2001. - №1. - С. 3-9.

51. Sakaue S., Kohba Т., Yamamoto H. Reduction of required precision bits for back-propagation applied to pattern recognition // IEEE Trans, on neural networks. 1993. - V. 4. - № 2. - P. 270 - 275.

52. Torresen J. The Convergence of Backpropagation Trained Neural Networks for Various Weight Update Frequencies. // International Journal of Neural Systems 1997. - Vol. 8. - No. 3.

53. Arakcheev P.V., Buryi E.V. The Distributed Implementation of Neural Networks Training Algorithms // Advanced Computer Systems: 8-th Int. Conference proceedings Szczecin: Informa, 2001. - P. 335 - 339.

54. Аракчеев П.В., Бурый E.B. Обучение нейронных сетей с использованием интегрированных вычислительных ресурсов // Нейрокомпьютеры и их применение: Труды VI Всеросс. конф. М., 2000. - С. 32 - 43.

55. Sundararajan N., Saratchandran P. Parallel Architectures for Artificial Neural Networks: Paradigms and Implementations. IEEE Computer Society Press,. 1998,409р.

56. Torresen J., Landsverk O., Mori S., Nakashima H., Tomita S. Exploiting Parallel Computers to Reduce Neural Network Training Time of Real Applications. // Int. Symp. High Performance Computing: Proceedings. -Springer-Verlag, 1997. P. 405-414.

57. Корнеев В. Параллельные вычислительные системы. М.: Нолидж., 1999. -320 с.

58. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. М.: Мир, 1979.

59. Gupta A., Kumar. V. Performance Properties of Large Scale Parallel Systems // Journal of Parallel and Distributed Computing. 1993. -Vol. 19. - P. 234-244, 1993.

60. Фролов A.B., Фролов Г.В. Локальные сети персональных компьютеров. Использование протоколов IPX, SPX, NETBIOS. М.: ДИАЛОГ-МИФИ, 1995.- 160 с.

61. Gropp W., Lusk E., Doss N., Skjellum A. A High-Performance Portable Implementation of the Message Passing Interface // Parallel Computing. 1996. -Vol. 22.-P. 789-828.

62. Kanevski A., Skjellum A., Rounbehler A. MPI/RT An Emerging Standard for High-Performance Real-Time Systems //31st Annual Hawaii International Conference on Systems Sciences: Proceedings. 1998. - Vol. 3. - P: 157-164.

63. Jannotti J., Gifford L ., Johnson M. Overcast: Reliable Multicasting with an Overlay Network. // 4th USENIX OSDI Symposium: Proceedings. 2000.-P.197-212.

64. Lauria M., Chien A. MPI-FM: High-Performance MPI on Workstation Clusters // Journal of Parallel and Distributed Computing. 1997. - No. 1. - P. 4-18.

65. Шейнин Ю.Е. Обобщенная модель параллельных ВС для разработки и анализа параллельных архитектур и алгоритмов // Интеллектуальные и многопроцессорные системы-2001: Материалы Международной научной конференции. Таганрог, 2001, С. 106-109.

66. Коваленко В., Коваленко Е., Корягин Д., Любимский Э., Хухлаев Е. Управление заданиями в распределенной вычислительной среде. // Открытые системы. 2001. - № 5. - С. 12-17.