автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Параллельные цифровые нейрокомпьютеры и их применение в задачах распознавания зрительных образов



•У^О

^ V"" А А .-я*

/V » У / <" 1 „ ' г/

V' с , ,

/' Си/ ».У / * - ,

НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ МНОГОПРОЦЕССОРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

Таганрогского государственного радиотехнического университета

На правах рукописи УДК 007.573.6:681

Галуев Геннадий Анатольевич

ПАРАЛЛЕЛЬНЫЕ ЦИФРОВЫЕ НЕЙРОКОМПЬЮТЕРЫ И ИХ ПРИМЕНЕНИЕ В ЗАДАЧАХ РАСПОЗНАВАНИЯ ЗРИТЕЛЬНЫХ ОБРАЗОВ

Специальность: 05.13.13 - Вычислительные машины, комплексы, системы и сети.

Диссертация на соискание ученой степени доктора технических наук

Научный консультант член-корреспондент РАН

д.т.н., профессор А.В. Каляев

Таганрог - 1997

СОДЕРЖАНИЕ

стр.

ПЕРЕЧЕНЬ ОСНОВНЫХ СОКРАЩЕНИЙ, УСЛОВНЫХ ОБОЗНАЧЕНИЙ,

ЕДИНИЦ И ТЕРМИНОВ.....................5

ВВЕДЕНИЕ .....................Т

1. ПАРАЛЛЕЛЬНЫЕ ЦИФРОВЫЕ НЕЙРОКОМПЬЮТЕРЫ

С ПРОГРАММИРУЕМОЙ АРХИТЕКТУРОЙ.............22

1.1. Краткий анализ развития и современное состояние исследований в области моделирования нейронных

сетей . . . ..................¿2

1.2. Проблемы создания и основные направления развития нейрокомпьютерной техники. Параллельные цифровые нейрокомпьютеры с программируемой архитектурой . .4*/

вывода .....................66

2. СТРУКТУРА ПАРАЛЛЕЛЬНЫХ ЦИФРОВЫХ НЕЙРОКОМПЬЮТЕРОВ . ... 69

2.1. Структурная организация универсальных и специализированных параллельных цифровых нейрокомпьютеров..................,69

2.2. Способы построения и классификация параллельных цифровых нейросетевых процессоров .......... 75

2.3. Структура и свойства полносвязных параллельных цифровых нейросетевых процессоров. Параллельные цифровые нейросетевые процессоры с полным числом каналов связи ....................

2.4. Структура и особенности параллельных цифровых нейросетевых процессоров с неполным числом каналов связи.Сравнительный анализ эффективности различных виде параллельных цифровых

нейросетевых процессоров ............... 98

ВЫВОДЫ ..................... 141

3. ЭЛЕМЕНТНАЯ ВАЗА ПАРАЛЖЯЬНЫХ ЦИФРОВЫХ НЕЙРОКОМПЬЮТЕРОВ....................745

3.1. Операционный базис и структура цифрового нейропроцессора ................... 145

3.2. Способы реализации цифрового нейропроцессора

на основе современной интегральной технологии . . . .763 ВЫВОДЫ .....................

4. ПАРАЛЛЕЛЬНЫЕ ЦИФРОВЫЕ НЕЙРОКОМПЬЮТЕРНЫЕ СИСТЕМЫ ОБРАБОТКИ И РАСПОЗНАВАНИЯ ЗРИТЕЛЬНЫХ

ОБРАЗОВ - ИЗОБРАЖЕНИЙ................. 187

4.1. Особенности задачи распознавания зрительных образов. Проблема создания эффективных систем обработки и распознавания зрительных образов

и предлагаемые подходы к ее решению ......... 187

4.2. Параллельные цифровые квазинейрокомпьютерные системы обработки и распознавания зрительных

образов .............................19 7

4.3. Параллельные цифровые нейрокомпьютерные системы обработки и распознавания зрительных

образов .................... . 21Н

ВЫВОДЫ ......................224

5. ПАРАЛЛЕЛЬНЫЕ ЦИФРОВЫЕ НЕЙРОСЕТЕВЫЕ ПРОЦЕССОРЫ

ОБРАБОТКИ И РАСПОЗНАВАНИЯ ЗРИТЕЛЬНЫХ ОБРАЗОВ ..... 227

5.1. Параллельные цифровые нейросетевые процессоры

обработки изображений ................¿27

5.2. Обучающиеся параллельные цифровые нейросетевые процессоры распознавания

изображений.....................65

5.3. Эффективность и функциональные возможности параллельных цифровых нейросетевых процессоров обработки и распознавания

изображений.....................

ВЫВОДЫ .....................

ЗАКЛЮЧЕНИЕ .....................588

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ...... ......,3 92.

ПРИЛОЖЕНИЕ. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ И ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОЙ РАБОТЫ ............ 4/3

ПЕРЕЧЕНЬ ОСНОВНЫХ СОКРАЩЕНИЙ, УСЛОВНЫХ 0Б03НАЧЕШЙ, ЕДИНИЦ И ТЕРМИНОВ

БИС - большая интегральная схема СБИС - сверхбольшая интегральная схема нс/с - нейросоединений в секунду CUPS - connection updates per second

ПЦНК ПА - параллельный цифровой нейрокомпьютер с программируемой

архитектурой ЦНП - цифровой нейропроцессор ПЦНК - параллельный цифровой нейрокомпьютер ПЦНСП параллельный цифровой нейросетевой процессор ПЦНСП П - параллельный цифровой нейросетевой процессор

программируемого типа ПЦНСП С - параллельный цифровой нейросетевой процессор

специализированного типа ПЦНСП ПЧКС - параллельный цифровой нейросетевой процессор с полным

числом каналов связи П ПЦНСП - полносвязный параллельный цифровой нейросетевой процессор

ПЦНСП НЧКС - параллельный цифровой нейросетевой процессор с

неполным числом каналов связи МНПИ - межнейропроце с сорный интерфейс ЦНПМ - цифровой нейропроцессорный модуль ПЗ - процессорный элемент

ПСЦП - параллельный специализированный цифровой процессор ПК -- персональный компьютер ПБУ - программируема блок управления ИБ - интерфейсный блок

в

ГШ - программируемый интерфейс

БУ - блок управления

И - интерфейс

БВСИ - блок ввода сенсорной информации

БВУС - блок выработки управляющих сигналов

ММНС 0Р0 - модель многослойной нейронной сети, обучаемой методом

обратного распространения ошибки МСНС КА - модель самообучающейся нейронной сети, реализующей функцию кластерного анализа

ВВЕДЕНИЕ

Актуальность проблемы и темы диссертационной работы. Начиная с середины 80-х годов, практически во всех развитых странах мира наблюдается стремительный рост исследований и разработок в области создания систем обработки информации принципиально нового типа, получивших название нейро-ЭВМ или нейрокомпьютеров.

В настоящее время мировая практика разработки и создания нейрокомпьютеров использует три основных подхода. Первый подход предполагает построение нейрокомпьютеров в виде прикладных пакетов программ для стандартных ЭВМ, в качестве которых чаще всего используется обычный персональный компьютер. Второй подход связан с созданием нейрокомпьютеров в виде комбинированных систем, включающих персональный компьютер с соответствующим программным обеспечением и сопроцессор-акселератор для быстрой реализации нейровычислений. И, наконец, третий подход предполагает создание истинных нейрокомпьютеров в виде аппаратно реализованных параллельных нейросетевых систем. Первые два подхода позволяют создавать достаточно гибкие нейрокомпыотерные системы, однако из-за низкого быстродействия область применения таких систем ограничивается научными исследованиями в области нейронаук, учебными целями и некоторыми коммерческими задачами. Полного воплощения всех уникальных свойств нейросетевых методов обработки информации можно добиться только путем использования третьего из указанных подходов, т.е. при создании аппаратных параллельных нейрокомпьютеров.

В настоящее время отсутствуют сведения о промышленном производстве аппаратных нейрокомпьютеров, за исключением нескольких экспериментальных образцов на оптической или

опт'оэлектронной аналоговой основе и разработки электронной элементной базы - нейро-СБИС для их реализации, что объясняется не только сложностью этой задачи, но и отсутствием проработанных конструктивных концепций для ее решения.

Наиболее важной и перспективной областью практического применения нейрокомпьютеров является распознавание зрительных образов - изображений, что объясняется с одной стороны значительной сложностью, а во многих случаях и невозможностью формализации указанных задач и, следовательно, возникающими проблемами их решения традиционными средствами вычислительной техники, работающими по1жестко заданным алгоритмам, а с другой -стремительно возрастающими потребностями в решении таких задач во многих прикладных областях гражданского и военного назначения. В этих условиях нейрокомпьютеры, важнейшими отличительными свойствами которых являются способность в - процессе обучения на примерах автоматически формировать алгоритм решения поставленной задачи и естественным образом реализуемый в них массовый параллелизм обработки информации, представляют собой перспективное, а во многих случаях и незаменимое на сегодняшний день средство для эффективного решения задач распознавания зрительных образов. При этом комплексное решение вопросов научно-обоснованного применения нейрокомпыотерной техники при решении задач обработки зрительной информации представляет собой одну из важнейших проблем современного нейрокомпьютинга, которая не только имеет большое практическое значение для широкого спектра прикладных областей народного хозяйства, но и во многом определяет будущее данного научного направления.

С учетом сказанного, актуальной проблемой современного нейрокомпьютинга и связанных с ним прикладных областей, имеющей

большое практическое значение является поиск и разработка конструктивных подходов к построению аппаратных параллельных нейрокомпьютерных систем и комплексная проработка вопросов их применения в наиболее перспективной и важной области -распознавание зрительных образов - изображений.

В НИМ многопроцессорных вычислительных систем при Таганрогском государственном радиотехническом университете членом-корреспондентом РАН Каляевым A.B., д.т.н., профессором Чернухиным Ю.В., к.т.н., с.н.с. Брюхомицким Ю.А. и автором данной работы была предложена концепция построения нового перспективного класса аппаратных параллельных нейрокомпьютерных систем параллельных цифровых нейрокомпьютеров с программируемой архитектурой, которые на сегодняшний день не имеют мировых аналогов и позволяют не только устранить существующие недостатки подходов, ориентированных на использование аналоговой техники, но и существенно расширить их функциональные возможности. Данная концепция базируется на принципах построения многопроцессорных вычислительных систем с программируемой архитектурой и однородных нейроподобных структур, выдвинутых Каляевым A.B., а также на разработанных Чернухиным Ю.В. принципах построения адаптивных цифровых нейроподобных управляющих и вычислительных структур (см. раздел I).

Наряду с указанными выше специалистами, существенный вклад в разработку указанной концепции внесли д.т.н., профессор Божич В.И., к.т.н. Боровков И.К. и другие (см. раздел I). Вместе с тем, вопросы структурной организации параллельных цифровых нейрокомпьютеров универсального и специализированного типов и основных их функциональных блоков, без решения которых практическая реализация указанной концепции неосуществима, а также

задачи, связанные с их применением в наиболее важной и перспективной области - распознавание зрительных образов комплексно и детально не рассматривались и остаются открытыми.

В связи с этим, и учитывая сказанное выше, тема данной диссертационной работы, в которой проводится дальнейшее развитие и разработка концепции параллельных цифровых нейрокомпьютеров с программируемой архитектурой и исследуются вопросы их применения в задачах обработки и распознавания зрительных образов - изображений является актуальной и имеет большое практическое значение для широкого спектра прикладных областей народного хозяйства.

Диссертация квалифицируется как решение актуальной 1

I

научно-технической проблемы создания нового класса аппаратных ; параллельных нейрокомпьютеров - параллельных цифровых ;

нейрокомпьютеров с программируемой архитектурой и комплексного решения вопросов их применения в наиболее обширной и важной области - распознавание зрительных образов,имеющей важное значение для широкого спектра прикладных областей народного хозяйства.

Цель и задачи исследования. Целью диссертационной работы является разработка принципов построения нового перспективного класса аппаратных параллельных нейрокомпьютерных систем параллельных цифровых нейрокомпьютеров с программируемой архитектурой, направленная на решение вопросов их структурной организации и практической реализации на базе современной интегральной технологии, а также комплексное решение вопросов их применения в наиболее важной и перспективной области распознавание зрительных образов.

Для достижения поставленной цели .в работе ставились и решались следующие задачи:

- разработка принципов структурной организации параллельных

цифровых нейрокомпьютеров универсального и специализированного типов;

- разработка широкого спектра способов построения и структур параллельных цифровых нейросетевых процессоров;

- разработка способов построения, комплексирования и технической

реализации цифровых нейропроцессоров - элементной базы цифровых

нейрокомпьютеров;

разработка принципов построения параллельных цифровых

нейрокомпьютерных систем обработки и распознавания зрительных

образов;

разработка моделей нейронных механизмов обработки и распознавания зрительных образов, а также принципов построения и архитектуры параллельных цифровых нейросетевых процессоров для их эффективной реализации;

- комплексный анализ эффективности и функциональных возможностей параллельных цифровых нейросетевых процессоров при решении задач обработки и распознавания зрительных образов.

Предмет и методы исследования. Предметом исследования являются параллельные цифровые нейрокомпьютерные системы и вопросы их применения для эффективной реализации задач обработки и распознавания зрительных образов.

Методы исследования базируются на аппарате теории многопроцессорных вычислительных систем с программируемой архитектурой, теории множеств, теории графов, теории математической статистики, теории распознавания образов, теории цифровой обработки изображений, теории искусственного интеллекта, на данных нейрофизиологических, нейрокибернетических и нейробионических исследований, на экспериментальных исследованиях нейрокомпьютерных систем.

Для подтверждения основных положений диссертации проводилось моделирование нейронных механизмов обработки и распознавания изображений на ЭВМ с дальнейшей обработкой результатов методами математической статистики.

Научная новизна результатов исследования.

В процессе выполнения работы получены следующие новые научные результаты.

Разработаны принципы структурной организации параллельных цифровых нейрокомпьютеров универсального и специализированного типов, обеспечивающие реализацию основных положений концепции их построения и соответствующих преимуществ по сравнению с известными подходами.

Разработаны способы построения и структуры различных видов параллельных цифровых нейросетевых процессоров как с полным, так и с неполным набором межнейропроцессорных связей для

нейрокомпьютеров универсального и специализированного типов, а также оценки их основных характеристик - производительности и стоимости, что позволяет дать разработчикам нейрокомпыотерной техники широкий спектр конструктивных подходов к практической реализации параллельных цифровых нейрокомпьютеров.

Разработаны структура цифрового нейропроцессорного модуля ориентированного на СБИС-реализацию, который в отличие от известных позволяет воспроизвести необходимый при моделировании нейронных сетей широкий спектр выходных характеристик моделей нейрона, а также способы комплексирования таких модулей для наращивания числа синаптических входов и построения цифровых нейропроцессоров, воспроизводящих динамические модели нейрона как адаптивного так и неадаптивного типа , что в целом обеспечивает практическую реализуемость параллельных цифровых нейрокомпьютеров

в интегральном исполнении.

Разработаны принципы построения не имеющих аналогов в технике параллельных иерархических комбинированных квазинейрокомпьютерных и полностью однородных нейрокомпьютерных систем для эффективной реализации комплексной, нерегулярной задачи обработки и распознавания зрительных образов.

Разработаны структуры специализированных цифровых процессоров обработки изображений, в которых в отличие от известных осуществляется одновременное выполнение целого ряда базовых операций (фильтрация, выделение контуров, выделение признаков контурных препаратов). 1

Разработаны оригинальные модели нейронных механизмов обработки и распознавания зрительной информации, а также принципы построения и архитектуры параллельных цифровых нейросетевых процессоров для их эффективной реализации.

Предложен оригинальный подход к решению актуальной для современного нейрокомпьютинга проблемы построения параллельных цифровых нейросетевых процессоров с встроенными на системном уровне глобальными алгоритмами обучения. Разработаны принципы построения и архитектуры обучающихся автономных однородных адаптивных параллельных цифровых нейросетевых процессоров распознавания изображений, в которых на основе указанного подхода в едином базисе нейровычислений параллельно реализуются как процессы распознавания, так и процедуры обучения.

Достоверность основных положений диссертационной работы подтверждается аналитическими исследованиями, математическими выкладками, результатами моделирования на ЭВМ, а также внедрением в разработках НШ МВС и других организаций.

П