автореферат диссертации по электронике, 05.27.01, диссертация на тему:Универсальный нейросетевой ускоритель для решения задач искусственного интеллекта

м На нравах рукописи

., - бума Хо&ю

БОРИСОВ Виктор Леонидович

Универсальный нейросетевой ускоритель для решения

задач искусственного интеллекта

Специальность 05.27.01 - Твердотельная электроника, микроэлектроника и наноэлекгроника.

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Воронеж 1999

Работа выполнена в Воронежском государственном университете. Научный руководитель: доктор технических наук,

профессор Б.К. Петров / кандидат технических наук,

доцент В.И. Клюкин

Официальные оппоненты: доктор физико-математических наук,

профессор A.M. Гуляев доктор технических наук, профессор М.И. Горлов

Ведущая организация: Научный центр нейрокомпьютеров

РАН (г. Москва)

Защита состоится23 декабря 1999 года в 15- назаседании диссертационного совета К 063.48.02 при Воронежском государственном университете по адресу: 394693, Воронеж, Университетская пл., 1,ВГУ.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного университета

Автореферат разослан «22» 999 года.

Ученый секретарь диссертационного совета ^ кандидат технических на</к, доцент

/ь _ ______

В.И. Клюкин

J

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Повышение быстродействия СБИС имеет физический предел, поэтому дальнейшее увеличение производительности вычислений достижимо только за счет их. распараллеливания. Современная технология микроэлектроники позволяет производить миниатюрные и относительно дешевые процессоры, что обеспечивает возможность создания многопроцессорных систем. Распараллеливание вычислений между максимальным числом одновременно работающих процессоров столкнулось с проблемой нелинейного (медленного) роста производительности при увеличении числа процессорных элементов. Это происходит из-за экспоненциального роста времени, затрачиваемого на обмены данными и командами между процессорами, а также между процессорами и памятью. Таким образом, не столько решаются старые проблемы, сколько создаются новые. На пути параллельных вычислений выигрышную позицию занимают нейроструктуры, т.к. за счет простоты процессорных элементов обеспечивают большее отношение производительности к стоимости. Более того, вычислительная математика уходит от применения старых «однопроцессорных» к новым параллельным алгоритмами.

Основными направлениями современного развития нейрокомпьютерных технологий являются:

- обработка мультимедийной информации, в частности, распознавание образов (человеческих лиц, речи, рукописного текста, аэрофотоснимков, показаний медицинских датчиков и т.д.), синтез звука и изображений, обеспечение виртуальной реальности (игры, обучение, компьютерная кинематография и анимация);

- управление динамическими системами, например, управление наземным, воздушным, подводным, космическим транспортом, а также технологическими процессами промышленного производства;

- создание систем поддержки принятия решений и прогнозирования (управление финансовой деятельностью, ведение боя, универсальные экспертные системы).

Резко возросло число военных разработок, в основном направленных на создание сверхбыстрых вычислителей. Если говорить о главном перспективном направлении -интеллектуализации вычислительных систем, придании им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры - практически единственный путь развития вычислительной техники.

Некоторые из указанных задач искусственного интеллекта можно успешно решать с помощью программ, выполняемых на компьютере с фон-неймановской архитектурой. Однако для расширения круга решаемых задач и повышения скорости вычислений целесообразнее разрабатывать нейрокомпьютеры, чаще представляющие собой стандартную конфигурацию управляющей ЭВМ и сопроцессор-ускоритель, построенный таким образом, чтобы ускорять именно операции вычисления в нейронных сетях:.

Сегодня разработками нейрокомпьютеров занимаются более 300 зарубежных компаний, среди которых такие гиганты, как Intel и IBM. Однако, созданные к настоящему времени нейрокомпьютеры обладают все еще недостаточно большим для массового распространения показателем производительность/ стоимость - -1,6 MCPS (миллионов соединений в секунду) за 1 доллар США и обладают фиксированной архитектурой, что сужает круг решаемых ими задач.

Таким образом, актуальность темы диссертационной работы обусловлена необходимостью увеличения производительности и снижения стоимости систем ускорения нейросетевых операций, а также обеспечением гибкости аппаратно реализованной логики.

Цель и задачи исследорвания.

Целью диссертационной работы является разработка специализированной СБИС и практическая реализация на ее основе сопроцессора ЭВМ, обладающего высоким показателем производительность/стоимость (более f,6MCPS3a$l) и имеющего

настраиваемую нейросетевую архитектуру.

В соответствии с целью диссертации поставлены и решены следующие задачи:

- разработка методики быстрого проектирования архитектуры СБИС нейросетевого ускорителя с гибкой логикой;

- создание перестраиваемой (управляемой) оптозлектронной модели биологического нейрона на основе эффекта «замороженной» фотопроводимости;

- формирование библиотеки схемотехнических модулей, отражающих поведение нейронных сетей различных моделей;

- разработка платы расширения персонального компьютера, имеющей интерфейс обмена данными стандарта PCI 2.1 и максимальное число программируемых логических интегральных схем (ПЛИС), а также контроллера данной шины (PCI) на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС и драйвера созданного устройства;

- создание макета заказной СБИС, реализующей специализированный нейросетевой сопроцессор при установке данной СБИС на разработанную плату расширения ЭВМ.

Методы исследования. В работе используются методы вычислительной математики, физика полупроводников, теория искусственных нейронных сетей, методы математического моделирования.

Научная новизна. Основные результаты диссертации, имеющие научную новизну, следующие:

- разработана методика быстрого проектирования на основе ПЛИС специализированных нейросетевых процессоров, использующих различные модели нейронных сетей, в том числе и гибридные, при размещении на одной плате расширения ЭВМ до четырех таких процессоров, которая снижает время создания

оптимизированной схемы для решения конкретной задачи искусственного интеллект а,

- предложено аналоговое оптоэлектронное устройство на основе эффекта «замороженной» фотопроводимости для моделирования нейрона, созданные на основе которого нейронные сети отличаются самообучением, адаптацией обучения и реализацией функции забывания аналогичными биопрототипу, т.е. максимально приближены к мозгу, обеспечивая большее быстродействие; построена математическая модель нейрона, позволяющая численным моделированием оптимизировать параметры устройства;

- сформирована библиотека схемотехнических макромодулей нейронов, отличающихся способом реализации умножителей, что позволяет разработчику нейросетевого приложения увеличивать быстродействие за счет уменьшения числа параллельно работающих нейронов;

- создана цифровая специализированная СБИС, используемая в составе разработанной и изготовленной РО-платы расширения персонального компьютера и реализующая нейросетевые принципы обработки информации.

Практическая ценность - предложена оитоэлектронная конструкция нейрона, позволяющая проводить моделирование процессов мышления в мозге;

- разработана и изготовлена 6-слойная плата сопряжения ПЛИС с персональным компьютером, четвертого класса точности, имеющая высокоскоростной PCI-интерфейс (132Мбайт/с) и содержащая до 4-х ПЛИС фирмы Xilinx серии Spartan или XC4000XLA;

- сконструирован схемотехнический макромодуль контроллера шины интерфейса персонального компьютера спецификации PCI 2.1 на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС,

что снижает стоимость создаваемого аппаратного комплекса;

- написан драйвер созданного устройства для операционной системы Windows NT 4.0, позволяющий производить операции чтения а записи информации на низком уровне;

- создан программно-аппаратный комплекс, ускоряющий выполнение нейросетевых операций, отличающийся повышением соотношений производительность/цена (в 9 раз по сравнению с известными аналогами), а также возможностью быстрой реализации широкого круга нейропарадигм в едином аппаратном базисе, в том числе и методы предобработки изображений, звука и т.д.

Реализация результатов работы. Результаты работы внедрены в ЗАО «РЕЛЭКС» (Реляционные экспертные системы), что позволило проводить научно - технические разработки, направленные на поиск преступника в базе данных по его изображению в ходе работ по договору с Главным управлением по борьбе с организованной преступностью (ГУБОП) МВД РФ, использующим модифицированную информационно -аналитическую систему «Невод», разработанную согласно госбюджетной НИР «Исследование представления и анализа разнородной информации в виде семантической сети» в интересах Министерства науки и технологий Российской Федерации.

Основные положения и результаты, выносимые на защиту. На защиту выносятся:

- методика быстрого проектирования специализированных нейросетевых процессоров;

- аналоговое оптоэлектронное устройство для моделирования нейрона;

- библиотека схемотехнических макромодулей цифровых нейронов;

- цифровая специализированная СБИС для ускорения

выполнения нейросетевых операций.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на ежегодных научных конференциях профессорско-преподавательского состава Воронежского государственного университета (Воронеж, 1995-1999), ежегодных межвузовских научно - технических конференциях «Микроэлектроника и информатика» (Москва, 1996, 1997, 1998), II и V Всероссийских конференциях «Нейрокомпьютеры и их применение» (Москва, 1996, 1999), международной конференции «Математическое моделирование систем: методы, приложения и средства» (Воронеж, 1998), Всероссийской конференции «Интеллектуальные информационные системы» (Воронеж, 1999), 7-м Всероссийском семинаре «Нейроинформатика и ее приложения».

Публикации. По материалам диссертации опубликовано 14 печатных работ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав с выводами и заключения. Работа содержит 133 страницы, включая 48 рисунков, 14 таблиц, 1 приложение и список литературы из 89 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цель и задачи исследования, представлены основные научные результаты, выносимые на защиту.

В первой главе

приводятся принципы нейросетевой обработки информации и анализируются существующие нейросетевые

процессоры.

В первом разделе рассмотрены физиология биологического нейрона.

Во втором разделе рассмотрены принципы работы искусственных нейронов.

В третьем разделе проведен анализ материалов по нейроускорителям, собранных из доступных источников, в том числе Интернет (Борисов В.Л. «Как правильно выбрать нейроускоритель» // Нейрокомпьютер, №1, 2000 г.). Установлено, что в настоящее время отдается предпочтение цифровым специализированным процессорам, хотя большее быстродействие можно ожидать от оптоэлектронных систем. Мировое лидерство по производительности принадлежит российскому нейропроцессору №46403. Выявлены трудности, стоящие сегодня перед разработчиком нейросетевой системы. Кроме повышения быстродействия это:

- необходимость подстраивать нейросетевой алгоритм под аппаратную систему ускорения, вместо подстройки алгоритма под конкретную задачу;

- невозможность изменять параметры аппаратно реализованной НС по своему усмотрению;

- большая стоимость нейроускорителей.

Во второй главе предложено для создания универсального нейроускорителя использовать методику имитации биологических нейронных сетей, а также разработана новая методика быстрого проектирования специализированных яейросетевых процессоров, основанная на возможности программирования архитектуры нейросетевых устройств. Разработанный подход призван сместить тенденцию изготовления нейроускорителей на СБИС жесткой логики, в сторону предоставления разработчику нейроприложения аппаратного конструктора на основе СБИС программируемой логики.

В первом разделе проводится обоснование применения

программируемых логических интегральных схем (ПЛИС), созданных фирмой ХПтх (США) по КМОП-технологпи статических ОЗУ. Описывается архитектура программируемых матриц логических элементов (ПМЛЭ), основным элементом которой являются конфигурируемые логические блоки (КЛБ). Приводятся данные о быстродействии, температурном диапазоне работы, напряжении питания, потребляемой мощности ПЛИС ХШпх. Производится подбор номенклатуры схем, приемлемых для использования в качестве нейропроцессора.

Во втором разделе описывается предполагаемый алгоритм разработки нейропроцессоров. Сначала дается общий подход к созданию систем цифровой обработки сигналов (ЦОС) на ПЛИС. Затем приводится окончательно сформированный порядок разработки нейропроцессора. Предлагается исходить из того, что формальный нейрон должен выполнять действия, определяемые следующим выражением:

где у - выходной сигнал нейрона, х - элементы входного сигнала нейрона (вектора X), - весовые коэффициенты нейрона, f -нелинейная передаточная функция нейрона (функция активации), N - количество входов нейрона. Отсюда следует, что один нейрон должен содержать N умножителей входных сигналов на веса, сумматор N чисел и узел активации нейрона (в простейшем случае компаратор для реализации пороговой передаточной функции). Из подобных нейронов строится нейронная сеть (НС). Определены несколько последовательных этапов построения нейронной сети на основе ПЛИС ХШпх. Для создания нейросетевого ускорителя с использованием ПЛИС проводится разработка платы сопряжения с персональным компьютером (ПК). Освещаются требования, предъявляемые к плате сопроцессора. Приводится техническое описание созданной платы расширения ПК.

Дается описание логического ядра платы сопроцессора Рассматриваются разработанные конфигурации нейросетевого сопроцессора, отличающиеся количеством ПЛИС на плате (от 1 до 4).

В третьем разделе описывается окончательно сформированная методика быстрого создания нейросетевого сопроцессора практически любого вида (Борисов В.Л., Капитанов В.Д. «Методикабыстрого создания нейроускорителей» / Нейрокомпьютер, №1, 2000 г.). Суть ее заключается в том, что разработчик получает всего одну плату расширения ПК, библиотеку нейросетевых примитивов, средства генерации прошивки ПЛИС ХШпх и, в результате, получает возможность создавать разнообразные аппаратные реализации нейронных сетей. Схематично предложенная методика представлена на рис. 1.

Рис. 2. Методика быстрой разработки нейроускорителей.

Согласно приведенной схеме, разработчик нейросетевого ускорителя виртуально собирает необходимую ему модель НС б схемотехническом редакторе Foundation из предоставленных нами макромодулей нейронов и примитивов цифровой обработки сигналов. Далее проверяет работоспособность полученной системы путем моделирования ее функционирования и размещения на кристалле. Если по каким-либо критериям (в том числе нехватка КЛБ на кристалле) параметры системы оказываются

неудовлетворительными, то разработчик вносит коррективы в проект системы (редактор Foundation), а затем вновь повторяет моделирование. Наконец, создается файл прошивки ПЛИС, которым программируются типы нашей платы расширения ПК. Естественно, архитектура полученного ускорителя фиксирована не окончательно. При появлении у разработчика новых решений, он их может также быстро реализовать.

В третьей главе предлагается увеличить быстродействие искусственных нейронных сетей при максимальном сохранении биологической правдоподобности, используя предложенное аналоговое оптоэлектронное устройство для моделирования нейрона.

В первом разделе выявлены недостатки существующих оптических НС.

Во втором разделе описывается эффект «замороженной» фотопроводимости и устройство для моделирования нейрона, содержащее тело нейрона, отличающееся тем, что, по крайней мере, к одному входу тела нейрона подключен блок управляемой проводимости, содержащий последовательно соединенные резистор, выполненный из полупроводникового материала с ловушками преимущественно для одного из типов носителей заряда, и средство, обеспечивающее появление в полупроводниковом материале резистора неравновесных носителей заряда того типа, для которого имеются ловушки. В частности, в случае ловушек для дырок, при попадании на такой полупроводник фотона с энергией, достаточной для образования электронно-дырочной пары, электрон переходит в зону проводимости и устремляется к аноду, а дырки захватываются ловушками.Таким образом, в объеме полупроводника накапливается положительный заряд, электрическое поле увеличивается, что приводит к поступлению из катода дополнительных электронов. Количество дырок на ловушках пропорционально потоку фотонов, а ток через полупроводник

пропорционален количеству захваченных ловушками дырок. Память описанной системы заключается в хранении на уровнях прилипания положительного заряда На вход оптоэлектронного нейрона подключается множество параллельно соединенных таких приборов, к каждому из которых приходит свой световой сигнал. Эти световые импульсы преобразуются в электрические, одновременно взвешиваясь благодаря пропорциональности тока через прибор накопленному в нем заряду. Дальше токи от каждого элемента объединяются в узле и идут на пороговое устройство.

В третьем разделе показывается возможность реализации предложенного устройства. Показано, что в зависимости от поставленной задачи могут быть реализованы три варианта универсальных оптоэлектронных нейронов, отличающиеся способом осуществления связей. Расширение сети осуществляется чисто механическим добавлением нейронов. В зависимости от структурного исполнения работа оптической НС может подчиняться различным моделям обучения. Нейронные сети, собранные из предлагаемых нейронов, отличающиеся структурой и правилом обучения, сопрягаются друг с другом без дополнительных устройств. Так же прост ввод и вывод информации.

В четвертом разделе приводится математическая модель оптоэлектронного нейрона, численный анализ которой показывает пути настройки параметров устройства. Для случая п-кремния полученная система уравнений переписывается как:

/¡У! Р* _

- л« -о -/л ехр(- --- -)]

ш к!

± ^-уг{пр-щ>0) уДЫ^Л) -/Л ехР(-7^)]

-г- -/,ь/л ехР - а -т «Фе^м

ш кТ кТ

Решение этой системы нелинейных дифференциальных уравнений численными методами позволяет получить зависимости проеодимостен резисторов из полупроводника с ловушками и без них от времени (рис. 2), откуда видно, что подбором параметров ловушек можно управлять долговременностью памяти. Кроме обучения, рисунок 2 иллюстрирует адаптацию нейрона к повторяющемуся раздражителю - в случае периодического входного сигнала приращение проводимости уменьшается. Это характеризует предлагаемую нейронную сеть не только как самообучающуюся, но и как саморегулирующуюся систему. <т ? Ом"'см"5 0.03025

0.03000

0.02975

0,02950

0,02925 -

к-

И

1 \ 1

II н II

1) » и

|\ И |\

1 __Iх-_ __1 ^

200 300 400

с

о 100

Рис. 2. Рассчитанные зависимости проводимости фоторезисторов от времени: _- полупроводник с ловушками.___- полупроводник без ловушек.

В четвертой главе проводится разработка специализированной СБИС и нового нейросетевого сопроцессора на ее основе.

В первом разделе ведется разработка библиотеки макромодулей нейронов. Описывается предполагаемое использование особенностей ПЛИС ХШпх. Рассматриваются теоретические основы и способы реализации умножителей.

Приводится подробное описание всех шагов но созданию одного типа нейрона, а также описание примененных схемотехнических решении. Анализируются возможные ограничения быстродействия со стороны интерфейса обмена данными - шины РС1. Принимаются меры по снятию выявленных ограничений, путем записи весовых коэффициентов в локальную память. Описывается принцип действия каждого из разработанных нейронов на основе перечисленных выше алгоритмов умножения. Основные параметры разработанных макромодулей, такие как количество занимаемых конфигурируемых логических блоков, частота поступления входных данных, время смены весовых коэффициентов приведены в таблице 1.

Таблица 1.

Основные параметры библиотеки нейронов.

Тип нейрона КЛБ Частота работы, МГц Время смены коэффициентов, нс/тактов

I. Алгоритм Бута (параллельная арифметика) 634 80 100/8

2. Нейрон на основе умножителей на константу 482 80 1600/128

3. Параллельная распределенная арифметика 213 100 160/16

4. Последовательная распределенная арифметика 75 10 1600/16

Во втором разделе проводится оценка максимального быстродействия разработанных нейропроцессоров. На рис. 3 представлена зависимость производительности одного нейроускорителя каждой модели от серии ПЛИС, на которой он реализован. Из рисунка видно, что максимальной эффективностью при прямом распространении сигнала в обученной НС обладает третий подход, основанный на параллельной распределенной арифметике. Кроме того, рассчитана производительность работы

при смене весовых коэффициентов перед каждым поступлением входного сигнала.

о

Рис. 4. Зависимость быстродействия нейропроцессора от типа нейронов и серии ПЛИС.

Несмотря на высокие показатели быстродействия, рассмотрены шаги по дальнейшему увеличению скорости вычислений. Показывается возможность каскадирования разработанных нейроускорятелей с целью создания более крупной производительной вычислительной системы. Кроме того, делается вывод об увеличении быстродействия при изготовлении на основе разработанного схемотехнического решения заказной СБИС.

В третьем разделе проведена оценка отношения быстродействия к цене разработанного нейроускорителя. При увеличении на порядок отношения производительность/цена по сравнению с мировым лидером можно ожидать значительный экономический эффект от его применения.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ В работе решена задача разработки сопроцессора ЭВМ, обладающего высоким показателем производительность/ стоимость и имеющего настраиваемую неГфОсетевую архитектуру; основные результаты диссертации состоят в следующем:

1) проведенный анализ проблемы аппаратной реализации нейронных сет ей показал необходимость увеличения гибкости аппаратных решений с целью их настройки на решаемую задачу и повышения быстродействия нейросетевых ускорителей;

2) Предложенное аналоговое оптоэлектронное устройство для моделирования нейрона, использующее эффект «замороженной» проводимости и позволяющее создавать нейронные сети, максимально приближенные к человеческому мозгу, обладает высоким быстродействием и возможностью изменения параметров нейрона в широких пределах (А. з. па патент РФ №96105745/09 от 01.04.96);

3) Разработанная методика быстрого создания специализированных нейросетевых процессоров отличается возможностью варьирования применяемых нейросетевых моделей и позволяет:

- сократить время и затраты на разработку каждого нового специализированного нейропроцессора;

- аппаратно реализовывать любую известную модель нейронной сети и создавать новые;

- объединять нейросетевой алгоритм обработки с системой предобработки данных на одном кристалле или плате;

- использовать алгоритм нейровычислений, оптимизированный для решаемой задачи, а не для фиксированной аппаратной логики;

- исключить этап программной эмуляции НС на ПК из технологического процесса создания интеллектуальной системы;

- повысить производительность нейросетевой системы.

4) Представленная библиотека схемотехнических макромодулей задает логику поведения установленных на плате ПЛИС в виде нейронных сетей, отличающихся способом реализации умножителей, что позволяет находить компромисс между быстродействием и задействованными аппаратными ресурсами;

5) создана 6-слойная плата расширения персонального компьютера 4-го класса точности, имеющая интерфейс обмена данными стандарта PCI 2Л и максимальное число программируемых логических интегральных схем (ПЛИС); разработан контроллер шины интерфейса персонального компьютера спецификации PCI 2Л на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС, что снижает стоимость аппаратного комплекса; написан драйвер созданного устройства;

6) изготовлен опытный образец заказной СБИС, реализующей специализированный нейросетевой сопроцессор при установке данной СБИС на разработанную плату расширения ЭВМ, повышающий отношение производительность/стоимость в 9 раз относительно мирового лидера на текущий момент.

Основное содержание диссертации опубликовано в

следующих работах:

1. Клюкин В.И., Борисов В.Л. Моделирование нейрона с учетом самообучения / Тез. докл. межвуз. научно-технической конференции «Микроэлектроника и информатика - 96». - М.: МГИЭТ(ТУ), 1996, с. 231.

2. Борисов В.Л., Клюкин В.И., Суровцев И.С. Моделирование нейронных сетей на основе оптоэлектронного нейрона /' Тез. докл. межвуз. научно-технической конференции «Микроэлектроника и информатика - 97». - М.: МГИЭТ (ТУ), 1997, с. 5.

3. Борисов В.JI., Фёдоров М.Г Нсиросетевое моделирование вольтамперной характеристики биполярного транзистора с изолированным затвором / Тез докл межвуз. научно-технической конференции «Микроэлектроника и информатика

- 97». - М.: МГИЭТ (ТУ), 1997, с. 6.

4. Суровцев И С, Клюкин В.И., Борисов В Л. Моделирование функции «забывания» нейрона / Тез. докл. 2-й Всероссийской научно-технической конференции «Электроника и информатика». - М.: МГИЭТ (ТУ), 1997, с. 23

5. Борисов В.Л., Клюкин В.И. Учёт нестационарности при аппаратной реализации нейронных сетей/ Тез. докл. межвуз. научно-технической конференции «Микроэлектроника и информатика - 98». - М.: МГИЭТ (ТУ), 1998, часть 2, с. 105.

6. Борисов В.Л., Фёдоров М.Г, Эксаревский A.B. Применение нейронной сети в качестве селектора для оптимального выбора выполняемой ветви программы / Тез. докл. межвуз. научно-технической конференции «Микроэлектроника и информатика

- 98». - М.: МГИЭТ (ТУ), 1998, часть 2, с. 103.

7. Эксаревская М.Е., Эксаревский A.B., Борисов В.Л. Нейросетевой алгоритм индексирования изображений в системе управления базами данных / Тез. докл. международной конференции «Математическое моделирование систем: методы, приложения и средства». - Воронеж, В ГУ, 1998, с. 67.

8. Борисов В.Л. Ассоциативный поиск в системах управления базами данных при ограниченных ресурсах ЭВМ. Докл. V Всероссийской конференции «Нейрокомпьютеры и их применение». - М.: Радио и связь, 1999, с. 278-285.

9. Борисов В.Л., Эксаревский A.B., Эксаревская М.Е. Нейросетевой алгоритм индексирования двоичных образов в информационной системе / Моделирование математических систем: методы, приложения и средства. Сб. научн. трудов. -Воронеж, ВГУ, 1999, с. 46-52.

20

5

10. Борисов В.Л., Эксаревскии A.B. Нейросстсвая информационная система для поиска объектов по фотографии ! Тр. Всероссийской конференции «Интеллектуальные

11 Эксаревский A.B., Борисов В.Л. Применение нейронных сетей для индексирования больших двоичных объектов в базе данных / Тр. Всероссийской конференции «Интеллектуальные информационные системы». - Воронеж, ВГТУ, 1999, с. 216.

12. Борисов В.Л., Клгокин В.И., Фёдоров М.Г. Расширение применения нейроускорителей / Сб. тр. ВГТУ. - Воронеж, ВГТУ, 1999, с. 36-41.

13. Борисов В.Л., Цветков М.С. Методика быстрой аппаратной реализации произвольных нейросетей / Тез. докл. VII Всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск, КГТУ, 1999, с. 20.

14. Борисов В.Л., Капитанов В.Д. Разработка высокоскоростного нейросетевого процессора / Тез. докл. VII Всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск,

информационные системы». - Воронеж, ВГТУ, 1999, с. 211

КГТУ, 1999, с. 19

Заказ №454 от 17.11.99 г. Тираж 100 Лаборатория оперативной полиграфии ВГУ

ВВЕДЕНИЕ.

ГЛАВА 1. НЕЙРОСЕТЕВЫЕ ПРИНЦИПЫ ВЫЧИСЛЕНИЙ И АНАЛИЗ ПУТЕЙ ИХ УСКОРЕНИЯ

1.1. физиология биологического нейрона.

1.1.1. Функция сенсорных рецепторов.

1.1.2. Кодирование сипы раздражителя частотой импульсов.

1.1.3. Функция синапсов.

1.2. Принципы работы искусственных нейронов.

1.2.1. Модель нейрона перцептронного типа.

1.2.2. Многослойные сети без обратных связей.

1.2.3. Ансамблевая структура мозга.

1.3. ускорение нейросетевых операций.

1.4. Анализ устройств для ускорения нейросетевых операций.

1.4.1. Количественный анализ.

1.4.2. Качественный анализ.:.

Выводы к главе 1.

ГЛАВА 2. МЕТОДИКИ ОПТИМИЗАЦИИ НЕЙРОУСКОРИТЕЛЕЙ ДЛЯ РЕШАЕМЫХ ЗАДАЧ.

2.1. Методика биоимитации нейросетей.

2.2. Методика быстрого проектирования специализированных нейросетевых процессоров.

2.2.1. Параметры программируемых логических интегральных схем для нейропроцессоров.

2.2.2. Методика разработки нейропроцессора.

2.2.3. Программирование архитектуры нейросетевых устройств. выводы к главе 2.

ГЛАВА 3. НОВЫЙ УНИВЕРСАЛЬНЫЙ ОПТОЭЛЕКТРОННЫЙ НЕЙРОУСКОРИТЕЛЬ.

3.1. Недостатки существующих ОНС.

3.2. Базовая структура нейрона с "замороженной" фотопроводимостью.

3.3. Анализ возможности реализации базовой структуры нейрона.

3.3.1. НС с волоконной оптикой.

3.3.2. ОНС с излучением в свободное пространство.

3.4. Математическая модель входного узла устройства для моделирования нейрона.

3.4.1. Математическая модель для частного случая.

3.4.2. Исследование математической модели численными методами.

3.5. ОНС на основе разработанного оптоэлектронного нейрона.

Выводы к главе 3.

ГЛАВА 4. НЕЙРОСЕТЕВАЯ СБИС.

4.1. Разработка библиотеки нейронов.

- 3

4.1.1. Использование особенностей ПЛИС Xilirn.

4.1.2. Способы реализации умножителей.

4.1.3. Создание нейронов.

4.1.4. Описание нейрона на основе параллельной арифметики.

4.1.5. Описание нейрона на основе умножителей на константу.

4.1.6. Описание нейрона на основе параллельной распределенной арифметики.

4.1.7. Описание нейрона на основе последовательной распределенной арифметики.

4.2. Оценка быстродействия разработанных нейропроцессоров.

4.2.1. Оценка скорости прямого распространения сигнала в НС.

4.2.2. Оценка скорости вычислений при смене весов.

4.2.3. Пути дальнейшего увеличения быстродействия.

4.2.4. Оценка отношения быстродействия к цене.

Выводы К ГЛАВЕ 4.

Актуальность темы.

Повышение быстродействия СБИС имеет физический предел, поэтому дальнейшее увеличение производительности вычислений достижимо только за счет их распараллеливания. Современная технология микроэлектроники позволяет производить миниатюрные и относительно дешевые процессоры, что обеспечивает возможность создания многопроцессорных систем. Распараллеливание вычислений между максимальным числом одновременно работающих процессоров столкнулось с проблемой нелинейного (медленного) роста производительности при увеличении числа процессорных элементов. Это происходит из-за экспоненциального роста времени, затрачиваемого на обмены данными и командами между процессорами, а также между процессорами и памятью. Таким образом, не столько решаются старые проблемы, сколько создаются новые [1]. На пути параллельных вычислений выигрышную позицию занимают нейроструктуры, т.к. за счет простоты процессорных элементов обеспечивают большее отношение производительности к стоимости. Более того, вычислительная математика уходит от применения старых "однопроцессорных" к новым параллельным алгоритмами [2].

Основными направлениями современного развития нейрокомпьютерных технологий являются:

- обработка мультимедийной информации, в частности, распознавание образов (человеческих лиц, речи, рукописного текста, аэрофотоснимков, показаний медицинских датчиков и т.д.), синтез звука и изображений, обеспечение виртуальной реальности (игры, обучение, компьютерная кинематография и анимация);

- управление динамическими системами, например, управление наземным, воздушным, подводным, космическим транспортом, а также технологическими процессами промышленного производства;

- создание систем поддержки принятия решений и прогнозирования (управление финансовой деятельностью, ведение боя, универсальные экспертные системы).

Резко возросло число военных разработок, в основном направленных на создание сверхбыстрых вычислителей. Если говорить о главном перспективном направлении - интеллектуализации вычислительных систем, придании им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры - практически единственный путь развития вычислительной техники.

Некоторые из указанных задач искусственного интеллекта можно успешно решать с помощью программ, выполняемых на компьютере с фон-неймановской архитектурой. Однако для расширения круга решаемых задач и повышения скорости вычислений целесообразнее разрабатывать нейрокомпьютеры, чаще представляющие собой стандартную конфигурацию управляющей ЭВМ и сопроцессор-ускоритель, построенный таким образом, чтобы ускорять именно операции вычисления в нейронных сетях.

Сегодня разработками нейрокомпьютеров занимаются более 300 зарубежных компаний, среди которых такие гиганты, как Intel и IBM [3]. Однако, созданные к настоящему времени нейрокомпьютеры обладают все еще недостаточно большим для массового распространения показателем производительность/стоимость —1,6 MCPS (миллионов соединений в секунду) за 1 доллар США и обладают фиксированной архитектурой, что сужает круг решаемых ими задач.

Таким образом, актуальность темы диссертационной работы обусловлена необходимостью увеличения производительности и снижения стоимости систем ускорения нейросетевых операций, а также обеспечением гибкости аппаратно реализованной логики.

Цель и задачи исследования.

Целью диссертационной работы является разработка специализированной СБИС и практическая реализация на ее основе сопроцессора ЭВМ, обладающего высоким показателем производительность/стоимость (более 1,6MCPS за $1) и имеющего настраиваемую нейросетевую архитектуру.

В соответствии с целью диссертации поставлены и решены следующие задачи:

- разработка методики быстрого проектирования архитектуры СБИС нейросетевого ускорителя с гибкой логикой;

- создание перестраиваемой (управляемой) оптоэлектронной модели биологического нейрона на основе эффекта "замороженной" фотопроводимости;

- формирование библиотеки схемотехнических модулей, отражающих поведение нейронных сетей различных моделей;

- разработка платы расширения персонального компьютера, имеющей интерфейс обмена данными стандарта PCI 2.1 и максимальное число программируемых логических интегральных схем (ПЛИС), а также контроллера данной шины (PCI) на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС и драйвера созданного устройства;

- создание макета заказной СБИС, реализующей специализированный нейросетевой сопроцессор при установке данной СБИС на разработанную плату расширения ЭВМ.

Методы исследования. В работе используются методы вычислительной математики, физика полупроводников, теория искусственных нейронных сетей, методы математического моделирования.

Научная новизна. Основные результаты диссертации, имеющие научную новизну, следующие:

- разработана методика быстрого проектирования на основе ПЛИС специализированных нейросетевых процессоров, использующих различные модели нейронных сетей, в том числе и гибридные, при размещении на одной плате расширения ЭВМ до четырех таких процессоров, которая снижает время создания оптимизированной схемы для решения конкретной задачи искусственного интеллекта;

- предложено аналоговое оптоэлектронное устройство на основе эффекта "замороженной" фотопроводимости для моделирования нейрона, созданные на основе которого нейронные сети отличаются самообучением, адаптацией обучения и реализацией функции забывания аналогичными биопрототипу, т.е. максимально приближены к мозгу, обеспечивая большее быстродействие; построена математическая модель нейрона, позволяющая численным моделированием оптимизировать параметры устройства;

- сформирована библиотека схемотехнических макромодулей нейронов, отличающихся способом реализации умножителей, что позволяет разработчику нейросетевого приложения увеличивать быстродействие за счет уменьшения числа параллельно работающих нейронов;

- создана цифровая специализированная СБИС, используемая в составе разработанной и изготовленной PCI-платы расширения персонального компьютера и реализующая нейросетевые принципы обработки информации.

Практическая ценность работы заключается в следующем:

- предложена оптоэлектронная конструкция нейрона, позволяющая проводить моделирование процессов мышления в мозге;

- разработана и изготовлена 6-слойная плата сопряжения ПЛИС с персональным компьютером, четвертого класса точности, имеющая высокоскоростной PCI-интерфейс (132Мбайт/с) и содержащая до 4-х ПЛИС фирмы Xilinx серии Spartan или XC4000XLA;

- сконструирован схемотехнический макромодуль контроллера шины интерфейса персонального компьютера спецификации PCI 2.1 на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС, что снижает стоимость создаваемого аппаратного комплекса;

- написан драйвер созданного устройства для операционной системы Windows NT 4.0, позволяющий производить операции чтения и записи информации на низком уровне;

- создан программно-аппаратный комплекс, ускоряющий выполнение нейросетевых операций, отличающийся повышением соотношений производительность/цена (в 9 раз по сравнению с известными аналогами), а также возможностью быстрой реализации широкого круга нейропарадигм в едином аппаратном базисе, в том числе и методы предобработки изображений, звука и т.д.

Реализация результатов работы. Результаты работы внедрены в ЗАО "РЕЛЭКС" (Реляционные экспертные системы), что позволило проводить научно -технические разработки, направленные на поиск преступника в базе данных по его изображению в ходе работ по договору с Главным управлением по борьбе с организованной преступностью (ГУБОП) МВД РФ, использующим модифицированную информационно - аналитическую систему "Невод", разработанную согласно госбюджетной НИР "Исследование представления и анализа разнородной информации в виде семантической сети" в интересах Министерства науки и технологий Российской Федерации.

Основные положения и результаты, выносимые на защиту. На защиту выносятся:

- методика быстрого проектирования специализированных нейросетевых процессоров;

- аналоговое оптоэлектронное устройство для моделирования нейрона;

- библиотека схемотехнических макромодулей цифровых нейронов;

- цифровая специализированная СБИС для ускорения выполнения нейросетевых операций.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на ежегодных научных конференциях профессорско-преподавательского состава Воронежского государственного университета (Воронеж, 1995-1999), ежегодных межвузовских научно - технических конференциях "Микроэлектроника и информатика" (Москва, 1996, 1997, 1998), II и V Всероссийских конференциях "Нейрокомпьютеры и их применение" (Москва, 1996, 1999), международной конференции "Математическое моделирование систем: методы, приложения и средства" (Воронеж, 1998), Всероссийской конференции "Интеллектуальные информационные системы" (Воронеж, 1999), 7-м Всероссийском семинаре "Нейроинформатика и ее приложения".

Публикации. По материалам диссертации опубликовано 14 печатных работ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав с выводами и заключения. Работа содержит 133 страницы, включая 48 рисунков, 14 таблиц, 1 приложение и список литературы из 89 наименований.

Выводы к главе 4

1. Разработана библиотека схемотехнических модулей для создания СБИС, ускоряющей нейросетевые операции, отличающихся способом реализации умножителей. Приведено описание каждой из четырех СБИС.

2. Проведена оценка отношения производительности к стоимости разработанной СБИС в составе платы сопряжения с ПК.

3. Разработанное устройство обладает в 9 раз большим отношением быстродействие/цена по сравнению с мировым лидером.

4. Дальнейшее увеличение производительности возможно при изготовлении заказной СБИС на основе разработанного макета, однако, такой путь сделает невозможным применение разработанной методики быстрого создания нейроускорителей. Другими направлениями увеличения производительности являются: применение более ёмких и быстрых серий ПЛИС, а также наращивание системы механическим добавлением параллельно работающих нейроускорителей.

Заключение

В работе решена задача разработки сопроцессора ЭВМ, обладающего высоким показателем производительность/стоимость и имеющего настраиваемую нейросетевую архитектуру; основные результаты диссертации состоят в следующем:

1) проведенный анализ проблемы аппаратной реализации нейронных сетей показал необходимость увеличения гибкости аппаратных решений с целью их настройки на решаемую задачу и повышения быстродействия нейросетевых ускорителей;

2) Предложенное аналоговое оптоэлектронное устройство для моделирования нейрона, использующее эффект "замороженной" проводимости и позволяющее создавать нейронные сети, максимально приближенные к человеческому мозгу, обладает высоким быстродействием и возможностью изменения параметров нейрона в широких пределах (А. з. на патент РФ №96105745/09 от 01.04.96);

3) Разработанная методика быстрого создания специализированных нейросетевых процессоров отличается возможностью варьирования применяемых нейросетевых моделей и позволяет:

- сократить время и затраты на разработку каждого нового специализированного нейропроцессора;

- аппаратно реализовывать любую известную модель нейронной сети и создавать новые;

- объединять нейросетевой алгоритм обработки с системой предобработки данных на одном кристалле или плате;

- использовать алгоритм нейровычислений, оптимизированный для решаемой задачи, а не для фиксированной аппаратной логики;

- исключить этап программной эмуляции НС на ПК из технологического процесса создания интеллектуальной системы;

- повысить производительность нейросетевой системы.

4) Представленная библиотека схемотехнических макромодулей задаёт логику поведения установленных на плате ПЛИС в виде нейронных сетей, отличающихся способом реализации умножителей, что позволяет находить

-125 компромисс между быстродействием и задействованными аппаратными ресурсами;

5) создана 6-слойная плата расширения персонального компьютера 4-го класса точности, имеющая интерфейс обмена данными стандарта PCI 2.1 и максимальное число программируемых логических интегральных схем (ПЛИС); разработан контроллер шины интерфейса персонального компьютера спецификации PCI 2.1 на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС, что снижает стоимость аппаратного комплекса; написан драйвер созданного устройства;

6) Изготовлен опытный образец заказной СБИС, реализующей специализированный нейросетевой сопроцессор при установке данной СБИС на разработанную плату расширения ЭВМ, повышающий отношение производительность/стоимость в 9 раз относительно мирового лидера на текущий момент.

1. Оптические нейрокомпьютеры: современное состояние и перспективы. Степанов М. В. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №2, 1997, с. 32-56.

2. Современные направления развития нейрокомпьютеров в России. Галушкин А.И. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1998, с. 3-17.

3. Современные направления развития нейрокомпьютерных технологий в России. Галушкин А.И. // Открытые системы, №4, 1997, с. 25-28.

4. Anil К. Jain, Jianchang Мао, K.M. Mohiuddin Artificial Neural Networks: A Tutorial, Computer, Vol.29, No.3, March/1996, pp. 31-44.

5. Яковлев B.H., Сергиенко A.B. Введение в общую физиологию центральной нервной системы (физиология нейрона). Воронежский государственный медицинский институт им. H.H. Бурденко, 1989. 76 с.

6. Словарь физиологических терминов / Под ред. акад. О.Г. Газенко. М.: Наука, 1987. 446 с.

7. Тасаки И. Нервное возбуждение, М.: Мир, 1971. 222 с.

8. Физиология человека / Под ред. Г.И. Косицкого, М.: Медицина, 1985. 544 с.

9. Физиология человека / Под ред. Р. Шмидта, Г. Тевса, М.: Мир, 1985, т.1. 272 с.

10. Ю.Ходжкин А. Нервный импульс. М.: Мир, 1965. 125 с.

11. Ходоров Б.И. Общая физиология возбудимых мембран, М.: Наука, 1975. 406 с.

12. Шаде Дж., Форд Д. Основы неврологии, М.: Мир, 1976. 350 с.

13. Экклс Дж. Физиология нервных клеток, М.: ИЛ., 1959. 298 с.

14. Экклс Дж. Физиология синапсов, М.: Мир, 1966. 396 с.

15. Экклс Дж. Тормозные пути центральной нервной системы, м.: Мир, 1971. 168 с.

16. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика / Пер. с англ. -М.: Мир, 1992. 240 с.

17. Rosenblatt F. Principles of neurodynamics. Spartan.: Washington, D. C., 1962. 162c.

18. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей / Н.М. Амосов, А.Д. Гольцев, Э.М. Куссуль и др. -Кибернетика (Киев), 1988, N 5, с, 113-119.

19. Модели нейронных сетей для реализации отображений. http://www.neuralbench.ru/RUS/THEORY/THEORY.HTM

20. Оценка производительности нейрокомпьютеров. Галушкин А.И., Крысанов А.И. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1998, с. 22-33.

21. Нейрокомпьютеры восьмидесятых (начало очередной революции в области нейрокомпьютеров). Галушкин А.И. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1999, с. 3-16.

22. Neural Network Hardware, http://www.ehb.itu.edu.tr/~mey/nnwinhep.html

23. Особенности комплексного подхода к нейрокомпьютингу. Яфраков М.Ф., Корчагина Л.И. // Изв. вузов. Приборостроение. 1997, т. 40, №3, с. 5-10.

24. Intel Image Processing Library. Software Developer CD. Intel Corporation. 1997.

25. CNAPS Neural Network Accelerator Board, http://www.calsci.com/cnaps.html

26. Опытные образцы отечественных нейрокомпьютеров серии "Геркулес" на стандартной элементной базе. Кирсанов Э.Ю. // Нейрокомпьютер, №1, 2, 1997, с. 49-55.

27. SI-C31DSP Accelerator for PCI Bus. http://www.sheldoninst.com/dsppci.html

28. RC Module. "NeuroMatrix NM6403. Architectural overview". http://www.module.ru/files/archover.pdf

29. Digital Signal Processing Solutions TMS320C3x Tools. http://www.ti.com/sc/docs/dsps/tools/c3x/c3xdsk.htm

30. Hyperception. DSP University Program, http://www.hyperception.com

31. Однокристальный цифровой нейропроцессор с переменной разрядностью операндов. Виксне П.Е., Фомин Д.В., Черников В.М. // Изв. вузов. Приборостроение, 1996, т. 39, №7, с. 13-21.

32. Многопроцессорные наращиваемые вычислительные модули на базе микропроцессоров TMS320C40. Погорилый А.И. // Изв. вузов. Приборостроение, 1996, т. 39, №7, с. 31-33.

33. Параллельный перепрограммируемый вычислитель. Возможность применения для обработки изображений и программное обеспечение. С.И. Аряшев, С.Г. Бобков, Е.А. Сидоров и др. http://niisi.ras.ru/pap2.htm

34. Архитектурно-технологический облик интеллектуальных нейронных сетей на кремниевых пластинах и трехмерных нейрокомпьютеров. Бубенников А.Н. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1998, с. 34-51.

35. Борисов В.Л. Оптоэлектронная нейронная сеть с гибкой моделью обучения. Магистерская работа. Воронежский государственный университет. Воронеж,1996, 70 стр.

36. Клюкин В.И., Борисов В.Л. Моделирование нейрона с учетом самообучения. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 96", М.: МИЭТ, 1996, с. 231.

37. Борисов В.Л., Клюкин В.И., Суровцев И.С. Моделирование нейронных сетей на основе оптоэлектронного нейрона. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 97", М.: МИЭТ,1997, с. 5.

38. Суровцев И.С., Клюкин В.И., Борисов В.Л. Моделирование функции "забывания" нейрона. Тезисы докладов 2-й Всероссийской научно-технической конференции "Электроника и информатика", М.: МИЭТ, 1997, с. 23.

39. Борисов В.Л., Клюкин В.И. Учёт нестационарности при аппаратной реализации нейронных сетей. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 98", М.: МИЭТ, 1998, часть 2, с. 105.

40. Борисов В.Л., Фёдоров М.Г. Нейросетевое моделирование вольтамперной характеристики биполярного транзистора с изолированным затвором. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 97", М.: МИЭТ, 1997, с. 6.

41. Борисов В.Л. Ассоциативный поиск в системах управления базами данных при ограниченных ресурсах ЭВМ. Сборник докладов V Всероссийской конференции "Нейрокомпьютеры и их применение", М.: Радио и связь, 1999

42. Борисов В.Л., Эксаревский A.B., Эксаревская М.Е. Нейросетевой алгоритм индексирования двоичных образов в информационной системе. Моделирование математических систем: методы, приложения и средства. Сборник научных трудов. Воронеж, ВГУ, 1999, с. 46-52.

43. Борисов В.Л., Эксаревский A.B. Нейросетевая информационная система для поиска объектов по фотографии. Труды Всероссийской конференции "Интеллектуальные информационные системы", Воронеж, ВГТУ, 1999.

44. Эксаревский A.B., Борисов В.Л. . Применение нейронных сетей для индексирования больших двоичных объектов в базе данных. Труды Всероссийской конференции "Интеллектуальные информационные системы", Воронеж, ВГТУ, 1999.

45. Борисов В.Л., Клюкин В.И., Фёдоров М.Г. Расширение применения нейроускорителей. Сборник трудов ВГТУ, Воронеж, ВГТУ, 1999.

46. Борисов В.Л., Цветков М.С. Методика быстрой аппаратной реализации произвольных нейросетей. Тезисы докладов VII Всероссийского семинара "Нейроинформатика и ее приложения", Красноярск, КГТУ, 1999, стр. 20

47. Программируемые логические ИМС на КМОП-структурах и их применение. П.П. Мальцев, Н.И. Гарбузов, А.П. Шарапов и др. М.: Энергоатомиздат, 1998, 160 с.

48. Xilinx Data Book, Xilinx, Inc., 1999.

49. Программируемые логические интегральные схемы фирмы Xilinx. Каталог продукции. Воронеж. Scan Engineering Telecom, 1999.

50. Реализация высокопроизводительных сверхкомпактных КИХ-фильтров на ПЛИС Xilinx. Мистюков В.Г., Капитанов В.Д. // Электроника и компоненты, 1998, №4.

51. Carpenter G.A., Grossberg S. Pattern Recognition by SelfOrganizing Neural Networks. Cambridge: MIT Press, 1991.

52. Grossberg S. Some networks that can learn, remember and reproduce any number of complicated space-time patterns // Journal of Mathematics and Mechanics, 19:53-91, 1969.

53. Hecht-Nielsen R. Applications of counterpropagation networks // Neural Networks 1:131-39, 1988.

54. Hecht-Nielsen R. Neurocomputing: picking the human brain //IEEE SPECTRUM, 1988 -V. 25. N3 c. 36-41.

55. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities. //Proc. Natl. Acad. Sci. 1984. V. 9. c. 147-169.

56. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems //Biol. Cybernet, 1985. V.52. c. 115.

57. Kohonen T. SelfOrganization and Associative Memory. Third Edition. New York: Springier-Yerlag, 1989.

58. Wasserman Philip D. Neural Computing. Theory and Practice. New York: Van Nostrand Reinhold, 1989. 314 c.

59. Применение ПЛИС Xilinx для построения нейронных сетей. Воронеж, Scan Engineering Telecom, 1999.-13166. Универсальная плата цифровой обработки сигналов XDSP-680: Техническое описание. Воронеж, Scan Engineering Telecom, 1998.

60. Нортон Д. Написание драйверов для Windows: Пер. с англ. М.: Мир, 1994. -560с.

61. Елинсон М.И. Оптоэлектроника. М.: Знание., 1977.

62. Дубинин Ф.Д. Оптоэлектронные модели однородных сред, М.: Радио и связь, 1984. 124 с.

63. Балкарей Ю.И., Елинсон М.И., Никулин М.Г, Автоволновая среда с памятью. -Микроэлектроника, 1977, т. 6, вып. 2, с, 152-156.

64. Носов Ю.Б. Дебют оптоэлектроники, М.: Наука, 1992. 240 с.

65. Бьюб Р. Фотопроводимость твердых тел / Пер. с англ. под ред. Т.М. Лифшица, М., 1962. 560 с.

66. Справочник по лазерной технике / Пер. с нем. М.: Энергоиздат, 1991, 544 с.

67. Веденов A.A. Моделирование элементов мышления. М.: Наука, 1988. 160 с.

68. Шеперд Г.М. Нейробиология. В 2-х томах. М.: Мир., 1987.

69. Волоконно-оптические системы передачи: учебник для вузов / М.И. Бутусов, С.М. Верник, С.Л. Галкин и др., Под ред. В.Н. Голезина. М.: Радио и связь, 1992. 416 с.

70. Бусурин В.И., Носов В.Р. Волоконно-оптические датчики. Физические основы, вопросы расчета и применения. М.: Энергоатомиздат. 1990. 256 с.

71. Мидвинтер Дж. Э. Волоконные световоды для передачи информации / Пер. с англ. М.: Радио и связь, 1983. 336 с.

72. Свечников Г.С. Интегральная оптика, Киев. Наукова думка, 1988. 168 с. 80.3атыкин A.A., Моршев С.К., Францессон A.B. Взаимодействие излучения споглощающей средой на участке световода с крутым изгибом. Квантовая электроника, 1983, № 11, с. 2283-2288.

73. Волноводная оптоэлектроника /Пер. с англ. под ред. Т. Тамира. М.: Мир, 1991. 575 с.

74. Бонч-Бруевич B.JL, Калашников С.Г. Физика полупроводников. Учеб. пособие для вузов. М.: Наука, 1990. -688 с.

75. Рекомбинационные свойства кремния, облученного протонами с энергией 660 Мэв. В.А. Евсеев, Р.Ф. Коноплева, A.A. Юферев и др. Радиационные дефекты в полупроводниках (расширенныетезисы докладов) Всесоюзный симпозиум. Изд-во БГУ им. Ленина. Минск, 1972.

76. Боглаев Ю.П. Вычислительная математика и программирование: Учеб. пособие для вузов. М.: Высш. шк., 1990. - 544 с.

77. А. з. на патент РФ №96105745/09 от 01.04.96. Устройство для моделирования нейрона / Авт.: В.Л. Борисов, В.И. Клюкин.

78. Искусственный интеллект: В 3-х кн. Кн. 2.Модели и методы: Справочник / Под ред. В.Н. Захарова, В.Ф. Хорошевского. М.: Радио и связь, 1990. - 368с.

79. Искусственный интеллект: Применение в интегрированных производственных системах / Под ред. Э. Кьюсиака; Пер. с англ. А.П. Фомина; Под ред. А.И. Дащенко, Е.В. Левнера. М.: Машиностроение, 1991. - 544с.