автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Исследование нейроподобных сетей, работающих со средним значением стохастического потока

на правах рукописи

ЛУКЬЯНОВ АЛЕКСАНДР ВЛАДИМИРОВИЧ

Исследование нейроподобных сетей, работающих со средним значением стохастического потока

05.13.17. Теоретические основы информатики

Автореферат

диссертации на соискание ученой степени кандидата физико-математических наук

Ярославль 2000

Работа выполнена на кафедре теоретической информатики факультета информатики и вычислительной техники Ярославского государственного университета им. П. Г. Демидова.

Научный руководитель:

Научный консультант:

Официальные оппоненты:

доктор физико-математических наук, профессор Тимофеев Е. А.

кандидат физико-математических наук, профессор Соколов В. А.

доктор физико-математических наук, профессор Майоров В. В.

доктор физико-математических наук, профессор Бандман О. Л.

Ведущая организация:

Институт радиотехники и электроники РАН.

Защита состоится 3 ноября 2000 года в_на заседании диссертационного совета К064.12.04 при Ярославском государственном университете им. П. Г. Демидова по адресу: 150000, г. Ярославль, ул. Советская, д. 14.

С диссертацией можно ознакомиться в библиотеке Ярославского государственного университета им. П. Г. Демидова по адресу:

150000, г. Ярославль, ул. Кирова, д. 8/10.

Автореферат разослан_октября 2000 года.

Ученый секретарь диссертационного совета, к. ф.-м. н.

Пендюр А. Д.

Общая характеристика работы

Актуальность темы

В диссертации разработаны новые модели искусственных нейронов, использующих кодирование информации в виде среднего значения стохастического потока бинарных импульсов.

Задача создания и исследования искусственных нейронных сетей (ИНС) в последнее время вызывает большой интерес. Одна из причин этого заключается в том, что ИНС применяются для решения большого класса задач. В этот класс входят задачи обработки изображений [Горбань А. Н. 1994, Престон К. 1979], задачи распознавания оптических образов [Fukushima K. 1988, Wang S.S. 1996], звуковых сигналов [Pratt L.Y. 1991], организации ассоциативной памяти [Кохонен Т. 1980, Кохонен Т. 1982, Hopfield J.J. 1986], предсказания показателей биржевых рынков [Горбань А. Н. 1996], синтеза речи [Sejnowski T.J. 1987] и многие другие.

Успешное применение искусственных нейронных сетей основано на том, что их принципы функционирования подражают принципам работы головного мозга [Amit D.J. 1989, Лебедев А.Н. 1990, Лебедев А.Н. 1992, Бехтерева Н.П. 1980]. Это подражание обусловлено тем, что элемент ИНС (искусственный нейрон) разрабатывался на основе предположений о функционировании биологических нейронов [Rosenblatt F. 1958, McCulloch W.S. 1943].

При разработке искусственной нейронной сети всегда строится формальная модель нейрона, которая изучается математическими методами и для которой разрабатывается алгоритм обучения. На основе формальной модели может быть создана схемотехническая модель и аппаратная реализация ИНС, которая обладает свойствами изученной формальной модели и обучается теми же методами, что и формальная модель. Первая формальная модель нейрона была предложена У. Мак-Каллоком и В. Питт-сом [McCulloch W.S. 1943]. Другие формальные модели нейронов и нейронных сетей предлагались Ф. Розенблаттом [Rosenblatt F. 1958] (перцептрон), Дж. Хопфилдом [Hopfield J.J. 1986] и другими.

В диссертации разработаны и изучены математическими методами формальные модели нейронов, работающих со средними значениями стохастических потоков, предложены методы их обучения, построены схемотехнические модели. Предложенные модели нейронов превосходят другие модели по простоте аппаратной реализации. В схемотехнической модели предложенного нейрона количество логических элементов «И» зависит от числа входов нейрона N и количества битов w' в регистрах, содержащих весовые коэффициенты, и составляет 3Nw' + 2N + 2. В состав нейрона также входит две шины квазисуммирования разрядности w', четыре сумматора и один генератор случайных битов с заданной вероятностью появления нуля.

Примененный способ кодирования информации в виде среднего значения стохастического потока присутствует в биологических нейронных сетях. В работах Е. Н. Соколова, Г. Г. Вайткявичуса, Б. Бернса и Дж. Экклса было показано, что информация в биологических нейронных сетях может передаваться в форме плотности приблизительно одинаковых нервных импульсов [Соколов Е. Н. 1989, Бернс Б. 1969, Экклс Дж. 1966].

Данный способ кодирования был также применен в диссертации для создания схемотехнической модели устройства, выполняющего дискретное преобразование Фурье. Исследована математическая модель этого устройства и доказана его работоспособность.

Дискретное преобразование Фурье (ДПФ) широко применяется в цифровой технике для спектрального представления информации. В класс задач, где используется ДПФ, входят обработка цифровых сигналов и изображений [Рабинер Л. Р. 1978], адаптивное предсказание речи [Рабинер Л. Р. 1981], техническое зрение [Кузьмин С. А. 1986], цифровая голография, сейсморазведка и многие другие.

В диссертации разработана также модель нейрона с альтернативными синапсами, работающего со средними значениями стохастических потоков.

Нейрон с альтернативными синапсами имеет биологическую основу. Формальная модель нейрона с альтернативными синапсами была разработана на основе биологических данных о существовании пар согласованно функционирующих нейронов [Wassle H. 1981, Kidd M. 1962, Friesen W.O. 1975], важную роль этих нейронных структур отмечает Ю.Д. Кропотов [Кропотов Ю.Д. и др. 1989, 1993, 1994]. А.А. Короткиным и В.А. Панкратовым было показано, что нейроны с альтернативными синапсами в среднем обладают лучшими классифицирующими способностями по сравнению с обычными нейронами.

Для всех разработанных устройств проводились исследования на имитационных моделях, показавшие их работоспособность.

Сравним разработанную в диссертации модель нейрона с моделями потоковых нейронов других авторов.

Исследование искусственных нейронных сетей, основанных на кодировании информации в виде потока импульсов, представлено работами А. Ф. Мюррея, М. Томлинсона, Дж. Томберга, Ю. А. Маматова, Г. П. Штерна, А. К. Карлина, А. Н. Малкова и Е. А. Тимофеева.

А. Ф. Мюррей использует для построения нейронов цифро-аналоговый подход, при этом импульсы не синхронизированы и могут перекрываться не полностью [Murray A.F. 1987]. М. Томлинсон рассматривает полностью цифровую схему нейрона, в которой сигнал дискретен и импульсы синхронизированы [Tomlinson M.S. 1990]. При цифровом подходе операция умножения реализуется проще. В предложенной здесь модели также используется полностью цифровое представление потока импульсов. По сравнению с работой Томлинсона в предложенной модели имеется регистр, позволяю-

щий в любой момент времени получить состояние нейрона.

Ю. А. Маматов, Г. П. Штерн, А. К. Карлин, и А. Н. Малков предложили схемотехническую модель цифрового нейрона, работающего с плотностью потока бинарных импульсов [Маматов Ю.А. и др. 1993, 1995, 1996]. Этот нейрон использовал преобразование цифровых коэффициентов в поток бинарных импульсов и содержал генераторы случайных чисел, количество которых было пропорционально количеству входов.

Этими же авторами была предложена модель потокового нейрона, число генераторов случайных битов которого было пропорционально логарифму количества входов [Карлин А. К. и др. 1998].

В модели нейрона, предложенной в диссертации, была устранена необходимость преобразования весовых коэффициентов в поток импульсов, что позволило сократить количество генераторов случайных чисел. В предложенной модели оно не зависит от количества входов нейрона.

Таким образом, в диссертации предложена модель усовершенствованного и упрощенного нейрона, работающего с потоками импульсов, количество генераторов случайных чисел в котором не зависит от количества синапсов.

Из вышесказанного видно, что данная работа является актуальной.

Цель работы

Целью данной работы является разработка новых моделей вычислительных устройств, использующих кодирование информации в виде среднего значения цифрового стохастического потока и имеющих небольшие аппаратные затраты. Разработаны модели двух различных нейронов, использующих данное кодирование информации и модель устройства, выполняющего дискретное преобразование Фурье с использованием такого кодирования.

Научная новизна

Основные научные результаты диссертации состоят в следующем.

Разработана модель нейрона, использующего кодирование информации в виде среднего значения стохастического потока, количество генераторов случайных чисел которого не зависит от количества синапсов.

Разработана модель нейрона с альтернативными синапсами, также использующая потоковое кодирование и имеющая малое количество генераторов случайных чисел.

Предложен метод представления комплексных чисел в виде среднего значения стохастического потока и модель устройства, выполняющего дискретное преобразование Фурье и содержащего только сумматоры и простые логические элементы.

Методы исследования

В данной работе построены математические модели потоковых устройств. Для их исследования применяются как математические методы (теория вероятностей, исследование операций), так и имитационное моделирование в сочетании со статистическими методами.

Положения, выносимые на защиту

1. Модели потоковых устройств: нейрона; нейрона с альтернативными синапсами; устройства, выполняющего дискретное преобразование Фурье. Схемотехнические модели этих устройств, математические модели, анализ математических моделей. 2. Методы обучения потоковых нейронов: модифицированный метод Хебба; метод оптимизации приближенной функции ошибки. 3. Результаты экспериментов на имитационных моделях разработанных устройств, показывающие их работоспособность.

Практическая ценность

Данная работа имеет теоретический характер. Исследованы формальные модели разработанных потоковых устройств. Предложены методы обучения потоковых нейронов и потоковых нейронов с альтернативными синапсами. Эксперименты на имитационной модели показали работоспособность всех устройств. Это делает возможным создание аппаратной реализации нейронных сетей и устройства ДПФ на основе предложенных моделей.

Нейросети из предложенных нейронов могут применяться для распознавания образов, организации ассоциативной памяти и для решения других задач. Устройство ДПФ может применяться для любых задач, где требуется спектральное представление данных с небольшой точностью. Например, это устройство может применяться как входной фильтр для потоковой нейронной сети.

Апробация работы

По результатам, полученным в ходе работы, были сделаны доклады на семинаре лаборатории информационных и коммуникационных технологий на основе динамического хаоса Института радиотехники и электроники РАН, на VIII всероссийском семинаре «Нейроинформатика и ее приложения», а также на семинарах ЯрГУ «Моделирование и анализ информационных систем» и «Нейронные сети».

Структура и объем работы

Диссертация состоит из введения, 4 глав и выводов, изложенных на 74 страницах. В работу входит 10 иллюстраций и 12 таблиц. Список литературы содержит 64 наименования.

Основное содержание работы

Во введении (глава 1) приводятся основные понятия, относящиеся к искусственным нейронным сетям, дискретному преобразованию Фурье и потоковому кодированию информации. Рассматривается формальная модель нейрона Мак-Каллока-Питтса и нейрона с альтернативными синапсами. Приводится краткий обзор аналоговой и обычной цифровой реализаций нейрона с перечислением работ, в которых рассматривалось представление информации в виде потока импульсов, аналоговых и цифровых, а также различные реализации нейронов на основе такого представления информации. Обсуждается связь с биологическими нейронами. Рассматривается Дискретное преобразование Фурье, его применения и подходы к реализации. Приводится обзор диссертации.

В главе 2 приводится обзор способов представления информации в виде среднего значения цифровых стохастических последовательностей (потоков). Рассматриваются некоторые операции с потоками и два метода оценки среднего значения потока.

В разделе 2.1 приводятся основные определения стохастических потоков и их свойств.

Определение. Стохастическим потоком называется случайный процесс с дискретным временем и конечным множеством возможных значений.

Определение. Будем говорить, что поток (ж^..., ж^,...) имеет среднее значение ж, или число ж представлено в виде потока (ж1,..., ж^,...), если следующий предел сходится по вероятности и равен ж:

1 п

Нш — ж^ = ж.

п^оо п ^—' ¿=1

Определение. Два потока (ж1,..., ж^,...) и (у1,..., у^,...) со средними значениями ж и у будем называть независимыми, если следующий предел сходится по вероятности к ж у:

1п

Иш - ж^ = жу. пп

¿=1

Данное определение отличается от стандартного определения независимых случайных процессов, но в данной работе рассматривается только независимость в смысле умножения соответствующих элементов потоков.

В разделе 2.2 рассматривается представление в виде потока действительных значений из отрезка [0; 1], методы оценки среднего значения потока, основные операции с потоками.

В разделе 2.3 рассматриваются два способа представления в виде потока действительных значений из отрезка [—1; 1] и операции с такими потоками.

В разделе 2.4 предлагается представление комплексных значений в виде потока и операции с комплексными потоками.

В главе 3 предлагается модель цифрового нейрона, работающего со средними значениями потоков. Схема этого цифрового нейрона состоит из небольшого количества простых логических элементов, нескольких сумматоров и нескольких генераторов случайных чисел. Это обеспечивает низкую стоимость аппаратной реализации и возможность наращивания количества синапсов.

В разработанной модели нейрона информация представляется в виде среднего значения стохастических последовательностей (потоков). Следуя [Tomlinson M.S. 1990, Маматов Ю.А. и др. 1995], такие нейроны будем называть потоковыми.

Потоковые нейроны разрабатываются с целью уменьшения аппаратных затрат и стоимости аппаратной реализации нейронных сетей. Их применение позволяет создавать сети больших размеров и увеличивать число синапсов отдельных нейронов. Положительным свойством потоковых нейронов также является относительная устойчивость к ошибкам передачи данных.

В статье [Маматов Ю. А. и др. 1995] рассматривается схемотехническая модель потокового нейрона, в котором число генераторов случайных битов пропорционально числу синапсов нейрона. В работе [Карлин А. К. и др. 1998] число генераторов случайных битов было сокращено до log2 N, где N — количество синапсов.

Изложенная в настоящей работе модель потокового нейрона имеет число генераторов случайных битов, не зависящее от количества синапсов.

В разделе 3.1 перечисляются основные элементы потокового нейрона.

Рассматриваемый нейрон имеет N входов, на которые поступают последовательности (хц,... ,хц,...), где xit Е {—1, 0,1}, (N + 1) синаптических коэффициентов w0,... ,wn и регистр z, в котором накапливается некоторое суммарное значение. На выход нейрона подается последовательность yt, формируемая в соответствии со знаком значения регистра z и коэффициентом разреженности b.

Синаптические коэффициенты Wi кодируются w' битами и битом знака, регистр z кодируется (z' + w' + 2) битами и представляется в форме дополнения до 1. Коэффициент b кодируется b' битами.

В состав нейрона всего входит:

1) 3Nw' + 2N + 2 + b' битовых логических элементов «И»;

2) две шины квазисуммирования разрядности w';

3) четыре сумматора разрядностей w' + 1, w' + 2, w' + 3 и z' + w' + 2;

4) b' генераторов случайных битов.

w

w"

NN

Z

В

Уt

Рис. 1. Схема потокового нейрона

На рис. 1 изображена схема описываемого нейрона. Блоки Wl — W4 содержат регистры с соответствующими синаптическими коэффициентами и устройства выбора. Блок Z содержит регистры г и и0, а также ряд сумматоров. Блок В содержит регистр Ь и осуществляет вероятностную фильтрацию.

В разделе 3.2 описывается работа нейрона на одном шаге. На шаге £ очередные значения хц из входных последовательностей умножаются на соответствующие весовые коэффициенты и., и модули результатов поступают на одну из двух шин в зависимости от знака. На шинах происходит побитовое логическое «ИЛИ», и результаты накапливаются в суммирующем регистре г.

Обозначим поступающие на положительную шину значения и++(£), а поступающие на отрицательную шину — и-(£):

если и.хц > 0; если и.хц ^ 0,

если и.хц < 0; если и.хц ^ 0.

На шаге £ значение регистра г изменяется следующим образом:

— 71 \

гг+1 = г — ¿¿2 + Агг,

N N

Аг = У и+(£) — У и—(£) + ио.

¿=1 ¿=1

Символом \/ обозначена операция побитового логического «ИЛИ».

и+(£) = { 0^

и (£) = 10,

На каждом шаге на выход нейрона подается с вероятностью Ь значение 0 и с вероятностью 1 — Ь знак регистра г.

В разделе 3.3 вычисляется математическое ожидание и дисперсия величины г при £ то, при условии независимости величин хц в совокупности для всех г,£. Вычисляется также математическое ожидание г для одного частного случая, необходимого для обучения.

В разделе 3.4 получены неравенства для математического ожидания величины \/т++(£) при условии независимости величин хц. Показано, что функция состояния нейрона приближается к линейной от значений весов и средних значений входных последовательностей при Ь ^ 1.

В разделе 3.5 формулируется задача обучения полносвязной нейронной сети, и предлагаются методы обучения: метод Хебба, модифицированный метод Хебба и метод оптимизации приближенной функции ошибки. Каждый нейрон обучается независимо, номер обучаемого нейрона обозначен 3.

Приведем здесь модифицированный метод Хебба и метод оптимизации. Обучение производится на множество изображений {X1,..., Xр}, Xт = (Хт,... где Хт е {—1,1}.

Модифицированный метод Хебба. Предлагается следующий вариант правила Хебба. Для нейрона 3 (предполагая 0/0 = 1/2):

1 р

= |Е(1+хт)(1+хт),

т=1 1р

А— = |Е(1 — Хт)(1 + Хт),

т=1 1р

= |Е(1+хт)(1—хт),

т=1 1р

в- = 4Е(1 — хт)(1 — хт),

т=1

А + А —

та = (2"' - 1м а а

г е {1,...,Ж},

где , , В+, В— — количество элементов в подмножествах множества образов.

Оптимизационное обучение. Оптимизационная задача заключается в нахождении коэффициентов , при которых функция Е

принимает наименьшее значение:

P

E (wij ,...,wNj) = (Z (X m, w))) - Xjm )2,

m=1

N

Z( ) 1 -

Z(x, w) = N X^WiXi.

i=i

2

S (z) = ---1.

w 1 + e-z

где j — номер обучаемого нейрона. Параметры woj и Wjj принимаются равными нулю. Здесь величины wij являются вещественными. После оптимизации они нормируются и округляются до ближайшего целого.

В разделе 3.6 описывается эксперимент на имитационной модели полносвязной сети размера 8 х 8 из потоковых нейронов, метод статистической обработки результатов, и приводятся средние статистические значения для всех образов и всех уровней помех от 1 до 10 при разных способах обучения. Произведено сравнение методов обучения между собой и с традиционным методом Хебба, показавшее преимущество метода оптимизации над модифицированным методом Хебба и преимущество модифицированного метода Хебба над традиционным методом Хебба.

В главе 4 рассматривается модель цифрового нейрона с альтернативными синапсами, работающего со средними значениями потоков.

Потоковый нейрон с альтернативными синапсами обрабатывает положительные и отрицательные значения, поступающие на его синапсы, независимо, с различными в общем случае весовыми коэффициентами. На выход данного нейрона поступает две последовательности y+ и y—, для положительных и отрицательных значений. Формальная модель нейрона с альтернативными синапсами (или А-нейрона) была впервые предложена в статье [Короткин А. А., Панкратов В. А. 1997]. В той же статье показано, что А-нейроны в среднем обладают лучшими классифицирующими способностями по сравнению с обычными нейронами. Формальная модель А-нейрона была разработана на основе биологических данных о существовании пар согласованно функционирующих нейронов [Wassle H. 1981, Kidd M. 1962, Friesen W.O. 1975], важную роль этих нейронных структур отмечает Ю.Д. Кропотов [1989, 1993, 1994].

Схема потокового А-нейрона, как и схема потокового нейрона, описанного в третьей главе, имеет количество генераторов случайных битов, не зависящее от количества синапсов. Количество связей между нейронами не возрастает, так как в схеме потокового нейрона для кодирования значений —1,0,1 требуется два бита, столько же, сколько передается между потоковыми А-нейронами.

В разделе 4.1 перечисляются основные элементы потокового нейрона с альтернативными синапсами.

Х1+ Х1 t Х2+Ь Х2 t

XNt Х t

Рис. 2. Схема потокового А-нейрона

На вход рассматриваемого нейрона поступают 2Ж последовательностей (х+,...,х+,...) и (х"1,...,х-,...), где е {0,1}, г е {1 £ -

дискретное время. Выполняется условие = 0. Имеется 2Ж синапти-

ческих коэффициентов , и—,..., , и—, два пороговых коэффициента и+,и>— и регистр г, в котором накапливается некоторое суммарное значение. На выход нейрона подаются две последовательности (у+,..., у+,...) и (у—,..., у—,...), где у+, у— е {0,1}, формируемые в соответствии со знаком значения регистра г и коэффициентом разреженности Ь.

Синаптические и пороговые коэффициенты и и— кодируются и' битами и битом знака, регистр г кодируется (г' + и' + 2) битами и представляется в форме дополнения до 1. Коэффициент Ь кодируется Ь' битами.

В состав нейрона всего входит:

1) (2Ж + 2) регистров разрядности и' + 1, один регистр разрядности г' + и' + 2, один регистр разрядности Ь';

2) 4Жи' + 2Ж + 2 + Ь' битовых логических элементов «И»;

3) две шины квазисуммирования разрядности и';

4) четыре сумматора разрядностей и' + 1, и' + 2, и' + 3 и г' + и' + 2;

5) Ь' генераторов случайных битов.

На рис. 2 изображена схема описываемого нейрона. Блоки W1 — Wf содержат регистры с синаптическими коэффициентами (и+, и—,..., и+, и—) и устройства выбора. Блок Z содержит регистры г, и+ и и—, а также ряд сумматоров. Блок В содержит регистр Ь и осуществляет вероятностную фильтрацию.

В разделе 4.2 описывается работа нейрона с альтернативными синапсами на одном шаге.

Введем необходимые обозначения. Определим следующие функции знака:

+ , ч Г 0, если г < 0; sgп^(z) = < 1 п

4 у [1, если г ^ 0,

ч Г 1, если г < 0; ч

sgп (г) = < п п (1)

4 у [0, если г ^ 0, 4 7

sgп(z) = sgп+(z) — sgп-(z).

Будем использовать операцию [ж] как округление к ближайшему целому. Опишем работу нейрона в момент времени £. На входы нейрона поступают значения ж+ и ж-, г £ {1,..., N}. В зависимости от входных значений ж+, ж- и знаков синаптических коэффициентов и м-, на одну из шин квазисуммирования подается значение |м+| или 1. Обозначим поступающие из блока W¡ в момент времени £ на положительную шину значения м+(£), а на отрицательную шину - м-(£):

м+(£) = ж+ к+| ^п+К+Н ж-^п+К-), (£) = ж+ к+| ^К+Н ж-К-),

к £ {1,...,м'}.

Следует заметить, что в вышеприведенных выражениях сумма может быть заменена на побитовое «ИЛИ», так как хотя бы одно из двух слагаемых равно нулю, а умножение — на операцию «И», так как ж±± £ {0,1}, (м±) £ {0,1}

На шинах квазисуммирования происходит побитовое логическое «ИЛИ», и на них образуются значения м+(£) и м-(£):

N

«>+(£) = V ш+(0,

1=1 N

м-(£) = V м—

¡=1

Значения м+(£) и м-(£) поступают на вход блока Z. На шаге £ значение регистра г изменяется следующим образом:

¿¿+1 = ^

+ Д^, (2)

Д^ = м+(£) - м (£) + sgп+(zt) - sgп

На выход блока Z подаются значения sgп+(zt) и sgп-(zt), определяемые в соответствии с (1). Эти значения поступают в блок Б.

Будем называть St = sgп(zt) состоянием нейрона в момент времени £.

На выход блока В с вероятностью Ь подаются значения 0,0, и с вероятностью (1 — Ь) значения sgn+(zt) и sgn-(zt):

Р {у+ = 0 Л у— = 0} = Ь,

Р {= Л у— = = 1 — ^

При выполнении условия = — данный нейрон эквивалентен нейрону, описанному во второй главе.

В разделе 4.3 вычисляется математическое ожидание величины ч(£) (ч(£) = ч+(£) — ч—(£)), при условии независимости величин в совокупности для всех ¿. Вычисляется также математическое ожидание этой величины для одного частного случая, необходимого для обучения.

В разделе 4.4 формулируется задача обучения полносвязной нейронной сети, построенной на нейронах с альтернативными синапсами. Описывается двушаговый метод обучения, на первом шаге вычисляются коэффициенты , на втором шаге вычисляются и . Предлагается правило вычисления коэффициентов для полносвязной сети, при котором все эталонные изображения гарантированно являются устойчивыми. Каждый нейрон обучается независимо, номер обучаемого нейрона обозначен ]. Обучение производится на множество изображений {X1,..., Xр}, Xт = (Хт,... где хт е {—1,1}.

В разделе 4.5 формулируются правила обучения нейрона с альтернативными синапсами по методу Хебба и по модифицированному методу Хеб-ба, а также аналогичные методы для обычных нейронов.

Приведем здесь методы обучения для А-нейронов.

Обучение с помощью стандартного метода Хебба, с использованием альтернативных синапсов (описано в статье [Короткин А. А., Панкратов В. А. 1997]):

=

У

=

2™ - 1

р

^2хзт\хт\ ^п+(хт)

тт

р ^ --о

т=1

2™ - 1

р

^хт\хт\ Sgn-(Xm)

тт

Р ^ "з

т=1

Обучение с помощью модифицированного метода Хебба, с использованием альтернативных синапсов (здесь 0/0=0):

=

У

р

2г

^хт\хгт\(хт)

т=1

р

Е sgn+(хт)

т=1

р

Sgn-(XГ)

т=1

Р

Е sgn- (Хт)

т=1

В разделе 4.6 формулируются правило обучения А-нейрона методом оптимизации приближенной функции ошибки, и аналогичное правило для обычных нейронов.

Приведем здесь метод обучения для А-нейронов.

Для обучения А-нейрона будем оптимизировать функцию Еа:

р

Еа(и +, Ш-) = Е {^а(Хт(+), Xт(-), Ш+, Ш-)) - X

т

т=1 N

N

Iа(Х+ 1 X , ШШ ) = Е + Е Х-

¿ = 1

¿=0

Xт(+) = (ХГ sgn+(X1m),...,Xm sgn+(Xm)) Xт(-) = (Хт sgn-(X1m),...,Xm sgn-(Xm))

й(ж) =

1 - е-1 + е-

После нахождения локального минимума ш+*, ш * весовые коэффициенты вычисляются следующим образом:

+*

П)+ =

Щ =

'(2№' - 1)

I +* I

тахк | '(2№' - 1)Ч-_ тах к |ш-*|

В разделе 4.7 описывается эксперимент на имитационной модели полносвязной сети размера 8 х 8 из потоковых нейронов с альтернативными синапсами, метод статистической обработки результатов, приводятся средние статистические значения для всех образов и всех уровней помех от 1 до 10 при разных способах обучения. Произведено сравнение методов обучения между собой, показавшее преимущество метода оптимизации над модифицированным методом Хебба и преимущество модифицированного метода Хебба над традиционным методом Хебба. Сравнение результатов моделирования сети из потоковых А-нейронов и из обычных потоковых нейронов показало, что эффективность потоковых А-нейронов зависит от способа обучения, в случае стандартного метода Хебба эффективность даже ухудшается. В случае модифицированного метода Хебба и при оптими-

2

Рис. 3. Структура схемы ДПФ

зационном обучении потоковые А-нейроны показывают лучшие результаты по сравнению с обычными потоковыми нейронами.

В главе 5 рассматривается модель устройства, выполняющего дискретное преобразование Фурье и использующего потоковое представление информации.

Схема этого цифрового устройства состоит из небольшого количества простых логических элементов, сумматоров и нескольких генераторов случайных чисел. Это обеспечивает низкую стоимость аппаратной реализации.

Предлагается представление комплексных чисел в виде стохастических потоков, дается описание схемотехнической модели устройства ДПФ, приводится обоснование, результаты моделирования и сравнение с традиционной цифровой схемой.

В разделе 5.1 рассматривается представление комплексных чисел в виде стохастических потоков и кодирование таких потоков.

В разделе 5.2 описывается потоковое устройство дискретного преобразования Фурье и оценивается количество элементов аппаратной реализации.

Данное устройство, имеет N = 2П входов, на которые поступают последовательности, состоящие из значений ехр ^^Лг, закодированных значениями к Е {0,... ^ — 1}. Последовательности генерируются случайным образом так, чтобы среднее значение было равно значению функции в соответствующей точке. Имеется также N выходов, на которые подаются аналогичные последовательности, среднее значение которых равно дискретному спектру Фурье в соответствующей точке. Входные значения обозначены и, выходные значения — Их соответствующие коды обозначены хц и Ук,ь.

На рис. 3 буквой С обозначен равномерный генератор последовательности случайных чисел д из множества Н = {0,..., N — 1}.

Устройство выбора C принимает на входе N кодов Xi,t, номер gt £ H и выдает хдф

Устройство умножения M принимает на входе код xgt,t и номер gt £ H и выдает N кодов Vk,t:

Vk,t = (xgt,t + gtk) mod N (3)

k £ H.

Устройство умножения содержит N сложений и умножения на константы k £ H. Умножения на константы можно заменить сложениями, причем количество сложений равно N — 1.

Один такт работы схемы, обозначенный t, можно описать следующим образом:

1) получается число gt от генератора G, которое подается на устройства C и M;

2) производится выбор кода xgt,t из входных последовательностей;

3) код xgut передается на умножитель M, где параллельно получаются коды Vk,t в соответствии с (3);

4) на входы подаются следующие коды значений входных последовательностей, и процесс повторяется.

В разделе 5.3 приводится доказательство следующей теоремы.

Теорема. Пусть последовательность gt и последовательности Xn,t независимы для всех n £ H. Тогда последовательности Yk,t, полученные в данной схеме, будут иметь средние значения, равные 1/N спектра Фурье.

В разделе 5.4 рассматривается скорость сходимости среднего значения выходных последовательностей.

В разделе 5.5 приводится описание эксперимента на имитационной модели устройства ДПФ. Моделирование подтвердило работоспособность данного устройства.

В разделе 5.6 производится сравнение потокового устройства ДПФ с цифровым полностью параллельным устройством, использующим граф соединений быстрого ДПФ.

Основные результаты и выводы

В настоящей работе предложены новые модели устройств, работающих со средним значением стохастического потока: нейрона; нейрона с альтернативными синапсами; устройства, выполняющего дискретное преобразование Фурье. Данные устройства состоят из небольшого количества простых логических элементов, ячеек памяти и содержат небольшое количество генераторов случайных чисел. Это делает их привлекательными для аппаратной реализации.

Построены математические модели данных устройств и получены основные характеристики распределения состояния нейрона и выходов устройства, выполняющего ДПФ. Доказана работоспособность разработанных устройств.

Для потоковых нейронов предложены два метода обучения: модифицированный метод Хебба и метод оптимизации приближенной функции ошибки.

Для исследования данных устройств и методов обучения была создана программная имитационная модель, позволяющая проводить эксперименты с потоковыми схемами. На основе этой имитационной модели было проведено сравнение методов обучения нейронов, результаты экспериментов подтвердили работоспособность всех трех устройств.

Публикации автора по теме диссертации

[1] Лукьянов А. В. Представление комплексных чисел в потоковой форме // Сборник «Моделирование и анализ информационных систем». Ярославль, 1996. № 3. С. 57-61.

[2] Лукьянов А. В. Схемотехническая модель преобразования Фурье, работающая со средним значением стохастического потока // Сборник «Моделирование и анализ информационных систем». Ярославль, 1998. № 4. С. 123-133.

[3] Лукьянов А. В. Схемотехническая модель цифрового нейрона, работающая со средним значением стохастического потока // Моделирование и анализ информационных систем. 1999. Т. 6, № 1. С. 29-35.

[4] Лукьянов А. В. Оптимизационное обучение цифрового нейрона, работающего со средним значением стохастического потока // Моделирование и анализ информационных систем. 1999. Т. 6, № 2. С. 39-42.

[5] Лукьянов А. В. Потоковый нейрон с альтернативными синапсами // Моделирование и анализ информационных систем. 2000. Т. 7, № 1. С. 6-15.

[6] Лукьянов А. В. Потоковый нейрон с альтернативными синапсами. // VIII Всероссийский семинар «Нейроинформатика и ее приложения», материалы семинара. Красноярск. 2000.

[7] Лукьянов А. В. Схемотехническая модель цифрового нейрона, работающая со средним значением стохастического потока // Микроэлектроника. 2001. № 1. (в печати)

Заказ_. Тираж 100.

Отпечатано на ризографе в Ярославском государственном университете им. П. Г. Демидова 150000, г. Ярославль, ул. Советская, 14.

1. Введение

1.1. Формальная модель нейрона.

1.2. Некоторые подходы к аппаратной реализации искусственных нейронных сетей.

1.3. Импульсное кодирование информации в биологических нейронных сетях

1.4. Клеточные нейронные сети.

1.5. Нейроны с альтернативными синапсами.

1.6. Дискретное преобразование Фурье

1.7. Обзор диссертации.

2. Потоковое представление информации

2.1. Общие определения.

2.2. Представление значений из [0; 1].

2.3. Представление значений из [—1; 1].

2.4. Представление комплексных значений.

3. Потоковый нейрон

3.1. Основные элементы нейрона.

3.2. Описание работы нейрона

3.3. Вычисление средних значений.

3.4. Обоснование перехода к линейной модели.

3.5. Полносвязная сеть и ее обучение

3.6. Результаты эксперимента.

4. Потоковый нейрон с альтернативными синапсами

4.1. Основные элементы нейрона.

4.2. Описание работы нейрона

4.3. Значения на выходе нейрона.

4.4. Ассоциативная память на сети Хопфилда.

4.5. Обучение по методу Хебба.

4.6. Оптимизационное обучение.

4.7. Результаты эксперимента.

5. Потоковое устройство, выполняющее дискретное преобразование

Фурье

5.1. Значения и их представление.

5.2. Описание схемы ДПФ.

5.3. Обоснование.

5.4. Сходимость к среднему значению.

5.5. Результаты моделирования.

5.6. Сравнение с обычной реализацией.

5.7. Выводы.

Искусственные нейронные сети в последние десятилетия применяются для решения большого класса задач, для которых неизвестны эффективные алгоритмы, или требуется быстрая параллельная обработка данных. В этот класс входят задачи обработки изображений [4,30], задачи распознавания оптических образов [44,63], звуковых сигналов [57], организации ассоциативной памяти [9,10,48], предсказания показателей биржевых рынков [5], синтеза речи [60] и многие другие.

В основу искусственных нейронных сетей (ИНС) положены следующие черты биологических нейронных сетей, позволяющие им хорошо справляться со сложными задачами с неизвестными принципами решения: имеется простой обрабатывающий элемент — нейрон; очень большое число нейронов участвует в обработке информации; один нейрон связан с большим числом других нейронов (глобальные связи); веса связей между нейронами могут изменяться; информация обрабатывается параллельно.

Сложность нейронной сети определяется количеством нейронов, количеством связей между ними и сложностью отдельного нейрона. В диссертации разработаны новые модели нейронов, которые являются более простыми для аппаратной реализации по сравнению с другими моделями. Связи между разработанными нейронами состоят всего из двух физических линий, по которым передается два бита за единицу времени. Это достигается за счет использования кодирования информации в виде среднего значения стохастической последовательности.

При разработке искусственной нейронной сети, как правило, строится формальная модель нейрона, которая изучается математическими методами, и для которой разрабатывается алгоритм обучения. На основе формальной модели может быть создана аппаратная реализация ИНС, которая обладает свойствами изученной формальной модели и обучается теми же методами, что и формальная модель. Первая формальная модель нейрона была предложена У. Мак-Каллоком и В. Питтсом [52]. Другие формальные модели нейронов и нейронных сетей предлагались Ф. Розен-блаттом [59] (перцептрон), Дж. Хопфилдом [48] и другими.

Поскольку искусственные нейросети разрабатывались на основе принципов работы биологических нейронных сетей, они унаследовали их некоторые свойства: нечеткую логику, выраженную в виде алгебраических уравнений, возможность обучения, параллельность выполнения операций. При обучении сеть адаптируется для решения конкретной задачи, при этом выделяются неявно выраженные закономерности [3,39].

Обучение является существенным элементом в разработке нейронной сети. Выбор метода обучения может сильно влиять на эффективность работы нейросети. В диссертации предложены два метода обучения разработанных нейронов: модифицированный метод Хебба и метод оптимизации приближенной функции ошибки. Проведенные эксперименты на имитационной модели позволили сравнить эффективность этих методов обучения.

Аппаратная реализация ИНС обладает свойством массового параллелизма, что позволяет ей обрабатывать данные существенно быстрее обычного компьютера [40, 49]. Кроме того, в некоторых специализированных управляющих устройствах может быть выгодно использовать простую аппаратную нейросеть вместо достаточно сложного универсального компьютера. Это делает актуальной разработку аппаратных нейросетей с небольшими аппаратными затратами.

Одним из методов, позволяющих уменьшить аппаратные затраты на реализацию нейронных сетей, является импульсное кодирование информации, которое обсуждается в разделе 1.2. Импульсное кодирование присутствует также и в биологических нейронных сетях, этот вопрос рассматривается в разделе 1.3. Исследование искусственных нейронных сетей, основанных на импульсном кодировании, представлено работами А. Ф. Мюррея, М. Томлинсона, Дж. Томберга, Ю. А. Маматова, Г. П. Штерна, А. К. Карлина, А. Н. Малкова и Е. А. Тимофеева. В диссертации предложена модель усовершенствованного и упрощенного нейрона, работающего с потоками импульсов, количество генераторов случайных чисел в котором не зависит от количества синапсов.

Опишем более подробно некоторые аспекты нейронных сетей, необходимые в дальнейшем: формальную модель нейрона, подходы к аппаратной реализации ИНС, импульсное кодирование информации в биологических нейросетях, клеточные нейронные сети, формальную модель нейрона с альтернативными синапсами, а также дискретное преобразование Фурье.

5.7. Выводы

Разработан метод представления комплексных чисел в виде последовательностей и схема дискретного преобразования Фурье на их основе.

Рассмотрена структура схемы ДПФ, приведена оценка количества элементов схемы и обоснована точность получаемых в пределе результатов.

Рис. 9. Моделирование ДПФ для функции / sl=l.-000019-s=a.000573 <2j4J» d=0,01-10089 «да- max. ual=0,-227S5i st=32200 sl=1.00W09- 6=0,003098 d=0,00691444 max uaI=Ov231S08 st=104300

Рис. 10. Моделирование ДПФ для функции f2

6. Заключение

В настоящей работе предложены новые модели устройств, работающих со средним значением стохастического потока: нейрона; нейрона с альтернативными синапсами; устройства, выполняющего дискретное преобразование Фурье. Данные устройства состоят из небольшого количества простых логических элементов, ячеек памяти и содержат небольшое количество генераторов случайных чисел. Это делает их привлекательными для аппаратной реализации.

Построены математические модели данных устройств и получены основные характеристики распределения состояния нейрона и выходов устройства, выполняющего ДПФ. Доказана работоспособность разработанных устройств.

Для потоковых нейронов предложены два метода обучения: модифицированный метод Хебба и метод оптимизации приближенной функции ошибки.

Для исследования данных устройств и методов обучения была создана программная имитационная модель, позволяющая проводить эксперименты с потоковыми схемами. На основе этой имитационной модели было проведено сравнение методов обучения нейронов, результаты экспериментов подтвердили работоспособность всех трех устройств.

1. Бернс Б. Неопределенность в нервной системе. // М.: Мир, 1969. 252 с.

2. Бехтерева Н.П. Здоровый и больной мозг человека // М.:Наука, 1980, 208 с.

3. Горбань А. Н. Обучение нейронных сетей // М.: СП "ParaGraph". 1990. 160 с.

4. Горбань А. Н. Проекционные сетчатки для обработки бинарных изображений // Математическое обеспечение и архитектура ЭВМ: Материалы науч.-техн. конф. «Проблемы техники и технологий XXI века», 22-25 марта 1994 г. — Красноярск: изд. КГТУ, 1995. С. 6-9.

5. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере // Новосибирск: Наука. Сибирская издательская фирма РАН. 1996. 276 с.

6. Залманзон Л. А. Преобразование Фурье, Уолша, Хаара и их применение в управлении, связи и других областях // М.: Наука. 1989. 493 с.

7. Карлин А. К., Малков А. Н., Маматов Ю.А., Тимофеев Е.А., Штерн Г. П. Вероятностный нейрон, работающий с плотностью потока бинарных импульсов // Микроэлектроника, т. 27, № 3, 1998, с. 170-175.

8. Короткин А. А., Панкратов А. В. Классифицирующие свойства нейронов с альтернативными синапсами // Моделирование и анализ информационных систем. Ярославль. 1997. Вып. 4. С. 118-123.

9. Кохонен Т. Ассоциативная память // М.:Мир, 1980.

10. Кохонен Т. Ассоциативные запоминающие устройства // М.:Мир, 1982.

11. Красненко Н. П., Федоров В. А. Применение временных и корреляционных (спектральных) окон для оценивания параметров спектральной плотности стационарного случайного процесса // Изв. вузов. Радиоэлектроника. 1985. № 7. С. 7982.

12. Кропотов Ю. Д. Мозговая организация восприятия и памяти: гипотеза о программировании действий // Физиология человека. 1989. Т. 15. № 3. С. 19-27.

13. Кропотов Ю. Д. Нейроинформатика: Основы, современное состояние и перспективы // Физиология человека, 1989. Т. 15. С. 130-149.

14. Кропотов Ю.Д., Пономарев В. А. Нейрофизиология целенаправленной деятельности // СПб.: Наука. Санкт-Петербург изд. фирма, 1993. 171 с.

15. Кузьмин С. А. Методы определения ориентации объектов в системах технического зрения // Измерения, контроль, автоматизация. 1986. Вып. 2. С. 36-45.

16. Лебедев А. Н. Память человека, ее механизмы и границы // Исследование памяти. М.:Наука, 1990. С. 104-118.

17. Лебедев А. Н. О физиологических основах восприятия и памяти // Психол. журн. 1992. № 2. С. 30-41.

18. Лукьянов А. В. Представление комплексных чисел в потоковой форме // Сборник «Моделирование и анализ информационных систем». Ярославль, 1996. № 3. С. 57-61.

19. Лукьянов А. В. Схемотехническая модель преобразования Фурье, работающая со средним значением стохастического потока // Сборник «Моделирование и анализ информационных систем». Ярославль, 1998. № 4. С. 123-133.

20. Лукьянов А. В. Схемотехническая модель цифрового нейрона, работающая со средним значением стохастического потока // Моделирование и анализ информационных систем. 1999. Т. 6, № 1. С. 29-35.

21. Лукьянов А. В. Оптимизационное обучение цифрового нейрона, работающего со средним значением стохастического потока // Моделирование и анализ информационных систем. 1999. Т. 6, № 2. С. 39-42.

22. Лукьянов А. В. Потоковый нейрон с альтернативными синапсами // Моделирование и анализ информационных систем. 2000. Т. 7, № 1. С. 6-15.

23. Лукьянов А. В. Потоковый нейрон с альтернативными синапсами. // VIII Всероссийский семинар «Нейроинформатика и ее приложения», материалы семинара. Красноярск. 2000.

24. Лукьянов А. В. Схемотехническая модель цифрового нейрона, работающая со средним значением стохастического потока // Микроэлектроника. 2001. № 1. (в печати)

25. МакКаллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер. 1992. № 3, 4. С. 40-53.

26. Маматов Ю. А., Булычев С. Ф., Карлин А. К., Малков А. Н. Потоковый нейрон на цифровых элементах // Нейрокомпьютер. 1993. № 3,4. С. 23-31.

27. Маматов Ю. А., Булычев С. Ф., Карлин А. К. и др. Цифровая реализация потокового нейрона // Радиотехника и электроника. 1995. № 11. С. 1652-1660.

28. Маматов Ю. А., Булычев С. Ф., Карлин А. К. и др. Схемотехнические модели построения вероятностных нейронов на базе цифровой техники // Микроэлектроника. 1996. Т. 25, № 1. С. 3-8.

29. Престон К., Дафф Дж. Б., Левьяльди С. и др. Основы клеточной логики с приложениями к обработке изображений в медицине // Тр. Ин-та инж. по элек-тротехн. и электронике. М., 1979. Т. 67. № 5. С. 149-185.

30. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов // М.: Мир. 1978. 848 с.

31. Рабинер Л. Р., Шафер Р. В. Цифровая обработка речевых сигналов // М.: Радио и связь. 1981. 496 с.

32. Соколов Е. Н., Вайткявичус Г. Г. Нейроинтеллект. От нейрона к нейрокомпьютеру. // М.: Наука. 1989. 240 с.

33. Тимофеев Е. А. Моделирование нейрона, передающего информацию плотностью потока импульсов // Автоматика и телемеханика. № 3. 1997. С. 190-199.

34. Экклс Дж. Физиология синапсов. // М.: Мир. 1966. 396 с.

35. Amit D.J. Modelling Brain Functions. The World of Attractor Neural Networks // Cambridge University Press. 1989. PP. 504.

36. Bandman O.L. Cellular-neural computations: formal model // Bulletin of the Novosibirsk Computing Center, Computer Science, issue 3, 1995, p. 1-17.

37. Bandman O.L. Stability of stored patterns in cellular-neural associative memory // Bulletin of the Novosibirsk Computing Center, Computer Science, issue 4, 1996, p. 1-16.

38. Barlow H.B. Unsupervised learning // Neural Computation, 1989, No. 1, pp. 295-311.

39. Carpenter G.A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine // Computer Vision, Graphics, and Image Processing, 1987. Vol. 37, pp. 54-115.

40. Chua L.O., Yang L. Cellular Neural Networks: Theory and Applications // IEEE Transactions on Circuits and Systems. 1988. V. 35. No 10. P. 1257-1290.

41. Chua L.O., Roska T., Venetianer P.L. The CNN is universal as the Turing machine // IEEE Transactions on Circuits and Systems. 1993. V. 40. No 4. P. 289-291.

42. Friesen W.O. Antifacilitation and facilitation in the cardiac ganglion of the spiry lobster Punulirus interuptus //J. Comp. Physiol. 1975. Vol. 101. P. 207-224.

43. Fukushima K. A Neural Network for Visual Pattern Recognition // Computer, Vol. 21, No. 3, March 1988, pp. 65-75.

44. Hamilton A., Murray A.F., Baxter D.J., Churcher S., Reekie H.M., Tarassenko L. Integrated Pulse Stream Neural Networks: Results, Issues, and Pointers // IEEE Transactions on Neural Networks. 1992. Vol. 3, No. 3. P. 385.

45. Hebb D.O. The organization of Behavior // New York: Wiley, 1949.

46. Hopfield J.J., Tank D.W. Computing with Neural Circuits: a Model // Science, Vol. 233, 1986, p. 625.

47. Jordan M.I. Attractor dynamics and parallelism in a connectionist sequential machine // In Proceedings of the Eighth Annual conference of the Cognitive Science Society, 1986, pp. 531-546.

48. Kidd M. Electron microscopy of the inner plexiform layer of the retina in the cat and pigeon // J. Anat. (London). 96. P. 179-187 (1962).

49. Liu D., Michel A. Sparsely interconnected artificial neuron networks for associative memories // Lecture notes in Comp. Sci., Vol. 606, p. 155.

50. McCulloch W.S., Pitts W. A logical calculus of ideas immanent in nervous activity // Bull. Math. Biophys., 1943. No. 5. PP. 115-133.

51. Michel A.M., Farell J.A., Sun H. Analysis and synthesis techniques for Hopfield type synchronous discrete time neural networks with application to associative memory // IEEE Transactions, 1990, Vol. 37, No. 11, p. 1356.

52. Murray A.F., Corso D.D., Tarassenko L. Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques // IEEE Transactions on Neural Networks. 1991. Vol. 2. No. 2. P. 193.

53. Murray A.F., Smith A.V.W. Asynchronous arithmetic for VLSI neural system // Electron. Lett. Vol. 23. No. 12. PP. 642-643. June 1987.

54. Murray A.F., Smith A.V.W. A novel computational and signaling method for VLSI neural networks // Proc. European Solid State Circuits Conf. 1987. PP. 19-22.

55. Pratt L.Y., Mostow J., Kamm C.A. Direct transfer of learned information among neural networks. // Proceedings of the 9th National Conference on Artificial Intelligence (AAAI-91), 1991, pp. 584-580, Anaheim, California.

56. Riedmiller M., Braun H. A direct adaptive method for faster backpropagation learning: The RPROP algorithm // Proceedings of the IEEE International Conference on Neural Networks (ICNN). P. 586-591. San Francisco, 1993.

57. Rosenblatt F. The Perceptron: A probabilistic model for information storage and organization in the brain // Psychological review. 1958. No. 65. PP. 386-408.

58. Sejnowski T.J., Rosenberg C.R. Parallel networks that learn to pronounce English text // Complex Systems, 1987. No. 1, pp. 145-68.

59. Tomberg J.E., Kaski K.K.K. Pulse-Density Modulation Technique in VLSI Implementations of Neural Network Algorithms // IEEE Journal of solid-state circuits. Vol. 25, No. 5, October 1990.

60. Tomlinson M.S., Walker D.J. DNNA: A digital neural networks architecture // Proc. Int. Neural Networks Conf. (INNC-90). Vol. 2. 1990. P. 589-592.

61. Wang S.S., Lin W.G. A New Self-Organizing Neural Model for Invariant Pattern-Recognition // Pattern Recognition, Vol. 29, No. 4, April 1996, pp. 677-687.

62. Wassle H., Boycott B.B., Illing R.B. Morphology and mosaic of on- and off-beta cells in the cat retina and some functional considerations // Proc. Roy. Soc. London. B. 1981. Vol. 212. PP. 177-195.