автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Конструктивное обучение алгебраических ΣП-нейронных сетей и корректные ΣП-расширения

На правах рукописи

Шибзухов Заур Мухадинович

КОНСТРУКТИВНОЕ ОБУЧЕНИЕ АЛГЕБРАИЧЕСКИХ Ш - НЕЙРОННЫХ СЕТЕЙ И КОРРЕКТНЫЕ Ш - РАСШИРЕНИЯ

Специальность 05 13 17 - «Теоретические основы информатики»

Автореферат диссертации на соискание ученой степени доктора физико-математических наук

Москва-2007

003065674

Работа выполнена в Научно-исследовательском институте прикладной математики и автоматизации Кабардино-Балкарского научного центра РАН

Научный консультант -

академик РАН, доктор физико-математических наук, профессор Журавлев Ю И

Официальные оппоненты

член-корреспондент РАН, доктор физико-математических наук, профессор Матросов В Л

доктор физико-математических наук, профессор Редько В Г доктор физико-математических наук, профессор Персианцев И Г

Ведущая организация - Институт обработки изображений РАН

Защита состоится « 18 » октября 2007 г В 13 00 часов на заседании диссертационного совета Д002 017 02 Вычислительного центра им А. А Дородницына Российской академии наук по адресу 113991, Москва, ул Вавилова, 40

С диссертацией можно ознакомиться в библиотеке Вычислительного Центра им А А Дородницына Российской академии наук

Автореферат разослан «_»_2007 г

Ученый секретарь диссертационного совета

доктор физико-математических наук

В В Рязанов

Общая характеристика работы Актуальность темы.

Одним из важных направлений развития фундаментальных и прикладных научных исследований является развитие методов обработки информации на основе организованных последовательно - параллельных систем из относительно простых процессорных элементов, связанных между собой информационными связями Каждый процессорный элемент способен независимо обрабатывать поступающую к нему информацию, способен к индивидуальному и/или коллективному обучению и адаптации Важным качеством таких систем является способность к росту и организации/самоорганизации в процессе обучения и адаптации

Основные принципы организации, функционирования и развития таких систем сформировались под влиянием научных и практических достижений в области изучения механизмов обработки информации в живых организмах и процессов развития и эволюции биологических систем Определенное влияние оказали также научные и практические достижения классического искусственного интеллекта, развитие аппаратного и математического обеспечения цифровых компьютеров с параллельной и распределенной архитектурой

Важный класс таких систем представляют многослойные последовательно-параллельные искусственные нейронные сети (ИНС) с прямыми и обратными связями, построенные на основе искусственных нейронов (ИН) Это классические перцептронные и сигмоидальные сети в базисе классических дискретных или непрерывных искусственных нейронов, радиальные сети на основе радиальных функций, нечеткие нейронные сети, полиномиальные и сигма-пи НС в базисе нейроподобных полиномиальных преобразователей и ДР

Теоретические методы и алгоритмы обучения НС можно разделить на два основных вида неконструктивные и конструктивные Неконструктивные методы и алгоритмы ориентированы на обучение НС с заранее заданной архитектурой Конструктивные методы и алгоритмы ориентированы на динамическое формирование архитектуры НС и настройку ее синаптических параметров в процессе обучения Большинство известных методов и алгоритмов обучения являются неконструктивными В связи с этим особую актуальность приобретает задача построения конструктивных методов и алгоритмов обучения НС

С 90-х годов получило развитие семейство конструктивных алгоритмов для обучения некоторых классов НС перцептронного, радиального и полиномиального типа, которые позволяют одновременно формировать структуру обучаемой сети и настраивать веса искусственных нейронов Как правило,

1

в таких алгоритмах построение начинается с некоторой сети достаточно простой структуры В процессе обучения, по мере необходимости, добавляются новые нейроны, образуются новые связи и обучаются Это позволяет строить потенциально оптимальную архитектуру сети для решения задачи, а также уменьшить вычислительные затраты на обучение, увеличить скорость сходимости процесса обучения Такой конструктивный подход к обучению широкого класса алгебраических сигма-пи НС и некоторых их обобщений был теоретически обоснован и развит в настоящей диссертации

Конструктивные схемы обучения искусственных НС могут быть применены для эффективного построения корректных расширений некоторых множеств некорректных (эвристических) алгоритмов в рамках идеологии алгебраического подхода Ю И Журавлева Такой конструктивный подход к построению одного вида корректных расширений некоторых допустимых классов алгоритмов был теоретически обоснован и развит в настоящей диссертации

Исследования по докторской диссертации проводились в рамках плана научно-исследовательских работ Института прикладной математики и автоматизации КБНЦ РАН по следующим двум направлениям исследований "Математическое моделирование и информатизация смешанных систем, проектирование и интеллектуализация информационно управляющих систем" (ГР №01 9 50 004495), "Конструктивное обучение и компьютерное моделирование модульных баз знаний и нейронных сетей для интеллектуализации информационно-управляющих систем" (ГР N201 20 0012840) Исследования также были поддержаны грантом РФФИ "Конструктивное обучение сигма-пи нейронных сетей и мультисетей распознавания и классификации" №01-01-00142 (2001-2003гг), научным проектом Президиума РАН № 111 6-го Конкурса-экспертизы научных проектов молодых ученых РАН "Конструктивные алгоритмы адаптивного синтеза и оптимизации иерархических сигма-пи нейронных сетей и их применение" (2002-2003гг), проектом Отделения математических наук РАН "Исследование моделей логико-алгебраических сигма-пи сетей и дискретных эволюционных процессов" по программе фундаментальных исследований "Алгебраические и комбинаторные методы математической кибернетики" (2003-2005 гг), грантом РФФИ "Корректные и квази-корректные алгебраические сигма-пи расширения некорректных распознающих алгоритмов" (2004-2005 гг ) Часть результатов, вошедших в содержание диссертации, были отмечены как важнейшие в Отчете о деятельности РАН в 1998 году1

'Отчет о деятельности РАН в 1998 году, том Важнейшие результаты в области естественных технических, гуманитарных и общественных наук, название "Разработаны теоретическая схема построения алгоритмов для синтеза и оптимизации решающих функций и нейронных сетей для обработки многозначных сигналов '

2

Предмет исследования.

Предмет исследования 1) некоторые классы искусственных сигма-пи НС (алгебраические ЕП-нейроны и ЕП-нейромодули с обратными связями и без них, каскадные сети из ЕП-нейронов и ЕП-нейромодулей, многослойные сети ЕП-нейронов) и их обобщения, 2) теоретически обоснованные конструктивные методы обучения с учителем сигма-пи НС и их обобщений, 3) корректные расширения некоторых классов некорректных (эвристических) распознающих алгоритмов в контексте алгебраического подхода к задачам распознавания и прогнозирования, построенные на основе применения теоретического и алгоритмического аппарата алгебраических сигма-пи НС

Цель работы.

Диссертационная работа преследует следующие две главные цели

* исследование и теоретическое обоснование конструктивных методов и адаптивных алгоритмов обучения и оптимизации сложности большого класса алгебраических сигма-пи НС для параллельной и последовательно-параллельной обработки информации,

* исследование и теоретическое обоснование конструктивных методов построения корректных расширений некоторых классов некорректных (эвристических) распознающих алгоритмов в контексте алгебраического подхода к задачам распознавания и прогнозирования на основе применения конструктивных методов обучения алгебраических сигма-пи НС

Методы исследования.

В диссертации используются методы современной и компьютерной алгебры, дискретной математики и математической кибернетики, теории искусственных нейронных сетей

Научная новизна.

Разработана новая теоретически обоснованная масштабируемая схема построения конструктивных алгоритмов обучения и оптимизации сложности некоторых классов нейросетевых архитектур для обработки информации, кодируемой при помощи элементов коммутативного кольца не содержащего делителей нуля, а именно

* класс алгебраических ЕП-нейронов (в том числе с обратными связями) и его обобщение — класс алгебраических ЕФ-нейронов,

* класс алгебраических ЕП-нейромодулей (в том числе с обратными связями) с параллельным и конкурирующим функционированием и его обобщение — класс алгебраических ЕФ-нейромодулей,

з

* класс последовательно-параллельных НС с каскадной архитектурой из ЕП-нейронов или ЕП-нейромодулей и его обобщение — класс последовательно-параллельных НС с каскадной архитектурой из ЕФ-нейронов или ЕФ-нейромодулей,

* класс многослойных параллельных НС из ЕП-нейронов и ЕП-нейромо-дулей и его обобщение — класс многослойных параллельных НС из ЕФ-нейронов и ЕФ-нейромодулей

Разработан теоретически обоснованный конструктивный метод построения корректных расширений некоторых допустимых классов некорректных (эвристических) алгоритмов в рамках алгебраического подхода к задачам распознавания и прогнозирования на основе теоретического и алгоритмического аппарата алгебраических сигма-пи НС

Практическая ценность.

Практическая ценность полученных научных результатов определяется тем, что

* исследованные и теоретически обоснованные методы позволяют строить корректные конструктивные алгоритмы обучения больших классов алгебраических сигма-пи НС для решения задач распознавания и прогнозирования, управления и анализа изображений в определенном смысле минимальные по сложности,

* исследованные и теоретически обоснованные конструктивные методы построения корректных расширений на основе применения конструктивных методов обучения алгебраических сигма-пи НС позволяют повысить эффективность алгебраического подхода к задачам распознавания и прогнозирования, управления и анализа изображений

Основные результаты диссертации выносимые на защиту

1 Совокупность теоретических результатов, обосновывающих конструктивный рекуррентный и рекурсивный метод обучения с учителем некоторых классов алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля

2 Совокупность теоретических результатов, обосновывающих конструктивный метод минимизации сложности одного класса корректных алгебраических ЕФ-нейронов (и, соответственно, в частном случае алгебраических ЕП-нейронов) над коммутативным кольцом, не содержащим делителей нуля, обучаемым конструктивным образом

3 Совокупность теоретических результатов, обосновывающих конструктивный метод обучения с учителем рекуррентных алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебра-

4

ических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля

4 Совокупность теоретических результатов, обосновывающих конструктивный метод обучения с учителем некоторых классов каскадных сетей из алгебраических Еф-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля

5 Совокупность теоретических результатов, обосновывающих конструктивный метод обучения с учителем некоторых классов многослойных сетей из алгебраических ЕФ-нейронов и ЕФ-нейромодулей (и, соответственно, в частном случае алгебраических ЕП-нейронов и ЕП-нейромодулей) над коммутативным кольцом, не содержащим делителей нуля

6 Совокупность теоретических результатов, обосновывающих конструктивный метод построения корректных замыканий конечных множеств некорректных (эвристических) алгоритмов из некоторого допустимого класса распознающих алгоритмов на основе применения алгоритмических ЕП-операторов

7 Совокупность теоретических результатов, обосновывающих один конструктивный последовательный подход к построению корректных замыканий конечных множеств некорректных (эвристических) алгоритмов из некоторого допустимого класса распознающих алгоритмов на основе применения алгоритмических ЕФ/ЕП-операторов

Апробация работы.

Результаты, полученные в докторской диссертации, были апробированы на следующих научных мероприятиях Всероссийская конференция "Математические методы распознавания образов" (ВЦ РАН) в 1999, 2001, 2003, 2005 гг , Международной конференции "Распознавание образов и анализ изображений новые информационные технологии" в 2000г (Самара), 2002г (Великий Новгород), 2004г (Санкт-Петербург), Всероссийской научно-технической конференции "Нейроинформатика", Москва, МИФИ в 1999, 2001, 2004 гг, Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99) в 1999 г , Международной конференции "Интеллектуализация обработки информации" (Украина, Крым) в 2000 г , Международной конференции "Интеллектуальные многопроцессорные системы" (Таганрог, ТРТУ) в 1999г, VII Международной конференции "Информационные сети, системы и технологии" (Минск, БГЭУ) в 2000 г , Международной конференции "Нелокальные краевые задачи и родственные проблемы математической биологии, информатики и физики" (КБР, Нальчик) в 2001 г , Конференции, посвященной 90-летию со дня рождения А А Ляпунова (Новосибирск) в 2001 г, Всероссийский симпозиум "Математическое моделирование и компьютерные технологии" (Кисловодск) в 1997, 1999гг, VIII International Workshop on Advanced

5

Computing and Analysis Techniques in Physics Research (Moscow, MSU) в 2002 г, International IASTED Conference "Automation, Control and Information Technology" (Novosibirsk) в 2002гг, VI German-Russian Workshop "Pattern Récognition and Image Undestandmg" (Novosibirsk) в 2003 г

Публикации.

Основные научные результаты, полученные в диссертации изложены в 46 научных работах, из них 13 опубликовано в центральных рецензируемых журналах [2, 12, 24-29, 34-35, 42-44), двух монографиях [39, 46], в в трудах международных и всероссийских конференций - 21 публикация [4, 7-11, 1417, 20-22, 30-33, 36-38, 40-41, 45], а также в отчетах о НИР по зарегистрированной тематике в 2000 г [18] ив 2005 г

Объем и структура диссертации.

Диссертация состоит из введения, четырех глав, заключения и списка литературы Объем диссертации - 155 стр , включая иллюстрации

Содержание работы

Во введении приводится краткий исторический обзор, основные сведения об архитектурах искусственных НС, обзор неконструктивных и конструктивных методов обучения искусственных НС в контексте темы диссертационной работы

Первая глава содержит основные теоретические результаты, полученные автором, относящиеся к исследованию простых сигма-пи НС, которые содержат единственный слой искусственных нейронов Основная цель главы — теоретически обосновать один общий конструктивный метод для обучения с учителем 1) алгебраических ЕФ-нейронов и ЕП-нейронов, 2) однослойных НС из алгебраических ЕФ-нейронов или алгебраических ЕП-нейронов с конкурирующим (кооперативным) функционированием, 3) рекуррентных алгебраических ЕФ-нейронов и ЕП-нейронов, 4} однослойных рекуррентных НС из алгебраических ЕФ-нейронов или алгебраических ЕП-нейронов с конкурирующим (кооперативным) функционированием

В первом параграфе определяется общее понятие алгебраического ЯФ-нейрона над кольцом К, не содержащим делителей нуля, который реализует функции, представимые в виде следующей композиции

sfn(*) = out(sf(x)),

где out K^Y- функция выхода, sf(x) — ЕФ-форма, которая имеет следующий вид

sf = + 6

где х = (х\, ,хп) Е X", в X" —> К — произвольная функция, wk € К — синап-тические веса, фи X" —> К — базисные функции, X — множество значений входов x¡, ,х„, Y — множество значений на выходе £Ф-нейрона Последовательность функций Ф = {фк{х)}, дг обозначается Ф(зГп)

Пусть задана некоторая последовательности векторов X — {xíJi где x¡¡ е X Последовательность функций Ф = {Фк{х)}, N является треугольно упорядоченной на X, если 1) фк(х,) = 0 для любой пары 1 < / < k ^ N, 2) фк(*к) ф О для всех k = 1,2, ,N Класс таких последовательностей обозначается 3s(X)

Определяется класс допустимых функций выхода out К —» ¥, таких что для любых у eY, а € К, 0/йеК уравнение out (а + bw) = у имеет хотя бы одно решение w = w(y, a,b)e К

Определяется допустимый класс алгебраических ЕФ-нейронов

sfn(jc), таких что out е £R, #(sfn) 6 &{Х)

Пусть S(X) — некоторый класс последовательностей функций Ф = = {фь(*)}] N, который удовлетворяет следующему условию для любой последовательности X G X подкласс ^(Х) с д{Х), состояхций из треугольно упорядоченных на X последовательностей функций, непуст Такой класс Ъ{Х) называется допустимым относительно X

Пусть заданы обучающая последовательность векторов X = {л^}, „eí, и последовательность величин У = {уц}¡ д., где ífe е У, у(х) обозначает неизвестную зависимость между у и х такую, что ук = у(хк) для всех k Рассматриваются следующие две задачи конструктивного обучения с учителем ЕФ-нейронов

Задача Z(X, Y). Обучить конструктивно некоторый ЕФ-нейрон sin (ж) е ЕФ , так что у(х) = sin (ж) на X

Пусть sfn(x) — решение задачи Z{X, У)

Задача Z(X, Y) Обучить конструктивно все ЕФ-нейроны sfn'(x) е ,

такие что sin' ^ sfn и у(х) = stn'(je) на X

Класс задач Z{X, Y) и Z(X, Y) обозначается 2>{Х) и Ъ{Х), соответственно Классы задач 2>(Х) / Ъ(Х) являются конструктивно и корректно разрешимыми в классе £Ф[#{£)], если любая задача 1{Х, Y) € Ъ(Х) / Z(X, Y) е 3(Х) разрешима в классе ЕФ [^{ЛГ)] / , соответственно Конструктивность

процедуры обучения означает, что последовательность функций {фк{х)\ заранее не задана оптимальная последовательность функций {ф/,(х)} находится процессе обучения

Описывается конструктивный метод обучения с учителем алгебраического ЕФ-нейрона sin (ж) 6 ГФ[у(.Ж)] Доказывается лемма об обучении ЕФ-нейрона

Лемма. Для любой пары последовательностей X 6 X и Y можно обучить некоторый ЕФ-нейрон sin(x) е такой что Ук = sfn fe) для всех k =

= 1,2, ,N

Описывается процедура конструктивного обучения ЕФ-нейрона по X я У В процессе обучения строится последовательность ЕФ-нейронов |зГп4(ж)| такая что

&1к(х)=&?-\х) + в>1!фк(х),

= ои^Б^С*)), з!°(х) = в(х), шк — произвольное решение уравнения ук = = + тЬк) относительно ш, ^ = э^-1^), Ък = Фк(хк) Эта последовательность обладает следующим свойством у1 — зГп'Ч*,) для всех / = 1,2, , к Искомый ЕФ-нейрон з1п(дг) = вГп"^)

Далее описывается один обобщенный класс последовательностей функций, на основе которого строится корректная конструктивная процедура обучения ЕФ-нейрона с одновременной минимизацией сложности его структуры

Пусть задан некоторый класс функций вида X" —> К, на котором заданы 1) мера сложности у, —» К., 2) транзитивное отношение -!, такое что если ф' -< ф", то ¡л{ф') < 1л{ф") Предполагается, что класс последовательностей {фк} е $(Х) таков, что (р/г е Та для всех к На классе £{£) вводится транзитивное отношение С, индуцированное отношением -< по определению {ф'к}х н С {Ф'[}1 если 1) ф'к -< фк или ф'к = Ф1 для любого к, 2) найдется хотя бы один номер к, такой что ф/к < ф" Пусть £(Х) и $(Х) — множества максимальных и минимальных последовательностей из по отношению С, соответственно $(Х) = п ЩХ), $(Х) = 3(Х) п ${Х)

Вводятся понятия конструктивного и условно конструктивного класса последовательностей функций класс &{Х) конструктивный, если для любой последовательности X <в X можно построить все последовательности функций Ф € Класс ${Х) условно конструктивный, если он удовлетворяет следующему условию если построена последовательность Ф € 3(Х), то можно построить все последовательности Ф' С Ф, такие что Ф' е $(Х) Эти два понятия связаны друг с другом следующим образом если ${Х} является условно конструктивным и для любой последовательности X е. X можно перечислить и построить все элементы из 5(Ж), то &{Х) является конструктивным

Далее рассматривается один тип условно конструктивных классов последовательностей функций Пусть задана некоторая последовательность мно-

л

жеств функций {5/}, где 3> состоит из функций вида X' —> К, % = у Ъг

г= 1

Для каждой пары соседних множеств 3>_1 и 5, определено г отображений &г 3> —> 3>-ь г = 1,2, ,гг, д\ф = 0 для всех ф £ Ъ\ Предполагается, что отображения &г удовлетворяют следующему условию

Условие 1. д'^&гФ — Для любой пары 1 < г < / < г и любой -ф е

2д'г1р{хь ,хг) интерпретируется как операция "исключения" (-го аргумента из Ф(х%, ,хг)

в

Для любой функции ф(х) е $„ и мультииндекса г С {1,2, , п} определяется функция ф(х,1), такая что ф{х,1) = ip(x\i)3, где ip = (), {г{, ,4-Л = {1,2, ,/г} \ г, <р € $r, г = |<| Отношение -< на J определяется следующим образом <?'(■*') -< <£>"(*"), если (р'(х') можно получить из </?"(*") в результате последовательного исключения некоторых аргументов Предполагается, что последовательность множеств функций {&-h N также удовлетворяет следующему условию

Условие 2. (д'гф)(и) =0 =Ф- ф(и) = 0 и ф 0 =--> (9гф)(и) ф 0

Из него следует, что 1) если ф{х, i) = 0 и i С i', то <') = 0, 2) если ф(х, i) Ф 0

и 0 ф i' С г, то ф{х,«') ^ 0

Класс всех конечных последовательностей вида {фк}; N, где N > 0, фк £ $п обозначается Зп Для любой последовательности функций Ф е и последовательности мультииндексов / = {it}, где it С {1,2, , я}, последовательность функций {¿е(*> ik)}, где </>/,(х, ife) = фк(х\1к), обозначается Ф(/) Класс всех последовательностей Ф(/) обозначается 53 Для любой последовательности .ЯГ е X класс всех последовательностей Ф(/) е $3, треугольно упорядоченных на X, обозначается Допустимый на X класс последовательностей из

обозначается

Класс ЕФ-нейронов sfn(x), таких что <fr(sfn) е обозначается ГФ^З], класс £Ф-нейронов sfn(*), таких что $(sfti) е (X) обозначается ЕФ-форма sf(x) таких ИН имеет вид

sf(x) = в(х) + Y^wt<l>k(x, ik), Пусть Ф (/) е где / = {i/J, w Индекс г е ik является несущественным

в ik, если 1) фк(х;,1'к) — 0 для всех / = 1,2, ,k- 1, где й > 1, 2) фь(хк, Q ф 0 для всех k — 1,2, ,iV, где i'k — ц. \ {г} Мультииндекс ik является существенным в I, если он не содержит ни одного несущественного в нем индекса

Для любой последовательности мультииндексов / = {it}1 N определяется мера ее сложности |I| = ji|i + + |iw| Мера "структурной" сложности Ф (/) определяется следующим образом |Ф(/)| = |/|, структурная сложность £Ф-нейрона sfn е ЕФ[53] определяется следующим образом |s!n| = |<I>(sfn)| Подкласс всех последовательностей функций Ф(/) € #3{АС), для которых мера сложности |Ф(/)| принимает наименьшее значение в $3(Х), обозначается ЗЗта(Х) Из определения следует, что „,ш (X) С fipJX) Таким образом, ЕФ-нейроны минимальной сложности содержатся среди элементов множества ГФ[53{Х>]

Далее для любой последовательности Ф(/) е 33(Х) приводится обоснование одного восходящего и нисходящего метода построения последовательностей Г с /, таких что Ф(/') е Ю(Х) Он основан на конструктивном восхо-

3Для произвольного упорядоченного набора элементов е = {е\ , ег) и мулътии ндекса ' = ('1 ,'р), где 1 ^ и < < 1Р ^ г, 1 ^ р ^ г, выражение e\t обозначает упорядоченный поднабор (etl, elf)

дящем и нисходящем методе построения всех существенных мультииндексов ¡1 С (,, Кратко опишем его здесь

Пусть заданы 1) некоторая функция ф(х,1) е 2) произвольное подмножество векторов и с X, 3) произвольный вектор и е X такой, что и £ V Мультииндекс I является допустимым р^л функции ф(х, |) относительно пары {и, и), если 1) ф(х, () = 0 для всех хе 11,2) ф(и, г) Ф О Если V = 0, то первое условие вырождается и остается только второе Множество всех допустимых мультииндексов для функции ф(х, I) относительно пары (£/, и) обозначается

Ни, и)

Индекс г £1 - несущественный в I относительно (и, и), если < \ I € 1(4, и), в противном случае индекс г — существенный в I относительно (и, и) Мультииндекс I € 1(11, и) — существенный относительно пары (II, и), если для любого I е I мультииндекс г \ г £ /(£/, а) Множество всех мультииндексов I е 1(1}, и), существенных относительно (и, и), обозначается 1(1/, и)

Пусть I е 1(11, и) Множество всех существенных мультииндексов, содержащихся в I, обозначается 1(0 Излагается нисходящий метод построения всех существенных мультииндексов ¿* С г С его помощью строятся цепочки мультииндексов вида

1 = (°Э)'Э э I"-1 э Iе = Г,

где 41 = <° \ ц, , 1Р — 1р~1 \ 1Р, 1Р € 1(1) или |гр| = 1, для каждого I — 1,2, ,р исключаемый индекс ц является несущественным в Iм

Строится пара последовательностей 1) последовательность множеств существенных мультииндексов {/р}, и 2) последовательность {1ТР}, ¡ , состоящая из множеств пар вида («,/}, где « — допустимый мультииндекс, ( С I -некоторое подмножество индексов, существенных в г относительно пары

(и,и)

0=/о 1Р -> {{¿°,0}} = /Го - Щ ~> -> /Гд = 0,

где (г°, 0) — начальная пара, состоящая из некоторого допустимого муль-тииндекса г° относительно пары (и, и) и пустого множества существенных индексов Элементы этих последовательностей строятся индуктивно Пусть построены множества 1Тр1 и /р_1 (р > 1) Схема перехода от и 1р-\ к 1ТР и 1Р следующая Для каждой пары («, г) € /Гр_| строится новое множество пар

П'р_1(1,0 = {<«,.0 «€N(1,0},

10

где (, = t \ i, f = t U E(i, i)4 Пусть

IT'P = у /ГР_,М)

(< I)£/Г,_,

Тогда

= V, и {i (1,1) еЩ}, /Тр = /Гр_, и {(!,?) (i, f) e /Г„ л t ^ f}

He более чем через L < |i°| шагов получается множество /Г^ = 0 и некоторое множество существенных мультииндексов Доказывается, что /(') = /i

Далее рассматривается восходящая процедура построения существенных мультииндексов Строятся цепочки мультииндексов вида

I1 С I2 С С С i" = «*,

где i2 = t1 u {г,}, , Р = «р-1 и {ip}, I1, , «р-1 не являются допустимыми, a ip является допустимым Доказывается, что f является существенным

Для произвольного мультииндекса t множество х е U, таких что ф(х, i) ф О, обозначается U(i), 1/(0) = U Пусть мультииндекс г не является допустимым, индекс i£t — кандидат для включения в i, если U(i U {i}) С U{t)

Строятся последовательность множеств допустимых мультииндексов {/р}, L и последовательность множеств {ITp}i L, состоящих из пар вида (i,t), где i — мультииндекс, не являющийся допустимым, но такой что ф(и, i) Ф О, a t — некоторое множество индексов г е п \ г (не обязательно всех), таких что добавление любого из них к i приводит к образованию допустимого мультииндекса

0 = /о -> — ILCI(U,u)

{(0,0)} = /Г0 -> — 1ТР - -> ITL = 0 Элементы этих последовательностей строятся индуктивно Приводится процедура перехода от i и /Тр_1 к /р и /Тр

Пусть пара {«, i) е /7"р_!, ITp{t, t) = {{t„ * U A(i, f)> г e С(г, i) \ A(i, t)}, /„(«, t) = = {iU{i} i e А(г, i)} i rfte C(f, I) — множество всех индексов i e n\ (i U<), таких что t/(i U {;}) с t/(i), А(/, /) — множество всех индексов из С(г,/) таких, что добавление любого из них в i приводит к образованию допустимого мультииндекса

Для любой пары (t\ f) из ITp(i,t) верно, что U(i') С £/(<) Определяются множества

1тр = (J /гди), /р = /р_, и и ipu,j)

(i,i)ejtp_i << tj&ntp-i

4Для любого мультииндекса < 6 /(£/, и) и произвольного подмножества t с (, состоящего из индексов существенных в <

* N(i, t) — множество индексов i е t \ i, таких что ! е N(i), где N(j) — множество индексов i е которые являются несущественными в t

* E(i, t) — множество индексов i 6 i \ t, таких что < € Е(<), где Е(<) — множество индексов ! е I, которые являются существенными в i

Не более чем за Ь С, п шагов получается множество /27 = 0 и некоторое множество допустимых мультииндексов //_ С 1(11, и) Доказывается, что I/, = = Ши)

Алгоритмы построения 1(1!, и) по нисходящему и восходящему методу имеют вид

[Восходящий метод]

def Up_method(V, и) р = О, 2ТО={<0,0>}, while ITP + 0 do р = p + l, ITp = 0, Ip = 0 for (i,t) s i do fori eC(i,i) do l, = i U {г}

if i e A(i, t) and г, 4 ¡p then

else if t 4 А(г, i) and 3(<„/) 6 ITp then | ITP = ITP U {{г,, t U A(i, i)}} end if end for end for end while

| &U,u) = LII, /-1

end def

[Нисходящий метод] def Down method(V, г) p = О, Щ ={<«,0)}, Jo=0 while ITp ф 0 do p = p+\, ITp = 0, Ip = S3 for <i, i> e /Tp_! do flag = true for ! € N (г, i) do I. = i \ J

if 3(i„/) e /Гр or I, e /p then | continue

else if г,- допустимый then | ITp — ITP U {(г,, t U Е(г,()}} | flag = false end if end for end for if flag then \Ip~=lpU{l} end if end while

I Id) = U i,

t

end def

Показывается, что для любой последовательности Ф(/, X) е $3(Х) можно построить множество всех "минимальных" последовательностей j2.(1, X) = = {Ф(/,Х) I е Л{Ф,-ДО}, где 3(Ф,X) — множество последовательностей мультииндексов I, таких что Ф (I) является треугольно упорядоченной на X, У(Ф,Х) — множество минимальных элементов из Э(Ф,Х) по отношению с

Для заданного допустимого класса &3(Х) класс ЕФ-нейронов sfn(*), таких что #(sfn) е &3{Х), обозначим £Ф[£3(Э£)] Для заданной последовательности X е X класс ЕФ-нейронов, таких что Ф^п) <= X), обозначим ГФ[^3(ЛГ}] На ЕФ[^3{Х)] определяется отношение sfn' <4 sfn, если ®(sfn') С ®(sfn) или Ф(з!п') = #(sfn) Подкласс состоящий из всех минимальных

ЕФ-нейронов по отношению 4, обозначается ЕФ[53{ЛГ}] Рассматриваются задачи Ъ(Х, Y) и Z(X, Y) в классе ГФ[за(£)] Доказываются следующие утверждения

Лемма. Если можно построить ЕФ-нейрон sfn(jt) е ЕФ[т?3(.Х)], такой что y(x)=sin(x) на X, то можно построить и все ЕФ-нейроны sfn'(*) £ ЕФ[УЗ(-У)], такие что sfn' sfn и у(х) = sfn'(ж) на X

Теорема 3. Классы Т^'З(Х) и £Ф[53(ЭЕ)] являются условно конструктивным относительно X

Теорема 4 Классы задач 3(Х) и 3(Х) являются конструктивно и корректно разрешимыми в классе ЕФ [gOf(X)]

Во втором параграфе рассматриваются различные алгебраические ЕП-нейроны, которые являются частным случаем алгебраических £Ф-нейронов Пусть П(Л это класс функций вида

рГп(лг, г) = î?(pf(*, г)), pi(jc,i) = XIsc>è,(x,),

iei

где ik Ç {1,2, ,n} — мультииндексы, щ 6 — классу скалярных функций rj К —> К, таких что г](р) = 0 р = 0, ^(ж,) е F — некоторому классу скалярных функций вида X —> К

В самом общем случае алгебраический ЕП-нейрон реализует преобразование следующего вида

spin(x) = out(spf(*)), spf(*) = в(х) + ^wkpînk(x, ik),

где в(х) — произвольная функция X" К, wk € К, функции pf%(x, tk) е П(.Г)( #(spfn) = {pM*,i*)}i N

Множество функций pfn(jc, i), таких что (<| = г, обозначим фУ. Отображение &г —» определяется по правилу ¿^(рЩх,«)) = pfn(*, i\i) Т к К не содержит делителей нуля, то последовательность {pfn(AC,/)} удовлетворяет условиям 1-2 Класс последовательностей функций вида PFN(I) = {pin4(x, г^)} где pink(x, tk) е U(JF), обозначается Далее рассматриваются некоторые

пары подклассов ?р = и X, таких что для любой последовательности

X е X можно перечислить все последовательности ^р(Х) В этом случае %S является конструктивным, т е для любой последовательности X Ç X можно перечислить и построить все последовательности функций из ф(Х) В классе £Ф[?Р(.Х)] разрешима следующая задача (усиленный вариант Z(X, К))

Задача Z{X, Y). Обучить конструктивно все ЕП-нейроны spïa{x) € £Ф.[?Р(Х)], такие что у{х) = spfn(*) на X

Далее рассматриваются примеры классов 2С, и ЕФ[?Р(Ж)], в которых

конструктивно и корректно разрешимы задачи Z(X, У) и Z{X, Y)

1 Пусть tp, е Fq, А — класс последовательностей векторов X={xk}] N, где Хи 6 К" Последовательность X является треугольно упорядоченной по нулям относительно I = {isj-j л,, если 1) хк, ф 0 для всех t е 2) для любой пары ] < k найдется индекс i = i{j,k), такой что xt, = 0 Класс последовательностей X, треугольно упорядоченных по нулям относительно I обозначается Яо(1) Класс X — Яо образуют последовательности X € Я, такие что

13

X 6 йо(1), где I = {|А}, 1к = {1,2, , я} для всех й Класс фС^о) обозначается ?р0 Класс алгебраических ЕП-нейронов ЕФ[^р0(Х)] обозначается ЕПо[-ЯГ]

Доказывается, что РР1М(./) е Я^о®' если и только если X е Яо(1)° Показывается, что РРЩ/) е <р0(Х), если и только если I = {¡/¡(хц)}, где х/¡) = = {'« хк1 ф 0} Таким образом данный класс алгебраических ЕП-нейронов является конструктивным Для любого X € можно построить все ЕП-нейроны вр^Ое) е ЕП0[ЛТ], такие что уь — зр{п(д^) для всех к = 1,2, N

Для произвольной последовательности X € Яо класс последовательностей мультииндексов I, таких что X е Яо(1) обозначается Оо(Х) Задача построения всех РР1М(.Г) е X) сводится к задаче построения всех I е Зо(ЛГ), где Зо(ЛС) — множество минимальных элементов Зо(Х) по отношению С

2. Пусть Т< — класс скалярных функций ср(х, а), таких что ¡р(х, а) = 0<& х <

< а Класс "Р< = РС^ч) состоит из функций вида

р[п(л:,х,а) = г?(рКл:,», а)), р^х.г.а) =

где а = {а\, ,а„) Для любой пары I — {г*} и А = {а*} выражение РР1Ч(/, А) обозначает некоторую последовательность вида {рЛ^Сли.вб)}

Вводится понятие ^-упорядоченной последовательности векторов X является упорядоченной относительно I = {¡¿}, если для любой пары ] <

< Ы найдется индекс г = ;(/,&), такой что хп < хк, Класс ^-упорядоченных последовательностей X относительно I обозначается Я^(1) Класс X = образуют последовательности X е Я, такие что X е Я~ф(1), где 1 = {16}, ^ = {1,2, . п] Класс обозначается Класс алгебраических ЕП-нейронов обозначается

Доказывается, что последовательность РРМ(/, X) является треугольно упорядоченной на X, если и только если X € Я^(Г) Показывается, что РРЫ(1,Х) е ф^Х), если и только если I = {гй}, где = {1,2, , п} Для любого X е Я^ можно построить все ЕП-нейроны зр^(дс) е ХП^-Х], где Ф(зрЬ) = = РРИСГ, X), такие что Ук = зр(п(хь) для всех к = 1,2, ,ЛГ Таким образом, данный класс алгебраических ЕП-нейронов является конструктивным

Для произвольной последовательности X € Я^ класс последовательностей мультииндексов I, таких что X е Я^{1) обозначается З^'Л-} Задача построения всех РРЫ(/,Х) € сводится к задаче построения всех I е. (X)

3 Пусть ^ — класс скалярных функций р(х), таких что <р(х,а) — = 0 х < а

Вводится понятие ^-упорядоченной пары последовательностей векторов (X, А) образуют упорядоченную пару относительно / = {г4}, если для любой пары ; < к найдется индекс г = г(/,£), такой что х„ ^ Класс ^-

5Ж е йо(I), если и только если в множестве X все элементы различные (X = {дг4}, * = = С<1 хп), х, = 1 если х, ^ 0, х, = 0, если х, = 0)

14

упорядоченных пар последовательностей (Х,А) относительно / обозначается Класс Щ. образуют пары последовательностей (X, А), такие что (X, А) € для некоторого I Класс обозначается Класс алгебраических ЕП-нейронов обозначается ЕП^АГ, А]

Доказывается, что в этом случае последовательность РРГ\1(/, А) = = {р{пй(лг, 1к, ак)} является треугольно упорядоченной на X, если и только если (Х,А) 6 Щ.(Г) Показывается, что РР1\1(/, А) е Щ^СХ, А), если и только если I = {4}, где ц = {» ак, > хк,} Для любой пары (Х,Л) € Щ. можно построить все Щ-нейроны зр!"п(дс) е ЕП;/.[ЛГ,А], где Ф(врГп) = РРМ(/,А), такие что ук = 8рГп(л:А) для всех к = 1,2, ,Ы Таким образом, данный класс алгебраических ЕП-нейронов является конструктивным

Для произвольной пары последовательностей (X, А) € Д^ класс последовательностей мультииндексов I, таких что (X, А) е ДуШ обозначается Задача построения всех РИМ(7, А) е сводится к задаче построения

всех I е А)

В следующем параграфе исследуется один общий рекурсивный метод конструктивного построения одного широкого класса функций полиномиального вида

Пусть задан некоторый класс X конечных подмножеств множества X", где X с К — заданное подмножество числового кольца К (например, {0,1} с Ж, {0,1, , ^-1} С 2 или {0,1, , = 2,, [0,1] С К и т д ), не содержащего делителей нуля Пусть задан некоторый класс ^ — К) функций вида Xя —» К, который удовлетворяет следующему условию разделимости Условие 5. Для любого конечного множества X е X найдется функция Фх 6 такая что существуют два элемента х! е X и *" е X, такие что Ф*(*0 = 0 и Ф*(х") ф О

Для определенности рассмотрим следующую стандартную задачу распознавания Задано конечное множество X 6 X стандартных описаний некоторого конечного множества исследуемых объектов, те X = = ЛГ(5) = {*(5) 5 6 5}, где 5 — множество исследуемых объектов, лс(5) = = (х1 (5), , — стандартное описание объекта 5, закодированное при помощи элементов К Для каждого стандартного описания *(5) € X задана стандартная информация у (х(5)) е У об объекте 5, т е задано множество К = К(5) = {г/(х(5)) 6 .Х(5)} Здесь ¥ — конечное множество, в котором принимают значения стандартные информации об объектах

Выделим класс множеств стандартных описаний объектов, которые удовлетворяют следующему условию непротиворечивости Условие 6 Если для некоторой пары объектов 5' и 5" из 5 имеет место равенство стандартных описаний = то г/(х(5')) = у(х(5"))

Будем считать, что выполнено условие непротиворечивости описаний Тогда можно перейти к задаче восстановления зависимости у(х) между у и х,

15

заданной на конечном множестве X Эта задача обозначается Z{X, Y) Класс таких задач обозначается 3

Рассматривается класс функций следующего вида

spín(x) - out(f (*) + spf(*)g(*>),

N

spHxj ^ e+Y,w^U<s>'{x^

k=\ ¡eit

где в 6 К, wk e К, th С {1,2, , m}, {Фь , Фга} с Fs< f{x) и g(x) - функции вида X" —> К, out е Sí Класс функций spín(x) обозначается ГПФЫ = En0N[.Fs], а класс функций spf(jc) — 51ПФ =

Пусть Z(X, Y) — произвольная задача из класса 3 Ее решение ищется в следующем виде

y(x) = out(f(x) + spf(x)g(x)), где /(х) и g(x) — произвольно заданные функции, определенные на X, причем g(x) 5¿ 0 для всех х е X, spf(jc) е ЕПФ Решение у(х) = spfn(x) ищется на основе рекурсивного принципа декомпозиции задач В соответствии с этим принципом

1) задается подкласс задач 3° С 3, решение которых является тривиальным или его можно найти некоторым предварительно выбранным методом (например, используя конструктивный метод обучения ЕП-сети или другой),

2) выбирается метод декомпозиции, который позволяет свести задачу Z(X, Y) к задачам Z(XU К,}, ,Z(Xm, Ym), таким что -Х\ с X, J„cX

3) если решения у¡(х), ,ут(х) задач Z(X,, Y¡): ,Z{Xm,Ym) найдены, то решение задачи Z{X, К) находится следующим образом

у(х) = F(yi(x), ,ут( х)),

где F — это некоторая заданная операция комбинирования решений yd*), <Ут(х) задач Z(X¡, Y¡), ,Z(Xm, Ym), соответственно, для нахождения искомого решения у(х) задачи Z(X, Y)

Рассматривается следующий метод декомпозиции Ищется представление у{х) решения задачи Z(X, Y) í 3° в виде

у(х) = out(/(x) + spf(*)g(*)),

где f{x) и g(x) — некоторые функции, определенные на X, g(x) такая функция, что g(x) ф 0 для всех х е X Пусть Ф(х) — некоторая функция из класса -7\s Рассмотрим следующее представление для spf

spf(x) = spf0(jc) + spf,(x^(x) Обозначается X0 = {x e X Ф(х) =0} и X, = {xeX Ф(х) ф 0} При этом, Хо <z X и X¡ с X Далее исходная задача сводится к двум последовательно решаемым задачам 1) Z{X0,Y0), где Y0 ~ {у(х) хеХ0}, и 2) Z(Xu Ki), где

Yi = Ых) *€*,}

Доказывается следующее утверждение

16

Теорема 7. Для любой задачи Z{X, Y) € 3 существует решение у(х), предста-вимое в виде

y(x) = outQ(x)+spi(x)g(x)),

гдеspi(x) £ ГПФ^], Цх) ug(x) — некоторые произвольно заданные для задачи 2(Х, Y) функции вида X" —> К, определенные на X, причем g(x) такая, что g(x) Ф 0 для всех х € X

Рассмотрены случаи, когда К является числовым полем (например Zq (Q — простое), Q, R, К.ДД В] (неархимедово поле на интервале (А,В) с Ж с аксиомой ¡1 (А, В) -»R), С)

Предположим, что функция out(s) удовлетворяет следующему условию для любого у € ¥ существует подмножество У (я) С out-1 (г/) С К, принадлежащее некоторому аффинно замкнутому классу 2) подмножеств К Класс 2) подмножеств К является афинно замкнутым, если для любого У е 2) и 0 ^ с € К множество Y + с —{у + с (/ б У} е 2} и множество сУ = {у с у е Y} € 2)

В этом случае рекурсивная процедура построения решения у (к) = = out о spf(x) задачи Z(X, Y) принимает более простой вид и исходную постановку задачи Z(X, Y) можно изменить Так задача построения зависимости у(х) — out (/(*) + spf(x)g(x)) эквивалентна задаче построения функции spf(jc) такой, что spf(*) € Y(x) для всех х е X, где

УГИ - out~'(y(s))-/(x)

g(x)

В этом случае вместо исходной задачи Z(X, Y) можно решить эквивалентную ей задачу Z(X, Y(X)), где Y(X) = {У(ж) х £ X}, которая состоит в том, чтобы восстановить зависимость вида spf (ж), такую что spf(x) е Г(х) для всех х е X Описывается метод декомпозиции задачи Z(X, Y(X)), который является модификацией предыдущего метода декомпозиции задачи Z(X, Y) Доказывается следующее утверждение

Следствие. Пусть Y(x) = out-1 (у(х)) Для любой задачи Z(X, Y) е 3 существует решение у(х), представимое в виде

у(х) = out(spf(*)),

где spf(jc) 6 ЕПФ^]

В следующем параграфе исследуются модели однослойных сетей нейронов с кооперативным или конкурентным функционированием, которые будем называть ней ромодулями

Рассматривается класс ЕФ-нейромодулей, которые осуществляют преобразования вида

У = sfn(x) = out(sf(X)), 17

где oitf(s) = (outi (s), , out„(s>), s/(x) = (sfj (*), , sî„(x)),

N

sf(x) = 0{x) + &M,

4-1

для любых векторов и = (щ, , ит) и v = (аь , ат) из К™

a±tf=(iii±»i, ,к„±оя), « v = {uiv\, ,«„г»„) Преобразование oui Km Ym реализует правило, по которому в процессе кооперативного или конкурирующего функционирования ЕФ-нейронов в нейромодуле формируется на выходе вектор значений у

Далее приводятся некоторые правила конкурентного функционирования

1. Правило WTA {Winner{s) Takes AU), которое чаще всего используется при построении нейронных сетей для решения задач классификации и моделирования ассоциативной памяти Как правило, предполагается, что компоненты вектора s принадлежат Ъ, Q или К Например, out;(s) = ß(s,, max(s)), где max(i) — это максимум значений st, , sm,

ß(s, и) ф 0, если s и, ß(s, и) = 0, если s < и

2. Правило среднего В рамках этого типа правил нейроны со значением суммарного сигнала, близким к "среднему" значению, могут сформировать на выходе выходной сигнал, а остальные имеют на выходе 0 Например, out,(s) = fi(s;,mid(s)-S,mid(s) + <5), где 0, //(s,и,a) — это такая функция, что

fj,(s,u,v) фО, если и € [и, v], p(s, и, v) = 0, если и ф. [и, v],

m m

mid(s) = 2 = 1 ~ взвешенное среднее st, , sm

1 i=i

3. Правило контрастирования В соответствии с этим правилом нейроны с величиной суммарного сигнала, которая отличается от среднего значения в наибольшей степени, получают право выдавать на выходе значение, отличное от нуля, остальные нейроны со значением суммарного сигнала, близкого к среднему значению, выдают на выходе 0 Например, оut,(s) = mid (s) — — 5, mid(s) + <5), где fi(s, и, v) — это такая функция, что

ß(s, и, v) ф О, если и i [и, о], и, v) = 0, если и е [и, у] По этому правилу нейроны, у которых величина j.î, — rmd(s)| > 3 выдают на выходе ненулевое значение, остальные — О

Далее обосновывается один рекуррентный метод обучения £Ф-нейромодулей

Пусть X — это некоторой класс последовательностей векторов X = {*(,}] л,, где xk g X", 3s{X) — некоторый класс конечных последовательностей функций Ф = {^(ж)}, допустимый относительно X

18

Определяется рекуррентная последовательность кортежей ХФ-форм {s/sW}i где sf(x) == (sff(x>, , sf* (*)) и

sf{x) = sf-[(x) +wk фк(х),

sj°(x) = в(х) — произвольно заданное начальное преобразование Будем говорить, что система уравнений out(s + b w) = у

!outi(s + 6 w)-yi,

outm(s + 6 w)=ym, rAe s = (si, .S„), 6 = (6[, ,bm),y=(yu ,Ут),

S + Ь W = (si + Мь .«т + М^), разрешима относительно да, если для любых векторов f € Кт, у е Y™ и 6 6 К™, такого что 6, Ф О для всех / = 1,2, , т, существует ее решение да = = «»(s, 6,y)sK

Определяется допустимый класс преобразований oui(s), такой что система уравнений out(s + 6 w) = у разрешима относительно да

Определяется допустимый класс ЕФга [£{£)] ЕФ-нейромодулей относительно 9V" и таких что для любого sfn(x) = out(sf(x)} из £Фт [#{.£)] 1) o«/(s) е 94™, 2) для каждого / = 1,2, , т ЕФ-форма

N

sf;(*) = в,{х) +^2щьф,к(х)

такова, что последовательность функций Ф; = $(sfn;) = {ф1к(х)}1 N е 3(Х) для всех / = 1,2, ,т

Для любой последовательности X е X подкласс ЕФ-нейромодулей s/n 6 ЕФ"1 [£(Э£)], таких что последовательность функций Ф(зт;) е д{Х) для всех / = 1,2, ,т, обозначим ЕФт [З^Д)] Для любых двух ЕФ-нейромодулей sfn и sfn" определяется отношение sfn' =4 sfn", если ®(sfnj) С $(sin") для всех / = 3,2, , т Подмножество ЕФ-нейромодулей из ЕФ"1 [5{ЭЕ)], минимальных по отношению обозначается ЕФ"[®{Ж)] Подмножество ЕФ-нейромодулей из X)], минимальных по отношению обозна-

чается ЕФШ [ff (.X)] Класс ГФ"' [#{£)] будем называть конструктивным, если класс $ является конструктивным ЕФ-нейромодули из конструктивного класса ЕФ"1 [5{3£)] также будем называть конструктивными

Пусть задан допустимый класс ${Х), который является конструктивным Пусть заданы обучающая последовательность векторов X = {дс^}, w £ X, и последовательность величин К = {yi,}\ где ук € ¥"' Пусть ^(дс) обозначает неизвестную зависимость между у и х такую, что ук — у{хк) для всех k Рассматриваются следующие две задачи

Задача Zm{X, Y). Обучить конструктивно некоторый ЕФ-нейромодуль sfn(x) € £ФМ так, чтобы у(х) = sfn(x) на X

19

Пусть sfn(x) — решение задачи Zm(X, Y)

Задача Z'"{X, Y). Обучить конструктивно все ЕФ-нейромодули sfn'(x) е ЕФ"1 [^{ДГ)] такие, что sfn! =4 sfn и у(х) = sfn(x) на X

Классы таких задач обозначаются Ът{Х) и 3™ (X), соответственно Доказывается следующая лемма

Лемма. Для любой пары последовательностей X € X и Y можно обучить некоторый ЕФ-нейромодуль sfn(x) 6 такой что уь = sfn(xk) для

всех k = 1,2, ,N

Класс ЕФ-нейромодулей sfn(x), таких что Ф^п,) е обозначается

ЕФт[30] для любого X е X класс ЕФ-нейромодулей sfn(x), таких что Ф(«/и,) € т{Х), обозначается ЕФ" [^(ЛГ>] Класс У{Х) или У{Х) является конструктивно и корректно разрешимым в если для любой за-

дачи Zm(X, Y) б Ът{Х) или Zm{X, Y) € УЧХ) можно построить конструктивно ЕФ-нейромодуль sfn(x) е ЕФ™ , являющийся решением Zm(X,Y) или

все ЕФ-нейромодули sfn'(x) € ЕФ" \$3(Х)\, sfn! 4 sfn, являющиеся решением Zm(X, Y), соответственно Пусть задан допустимый класс последовательностей функций $3(Х} Доказывается следующее утверждение

Теорема 8. Классы задач Ът{Х) и Зт{Х) являются конструктивно и корректно разрешимыми в ГФ'^З^ЛГ}]

Далее рассматривается класс ЕП-нейромодулей Функция преобразования ЕП-нейромодуля spfn(x) имеет вид

spfn(x) = out о spf(x), где spf(x) = (spf, (*), , spfm(*)),

N

spf/(*) = i,(*) + 5Za''*Pfn /*(*•'/*)> / = 1.2, ,m

fe—1

Пусть 1) последовательности X и It таковы, что последовательности функций PFN,(/,) = {pfn;t(x, г,j.)I являются треугольно упорядоченными на X для всех j = 1,2, ,т, соответственно, 2) out е Тогда из леммы об обучении ЕФ-нейромодуля вытекает, что у(х) = spfnk(x) на k] для всех k

Далее для некоторых конкретных классов последовательностей функций уточняется условие 1} Для класса 5p#3o(A), условие принимает вид X является упорядоченной по нулям относительно I, для всех / = 1,2, ,т Для класса условие принимает вид X является ^-упорядоченной

относительно I, для всех / = 1,2, ,т Для класса фЗЗ^ЯГ, А) условие принимает вид (X, А) является упорядоченной парой относительно I, для всех / = 1,2, ,т

Пусть <Р£3(Х) обозначает любой из классов ф&З^Х),

фЗЗ^ЛГ, А) Как было показано в разделе об обучении ЕП-нейронов, эти

20

классы являются конструктивными Поэтому в классе £П-нейромодулей ЕГГ разрешима следующая задача (усиленный вариант Zm(X, У))

Задача zT{X, Y) Обучить конструктивно все ЕП-неймодули spfti(x) е EIT [$р®3(.Х)], такие что у(х) н spfn(x) на X

Вторая глава посвящена исследованию некоторых алгебраических рекуррентных ИП/ЕФ-нейронов и £П/£Ф-нейромодулей

В первом параграфе исследуются модели рекуррентных алгебраических ЕФ-нейронов Пусть К — кольцо, не содержащее делителей нуля Класс конечных последовательностей векторов {х(г)} в дискретном времени t = = 1,2, , Т, где Т е N и x{t) е К", обозначается Я(1) Обобщенный рекуррентный алгебраический £Ф-нейрон реализует преобразование вида

y{t) = sfn {x(t),y(t)) = out(sf(jc(i),y(0)),

где y(t) = (y(t - 1), ,y(t - - вектор выходных значений в моменты времени i — 1, f — 2, ,t — I, где i > 1 — максимальная глубина связей по времени, уф) = Уо, у(— 1) = У-1, , у(-4) = У-е — заданные начальные значения,

N

sf(x(0,y(0) = 9(х(0 ,y(.t)) + ^/тФь{хЫ1),уЫ*)), k=i

где hit) С {1,2, ,п}, !&) С {1,2, ,£}, wk - весовые коэффициенты, 9(х,у) — произвольно заданная функция Кл+' —» КС, №t(x\tk-,y\lk)}6 — некоторая последовательность функций от переменных x\i,, — (л:,,, ,х,г) и y\jk = = out(s) e <Н вида К -j- ¥ С К, ¿(я) 6 :F0, ч\ е ^Ь, % е Y с X с К

Пусть на дискретном временном промежутке [1, Г] задана последовательность векторов входов X = {x(0}i г и последовательность выходных значений

У = Ы0}, т

Рассматривается последовательность XY = {*y(i)} = {(x(t),y(l))} Пара последовательностей ({xyit)}, yit)) является непротиворечивой, если для любых Г ф t" (xif),y{f)) = (j<(?),yit")), то y(t') = г/(г") Пара последовательностей ({xy(t)}, {¡/(i)}) не содержит синхронных повторов, если не существует пары f Ф t", такой что (ху(1')) = (xy(t")) и y(f) = y(t")

Пусть Xn(t) — некоторый класс конечных последовательностей векторов {х(г)}, где x(t) = ixiit), ,xn(t)) е Xя Пусть 2)(i) — некоторый класс конечных последовательностей {y(t)}, где € У С X Пусть Xn%)e(t) — некоторый класс конечных последовательностей вида {(xit),y(t))j, где (х(t),y(t)) = = iXiit), ,xn(t),y\(t), ,уШ x(t) € X", г/(0 е

Пусть $ = — некоторый класс конечных последовательностей

функций вида Х" х ¥< —> К, допустимый относительно класса последовательностей т е для любой конечной последовательности {(хк,Ук)} е ¿E"2)f

^е задана последовательность функций {оь(х,у)}, такая что последовательность {<Й,(х|14 y\jk)} получается из нее в результате исключения некоторых переменных из Ф/,(х,д) исключены переменные дф* и y]jk, где tk {1, п} \ tk, jk = {1,

21

найдется последовательность функций {фк(х, у)} 6 треутольно упо-

рядоченная на XY

Пусть (Ж"(0,2)(0) — некоторый класс пар конечных последовательностей одинаковой длины ({*(0},{М0}), где {*(/)} е X"(t), {y{t)} е Ш). ЗЕ"2)'(t) -класс всех последовательностей {xy(t)}, где xy(t) — (х\ (t), ,x„(t),y(i -- 1), ,y(t -¿)), а пара ({*«} , {¡/(01) е (Ж"(0,?>(0)

Последовательность {«/(0} € является упорядочиваемой относи-

тельно X"fQl, если найдется перестановка отсчетов дискретного времени г {1,2, , Т} —> {г(1),т(2), ,т(Г)}, такая что {*у(т(0)}, г е XnfQe

Пара классов (Э£"(0,2К0) является допустимой относительно Хп%)е, если для любой пары последовательностей ({*(i)}, {y(t)\) из (Xn(t),Z)(t)) 1) пара последовательностей {xy(t)} и {y(t)} является непротиворечивой, 2) после удаления синхронных повторов из {xy(t)\ и {y{t)\ получается пара последовательностей {xy{t)} и {y(t)\, такая что \xy(t)} является упорядочиваемой относительно ХпЩе

Пары последовательностей ({*(/)} , {y(t)}) из допустимой относительно Х"%)е пары (3£"(0.2)(0) называются допустимыми относительно Х"%)е Класс ЕФ-нейронов sm(x,y), в которых ®(sfn) € ${X"iQe), обозначается ТФ[$(Х"2)е)]

Пусть заданы обучающая последовательность векторов {*(0}i т € X"(t), и последовательность величин {#(£)} i т е 2) (О Пусть у(х) обозначает неизвестную зависимость между у и х такую, что y(t) = y(x{t)) для всех / = 1, ,Т Рассматриваются следующие две задачи

Задача ZT(X, К) Обучить конструктивно некоторый рекуррентный ЕФ-нейрон sfn(*(i),{K0) 6 ЕФ^ХК)] так, чтобы y(x(t])=sin(x(t),y(t)) для всех X = = 1, ,Т

Пусть sfn(x(t),y(t)) — решение задачи ZT(X, У)

Задача ZT(X, У). Обучить конструктивно все рекуррентные ЕФ-нейроны sfn'(x, у) € ЕФ[5{ХУ)] такие, что y{x(t),y(t)) = sfn{x(t),y(t)) для всех t = 1, ,Т и sfn' =<; sfn

Классы таких задач обозначаются Ът{X) и 3Т(Х), соответственно

Пусть пара (£"(0,93(0) — допустимая относительно Х"2)1, a out е 94 Доказывается следующая лемма об обучении рекуррентного ЕФ-нейрона

Лемма. Для любой пары ( {x(t)\, {y(t)}) из (X"(t), 2J(0) можно конструктивно обучить ЕФ-нейрон sfn(*,ji) е ЕФ\$(Х"УС)')], такой что y(t) = sfn(x(f),Jf(f)) для всех t = 1,2, , Г

Пусть задан допустимый класс последовательностей функций Х"2)е) Доказывается следующее утверждение

Теорема 9. Классы задач 3Г(Х) и 3Т(Х) являются конструктивно и корректно разрешимыми в ЕФ[3!3{Э£"2)<)]

В следующем параграфе рассмотрены модели алгебраических ЕФ-нейро-модулей с обратными связями Пусть x(t) = (x¡(i), ,xn(t)) — это последовательность векторов в дискретном времени t - 1,2, , y(t) = (y¡(t), ,ут(0) — это соответствующая ей последовательность векторов, x,(t) е, К (1 < г < я), y¡(t) е ¥ С К (1 < / < т), где К — это кольцо, не содержащее делителей нуля Рассмотрим алгебраический ЕФ—нейромодуль с обратными связями, на вход которого в каждый момент времени f поступает вектор х(г) и выходные векторы y{t— 1), ,y(t-i) в моменты времени í — 1, f—2, J-t соответственно

y(t)=sfn{x(t),Y(t)),

где Y(t) = (y(t - 1), ,y(t — ¿)), i 1 — максимальная глубина связей по времени, i/(0) = yo, у(— 1) = y_¡, , у(\ —£) = у i — заданные начальные векторы значений,

sfn(x(t), Y(0) = out(sf(x(t),Y(t))),

N

sf(x(t),Y(t)) = <?(*«) + £>*&(*(f),Y(*),b. J*).

4=1

где lk = (ilk, ,tmk), t,k С {1,2, ,«}, / = 1,2, ,/n, I* = {jn, ,jmk), ]pk Я {1,2, , ?}, p = 1,2, ,m,Wk = (wn¡, , — векторы весовых коэффициентов, в(х, у) — произвольно заданное начальное преобразование К"+",г —» К", <l>k(x(t),Y(t),lkJk) = (01*(*|ílü(í).¡f|/li(<)). для каждого t =

= 1,2, , т, {d>tk(x\itk, yllik)} — это некоторые последовательности функций от переменных x\iítl и y\¡tk, out(s) — преобразование выхода I" -t Y" С I Преобразование out является допустимым, т е out е 5Н"'

Рассматривается задача конструктивного обучения ЕФ-нейромодуля по заданным обучающим последовательностям X = {*(/)} i Т и Y = {í/(¿)}[ r так, чтобы y(t) =sfn (x(t), Y(t)) = sfn (x(t), y(t — 1), ,y{t-i)) на [1,7*] Конструктивность обучения ЕФ-нейромодуля означает, что неизвестными являются не только вектора весов, но и его структура, которая определяется парами последовательностей мультииндексов I¡ = {г„,} и J¡ = {/«.} При определенных предположениях относительно X и Y применяется конструктивная процедура рекуррентного обучения с учителем ЕП-нейрона

Задача ZmT (X, Y). Обучить конструктивно некоторый рекуррентный ЕФ-нейромодуль sfn(x(t), Y(t)) е ЕФМ[^(XF)] так, чтобы y{x(t))=sfn(x(t), Y(t)) для всех í = 1, , Т

Пусть sfn(x{t), y(t)) — решение задачи Z"' Т{Х, F)

Задача Zm,T (X, Y). Обучить конструктивно все рекуррентные ЕФ-нейро-модули sfn'(х, у) € ЕФ™ [£{АТ)] такие, что sfn(x(t), Y(t)) = sfn(x(t), Y(t)) для всех t = 1, , Т и sfn' =4 sfn

Классы таких задач обозначаются ЪтТ{Щ и 3™ т(%), соответственно

23

Рассматривается последовательность XY(t) — \xy(t)} — {(x(i). Y(i))} Пара последовательностей ({xy(t)} ,y(t)) является непротиворечивой, если для любых ? ф f (x(t'), Y(О) = (x(t"), Y(t")), то y(t') = y(t") Пара последовательностей ({xy(t)}, {у(г)} ) не содержит синхронных повторов, если не существует пары f ф г", такой что (xy(f)) = (xy(t"}) и g(f) = y(t")

Пусть X"(t) — некоторый класс конечных последовательностей векто-I ров {*(0}i где x(t) = (x\(t), ,xn(t)) е X", — некоторый класс ко-

нечных последовательностей {y{t)\, где y(t) е Y™, ¥ С X, Хп%)т' — неко-I торый класс конечных последовательностей вида Y<,)}, где (хк, Y4) =

= (Хк,ук 1, , ifee), б X", yk € Ym, s = 3(X"Z)m<) - некоторый класс ко' нечных последовательностей функций вида X" х У"4 —» К, допустимый относительно класса последовательностей X"%)mt, (т е для любой конечной последовательности {(хц, Yj,)} е 3£"2)mi найдется последовательность функций {фк(х,Y)} е $(Х"2)т'), треугольно упорядоченная на {(xk,Yk)}), (X"(t),2)(t)) — некоторый класс пар конечных последовательностей одинаковой длины ({*«}, {?(*)}), где {*(/)} € х"(0, {¡КО} е &K(t), Х"2)яе(0 - класс всех последовательностей {*?(£)}, где xy(l) = (x(t),y(t - 1), ,y(t - if), а пара

({*(*)} >{»(9}) е (эе"(0,2Г(0)

Последовательность {xy(t) i = 1,2, ,Т} е X"%)me(t) является упорядочиваемой относительно XnfQM, если найдется перестановка отсчетов дискретного времени г {1,2, ,Т} —» {г(1),г(2), , т(Т)}, такая что

Пара классов (3£"(f), 2}т(0) является допустимой относительно 3E"2)mf1 если для любой пары последовательностей ({х(0} >{?(0}) из (X"(t),fQm(t))

1) пара последовательностей {xy(t)} и {y(t)} является непротиворечивой,

2) после удаления синхронных повторов из {xy(t)\ и {y(t)} получается пара I последовательностей {xy{t)\ и {y(t)}, такая что {xy(t)} является упорядочива-^ емой относительно

1 Класс £Ф-нейромодулей sfn(x,yL, ,yt), в которых Ф(«/п) е % — $(Хп?9тг),

! обозначим ЕФЯ [Зг(3е"2)"'<}] Доказывается лемма об конструктивном обучении

рекуррентного £Ф-нейромодуля

Лемма. Если пара классов (3E"(/)> 2)"'(0) допустимая относительно Xn<iQmt, a out € 5Н — допустимое преобразование, то для любой пары последовательностей ({x(i)}, {у(0}) «з (Xn(t),fgm(t)) можно конструктивно обучить £Ф-нейромодуль sfn(x, yi, , г/£) е такой что y(t) = = sfn(x(t),yi{t), ,ye{t)) для всех t = 1,2, , Т

, Пусть задан допустимый класс последовательностей функций До-

1

казывается следующее утверждение

Теорема 10. Классы задач &°Т{Х) и У"Т(Х) являются конструктивно и корректно разрешимыми в £Ф[3Г3(Э£"2)'"')]

24

Следующая глава посвящена конструктивному обучению каскадных сетей искусственных нейронов Первый параграф посвящен исследованию каскадных цепочек ИФ-нейронов, имеющих следующую структуру 1) все нейроны имеют на входе вектор х = (x¡, ,хп), 2) каждый р-ый {р > 1) нейрон дополнительно имеет на входе up-¡ — выход от предыдущего нейрона цепочки, 3) первый нейрон имеет дополнительный внешний вход Uq, который может соответствовать как константе, так и независимому входу от другой нейронной сети, цифрового устройства или некоторой информационной системы Такая сеть реализует каскадную цепочку преобразований

| ир = sfnp(x, Up-1), p = 1,2, ,L,

где L — количество нейронов в цепочке, sfnp(jc, típ_i) — это функция преобразования р-ого £Ф-нейрона вида

N

sfnp(x, iv-i) = 9(щ>-1) + wP^Pk(x> Up-i )>

4-1

где e(iip-i) — скалярная функция одной переменной, выход сети — у = ul Предполагается, что YCXCK

Индуктивно определяется функция преобразования подсети, состоящей из первых р £Ф-нейронов cstnp(x, tío) csfnt(x,«o) = sfnt(x,uo) при p = 1 и CSÍПр(х, Uo) = sfrij, (x, csfnp_ 1 (x, Uo)) при p > 1

Пусть Oí« с 9t — это подкласс всех допустимых функций выхода такой, что для каждой out(s) € % существует функция в ¥ —> X такая, что out о в(и) = и на ¥

Пусть заданы обучающая последовательность векторов XU — = {(x/¡, uok)}¡ лг € Хя+1, и последовательность величин Y = {ук}\ N, где ук € Y, у(х) обозначает неизвестную зависимость между у и х, u<¡ такую, что г& = = y(Xk, Шзн) для всех k

Пусть СГФ[®'{Э£я+1>] — некоторый класс каскадных цепочек, состоящих из £Ф-нейронов, в которых функция выхода принадлежит а последовательность функций {фк(х, и)} е &(Хп+1) Рассматриваются следующие две задачи конструктивного обучения с учителем каскадной цепочки £Ф-нейронов

Задача ИХ, Y). Обучить конструктивно некоторую каскадную цепочку ЕФ-нейронов csfn(x) б СЕФ, так что у(х) = csfn(x, uo) на X

Класс таких задач обозначается 3<3£"+1) Пусть csfn(x) — решение задачи Z(X, Y)

Задача Z[X, Y). Обучить конструктивно все каскадные цепочки £Ф-ней-ронов csfn'(x) € СЕФ [^(Xt/)], такие что csfn' 4 csfn и у(х) = csfn'(x, щ) на X

Класс таких задач обозначается 3(Э£"+1) Классы задач 3(Х"+1) / Ъ{Х"+1) являются конструктивно и корректно разрешимыми в классе СЕФ^ЗЕ"4"1)], если любая задача Z(X, У) е 3{3£"+1) / L(X, Y) е 3 разрешима в классе С1Ф [£(.¥£/)] / СЕФ[??ДО/)], соответственно

25

Конструктивный метод обучения каскадной цепочки конструктивных ЕФ-нейронов опирается на модифицированную конструктивную процедуру обучения ЕФ-нейрона С ее помощью строится последовательность ЕФ-ней-ронов, такая что sin'(x,yo(x,u))=y(x,u) на {(хк, ¡4)}, N,+J для всех 1 < / < N"—N' Конструктивная процедура построения каскадной цепочки ЕФ-нейронов основывается на модифицированной конструктивной процедуре обучения ЕФ-нейрона С ее помощью строится последовательность каскадных цепочек ЕФ-нейронов {sfnp(x, ир_])}1 L такая, что у(х, uo)=csfnp(x, щ) на {(хк, щ)}1 N , где 0 = N0<Nl<N2< <NL-i<NL = N

Лемма. Пусть ¥ С X с К, последовательности функций {фрк}1 Np являются треугольно упорядоченньши на X, out € SHg Тогда для любой последовательности натуральных чисел 0 < М < < Np < < NL = N можно построить цепочку ЕФ-нейронов, такую что у(х, ¿¿о) = csfnp(x, ио) на {(хк, ик)}1 ы для любого р

Пусть Хп~1 — это некоторый заданный класс конечных последовательностей {{Xk,u.k)}| jy, ${X.n+l) — это допустимый класс конечных последовательностей функций вида {фь(х, и)} относительно 3£Л+1

Пусть С£Ф[5(Х"+1)] — некоторый класс каскадных цепочек, состоящих из ЕФ-нейронов, в которых функция выхода принадлежит а последовательность функций {Фь(х, и)} € 5(ЗеЛ ")

Теорема 11. Для любой пары {(хк, ик)}1 N е Хп+[ и {ук} (ук С ¥), любой последовательности натуральных чисел 0 < < < Np < < < Mi — N можно конструктивно обучить каскадную цепочку 2Ф-нейронов csfn(x, и0) € СГФ"+! [Sr{^n+1}] некоторой длины L < N, такую что будет выполняться тождество у(х, щ) = csfn(jr, щ) на {(хк, ик)}; N

Теорема 12. Классы задач и 3{Д£"+1) являются конструктивно и кор-

ректно разрешимыми в классе СЕФ[53{Э£"+1)]

Пусть задано ограничение на число слагаемых в ЕФ-форме Тогда рекуррентный метод построения цепочки ЕФ-нейрона адаптируется гак, чтобы для каждого такого нейрона сложность его ЕФ-формы не превосходила заданную величину М

Лемма. Для произвольного М > 1 можно построить цепочку ЕФ-нейронов такую, что 1) для любого р выполняется тождество у(х,ис) = csfnp(*, ио) на {(хк,ик)}, р, 2) сложность sfnp не превосходит М, Nt > М, Np - iVp_i 5= М для всех р > 1

Пусть СЕФм [3:{3£"+!}] — это класс каскадных цепочек, состоящих из СЕФ[®{ЗЕ"+1}], в которых сложность входящих в цепочку нейронов не превосходит М

Теорема 13. Пусть выполнены условия утверждения 11 и задано произвольное число М > 1. Тогда можно конструктивно обучить каскадную цепочку £Ф-

26

нейронов csfn (л, uq) € СЕФм[5{Э£"+|}], такую что будет выполняться тождество у(х, i/o) s cstn(*, щ) на uk)}{ N

Теорема 14. Классы задач 3(X"+l) и 3(Хп+> ) являются конструктивно и корректно разрешимыми в классе СЕФм[53(Х"т1)]

Далее исследуются каскадные цепочки ЕФ-нейромодулей Они имеют на входе вектор х, каждый р-ый имеет дополнительно на входе up_i — вектор выходов от предыдущего ЕП-нейромодуля в цепочке, а первый — внешний вектор входов «о Все векторы «о, "ь , нр, имеют одинаковую размерность, равную числу нейронов в нейромодуле Такая сеть реализует следующую цепочку преобразований

Up = Sfnp(x, Mp_i),

где р — I, ,L, L — это число нейромодулей в цепочке, sfnp(x,up-\) — это функция преобразования р-ото ЕФ-нейромодуля, соответственно, вектор выхода сети у = к/

Индуктивно определяется функция преобразования CSFNp(x, Во) для подсети, состоящей из первых р ЕФ-нейромодулей, такая что 1) CSFNi(x,uo) = = sfn{(x,Uo) при р = 1, 2) CSFNp(x, щ) = sfnp(x,CSFNp^{x,u0)) при р > 1 Функция преобразования всей цепочки CSFNÍx, uo) = CSFNl(x, щ)

Рассматривается задача построения цепочки ^sfnp(x, по обучаю-

щей паре последовательностей \{хр_. и«)}, n и Y — {уь}\ л, такой что у(х, а0) = = CSFN(x,u0) на XU = {(хьЯой)}, ,у. гАе (Xk.uoù = (хы,

Предполагается, что для заданного преобразования out(s) существует кортеж из m функций в(и) = ($[(и), , вт{и)) такой, что out(6(u)) = и на Ут Класс таких допустимых преобразований обозначим (Яд

Теорема 15 Пусть заданы {{xk, uk)}l N е Х%г' и {ук} (yk € У), out(s) е Тогда для любой последовательности натуральных чисел 1 < N¡ < < Np <

< < Nl = N можно построить цепочку ЕФ-нейромодулей, такую что для любого р выполняется тождество у(х, u<¡) = CSFNp(x, и0) на {(хк, л

Пусть задана характеристика x(sp), которая отражает сложность ЕФ-форм нейромодуля, или какая-нибудь другая, которая монотонно возрастает с ростом числа p(sp) слагаемых в sp и x(sP) > í>(sP)

Для построения такой цепочки используем индуктивный метод, как и в предыдущем случае Только теперь каждый ЕФ-нейромодуль обучаем до тех пор, пока характеристика х каждой из его ЕФ-форм не превосходит M

Теорема 16. Пусть заданы{(*4,%)}, N € 2J" и {yk} (Ук € ¥m), out{s) е ЖЦ Тогда для любой последовательности натуральных чисел M > 1 и 1 < Ni < <

< Np < <Nl = N можно построить цепочку ЕФ -нейромодулей, такую что для любого р выполняется тождество у{х, ип) = CSFNp(x, tío) на {(хк, uk) } x N, а сложность всех ЕФ-нейронов, входящих в sfnp, не превосходит M

27

Следующий раздел посвящен одному конструктивному методу обучения многослойных сетей из ЕП-нейронов

Рассматривается набор ЕП-нейронов, которые образуют некоторый слой spn = (spn,, ,spnm) в нейронной сети spn(x) = (spn,(jc), ,spnm(j;)) Пусть X — произвольная последовательность векторов, упорядоченная по нулям Пусть U = spn(X) — это образ последовательности X при преобразовании spn Для произвольного вектора и € U обозначается С (и) — {х е X и = = spn(x')} Класс С(и) называется представительным классом, а вектор и является представлением класса С(и) при помощи слоя spn Пусть у(х) — это некоторая функция, для которой заданы ее значения на множестве X Представительный класс С(и) С X является верным классом, если функция у(х) на множестве С(и) принимает одно и то же значение Обозначим это значение ус (и)

Теоретически обосновывается один метод построения слоя алгебраических ЕП-нейронов, реализующего преобразование spn(x), относительно которого каждый представительный класс одновременно является верным классом в предположении, что последовательность X = {л^}, л, является упорядоченной по нулям Доказывается, что каждый представительный класс С(и), порождаемый преобразованием spn(x), является верным классом

Рассматривается один общий случай, характерный для задач распознавания Предположим, что преобразование spn(x) индуцирует разбиение X на представительные классы, которые являются верными, а функция out(s) принимает не более q значений Тогда | U\ < |Я] - N\ + q

Далее рассматривается последовательность слоев spn,(х), ,spnL(x), где spne(x) = (spna(x), ,spním((x)) Обозначим Х0 = X, X¡ = spn¡(X0), , XL = = spnL(XL^i) Индуктивно определяются и строятся следующие преобразования 1) spnn^x) = spnx(x), 2) для каждого i > 1 определим spnnt(x) = = spnt(spnnf_i(x)j

Дказывается, что для каждого f-слоя каждый представительный класс Се(х(), соответствующий значению х>: е X¿, также является верным классом Если функция выхода out первого ЕП-нейрона в каждом слое принимает не более q различных значений Тогда \Х(\ ^ \Xt~\\ — N¡¿ + q

Теорема 17. Пусть X является упорядоченной по нулям, функция выхода out такова, что она принимает не более q различных значении и найдется se¥ такое, что out(s) = 0, функция g(u,v) удовлетворяет следующим требованиям g(0, и) - и, g(u, 0) = и и для любой пары (и, v) е У х ¥ найдется единственный элемент г € У такой, что g(u, г) = v, и если и = v, то z = 0 Тогда для любой последовательности натуральных чисел 1 < N¡ < < Ni = N такой, что N¡ - Ak_i > q + М (М > 1) можно конструктивно обучить многослойную сеть из алгебраических ЕП-нейронов ц{х) = spnn(x) на Y

28

В следующей главе рассматриваются специальные ЕП-расширения одного класса алгоритмов для эффективного построения корректных распознающих алгоритмов по стандартной обучающей информации в рамках алгебраического подхода к задачам распознавания Определяется допустимый класс алгоритмов, преобразующих множество первоначальных описаний исследуемых объектов в множество разреженных векторов (внутреннее представление), удовлетворяющее одному естественному требованию, которое можно рассматривать как некоторое обобщение логической непротиворечивости внутреннего представления различных объектов и классов Алгоритмы из £П-расширения представляют собой полилинейные формы от алгоритмов из допустимого класса Показывается, что для стандартной задачи распознавания существует непустое множество корректных алгоритмов из ЕП-расширения заданного конечного множества, содержащего алгоритмы из допустимого класса, если оно удовлетворяет одному легко проверяемому условию Соответствующие алгоритмические операторы из ВП-расширения строятся при помощи простой рекуррентной процедуры конструктивного обучения, сходящейся за конечное число шагов

Пусть & — это некоторый класс исследуемых объектов Для каждого объекта 5 е в задано его стандартное описание (с о) х(5) = (Х[(5), , х„(3)), где х, $ —* Д, где Д — множество всех возможных значений г-й компоненты с о Для каждого объекта 5 е в задана также стандартная информация {с и ) у(3) - (¿/1(5), ,(/т(5», где уI 5 —> Е,, Е, — это множество всех возможных значений г-й компоненты с и

Пусть задано конечное множество исследуемых объектов в = {5/,} С 6, где к = 1,2, , Ы, X = {хк} — соответствующее ему множество с о , где хк = х(8к), и У = {ук} — соответствующее множество с и , где уь — Рассматривается

задача 2(Х, У) построения алгоритма А, такого что у(х)=А(х) на X Алгоритм А в этом случае называется корректным для задачи ¿(X, У)

Пусть 21 — это некоторый класс алгоритмов Т Д х х Д Кл, где К — это кольцо, не содержащее делителей нуля, задано некоторое конечное подмножество алгоритмов Т = {Ть , Т*} с 21 Обозначим 1} = Т(Х) = {и/,}, где ик = Т(хк)

Для произвольного и 6 К определяется функция 5(и) = 1, если и ф 0, и ,5(ц) = 0, если и = 0 Конечное множество алгоритмов Т является допустимьил для X и У, если и = Т(Х) и У удовлетворяют условию допутимости если 5(ии) = <5(аА«), то ик' = «4» Л ук' = уи>

Пусть X — некоторый класс множеств со X С Д х хД, 2} — некоторый класс множеств с.и У С £, х х Ет Класс задач Z(ЛГ, У), где X е X и У е 2), обозначается 3(Х, 2)) Класс 3I является допустимым классом алгоритмов для если для любой пары конечных множеств со I 6 X и си. К € Й) найдется конечное допустимое подмножество алгоритмов Т С 21

29

Решающее правило ¿г К*-»£]Х х Ет, dr(s) = (dri(s), , drM(s)) является допустимьсм для Е{ х х Ет, если для любого 1 С / < т. функция dr7 К™ —> Е, является допустимой для £,, те для любого s, е К, любого значения 0 ф = Pi G К, любого элемента у, е найдется значение w, е К, являющееся решением уравнения drj (s, + Р/Ш,) = ^

Класс 0t, состоящий из допустимых для Fe?) решающих правил, является допустимым для 2)

Вектор и — (щ, , иц) является разреженным, если найдется индекс 1 < ( < К, такой что и, = 0 Пусть / = {¡6} — некоторая последовательность мультииндексов, ik С {1,2, , К} Последовательность U является упорядоченной по нулям (ун ) относительно I, если для любой пары / < k найдется индекс i 6 ik, такой что и,, = 0 и ф О

Пусть множества U и Y удовлетворяют требованию допустимости Тогда последовательность U — {ut} состоит из разреженных векторов (за исключением, может быть, одного) и является упорядочиваемой по нулям Для произвольной U, являющейся у н , множество всех последовательностей мультииндексов I, таких что U является у н относительно I, обозначается через 3(t/) Пусть К — это некоторое кольцо, не содержащее делителей нуля Определяются Sn-функции, которые имеют следующее представление

N

sp (и) = в(и) + YI ®*р(и.«»). где в(и) — это произвольная функция KÄ —► К, щ € К,

Р(а. «*) = П""

р(ц, 0) = 1 Определяется класс алгоритмических ЕП-операторов вф, которые представляются в виде композиции следующего вида

spo = dr(sp(u)), sp(«) = (sp;(u), , spm(u)), где dr € 3t, spi(a), , spm(a) — это ЕП-функции

ЕП-расширением в?р( Т) множества алгоритмов Т = {Ть , ТУ} называется множество алгоритмов ©iß( Т) = {spo( Т) spo е ©iß}

Лемма. Пусть задано конечное допустимое для X и Y множество алгоритмов У С Я, задано допустимое для Y решающее правило dr € ¡Я Тогда можно построить алгоритмический ТЛ1-оператор spo б 6ф(Т), такой что spo(T) является корректным для X и Y

Соответствующий алгоритмический ЕП-оператор можно построить, используя рекуррентную процедуру обучения по множествам V и Y, элементы которых предварительно переупорядочиваются так, чтобы U стала у н. относительно некоторой последовательности мультииндексов I е 3(1/) В общем случае можно построить множество таких ЕП-операторов, используя различные I Для уменьшения сложности алгоритмических операторов можно

30

использовать процедуру построения минимальных по отношению С последовательностей мультииндексов I е 3(1/), где Г с I", если ь'к С ¡1 для любого к, и найдется хотя бы один к, такой что 4 С

ЕП-расширением в?Р(21) класса допустимых алгоритмов 21 называется класс алгоритмов вЩШ) = {вро( Г) «ро е Г с 21}

Теорема. Если класс алгоритмов 21 является допустимым для X и а класс решающих правил 5Н является допустимым для 2), то ЕП-расширение 6ф(21) является корректньш для класса задач 3(Х, 2))

Пусть II является у.н , 4(Г/) — множество мультииндексов I таких, что для любого I < к найдется г такой, что и,, — 0 и щ, ф 0 Пусть 4 С Д(£/), определим функции вида

5рпй(и,4) = / овр

вр^в,/*) = рп(и, г),

•е4

где / — это произвольная функция К —> К такая, что /(у) = 0 ^ = 0, с, € К и 5р4(«6,4) ф О,

рп(ц, I) =® ор(и,|),

где — это произвольные функции К —> К такие, что §,(«) = 0 я = 0 Далее рассматриваются функции вида

N

Эр (и) = В(и) +

Определяется класс ©2ф алгоритмических £2П-операторов вида 5ро(а) = = ¿г(5р(ы)), 5р(и) = (Эр, (и), , Бр^а))

Е2П-расширением б2ф(Х) заданного множества алгоритмов Г называется множество алгоритмов ©2?Р( У) = {вро(Х) вро е б*?р} Лемма. Пусть задано конечное допустимое множество алгоритмов Т с 21 для X и У, задано допустимое решающее правило (1г е?Я для У Тогда можно построить алгоритмический £2П-оператор вро е 625?( Т), такой что 5р( Г) является корректным для X и У

Соответствующий обобщенный ЕП-оператор строится при помощи конструктивной процедуры обучения по множествам и а У, элементы которых предварительно переупорядочиваются так, чтобы и стала у н В общем случае можно построить множество таких обобщенных £2П-операторов, используя различные множества {4}

£2П-расширением ©2?Р(2() класса допустимых алгоритмов 21 называется класс алгоритмов© 2ф(21) = {«ро(Т) зро € 62ф, Г с 21}

Теорема. Если класс алгоритмов 21 является допустимым для X а 2), а класс решающих правил Л является допустимым для 2}, то £2П-расширение 62ф(21) является корректным для класса задач 5{Х, !Э)

31

В следующем параграфе исследуются последовательности ЕФ-расширений множеств некорректных распознающих алгоритмов Рассматривается последовательный подход к построению корректных замыканий конечных множеств некорректных (эвристических) распознающих алгоритмов в рамках алгебраического подхода Ранее был обоснован конструктивный метод построения алгебраических £П-расширений, позволяющий строить корректное замыкание некоторых классов некорректных (эвристических) распознающих алгоритмов Он основан на конструктивном методе построения корректирующего ЕП-оператора Однако, если наложить ограничение на его сложность, то получающееся ЕП-расширение может не приводить к корректному замыканию Здесь рассматривается подход, основанный на построении последовательности расширений при помощи ЕФ-операторов (обобщение ЕП-оператора) ограниченной сложности, которая сходится к корректному замыканию за конечное число шагов

Пусть задано множество объектов S = {S} и его разбиение на Q непустых классов S = (J С,, где Q — {0,1, ,Q— 1} Пусть y(S) — это функция, ставящая

каждому объекту 5 е S номер класса у (S) е Q, которому он принадлежит

Пусть / S —> ЛГ — преобразование, которое объекту S е S однозначно ставит его описание x(S) = (jci(S), ,x„(S)) Размерность п обозначается diш/ Преобразование / S —* X — стандартное, если 1) / — сюръективное, 2) x(S') = x(S") ^ y(S') = y(S"), 3) y(S') ф y(S") x(S') ф x(S"), 4) Vi =1,2, ,n найдется пара S' и S", таких что ф x,(S") В этом случае описание x(S) будем называть стандартным описанием

Стандартное преобразование / индуцирует на X разбиение на классы

X = и С'„, где С' = f(Cq) При этом S е С, 4Ф /(5) е С Преобразование <?6<?

/ S X — сжимающее, если |АТ| < |S|

Рассматривается последовательность преобразований {/р}, где р = 1,2, fр Хр-1 —> Хр, Хр—{хр} — множество р-ых описаний объектов из S, хр = = fp(Xp-i), X — Хо = f(j(S) — множество начальных стандартных описаний объектов из 5 Последовательность |/р j — стандартная, если /() — стандартное для каждого р

Определяется последовательность преобразований {Fp X —>Хр} 1) F0(x) = /„(*), 2) Fp(x) = fp(Fp A(x)) "ри p > 1 Если {/„}

— стандартная, то

1) для каждого р множество Хр является множеством стандартных описаний объектов из S, 2) для каждого р можно однозначно определить функцию ур Хр -> Q, которая каждому хр е Хр однозначно ставит в соответствие номер класса, в котором содержатся все элементы из F~lixp) (при р = О полагается yoix) = у(х)) Из определения ур(хр) следует, что yix) = yp(Fpix)) Последовательностьl/pj — сжимающая, если f р — сжимающее для каждого Р

Лемма. Если |/р| — стандартная и сжимающая, то при некотором Ь для любого д € О верно равенство (хц) = С,, где Хц = {*М) , }

Определяются последовательности |/р| с главньми элементами в таких последовательностях для каждого р элемент ¡р\ (хр^) является главным и принимает значения в множестве (}, остальные элементы ¡Р!{хр-\) (£ = 2,3 ) являются вспомогательными

Стандартная последовательность |/р| с главными элементами — частично корректная, если для каждого р имеется подмножество Х'р_А с Хр~\ | > > Я), такое что для всех € Х'р_1 1) [гЛ(хр^л) = ур{х„-1), 2) /р£(дер_1) = 0 при ¿>\

Лемма. Если стандартная последовательность |/р | с главными элементами — частично корректная, то 1) | — сжимающая, 2) ^ = при некотором Ь и у(х) = Г/Ах) на X

Таким образом, стандартная частично корректная последовательность преобразований |/р| с главными элементами сходится в следующем смысле на некотором шаге Ь она дает искомую функцию у(х) = Еь{х) =

Пусть X — некоторый класс конечных последовательностей {**}, где хк 6X", ХСК - заданное числовое кольцо, используемое для представления элементов хк, 5 — некоторый класс конечных последовательностей функций вида X" —> К -функция — это функция следующего вида

где {Ф(,} 6 X" —> К — произвольно заданная начальная функция, 6 К

Распознающим Т,Ф-оператором называется преобразование &{п(х) — = (5Й1|(х), ,в1пт(дс)), где вйДж) = ойДб^дс)), / = 1,2, ,т, — решаю-

щие функции вида К —> ¥ С К, ¥ — конечное множество (например, {0,1}, (2) При т — 1 распознающий ЕФ~оператор имеет вид з!п(*) = ои^вГС*))

Определяется сложность ЕФ-оператора сКв/п) В одномерном случае сгфп) = ]{/г Ф 0} | — количеству слагаемых с отличными о г нуля коэффициентами В многомерном случае <т(з/л) = тах^фгц), ,<7(зЙ1т)} Далее предполагается, что функции ои^, ,оии являются допустимыми Пусть заданы последовательности X = {Хк} е X и Ф = {Ф4} 6 $ одинаковой длины

Пусть задан некоторый класс 3 последовательностей Ф являющийся допустимым относительно X (т е для любой последовательности X 6 X найдется последовательность # £ 5, ту на X) Пусть X е и Ф е такая что Ф является ту на X, задана последовательность У = {ук} {ук е 1т(ои1)), такая что уи = у(хк), где у(х) обозначает неизвестную зависимость между у и х, 9(х) — произвольно заданная функция вида Xя —»К

зз

Рассматриваются последовательности ЕФ-операторов ^я/п^Жр-!) | общего вида, где

х/иДхр-!) = вр(хр_{) + ^Гшр* Фрк(Хр-1), фр(Хр-{) = (в^Хр-.,), , 8&1р„,(*,_!)), вр(Хр-0 = (в„ 1(*р_1), , 8рПр{хр-\)), Фр = = {Фр*(*р-|)} е= (шрки ,ЩкПр)

Описывается индуктивная схема построения стандартной частично корректной последовательности ЕФ-операторов с главными элементами

Предполагается, что «¡/«¡(хо), > [(Яр-г) — стандартная частично корректная последовательность с главными элементами Пусть Фр = {Фр4(Жр_1)} — произвольно выбранная последовательность функций из ту на Хр^\ = = {хр-\к} Тогда можно построить распознающий оператор вЕпр! (хр_1), такой что г/р(дСр_1,;) = з1пр1(хр-^) для всех / = 1,2, ,N1, где С! 4-1 < М < 1-Х"р—I! Если М < |-Хр_1|, то остальные ЕФ-операторы 51прр_(хр-1), где £ > 1, обучаются так, чтобы 1) &(пре(хр-1,) = 0 для всех /=1,2, , ЛГ£, 2) является стандарт-

ным преобразованием из в Яр Первое условие достигается, если ге^; = О для всех к = 1,2, ЕФ-операторы эЦ^ОСр-!) (£ > 1), вместе с которыми

выполняется второе условие, можно построить разными способами Описан один из таких способов в предположении, что К = К и = 5дп(х,} для

всех I > 1, где эдп^) — характеристическая функция полуинтервала [0, оо) Он позволяет строить стандартные частично корректные последовательности в/п, (х0), , 8/п?(*р_0 с главными элементами

Лемма. Если все элементы в |$/пр(Хр_1) таковы что сг(«/пр(хр_.|)) < М (М >

> ф + 1) для всех р, то у(х) = Р^х) на X при некотором Ь ^ [^д-] + 1

Пусть А = {Аи ,Ат} — некоторое конечное множество некорректных распознающих алгоритмов вида 5 —> X Множество алгоритмов А — стандартное, если преобразование Л(5) = (А! (5), , Ат(5)) — стандартное

Рассматривается класс стандартных последовательностей преобразований Ар_1 —>ЛР| (Ло = А), в которых ЕФ-операторы имеют ограниченную сложность <т(5/Яр) С М Каждая такая последовательность индуцирует последовательность стандартных преобразований {Рр А —> Ар} исходного множества алгоритмов

Теорема Если А — стандартное, то существует последовательность стандартных ТА>-преобразова1шй |.5/яр(Лр_]) | с главньши элементами, которая при некотором конечном р = Ь реализует корректный алгоритм /*НЛ)

Класс преобразований Рр(А), представимых в виде композиции р ЕФ-операторов ^Р(Л) = з/лр о о я/л^Л), таких что <г(8$пе) < М для всех I = = 1,2, ,р, обозначается через е&Яр(А,М)

Следствие. При некотором I* расширение &3*У1Г (А,М) содержит корректный распознающий алгоритм

Выводы.

В диссертационной работе разработаны новые теоретически обоснованные конструктивные методы и адаптивные алгоритмы обучения и оптимизации сложности большого класса алгебраических сигма-пи НС для параллельной и последовательно-параллельной обработки информации, который включает в себя класс алгебраических ЕП-нейронов (в том числе с обратными связями) и его обобщение — класс алгебраических ЕФ-нейронов, класс алгебраических ЕП-нейромодулей (в том числе с обратными связями) с параллельным и конкурирующим функционированием и его обобщение — класс алгебраических ЕФ-нейромодулей, класс последовательно-параллельных ИНС с каскадной архитектурой из ЕП-нейронов или ЕП-нейромодулей и его обобщение — класс последовательно-параллельных НС с каскадной архитектурой из ЕФ-нейронов или ЕФ-нейромодулей, класс многослойных параллельных ИНС из ЕП-нейронов и ЕП-нейромодулей и его обобщение — класс класс многослойных параллельных ИНС из ЕФ-нейронов и ЕФ-нейромодулей Исследованы и теоретически обоснованы конструктивные методы построения корректных расширений некоторых классов некорректных (эвристических) распознающих алгоритмов при помощи алгебраических ЕП-операторов в контексте алгебраического подхода к задачам распознавания и прогнозирования на основе применения конструктивных методов обучения ИНС

Список публикаций по теме диссертации

1.АВ Тимофеев, 3 М Шибзухов Методы синтеза и оптимизации диофантовых нейронных сетей // Доклады Адыгской академии наук Нальчик 1996 Т 2, Nal, С 56-60

2 А В Тимофеев, 3 М Шибзухов Методы синтеза и минимизации сложности диофантовых нейронных сетей над конечным полем // М Автоматика и телемеханика 1997 №4, С 204-212

3. А Б Тимофеев, ЗМ Шибзухов Адаптивные рекурсивные алгоритмы синтеза и оптимизации многозначных порогово-полиномиальных моделей нейронных сетей // Доклады Адыгской академии наук Нальчик 1997 Т 2, №2, С 42-46

4 ЗМ Шибзухов Рекуррентная схема построения пороговых функций - В сб Сборник научных трудов Всероссийского симпозиума "Математическое моделирование и компьютерные технологии" Кисловодск 1997 Ч 2, Т 2, С 72-73

5 3 М Шибзухов Рекуррентная схема построения кортежей многозначных функций и обучения нейронных сетей // Доклады Адыгской академии наук 1998 Т 3, №2, С 45-51

6 .ЗМ Шибзухов Нейропроцессорные элементы полиномиального типа искусственных нейронных сетей // Доклады Адыгской академии наук Нальчик 1999 Т 4, №1, С 64-68

7 ЗМ Шибзухов, А 3 Шауцукова Рекуррентные алгоритмы синтеза нейросете-вых моделей визуальных образов в алгебраических исчислениях с наибольшим чис-

лом - В Доклады IX Всероссийской конференции "Математические методы распознавания образов" Москва 1999 С 254-256

8 А В Тимофеев, 3 М Шибзухов Обучение многозначных нейронных сетей распознавания образов - В Доклады IX Всероссийской конференции "Математические методы распознавания образов" Москва 1999 С 111-113

9 А В Тимофеев, А М Шеожев, 3 М Шибзухов Применение диофантовых нейронных сетей для генетического анализа и диагностики - В Труды 1-го Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99) С -Петербург 1999 С 169-171

10 А В Тимофеев, 3 М Шибзухов Обучение многозначных нейронных сетей распознавания и управления - В Труды 1-го Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99) С -Петербург 1999 С 172-174

11. ЗМ Шибзухов Микропроцессорные элементы полиномиального типа и многослойные нейронные сети - В Сборник научных трудов Всероссийской научно-технической конференции "Нейроинформатика-99" Москва МИФИ 1999 Ч 2, С 122-127

12 ZM Shibzoukhov, L Z Shautcukova Enhancement of the Eficiency of the Algebraic Approach to Problems of Image Recognition and Processmg Based on Algebraic Calculi with the Largest Number and Methods for Error-Free Calculations // Pattern Recognition and Image Analysis 1999 V 9 № 1, С 95-97

13 ЗМ Шибзухов Конструктивные рекуррентные алгоритмы синтеза сигма-пи нейронных сетей // Доклады Адыгской академии наук // Нальчик 2000 Т 5, С 6267

14. 3 М Шибзухов Конструктивные рекуррентные алгоритмы синтеза сигма-пи нейронных сетей // Искусственный интеллект 2000 №2, С 258-263 (Международная конференция "Интеллектуализация обработки информации" Украина Крым 2000)

15 3 М Шибзухов Конструктивное обучение булевозначных нейронных сетей распознавания и классификации полиномиального типа - В Труды 5-ой Международной конференции "Распознавание образов и анализ изображений новые информационные технологии" Самара 2000 Т 1, С 175-178

16 3 М Шибзухов, Л 3 Шауцукова Рекурсивный алгоритм синтеза нейросете-вых моделей многомерных образов на базе неархимедовых алгебраических исчислений В Труды 5-ой Международной конференции "Распознавание образов и анализ изображений новые информационные технологии" Самара 2000 Т 1, С 179-182

17 ЗМ Шибзухов Конструктивное обучение булевых сигма-пи нейронных сетей - В Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2001" Москва 2001 Ч 1, С 99-105

18 ЗМ Шибзухов Конструктивные методы синтеза мнеогозначных функций и нейронных сетей полиномиального типа - В Отчет о НИР по теме Математическое моделирование и информатизация смешанных систем, проектирование и интеллектуализация информационно управляющих систем Книга 1 Конструктивные рекуррентные и рекурсивные алгоритмы синтеза систем полиномиального типа Управляемость, робастность и инвариантность Раздел 2 Гос регистр темы 01 9 50 004495 Инв №02 200 104694 Код ВНТИЦ 010242 3910379 2000 г

19 ЗМ Шибзухов Конструктивный Tiling алгоритм для обучения многослойных нейронных сетей из сигма-пи нейронов // Доклады Адыгской международной академии наук Нальчик 2001 Т 5, №2, С 56-61

20 ЗМ Шибзухов Конструктивный Tower алгоритм для обучения нейронных сетей из сигма-пи нейронов - В Труды VII международной конференции "Информационные сети, системы и технологии" Минск БГЭУ 2001 Ч 2, С 105-109

21 ЗМ Шибзухов, Л 3 Шауцукова Конструктивное обучение сигма-пи нейронных сетей распознавания и классификации - В Доклады X Всероссийской конференции ММРО-Ю Москва ВЦ РАН 2001 С 155-156

22 ЗМ Шибзухов Рекуррентные алгоритмы конструктивного обучения ЯП-нейронов В Сб научных трудов конференции, посвященной 90-летию со дня рождения А А Ляпунова Новосибирск 2001

23 А В Тимофеев, А А Богданов, ЗМ Шибзухов Нейросетевое представление неизвестных знаний и закономерностей - В В Дюк, А Самойленко Data Mining Учебный курс 2001 СПб Питер С 132-165

24 ZM Shibzoukhov Constructive Training of Boolean-Valued Neural Networks of Recognition and Classification of the Polynomial Type // Pattern Recognition and Image Analysis 2001 V 11, №1, PP 95-96

25. Z M Shibzoukhov, L Z Shautsukova A Recursive Algorithm of the Synthesis of Neural Network Model of Multidimensional Patterns on the Basis of Non-Achimedian Algebraic Calculi // Pattern Recognition and Image Analysis 2001 V 11, № 1, PP 97-99

26. 3 M Шибзухов Рекурсивное конструктивное обучение нейросетевых полиномиальных систем распознавания // Доклады РАН 2002 Т 381 №6, С 174-176

27 ЗМ Шибзухов Рекуррентные методы для конструктивного обучения нейронных сетей из логико-арифметических сигма-пи нейронов // Нейрокомпьютеры разработка и применение Москва ИЖПР 2002 № 5-6, С 50-57

28 3 М Шибзухов, А В Тимофеев Рекурсивный синтез и оптимизация диофанто-вых нейронных сетей // Нейрокомпьютеры разработка и применение Москва ИЖПР 2002 №5-6, С 40-43

29. А М Шеожев, 3 М Шибзухов, А В Тимофеев Синтез нейросетевых архитектур по многозначному дереву решений // Нейрокомпьютеры разработка и применение 2002 №5-6, С 44-49

30. ZM Shibzoukhov Constructive Methods for Supervised Learning with Complexity Minimization of Artificial Neural Networks of Algebraic Sigma-Pi Neurons - In Book of abstracts VIII International Workshop on Advanced Computing and Analysis Techniques m Physics Research (ACAT-2002) Moscow 2002 PP 76

31 ZM Shibzoukhov Recurrent Method for Constructive Learning of Algebraic Sigma-Pi Neurons - In Proceedings of International IASTED Conference "Automation, Control and Information Technology, ACIT-2002" Acta Press 2002 PP 201-205

32 3 M Шибзухов, A 3 Шауцукова Об одном рекуррентном методе обучения коллективов логико-арифметических сигма-пи нейронов для реализации логических процедур взвешенного голосования - В Труды 6-й Международной конференции "Распознавание образов и анализ изображений Новые информационные технологии" (РОАИ-6-2СЮ2) Великий Новгород 2002 Т 2, С 619-622

33 3 М Шибзухов Конструктивное обучение многослойных нейронных сетей из логико-арифметических сигма-пи нейронов - В сб Сборник научных трудов Всероссийской научно-технической конференции "Нейроинформатика-2002" Москва МИФИ 2002 Ч 1

34. 3 М Шибзухов Рекуррентный метод конструктивного обучения алгебраических ЕП-нейронов и ЕП-нейромодулей // Доклады РАН 2003 Т 388, №2, С 174-176

35 3 М Шибзухов Рекуррентный метод конструктивного обучения некоторых сетей алгебраических ЕП-нейронов и ЕП-нейромодулей // Журнал вычислительной математики и математической физики 2003 Т 43, №8, С 1298-1310

36 ZM Shibzoukhov Constructive Supervised Learning of Simple Recurrent ЕП-networks - In Workshop poceedmgs of б-th German-Russian Workshop "Pattern Recognition and Image Understanding" (OGRW-6-2003) 2003 Novosibirsk PP 58-61

37 ЗМ Шибзухов Конструктивный метод обучения с учителем рекуррентного ЕП-нейрона - В сб Доклады XI Всероссийской конференции "Математические методы распознавания образов" (ММРО-11) 2003 С 216-219

38 3 М Шибзухов Конструктивный метод обучения рекуррентного сигма-пи нейрона и рекуррентного сигма-пи нейромодуля - В сб Сборник научных трудов Ш Всероссийской научно-технической конференции "Нейроинформатика-2004" Москва 2004 Ч 1

39 ЗМ Шибзухов Конструктивные методы обучения ЕП-нейронных сетей -Нальчик Изд-во КБНЦ РАН 2004г - 123с

40 ZM Shibzoukhav Sequential S<i-extensions of Sets of Incorrect Recognition Algorithms - In Conference Proceedings of VII International Conference on Pattern Recognition and Image Analysis 2004 Vol 1 PP 116-119

41 L Z Shautzukova, AMSheozhev, Z M Shibzovkhov On Constructive Method of Synthesis of Majoritaly Correct Algorithm Families - In Conference Proceedings of VII International Conference on Pattern Recognition and Image Analysis 2004 Vol 1 PP 113-115

42 3 M Шибзухов Корректные ЕП-расширения одного допустимого класса алгоритмов // Доклады РАН 2004 Т 394, №4, С 462-464

43. 3 М Шибзухов О последовательностях ЕФ-расширений множеств некорректных распознающих алгоритмов // Доклады РАН 2005 Т 402, №5, С 609-612

44. А В Тимофеев, А М Шеожев, 3 М Шибзухов Мультиагентные диофантовые нейронные сети в задачах распознавания и диагностики // Нейрокомпьютеры разработка и применение Москва ИЖПР 2005 № 10-11", С 69-74

45. 3 М Шибзухов Последовательности расширений конечных множеств некорректных распознающих алгоритмов // Труды 12-ой Всероссийской конференции "Математические методы распознавания образов ММРО-12" 2005

46 ЗМ Шибзухов Конструктивные методы обучения ЕП-нейронных сетей -МАИК "Наука" 2006г - 159с

Отпечатано в ООО «Компания Спутник+» ПД № 1-00007 от 25 09 2000 г Подписано в печать 16 08 07 Тираж 100 экз Уел п л 2,25 Печать авторефератов (495) 730-47-74,778-45-60

ВВЕДЕНИЕ

1. Краткое введение и исторический обзор 6 Обучение Е-нейрона 6 Многослойные искусственные нейронные сети из искусственных Е-нейронов. 9 Конструктивные методы обучения сетей из Е-нейронов 11 ЕП-нейроны 13 Алгебраические ЕП-нейроны 15 Функционально-алгебраические ЕП-нейроны 17 Алгебраические ЕП-нейромодули 19 ЕФ-нейроны и ЕФ-нейромодули 20 Рекуррентные ЕП-нейроны и ЕП-нейромодули 22 Каскадные сети из алгебраических ЕП-нейронов. 22 Многослойные сети из алгебраических ЕП-нейронов. 23 Корректные алгебраические 2Ш-расширения. 23 Последовательные 17Ф-расширения.

2. Конструктивный метод обучения искусственных нейронных сетей

3. Архитектуры конструктивных нейронных сетей 26 Конструктивный нейрон 26 Конструктивный рекуррентный нейрон 27 Параллельный слой независимо функционирующих нейронов 27 Конструктивный нейромодуль 28 Конструктивный нейромодуль с обратными связями 29 Каскадная цепочка нейронов 30 Каскадная цепочка нейромодулей ч 31 Многослойная нейронная сеть

4. Краткий обзор содержания и основных результатов диссертационной работы 32 Основные результаты диссертации выносимые на защиту

Глава 1. ПРОСТЫЕ ЕФ/Ш-СЕТ1Л

1. Алгебраический ЕФ-нейрон

1.1. Алгебраический Е-нейрон

1.2. Алгебраический ЕФ-нейрон

1.3. Треугольно упорядоченные последовательности функций

1.4. Постановка задачи обучения с учителем ЕФ-нейрона

1.5. Рекуррентные последовательности ЕФ-форм и ЕФ-нейронов

1.6. Некоторые семейства условно конструктивных классов допустимых функций.

1.7. Методы построения существенных мультииндексов

4 2. Алгебраические ЕП-нейроны

2.1. Алгебраический ЕП-нейрон

2.2. Структура ЕП-нейрона

3. Обобщенный ЕП-нейрон

3.1. Упорядоченные по нулям последовательности разреженных векторов

3.2. Треугольно-упорядоченные последовательности произведений

3.3. Метод построения существенных мультииндексов

3.4. Рекуррентный метод конструктивного обучения с учителем ЕП-нейрона

4. Алгебраический ЕП^-нейрон

4.1. ^—упорядоченные последовательности векторов.

4.2. Методы построения существенных мультииндексов

4.3. Треугольно упорядоченные последовательности произведений параметризованных скалярных функций.

4.4. Рекуррентный метод обучения с учителем ЕП^-нейрона

5. Алгебраический сплайновый ЕП-нейрон

5.1. ^-упорядоченные последовательности векторов

5.2. Треугольно ^-упорядоченные пары последовательностей

5.3. Треугольно упорядоченные последовательности функций

5.4. Рекуррентный метод обучения алгебраического ЕП^-нейрона

6. Метод обучения обобщенных функций полиномиального типа

7. Алгебраческие ЕП-нейромодули

7.1. Алгебраический ЕФ-нейромодуль.

7.2. Рекуррентный метод обучения с учителем ЕФ-нейромодулей

7.3. ЕП-нейромодули

7.4. Рекуррентный метод обучения с учителем ЕП-нейромодулей

Глава 2. ПРОСТЫЕ РЕКУРРЕНТНЫЕ ЕФ/ЕП-СЕТИ

1. Рекуррентный ЕП-нейрон

2. Обучение с учителем рекуррентного алгебраического ЕП-нейрона

3. Рекуррентный сплайновый ЕП-нейрон 107 3.1. Обучение с учителем рекуррентного сплайнового ЕП-нейрона

4. Рекуррентный ЕФ-нейрон 110 4.1. Обучение с учителем рекуррентного ЕФ-нейрона

5. Рекуррентный ЕП-нейромодуль 112 5.1. Обучение с учителем рекуррентного ЕП-нейромодуля

6. Рекуррентный ЕФ-нейромодуль 115 6.1. Обучение с учителем рекуррентного ЕФ-нейромодуля

Глава 3. КАСКАДНЫЕ ЕФ/ЕП-СЕТИ

1. Каскадная цепочка ЕФ-нейронов 120 4) 1.1. Конструктивный метод обучения с учителем каскадной цепочки ЕФнейронов

2. Каскадная цепочка ЕП-нейронов 3. Каскадная цепочки ЕП-нейронов с фиксированной глубиной связей

3.1. Рекуррентный метод конструктивного обучения с учителем

4. Последовательные цепочки ЕП-нейромодулей

Глава 4. МНОГОСЛОЙНЫЕ 17Я-СЕТИ

1. Конструктивный метод обучения многослойных сетей из ЕП-нейронов

1.1. Слой из ЕП-нейронов с логическими входами и логическим выходом

Глава 5. КОРРЕКТНЫЕ ГЯ-РАСШИРЕНИЯ ОДНОГО ДОПУСТИМОГО

КЛАССА АЛГОРИТМОВ

1. ЕП-расширения 137 Выводы.

2. Последовательности ЕФ-расширений множеств некорректных распознающих алгоритмов 141 Выводы.

Выводы

Искусственные нейронные сети (НС) являются основой обработки информации в нейроинформатике. По своей структуре и функционированию они являются искусственными аналогами биологических нейронных систем человека и животных. НС представляют парадигму обработки информации, базирующуюся на некоторой упрощенной математической модели биологических нейронных систем.

Попытки реализации нейронных сетей для вычислений, имитирующих интеллектуальные процессы в человеческом мозге такие, как распознавание образов, принятие решений, управление движением, обработка изображений и многие другие стали возможны с появлением первых компьютеров. Можно сказать, что они, в определенном смысле, стимулировали их появление. В то же время, НС представляют новый подход в методологии вычислений, отличающийся от вычислений в цифровых компьютерах.

Цифровые компьютеры функционируют под управлением программы — точно заданной последовательности действий, запоминают информацию в специально организованной памяти. Весь процесс вычислений организуется сложными процессорными устройствами. НС организуют свою работу путем распределения процесса обработки информации между относительно простыми локальными процессорными элементами, связанными между собой посредством связей. Запоминаемая информация распределяется по сети в виде весовых параметров связей, а развитие "способностей" НС осуществляется не путем программирования, как в цифровых компьютерах, а путем обучения по примерам.

Первоначально НС развивались для имитации таких видов человеческой деятельности по обработки информации, как речь, зрение и обработка знаний. Однако, они оказались также эффективными в задачах классификации и приближения функций. Они показали высокий потенциал при решении таких сложных задач, как управление и идентификация систем, сжатие данных, распознавание образов, прогнозирование и оптимизация.

Искусственная НС представляют собой сеть элементарных процессорных элементов (или искусственных нейронов), связанных между собой по входам и выходам при помощи настраиваемых связей. Каждый искусственный нейрон вычисляет некоторую элементарную функцию от своих входов. Информационные каналы, которыми связаны между собой искусственные нейроны, передают вычисленные значения от одних нейронов к другим. Искусственный нейрон может иметь много входов, но только один выход, который, однако, в результате разветвлений может передаваться по информационным каналам другим искусственным нейронам. Обычно каждая связь между нейронами характеризуется скалярной величиной, которую обычно называют весом. Она показывает в какой степени может измениться (увеличиться или уменьшиться) сигнал перед его поступлением на вход нейрона. Поэтому обычно искусственные нейронные сети представляют при помощи размеченных направленных графов. Узлы графа соответствуют нейронам, а ребра соответствуют связям между нейронами. Каждый нейрон обрабатывает поступившую к нему на вход информацию локально и независимо от других нейронов. Такая модель вычислений содержит в себе потенциальные возможности для массивного параллелизма и устойчивости по отношению к отказам отдельных ее элементов в процессе обработки информации.

Искусственные нейронные сети успешно обучаются для решения таких задач, как распознавание образов, запоминание и ассоциативный поиск, аппроксимация функций, оптимизация и др. Обычно обучение искусственной нейронной сети сводится к настройке весов связей между нейронами. Алгоритм обучения нейронной сети, как правило, представляет собой систематическую процедуру установки и изменения весов связей обучаемой нейронной сети. Способность искусственных нейронных сетей к обучению кардинально отличает их от традиционных компьютеров как однопроцессорных, так и много процессорных. Составной частью типичного сценария обучения является обучающее множество входных образов сети. Каждый такой образ является описанием некоторого объекта и представляет собой вектор значений скалярных признаков. В процессе обучения веса связей нейронов изменяются на основе значений, полученных на выходе нейронной сети, а также на основе возможного отклика окружения искусственной нейронной сети в ответ на значения, вычисленные ею.

Существуют различные точки зрения на технологию НС. Часто их называют коннекционистскими системами, акцентируя внимание на связях между процессорными элементами. Часто адаптивными системами, в следствии способности к адаптации в зависимости от целей. Часто они называются параллельными распределенными системами, отражая особенности способа организации и обработки информации между процессорными элементами. В целом же они обладают всеми перечисленными свойствами.

Теория нейронных сетей развивается в рамках различных дисциплин: первоначально - неврологии, а затем - математического моделирования, информатики и машиностроения, а также физики, психологии и лингвистики. Все эти теории в конечном итоги направлены на создание искусственных интеллектуальных систем. Отметим, что хотя большинство понятий и идей, связанных с НС, заимствованы из биологических источников, НС не являются адекватными моделями мозга человека. Модели НС, как системы обработки информации, лишь отражают их основные свойства (наши упрощенные представления о структуре и функционировании мозга человека и животных) % и обладают некоторыми способностями по обработке информации, присущими природным нейронным системам.

Выводы

В диссертационной работе разработаны новые теоретически обоснованные конструктивные методы и адаптивные алгоритмы обучения и оптимизации сложности большого класса алгебраических сигма-пи НС для параллельной и последовательно-параллельной обработки информации, который включает в себя класс алгебраических ЕП-нейронов (в том числе с обратными связями) и его обобщение — класс алгебраических ЕФ-нейронов; класс алгебраических ЕП-нейромодулей (в том числе с обратными связями) с параллельным и конкурирующим функционированием и его обобщение — класс алгебраических ЕФ-нейромодулей; класс последовательно-параллельных ИНС с каскадной архитектурой из ЕП-нейронов или ЕП-нейромодулей и его обобщение — класс последовательно-параллельных НС с каскадной архитектурой из ЕФ-нейронов или ЕФ-нейромодулей; класс многослойных параллельных ИНС из ЕП-нейронов и ЕП-нейромодулей и его обобщение — класс класс многослойных параллельных ИНС из ЕФ-нейронов и ЕФ-нейромодулей. Исследованы и теоретически обоснованы конструктивные методы построения корректных расширений некоторых классов некорректных (эвристических) распознающих алгоритмов при помощи алгебраических ЕФ/ЕП-операторов в контексте алгебраического подхода к задачам распознавания и прогнозирования на основе применения конструктивных методов обучения ИНС.

1. Т. Ash. Dynamic node creation in back-propagation network. 1.S Report 8901, Institute for Cognitive Science, University of Califirnia, San Diego, La Jolla, CA 92093, USA, 1989.

2. A.E. Bryson and Y.C. Ho. Applied Optimal Control. Blaisdell, New York, 1969.

3. N. Burgess. A constructive algorithm that converges for real-valued input patterns, international Journal of Neural Systems, V.5, №1, PP.59-66, 1994.

4. G. Cybenko. Approximation by superpositions of sigmoidal functions. Mathematics of Control, Signals and Systems, №2, PP.303-314, 1989.

5. S. Dreyfus. The numerical solution of variational problems. Journal of Mathematical Analysis and Applications, 51(l):30-45, 1962.

6. R.O. Duda, P.E. Hart. Pattern Classification and Scene Analysis. Willey, New-York, 1973.

7. R. Durbin, D.E. Rumelhart. Product units: A computationally powerfull and biologically plausible extension to backpropagation networks. Complex Systems, V.f, №133, 1989.

8. S.E. Fahlman. An empirical study of learning speed in back-propagation networks. Technical report CMU-CS-88-162, Carnegie-Mellon University, 1988.

9. К 9. S.E. Fahlman, C. Liberiere. The cascade-correlation learning architecture. Technical Report CMU

10. CS-90-100, School of Computer Science, Carnegie Mellon University, Pittsburg, PA 15213, USA, 1990.

11. S.E. Fahlman and C. Liberiere. The cascade-correlation learning architecture. In D. Touretsky, editor, Advances in NIPS2, PP.524-532. Morgan Kaufmann, 1990.

12. J.A. Feldman, D.H. Ballard. Connectionist models and their properties. Cognitive Science, №6, PP.205-254, 1982.

13. M. Frean. Small Nets and Short Path: Optimizing Neural Computation. PhD dissertation. PhD thesis, Center for Cognitive Science. Edinburgh University, Edinburgh. Scotland, 1990.

14. M. Frean. The upstart algorithm: A method for constructing and training feed-forward neural networks. Neural Networks, №.2, PP.198-209, 1990.

15. M. Frean. A thermal perceptron learning rule. Neural computation, №4, PP.946-957, 1992.

16. K. Funahashi. On approximate realization of continous mapping by neural networks. Neural Networks, V.2, PP.183-192, 1989.

17. S. Gallant. Perceptron based learning algorithms. IEEE Transactions on Neural Networks, V.2, №1, PP. 179—191, 1990.

18. S. Gallant. Neural Network Learning Algorithms. MA. MIT Press, Cambridge, 1993.

19. M. Garey, D. Johnson. Computers and Intractability. W.H. Freeman, New York, 1979.

20. C.L. Giles, T. Maxwell. Learning, invariance and generalization in high-order neural networks. Applied Optics, V.26, №23, PP.4972-4978, 1987.20. , M.N. Stone. The Generalized Weierstrass Approximation Theorem 11 Math. Mag., 1948, Vol.21, PP. 167-183.

21. X. Шефер. Топологические векторные пространства. В: М.: Мир. 1971 - 360с.

22. S.E. Gilev, A.N. Gorban. On completness of the class of functions computable by neural networks.

23. Proceedings of the World Congress on Neural Networks (WCNN'96), PP.984-991, 1996.

24. K.N. Gurney. Training nets of hardware relaizable sigma-pi units. Neural Networks, №¡5, PP.289303, 1992.

25. T. Hrycej. Modular Leaning Neural Networks. Wiley, New-York, 1992.1 25. H. White K. Hornik, M. Stinchcombe. Multilayer feedforward networks are universal approximators.

26. Neural Networks, №2, PP.359 366, 1989.

27. N. Kailath K-Y. Siu, V. Roychowdhury. Descrete Neural Computation a Theoretical Foundation.

28. Prentice-Hall. Englewood Cliffs. NJ., 1995.

29. D.A. Kochenov, D.A. Rossiev. Approximations of functions of ca,b] class by neural net predictors (architectures and results). AMSE Transactions, Scientific Siberian A., Neurocomputing, №6, PP. 189-203, 1993.

30. Ц 28. M. Marchand, M. Golea, P. Rujan. A convergence theorem for sequential learning in two-layerperceptron. Europhysics Letters, V.I 1, №¿6, PP.487-492, 1990.

31. B.W. Mel. The sigma-pi column: A model of associative learning in cerebral neocortex. California institute of technology, ens memo no. 6. Technical report, Pasadena, California 91125, 1990.

32. M. Mezard, J. Nadal. Learning feed-forward networks: The tiling algorithm. J. Phys. A: Math. Gen., №22, PP.2191-2203, 1989.

33. J. Minsky, S. Papert. Perceptions: An Introduction to Computational Geometry. MA. MIT Press, Cambridge, 1969.

34. N,J. Nilsson. The Mathematical Foundations of Learning Mashines. McGraw-Hill, New-York, 1965.

35. R. Parekh, J. Yang, V. Honovar. Constructive neural network learning algorithms for multi-category classification. Technical Report ISU-CS-TR95-15a, Iowa State University, Ames. LA, 1995.

36. R. Parekh, J. Yang, V. Honovar. Constructive neural network learning algorithm for multi-category real-valued pattern classification. Technical Report ISU-CS-TR97-06, Ames. IA, 1997.

37. R. Parekh, J. Yang, V. Honovar. Mupstart a constructive neural network learning algorithm for multi-category pattern classification. In Proceedings of the IEEE/INNS International Conference on Neural Networks. ICNN'97, PP. 1960-1965, 1997.

38. D.B. Parker. Learning Logic. MIT Press, Cambridge. MA, 1985.

39. H. Poulard. Barycentric correction procedure: A fast method of learning threshold units. In Proceedings of WCNN'95, V. 1, PP. 710-713, Washington D.C., 1995.

40. M. Riedmiller, H. Broun. A direct adaptive method for faster backpropagation learning: The rprop algorithm. In H. Ruspini, editor, Proceedings of the IEEE International Conference on Neural Networks (ICNN), PP. 586-591, 1992.

41. F. Rosenblatt. The perceptron: A probabalistic model for information storage and organization in the brain. Psychological Review, (65):386-408, 1958.

42. D.E. Rumelhart, G. Hinton, and R. Williams. Learning internal representation by error propagation. In D.E. Rumelhart and J.L. McClelland, editors, Parallel Distributed Processing, V. 1 Foundations, PP. 318-362. MIT Press, Cambridge, MA, 1986.

43. Z.M. Shibzoukhov. Constructive training of boolean-valued neural networks of recognition and classification of the polynomial type. Pattern Recognition and Image Analysis. 2001. V.ll, №1, PP.95-96.

44. Z.M.Shibzoukhov, L.Z.Shautsukova. A Recursive Algorithm of the Synthesis of Neural Network Model of Multidimensional Patterns on the Basis of Non-Achimedian Algebraic Calculi // Pattern Recognition and Image Analysis. 2001. V.ll, 1, PP.97-99.

45. Z.M.Shibzoukhov. Recurrent Method for Constructive Learning of Algebraic Sigma-Pi Neurons. -In: Proceedings of International IASTED Conference "Automation, Control and Information Technology, ACIT-2002". Acta Press. 2002. PP.201-205.

46. Z.M.Shibzoukhov. Constructive Supervised Learning of Simple Recurrent Ell-networks In: Workshop poceedings of 6-th German-Russian Workshop "Pattern Recognition and Image Understanding"(OGRW-6-2003). 2003. Novosibirsk. PP.58-61.

47. Z.M.Shibzoukhov. Sequential Ei>-extensions of Sets of Incorrect Recognition Algorithms. In Conference Proceedings of VII International Conference on Pattern Recognition and Image Analysis. 2004. Vol.1. PP.116-119.

48. L.Z.Shautzukova, A.M.Sheozhev, Z.M.Shibzoukhov. On Constructive Method of Synthesis of Ma-joritaly Correct Algorithm Families In Conference Proceedings of VII Internatio nal Conference on Pattern Recognition and Image Analysis. 2004. Vol.1. PP.113-115.

49. N. Simon. Constructive Supervised Learning Algorithms for Artificial Neural Networks. Master thesis. PhD thesis, Delft University of Technology, 1993.

50. A.V. Timofeev. Learning and complexity minimization methods of diophantine and spline neural networks for control. In Proceedings of II Russian-Sweden Control Conference, PP. 47-52, S.Petersburg: SPSU, 1995.

51. T. Tollenaere. Supersaab: Fast adaptive backpropagation. In R. Eckmiller, editor, Advanced Neural Computers, PP. 151-158. North-Holland, Amsterdam, 1990.

52. D.J. Volper, S.E. Hampson. Learning and using specific instances. Biological Cybernetics, №57, PP.57-71, 1987.

53. D.J. Volper, S.E. Hampson. Quadratic function nodes: Use, structure and training. Neural Networks, №3, PP.93-107, 1990.

54. W. Pits W. McCulloch. Logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophisics, №7, PP.115-133, 1943.

55. P.J. Werbos. Beyond Regression: New Tools for Prediction and Analysis in Behavioral Sciences. PhD dissertation. PhD thesis, Center for Cognitive Science. Edinburgh University, Harvard University, 1974.

56. J. Yang and V. Honovar. Experiments with cascade-correlaition algorithm. Microcomputer applications, 1998.

57. J. Yang, R. Parekh, V. Honovar. Mtiling a constructive neural network learning algorithm for multi-category pattern classification. In Proceedings of the World Congress on Neural Networks'96, PP. 182-187, San Diego. CA, 1996.

58. Г.С. Авсаркисян. Рекуррентные полиномиальные формы частичных булевых функций. Известия АН СССР. Техническая кибернетика, №4, С.131-135, 1987.

59. A.В.Тимофеев. Об одном классе полиномиальных решающих функций в задачах распознавания и диагностики. В: Методы вычислений, Т. 7, С. 106-121. J1.: Изд-во ЛГУ, 1971.

60. С.И. Барцев, В.А. Охонин. Адаптивные сети обработки информации. Препринт, ИФ СО АН СССР, Красноярск, 1986. 20 с.

61. B.Л. Рвачев, А.Н. Шевченко, Т.И. Шейко. Исчисления с наибольшим числом. Кибернетика и системный анализ, №3, С.71-86, 1995.

62. В.Д. Малюгин Реализация булевых функций арифметическими полиномами. // Автоматика и телемеханика. 1979. №2, С. 114-122.

63. М.Г. Карповский, Э.С. Москалев. Спектральные методы анализа и синтеза дискретных устройст. В.: Л.: Энергия. 1973.

64. В.Д. Лабунец, О.П. Ситников. Использование быстрого преобразования Фурье-Галуа для полиномиального представления функций многозначной логики". // Изв. АН СССР. Техн. кибернетика". 1978, №5, С. 202-205.

65. В.П. Шмерко. Синтез арифметических форм булевых функций посредством преобразования Фурье. // Автоматики и телемеханика. 1989. №5, С. 134-142.

66. J. Strazdins. The Polynomial Algebra of Multivalued Logic. In: Algebra, combinatorics and logic in computer scuence. 1983. PP.777-785.

67. А.В. Тимофеев, А.В. Пшибихов. Алгоритмы обучения и минимизации сложности полиномиальных распознающих систем. Изв. АН СССР. Техн. кибернетика, №5, С.214-217, 1974.

68. А.В. Каляев, А.В. Тимофеев. Методы обучения и минимизации сложности когнитивных нейромодулей супер-макро-нейрокомпьютера с программируемой архитектурой. // Доклады РАН. 1994. Т. 337, №2, С. 180-183.

69. Ю.И. Журавлев. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. I. Кибернетика, №4, С. 14-21, 1977.

70. Ю.И. Журавлев. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. II. Кибернетика, №6, С.21-27, 1977.

71. Ю.И. Журавлев. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. III. Кибернетика, №2, С.35-43, 1978.

72. Ю.И. Журавлев. Об алгебраическом подходе к решению задач распознавания и классификации. В: Проблемы кибернетики, Т. 33, С. 5-68. М.: Наука, 1978.

73. А.В.Тимофеев, З.М.Шибзухов. Методы синтеза и оптимизации диофантовых нейронных сетей // Доклады Адыгской академии наук. Нальчик. 1996. Т.2, №1, С.56-60.

74. А.В.Тимофеев, З.М.Шибзухов. Методы синтеза и минимизации сложности диофантовых нейронных сетей над конечным полем // М.: Автоматика и телемеханика. 1997. №4, С.204-212.

75. А.В.Тимофеев, З.М.Шибзухов. Адаптивные рекурсивные алгоритмы синтеза и оптимизации многозначных порогово-полиномиальных моделей нейронных сетей // Доклады Адыгской академии наук. Нальчик. 1997. Т.2, №2, С.42-46.

76. З.М.Шибзухов. Рекуррентная схема построения пороговых функций. В сб.: Сборник научных трудов Всероссийского симпозиума "Математическое моделирование и компьютерные технологии". Кисловодск. 1997. 4.2, Т.2, С.72-73.

77. З.М. Шибзухов. Рекуррентная схема построения кортежей многозначных функций и обучения нейронных сетей. Доклады Адыгской академии наук, Т.З, №2, С.45-51, 1998.

78. З.М. Шибзухов. Нейропроцессорные элементы полиномиального типа искусственных нейронных сетей. Доклады Адыгской академии наук, Т.4, №1, С.64-68, 1999.

79. З.М.Шибзухов. Нейропроцессорные элементы полиномиального типа и многослойные нейронные сети. В.: Сборник научных трудов Всероссийской научно-технической конференции "Нейроинформатика-99". Москва. МИФИ. 1999. 4.2, С.122-127.

80. А.В.Тимофеев, З.М.Шибзухов. Обучение многозначных нейронных сетей распознавания образов. В.: Доклады IX Всероссийской конференции "Математические методы распознавания образов". Москва. 1999. С.111-113.

81. А.В.Тимофеев, А.М.Шеожев, З.М.Шибзухов. Применение диофантовых нейронных сетей для генетического анализа и диагностики. В.: Труды 1-го Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99). С.-Петербург. 1999. С.169-171.

82. А.В.Тимофеев, З.М.Шибзухов. Обучение многозначных нейронных сетей распознавания и управления. В.: Труды 1-го Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99). С.-Петербург. 1999. С.172-174.

83. З.М.Шибзухов. Конструктивные рекуррентные алгоритмы синтеза сигма-пи нейронных сетей. // Искусственный интеллект. 2000. 2, С. 258-263 (Международная конференция "Интеллектуализация обработки информации". Украина. Крым. 2000).

84. З.М. Шибзухов. Конструктивные рекуррентные алгоритмы синтеза сигма-пи нейронных сетей. Доклады Адыгской академии наук, №5, С.62-67, 2000.

85. З.М. Шибзухов. Конструктивное обучение булевых сигма-пи нейронных сетей. В: Сборника научных трудов III Всероссийской научно-технической конференции Нейроинформатика-2001, С. 99-105, Москва, 2001.

86. З.М. Шибзухов. Рекуррентные алгоритмы конструктивного обучения ЕП-нейронов. В: Сб. научных трудов конференции, посвященной 90-летию со дня рождения А.А. Ляпунова, Новосибирск, 2001.

87. З.М.Шибзухов. Конструктивный Tiling алгоритм для обучения многослойных нейронных сетей из сигма-пи нейронов// Доклады Адыгской международной академии наук. Нальчик. 2001. Т.5, 2, С.56-61.

88. З.М.Шибзухов. Конструктивный Tower алгоритм для обучения нейронных сетей из сигма-пи нейронов. В.: Труды VII международной конференции "Информационные сети, системы и технологии". Минск: БГЭУ. 2001. 4.2, С.105-109.

89. З.М.Шибзухов, Л.З.Шауцукова. Конструктивное обучение сигма-пи нейронных сетей распознавания и классификации. В.: Доклады X Всероссийской конференции ММРО-Ю. Москва: ВЦ РАН. 2001. С.155-156.

90. А.В.Тимофеев, A.A. Богданов, З.М. Шибзухов. Нейросетевое представление неизвестных знаний и закономерностей. В.: В. Дюк, А.Самойленко. Data Mining. Учебный курс. 2001. СПб: Питер. С.132-165.

91. З.М. Шибзухов. Рекуррентные методы для конструктивного обучения нейронных сетей из логико-арифметических сигма-пи нейронов. Нейрокомпьютеры: разработка и применение. 2002. №5-6, С.50-57.

92. З.М.Шибзухов, А.В.Тимофеев. Рекурсивный синтез и оптимизация диофантовых нейронных сетей // Нейрокомпьютеры: разработка и применение. Москва: ИЖПР. 2002. №5-6С.40-43.

93. З.М. Шибзухов. Рекурсивное конструктивное обучение нейросетевых полиномиальных систем распознавания. Доклады РАН, Т.381, №6, С.174-176, 2002.

94. З.М.Шибзухов. Конструктивное обучение многослойных нейронных сетей из логико-арифметических сигма-пи нейронов. В сб.: Сборник научных трудов Всероссийской научно-технической конференции "Нейроинформатика-2002". Москва. МИФИ. 2002. 4.1.

95. З.М. Шибзухов. Рекуррентный метод конструктивного обучения алгебраических ЕП-нейронов и ЕП-нейромодулей. Доклады РАН, Т.388, №2, С.174-176, 2003.

96. З.М. Шибзухов. Рекуррентный метод конструктивного обучения некоторых сетей алгебраических ЕП-нейронов и ЕП-нейромодулей. Журнал вычислительной математики и математической физики, Т.43, №8, С.1298-1310, 2003.

97. З.М.Шибзухов. Конструктивный метод обучения с учителем рекуррентного ЕП-нейрона. В сб.: Доклады XI Всероссийской конференции "Математические методы распознавания образов"(ММРО-11). 2003. С.216-219.

98. З.М.Шибзухов. Конструктивный метод обучения рекуррентного сигма-пи нейрона и рекуррентного сигма-пи нейромодуля. В сб.: Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2004". Москва. 2004. 4.1.

99. З.М.Шибзухов. Конструктивные методы обучения ЕП-нейронных сетей. Нальчик: Изд-во КБНЦ РАН. 2004г. - 123с.

100. З.М.Шибзухов. Корректные ЕП-расширения одного допустимого класса алгоритмов // Доклады РАН. 2004. Т.394, №4, С.462-464.

101. З.М.Шибзухов. О последовательностях ЕФ-расширений множеств некорректных распознающих алгоритмов // Доклады РАН. 2005. Т.402, №5, С.609-612.

102. А.В.Тимофеев, А.М.Шеожев, З.М.Шибзухов. Мультиагентные диофантовые нейронные сети в задачах распознавания и диагностики. // Нейрокомпьютеры: разработка и применение. Москва: ИЖПР. 2005. №10-11, С.69-74.

103. З.М.Шибзухов. Последовательности расширений конечных множеств некорректных распознающих алгоритмов // Труды 12-ой Всероссийской конференции "Математические методы распознавания образов ММРО-12". 2005.

104. З.М.Шибзухов. Конструктивные методы обучения ЕП -нейронных сетей. МАИК "Наука". 2006г. - 159с.