автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы многоуровневого проектирования быстродействующих модульных нейронных сетей прямого распространения на основе иерархических категорных моделей

На правах рукописи

Дорогое Александр Юрьевич

МЕТОДЫ МНОГОУРОВНЕВОГО ПРОЕКТИРОВАНИЯ БЫСТРОДЕЙСТВУЮЩИХ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ ПРЯМОГО РАСПРОСТРАНЕНИЯ НА ОСНОВЕ ИЕРАРХИЧЕСКИХ КАТЕГОРНЫХ МОДЕЛЕЙ

Специальность: 05.13.01 - Системный анализ, управление и обработка

информации (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Санкт-Петербург - 2004

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В.И.Ульянова (Ленина)

Официальные оппоненты: Заслуженный деятель науки РФ, доктор технических наук, профессор Галушкин А. И. Доктор технических наук, с.н.с. Ефимов В. В. Доктор технических наук, профессор Нечаев Ю. И.

Ведущая организация: - НИИ нейрокибернетики им. А.Б. Когана при Ростовском государственном университете.

Защита состоится « ¡7 » 2004 г. в час. на заседании дис-

сертационного совета Д 212.238.07 - Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан « О&_2004 г.

Ученый секретарь диссертационного совета

Яшин А.И.

ЛЧ&Э

ъгъгчЪЧ-

I

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Искусственные нейронные сети являются эффективным средством решения сложных плохо формализуемых задач. К этому классу традиционно относятся задачи классификации, кластеризации, аппроксимации многомерных отображений, прогнозирования временных рядов, нелинейной фильтрации, управления сложными технологическими объектами. В настоящее время методы нейротехнологии активно применяются для обработки аэрокосмических изображений и гидроакустических сигналов, управления интеллектуальными робототехническими системами, распознавания слитной речи, моделирования многомерных динамических объектов в реальном времени, классификации осколков распада при столкновении частиц высоких энергий, моделирования ретины глаза, улитки уха и др. В целом этот класс приложений характеризуются высокой размерностью данных ( до 1000 и более переменных) и критичностью к времени обработки (вплоть до тысячных долей секунды). Наибольшее распространение в технических приложениях получили многослойные нейронные сети прямого распространения, что обусловлено исключительной простотой их алгоритмической реализации, наличием развитых методов обучения, возможностью параллельного выполнения вычислений. Однако в сетях подобного типа вычислительная сложность растет пропорционально квадрату размерности данных, что ведет либо к резкому снижению быстродействия, либо к значительному увеличению аппаратных затрат.

Несмотря на то, что в последние годы теория нейронных сетей получила значительное развитие, до сих пор не достаточно развиты методы системного проектирования и анализа быстродействующих нейронных сетей высокой размерности и родственных к ним быстрых перестраиваемых преобразований. Быстродействие может быть достигнуто прореживанием синаптиче-ских связей, но это приводит к снижению уровня «интеллекта» нейронной сети. Поэтому основной проблемой проектирования больших нейронных сетей является наличие системного противоречия между быстродействием и качеством нейронной сети. «Интеллект» нейронной сети оценивается ее разделяющей мощностью, количественно выражающей способность сети к распознаванию образов. Методы оценки разделяющей мощности сетей со сложной топологией связей в настоящее время не разработаны, что связано с отсутствием математических моделей для адекватного выражения коннекцио-низма сети.

Анализ имеющихся научных источников показал, что одним из наиболее перспективных путей разрешения системного противоречия является использование регулярных модульных нейронных сетей. Модульность ограничивает топологическое разнообразие нейронных сетей, но одновременно дает возможность построить простые модели для анализа и синтеза нейронных сетей. Регулярность позволяет наиболее полно обеспечить выполнение технологических ограничений при технической реализации сети.

С основной проблемой связаны задачи: построения системных моделей нейронных сетей адекватных технической и биологической концепции модульности, количественной оценки коннекционизма и потенциальных возможностей модульных нейронных сетей, оптимального выбора структуры и топологии сетей, эффективного сопряжения больших нейронных сетей с алгоритмами предварительной обработки данных, построения реконфигури-руемых регулярных нейронных сетей.

В области анализа и системного проектирования модульные сети пересекаются с теорией сложных систем управления. Математические модели сложных модульных систем изучались в работах Н.П. Бусленко, В.В. Калашникова, И.М. Коваленко, Р. Калмана, М. Арбиба, П. Фалба, М. Месаро-вича, Т. Такахара, A.A. Вавилова, Б.Ф. Фомина, В.А. Терехова, Д.Х. Имаева и других авторов. Основные трудности использования существующих методов анализа связаны с тем, что ни один из них полностью не покрывает спектра проблемных задач возникающих при проектировании модульной нейронной сети. Комплексированию методов препятствует их неоднородность, отсутствие модельной подцержки процедур обучения модульной системы, ориентация базовых моделей на геометрию векторного пространства, отсутствие унификации в методах анализа.

Специфика нейронных сетей требует модельного описания выражающего двойственность поведения нейронной сети как объекта обучения и как средства обработки данных для различного вида несущих пространств, морфологического типа модулей и уровня модельного представления. Методологический анализ показал, что широкий диапазон требований может быть разрешен использованием стратифицированного семейства моделей, в котором каждая частная модель описывает поведение нейронной сети с точки зрения выбранного уровня абстрагирования (страты). Отношение порядка между уровнями представлений задает иерархию между моделями.

На уровне структуры и топологии методы проектирования регулярных модульных нейронных сетей прямого распространения пересекаются с методами построения быстрых алгоритмов перестраиваемых линейных преобразований. Линейные преобразования традиционно используются как средство предварительной обработки данных в задачах классификации сигналов и распознавания образов. Быстрые спектральные преобразования получили широкое практическое применение, начиная с классических работ Кули -Тыоки и Гуда по алгоритмам быстрого преобразования Фурье (БПФ). Обобщенные перестраиваемые преобразования (которые можно рассматривать как частный случай модульных нейронных сетей) изучались в работах Г.Эндрюса, К. Каспари, Л. Рабинера, Р.Х.Садыхова, А.И.Солодовникова, В.Г.Лабунца. А.М.Спиваковского, А.М.Трахтмана и других авторов. Несмотря на активные исследования в этой области, остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов то-

дологического синтеза и параметрической настройки перестраиваемых преобразований.

В настоящее время отсутствуют практически реализуемые методы, обеспечивающие корректное разрешение противоречия между сложностью и «интеллектом» нейронной сети большого масштаба при известных технологических ограничениях. Теоретическая разработка методов системного проектирования быстродействующих модульных нейронных сетей больших масштабов, обобщение существующих моделей модульных систем, разработка общих методов построения быстрых алгоритмов для эффективной обработки данных высокой размерности является в настоящее время актуальной задачей.

Целью диссертационной работы является: разработка унифицированных моделей и методов системного проектирования модульных быстродействующих нейронных сетей большого масштаба и быстрых перестраиваемых преобразований в нейросетевом базисе. Задачи исследования:

• Предложить концепцию системного проектирования быстродействующих нейронных сетей большого масштаба.

• Разработать комплекс стратифицированных системных моделей для многоуровневого проектирования модульных нейронных сетей.

• Разработать методы структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

• Разработать методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

• Разработать методы структурного проектирования модульных нейронных сетей высокой размерности.

• Разработать методы количественной оценки коннекционизма модульных нейронных сетей прямого распространения.

• Разработать методы построения реконфигурируемых регулярных нейронных сетей.

Методы исследования. Выполненные теоретические и прикладные исследования базируются на методах моделирования и проектирования сложных систем управления, методах нейроинформатики, методах прикладного спектрального анализа, эволюционных алгоритмов, математической теории категорий, теории нечеткой логики, теории распознавания образов, теории оптимизации, методах объектно-ориентированного программирования.

На защиту выносится совокупность научных результатов в области системного моделирования и проектирования быстродействующих модульных нейронных сетей и перестраиваемых преобразований высокой размерности:

1. Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба.

2. Комплекс стратифицированных категорных моделей модульных нейронных сетей.

3. Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

4. Методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

5. Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения произвольной размерности.

6. Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам.

Научная новизна диссертации. В работе предложена, развита и реализована новая концепция и разработаны теоретические основы методов системного проектирования быстродействующих нейронных сетей и перестраиваемых преобразований больших масштабов:

• Концепция многоуровневого системного проектирования быстродействующих нейронных сетей большого масштаба, отличается четырехуровневой иерархией модельного представления сети основанной на модульном обособлении обусловленным инъективностью связей, что позволяет выполнить многоуровневую декомпозицию задачи проектирования по целям и используемым методам.

• Системные модели модульных нейронных сетей удовлетворяют всем требованиям математических категорий, и отличаются трансверсальностью и согласованной многоуровневой стратификацией, образуя взаимосвязанный комплекс, что позволяет реализовать сквозное нисходящее проектирование модульных нейронных сетей произвольной размерности.

» Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований, отличается использованием стратифицированных лингвистических моделей, что позволило определить инварианты, структурного и топологического синтеза быстрых алгоритмов.

• Методы настройки быстрых перестраиваемых преобразований к системе функций основаны на кратно масштабном мультипликативном представлении произвольных дискретных функций и отличаются полным использованием степеней свободы перестраиваемых преобразований.

• Эволюционный метод структурного проектирования ядерных нейронных сетей отличается сохранением генетического подобия слабосвязанной структуры при пошаговом синтезе сети с оптимизацией по критериям пластичности и вычислительной эффективности, что позволяет выполнить структурное проектирование быстродействующих нейронных сетей произвольной размерности с вычислимыми оценками качественных показателей.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам использует в качестве измеримого показателя число распознаваемых образов общего положения и отличается наличием аналитических форм расчета и методики экспериментальной оценки, что позволяет обоснованно выбрать структуру быстродействующей нейронной сети.

Достоверность научных положений и выводов подтверждается: корректностью математических выкладок, строгостью доказательства утверждений, обоснованностью используемых ограничений, корректностью интерпретации в предметной области, результатами моделирования и экспериментальной проверки методов, алгоритмов и программного обеспечения, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.

Практическая значимость. Разработанные методы являются научной базой конструкторского и технологического проектирования регулярных модульных сетей большого масштаба для широкого класса вычислительных платформ:

• Комплекс стратифицированных моделей - основа поэтапного нисходящего проектирования модульной нейронной сети, исходя из требуемых функциональных возможностей, уровня быстродействия, и технологических ограничений.

• Общее решение задачи структурного и топологического синтеза быстрых регулярных нейронных сетей и перестраиваемых преобразований выраженное установленным инвариантом морфологического уровня и группами допустимых преобразований структуры и топологии, определяет полный диапазон проектных решений, удовлетворяющих принятым условиям регулярности.

• Методы настройки быстрых перестраиваемых преобразований к системе функций - теоретическая база для построения алгоритмов быстрых преобразований и многоканальных быстродействующих адаптивных фильтров в нейросетевом базисе.

• Эволюционный метод структурного проектирования ядерных нейронных сетей выделяет класс квазирегулярных проектных решений быстродействующих модульных нейронных сетей прямого распространения, с вычислимыми оценками качественных показателей.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам и разработанная на его основе методика экспериментальной оценки решают задачу вычисления и измерения способности нейронной сети к распознаванию образов и аппроксимации многомерных отображений.

• Созданный пакет программных средств для проектирования и моделирования ядерных нейронных сетей может быть использован как для научных

исследований и обучения, так и для создания коммерческих программных продуктов в области интеллектуальных технологий.

Достоверность и значимость практических результатов подтверждается их использованием: при проектировании подсистемы классификации транспортных колонн в системе охранного мониторинга энергетических объектов, при моделировании подсистемы динамической стабилизации шагающего робота, при проектировании подсистемы контроля динамики судна при движении в ледовой обстановке, при проектировании подсистемы распознавания групп токсических фосфорорганических соединений при групповых отравлениях.

Результаты работы нашли отражение в двух научно-исследовательских программах и восьми научных грантах в период 1997-2003гг. (в шести из них автор был руководителем).

Созданный программный пакет инструментальных средств вместе с сопутствующими методическими материалами используется в учебном процессе в ряде вузов России: в Санкт-Петербургском государственном электротехнический университете (ЛЭТИ), в Академии управления и предпринимательства (институт) - негосударственное образовательное учреждение высшего профессионального образования (г. Екатеринбург), в Дальневосточном государственном техническом университет (ДВГТУ) (г. Владивосток), в Кубанском государственном аграрном университете (г. Краснодар).

Практическое применение результатов диссертационной работы подтверждено соответствующими актами о внедрении основных результатов работы и использовании программных средств.

Апробация. Основные результаты работы докладывались на: Международном симпозиуме «Интеллектуальные системы» (INTEL'S_96); International Conference on Informatic and Control (IC&C97); Всероссийском семинаре «Нейроинформатика и ее приложения» (1997, 1998, 1999, 2000, 2001, 2003гг.); Международной конференции «Информационные средства и технологии» (1997г.); Международной конференции «Современные технологии обучения» (1998, 1999гг.); Международной научно-технической конференции «Нейронные, реляторные сети и модели» (1998г.); Межреспубликанской научной конференции «Управление в социальных, экономических и технических системах» (1998г.); Международной конференции «Мягкие вычисления и измерения» (1998, 2000, 2001, 2002, 2003гг.); Всероссийском семинаре «Моделирование неравновесных систем» (1998, 2001гг.). Всероссийской научно-технической конференции «Нейроинформатика» (1999, 2000, 2001, 2002, 2003, 2004гг.); Всероссийской конференции с международным участием «Нейрокомпьютеры и их применение» (1999, 2000, 2001, 2002гг.); Международной конференции по нейрокибернетике «Проблемы нейроки-бернетики» (1999, 2002гг.); Международной научно-технической конференции «Пятьдесят лет развития кибернетики» (1999г.); First international conference on mechatronics and robotics: M&R'2000, Saint-Petersburg; Eleventh

IFAC International Workshop Control application of optimization CAO'2000, Saint-Petersburg; 4-th International Conference «New Information Technologies» (NITe'2000), Minsk; Seventh International Conference on Advanced Computer Systems (ACS-2000), Poland, Szczecin; 2nd International Conference on Neural Networks and Artificial Intelligence, ICNNAI'2001, Minsk; Seventh International Conference on Information Networks, System and Technologies, ICINASTe-2001, Minsk; Международной научно-технической конференции IEEE AIS'03 CAD-2003; 5-ой международной конференции по морским интеллектуальным технологиям «Моринтех'2003»; Third International Conference on Neural Networks and Artificial Intelligence ICNNAI-2003, Minsk.

Публикации. По результатам диссертационной работы опубликованы одна монография и 93 научные статьи, из них - 27 работ в отечественных и зарубежных журналах и повторяющихся изданиях, остальные в материалах российских и международных конференций.

Структура и объем работы. Диссертационная работа состоит из восьми глав с выводами, заключения, списка литературы, включающего 230 наименований, одного приложения. Основная часть диссертации изложена на 345 страницах машинописного текста. Диссертация содержит 127 рисунков и 7 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цели, задачи и методы исследования, научная новизна, практическая значимость, достоверность и апробация диссертационной работы. Дана характеристика публикаций, структуры и объема работы.

В первой главе показана роль нейротехнологии в развитии современных методов решения технических задач, сформулированы принципы системного моделирования и проектирования нейронных сетей и показаны прикладные области использования быстродействующих нейронных сетей большого масштаба. В технологии системного моделирования выделены этапы концептуализации, формализации и работы с моделью. Задача системного проектирования включает в себя системное моделирование, выбор критериев оптимальности сетевой модели и нахождение оптимальных параметров сети при выполнении существующих ограничений и требований, обусловленных технической реализацией.

Выполнен концептуальный анализ биологических нейронных сетей и обзор методов моделирования искусственных нейронных сетей. Отмечено, что нейронные сети относятся к категории сложных систем, для которых основной проблемой математического моделирования является нахождение приемлемого компромисса между детализацией и простотой описания. Один из путей решения этой проблемы заключается в формировании иерархически вложенного семейства моделей (стратифицированных моделей), что ведет к упрощению каждой частной модели. В математической формулировке стра-

тификация связана с выделением на каждом уровне иерархии инвариантных отношений и переходом к факторным моделям описывающем следующий уровень модельного представления.

Выполнен обзор и анализ технических реализаций нейронных сетей большого масштаба на современных вычислительных платформах. Основное внимание уделено структурной организации нейронных сетей. Показано, что основными технологическими требованиями являются: локальность синап-тических связей, регулярность топологии, модульность и каскадируемость, минимальная вычислительная сложность, ограниченность рецепторных полей нейронов, реконфигурируемость нейронных сетей. Отмечено, что в настоящее время в технических приложениях доминируют многослойный нейронные сети прямого распространения, обладающие высокими функциональными возможностями, однако практическая реализация данного класса сетей имеет ряд проблем, из которых главными являются: большой объем вычислительных операций при обработке данных и обучении; проблемы стабильности-пластичности сети; структурная избыточность сети, проблема оптимального структурного и топологического проектирования.

Выполнен обзор методов построения нейронных сетей с ограниченными связями. Показано, что ведущей тенденцией в построении быстродействующих сетей большого масштаба является использование модульных структур, согласованных с регулярной структурой вычислительной платформы. Отмечается, что высокое быстродействие и технологичность модульных нейронных сетей, достигаются ограничением числа межнейронных связей, что приводит к снижению уровня «интеллекта» нейронной сети. Поэтому одной из основных задач системного проектирования модульных сетей высокого быстродействия является разработка количественных методов оценки коннекционизма сети для корректного разрешения существующего системного противоречия. Выполнен обзор существующих методов оценки качества многослойных сетей.

Отмечено, что регулярные модульные нейронные сети прямого распространения могут быть использованы для построения итерационных алгоритмов цифровой обработки данных, включая быстрые перестраиваемые спектральные преобразования. Актуальной является задача объединения обоих направлений цифровой обработки данных.

В результате проведенного обзорного анализа концепций и путей построения быстродействующих нейронных сетей, методов их реализации и моделирования в сопоставлении с планируемыми целями исследования предложена концепция системного проектирования быстродействующих нейронных сетей большого масштаба. Главным положением, которой является модульная организация и многоуровневый подход к проектированию на основе иерархического семейства стратифицированных моделей. Основная идея в модельных представлениях связана с устранением точек ветвления в межмодульных связях, за счет погружения их в смежные модули (полностью

реализован принцип инъективности связей). Нейронный модуль определен как обособленная группа нейронов образующая инъекшвные связи по терминальным полям с другими аналогичными модулями. Последовательная реализация принципа инъективности связей приводит к математической модели модульной нейронной сети, стратифицированной по четырем уровням представлений: параметрическому, топологическому, структурному и морфологическому. На основе разработанной концепции сформулирована цель исследований и определены основные задачи работы.

Вторая глава посвящена вопросам системного моделирования модульных нейронных сетей. В контексте задачи проектирования от системной модели требуется, чтобы она выражала множественность проектных решений и обладала представительностью (типичностью) в рамках заданных ограничений. В данной главе выполнен обзор наиболее известных методов математического моделирования модульных динамических систем. Отмечены их достоинства и недостатки, а также применимость для задачи системного моделирования модульных нейронных сетей. По результатам обзора сделаны следующие выводы:

• При анализе можно полагать, что вся динамика и все нелинейные свойства сосредоточены в модулях, связи же выполняют трансляцию выходных состояний без искажения.

• Не снижая уровня функциональности модели можно полагать, что межмодульные связи не имеют точек ветвления, т.е. являются точными и однозначными (инъективными).

• Состояния системы, определяются значениями входных и выходных сигналов модулей;

• Для каждого стратифицированного уровня системные модели следует рассматривать с адекватным рангом неопределенности.

• Для оценки достижимых характеристик систем и поиска оптимальных проектных решений необходимо использовать представительные модели поведения системы.

Проведенный анализ послужил концептуальной основой использования моделей «общего положения» (трансверсальных моделей), выражающих фундаментальное понятие типичности в системном моделировании. Для модульных систем условие типичности означает, что все модули обладают максимальной полнотой возможностей при заданных ограничениях, а все межмодульные связи являются невырожденными. Показано, что подкласс трансверсальных моделей является плотным в пространстве гладких системных моделей. Ограничение класса моделей подклассом трансверсальных позволяет существенно упростить исследование сложных систем на уровне структурных представлений.

Отмечено, что ни один из рассмотренных методов исследования сложных систем в целом не обладает набором моделей, который был бы достаточен для описания всех необходимых уровней представления модульной ней-

ронной сети. Комплексированию моделей и методов препятствует их неоднородность. Известные методы анализа не имеют развитых средств для описания и исследования коннекционизма нейронных сетей, а системные модели не поддерживают процедуры обучения.

Проведенное методологическое исследование показало, что наиболее полно принятой концепции моделирования нейронных сетей, удовлетворяет аппарат математической теории категорий. Методы математической теории категорий позволяют: унифицировать модели для различных уровней стратификации, математически строго выразить коннекционизм сетевой модели, выразить множественность проектных решений в модельных представлениях, отразить в системных моделях двойственную природу нейронной сети, построить трансверсальные системные модели для различных несущих пространств.

Теория категорий используется как средство моделирования сложных систем, начиная с 70-х годов прошлого столетия. Для математического моделирования систем теория категорий использует два типа элементов - это объекты (ОЬЧЯ) и связи между ними. Оба типа элементов определяются множествами отображений называемых морфизмами (МогЩ. Композиции морфизмов удовлетворяют условиям ассоциативности и для каждого объекта определен тождественный морфизм. Каждой категории 51? взаимнооднозначно сопоставляется двойственная категория 51*. Для любой пары объектов А',В* еОЬЧЯ' по определеншо полагают Мог[А и для

любых морфизмов а': А* В* и : В' -»■ С* имеет место ар" ={Рос) .

В главе рассмотрены примеры построения категорных моделей в векторном, нечетком и вероятностном пространствах. Выполнен анализ категории «общих систем» Месаровича-Такахары, как наиболее полно отвечающей принципу модульности. Показано, что данная категория в общем случае является недостаточной моделью для представления модульных нейронных сетей. Предложена расширенная категорная модель модульной сети, которая обобщает как известные модели сложных систем управления, так и категорию «общих систем».

Категория параметрического уровня. Объектами категорной модели являются нейронные модули, определенные парой терминальных полей: полем рецепторов и полем аксонов. Все межмодульные морфизмы являются инъективными отображениями. С каждым терминальным полем модуля ассоциируются линейное векторное пространство. Объект А задается парой векторных пространств Ел, ПА и множеством морфизмов, определенных полной матрицей отображений между данными пространствами:

V И^

Мог(А,А) =

ху

ИА кл

"ух "уу)

где, к*у - преобразования векторов в рецепторном и аксоновом пространствах модуля, йД—преобразования векторов при прямой и обратной передачи между ассоциированными пространствами ЕЛ,БЛ. Системными состояниями модели считаются векторы ассоциированных пространств: ХеЕл и У еД,. Действие морфизма из множества Мог [А, А) определяется уравнениями системных состояний:

где /,,/2 два последовательных момента времени такие, что /2 >/,. Далее предполагается, что все модули являются статическими, а последовательность моментов времени служит для выражения причинно-следственной связи состояний. Тождественный морфизм объекта А определен матрицей отображений:

О

-Р

О I

у.

где тождественные отображения пространств Ел и Ил в себя. Мор-

физм между объектами задан матрицей линейных инъективных отображений:

Мог(А,В) =

гжлв

XX

„АВ

Л

ж

ж.

Показано, что построенная системная модель удовлетворяет всем условиям категории. Морфизмы двойственной категории могут быть получены транспонированием матричных форм и переходом к двойственным отображениям для каждого элемента матрицы морфизма. Построенная категория обобщает морфологию межмодульного взаимодействия; кроме типовых взаимодействий «аксон-рецептор» в рамках данной модели допустимо взаимодействие типа «аксон-аксон», «рецептор-рецептор». Для биологических нейронных сетей такой класс взаимодействий хорошо известен.

На рис. 1 показана схема межмодульных связей для категории модульных систем общего вида. Из общей категории можно получить модели для А в с модульных сетей с ограни-

ченным типом взаимодействий. В системах управле-

ния наибольшее распространение получил класс ориентированных систем, Рис. 1. Организация связей между объектами в где модули представляют категории модульных систем общего вида собой объекты управления

типа «вход-выход», а меж-

модульные связи поддерживают только однонаправленное взаимодеиствие типа «аксон-рецептор». Для данного класса моделей матрицы морфизмов объектов и связей имеют вид:

Мог(Л,Л) = \ « Л

V уу)

Символ «*» означает отсутствие отображения. Характер межмодульного взаимодействия в ориентированной категории представлен на рис. 2. Показано, что категория с морфизмами вида:

Мог(А,В) = \лав

Мог (А, А) =

К л

ч* К;

* (тгАВ *

Мог(А,В) =

яг.

» ям ,

уу у

определяет категорию «общих систем» Месаровича-Такахары. Выбор полей неопределенности в матричном представлении морфизмов, позволяет построить классификацию модульных систем, по типам модулей и характеру межмодульного взаимодействия полностью покрывающую морфологическую классификацию систем управления.

а в с

-» г* \ ~> Сд0~*'

Рис. 2. Организация межмодульных связей в ориентированной категории

Категория топологического уровня. В стратифицированном семействе моделей переход на следующий иерархический уровень модельных представлений связан с выделением инвариантов для модели текущего уровня. Для категории параметрического уровня, инвариантами являются отношения порядка, определенные на терминальных зажимах модулей. Отношения порядка однозначно определяют топологию инъективных межмодульных связей. В топологической категории каждому модулю А сопоставляется пара конечномерных множеств СА,ВА. Для определенности можно полагать, что элементами данных множеств являются порядковые номера терминальных зажимов нейронного модуля. Множество морфизмов объекта ограничено единственным тождественным морфизмом, заданным матрицей

Мог(А,А) = {1<к * \ Ч

где 1Са11ол~ тождественные отображения. Системными переменными иА,уА считаются отношения порядка на множествах Са,Оа соответственно. В главе построена топологическая категория для общего вида межмодульных взаимодействий и рассмотрены ее частные варианты. Для ориентированной категории множество межмодульных морфизмов определяется матрицей следующего вида:

Мог(А,В)=(*ав

где рлв- числовое отображение. В данной категории все морфизмы инъек-тивны, поэтому для конуса межмодульных морфизмов а,: Л, -> # с общим концом в объекте В можно записать:

( * \ ( 4

Л ' \ 4 у

где символ ^ - обозначает кардинальную сумму непересекающихся упорядоченных подмножеств. Данное выражение определяет отношения порядка на рецепторных полях связанных модулей. Неопределенности разрешаются введением в категорию глобального объекта, задающего нумерацию терминальных зажимов аксоновых полей всех модулей сети. Построенная модель определяет алгоритм топологического проектирования сети.

В третьей главе рассматриваются методы топологического и параметрического проектирования модульных нейронных сетей прямого распространения на основе графического представления сети. Для графического образа модульной сети предложено использовать структурную модель в виде взвешенного ориентированного графа (см. пример на рис. 3.). Вес вершины графа задан парой чисел {p,g) определяющих размерность рецепторного и ак-сонового полей нейронного модуля. Вес дуги (г) равен рангу оператора межмодульной связи. В нейронной сети с инъективным связями для каждой вершины графа имеют место соотношения:

л- I ^ Е

связывающие размерности полей модуля с рангами входящих и исходящих дуг. Данные выражения позволяют полностью описать структурную модель с

помощью ранговой матрицей связей. Метод топологического проектирования использует ранговую матрицу как шаблон для построения топологических множеств. Одной и той же структурной модели сети со-

Рис. 3. Структурная модель модульной нейронной °тветствует МНОжесТВО

различных топологии,

конкретный выбор опре-

сети прямого распространения

деляется технологическими ограничениями. Результатом проектирования являются отношения порядка на терминальных зажимах модуля представленные парой таблиц:

% 1

С/,

ив 4

Рл

Рл

Ма,=

Ух Ъ 1 2

ч

8л)

Верхние строки таблиц определяют образы рецепторного и аксонового полей модуля в глобальном множестве терминальных зажимов сети, нижние строки задают локальную нумерацию зажимов в пределах модуля. Топологии межмодульных связей определяются отображениями рАВ = {цл )~'сгй. Полученное решение, позволяет построить топологический граф модульной сети, а на его основе программный алгоритм или разводку физических связей при аппаратной реализации сети.

Для параметрического уровня задача проектирования сводится к обучению нейронной сети. На основе категорной модели в главе предложен градиентный метод параметрического обучения модульной сети, близкий по идеологии к алгоритму обратного распространения ошибок. Морфизмы категории параметрического уровня для модульных сетей прямого распростра-

нения со статическими модулями имеют вид: Мог (А, А)- 1

И"

ху

Мог(А,В) =

я.

* лв

а соответствующие системные состояния сети в прямой и двойственной категориях определяются уравнениями:

гВ

X'

"ху

= I

Л,еГ\В)

■Л, Л,В "•ух '

Г®= £ Г'

С/6Г(В)

ж 1

ху >

где символ суммы выражает прямую сумму векторных компонент выходных состояний всех непосредственно предшествующих модулей. Морфизмы модуля определены гладкой векторной функцией вида У" = р(Хв,1¥в}, где Жв

синаптическая карта весовых коэффициентов. При квадратичном критерии обучения

1 т

J =—(Y-Z)(Y-Z) , прямая и двойственная категория связаны между собой по ошибке обучения (см. рис. 4). Пара {Х,2) определяет обучающий пример. Распространение обобщенной ошибки с т; сЦ

ду = У = — вдоль сети описывается двойственной моделью. Градиент синаптической карты модуля определяется вы-

Рис. 4. Модель обучения нейронной сети

ВС&(ХВ,ЖВ)

ражением =5у —^^в— • На кажД°м шаге итерационной процедуры

выполняется коррекция синаптической карты в направлении антиградиента. Частным вариантом нейронного модуля может быть однослойный персеп-трон (нейронное ядро). В главе рассмотрен класс многослойных ядерных сетей, для которых разработаны частные алгоритмы топологического проектирования и параметрического обучения.

В главе 4 разработаны методы структурного анализа модульных нейронных сетей на основе категорных моделей общего положения. На структурном уровне решаются задачи исследования качественных характеристик нейронной сети, к ним относятся: быстродействие, пластичность, способность сети к аппроксимации отображений и распознаванию образов, обобщающая способность нейронной сети.

Быстродействие сети оценивается суммарным числом вычислительных операций при обработке данных на однопроцессорной машине. Применительно к другим вычислительным платформам данная оценка рассматривается как количественная характеристика сложности сети. Полное число операций складывается из вычислительных операций отдельных модулей. Для ядерных нейронных сетей оценку быстродействия можно получить непосредственно по структурной модели сети.

Для оценки способности нейронной сети к обучению используется известное из механики понятие «число степеней свободы», трактуемое как оценка параметрической пластичности нейронной сети. Каждый нейронный модуль общего положения рассматривается как полное многообразие гладких отображений фиксированного ранга. В этом случае множество операторов нейронной сети прямого распространения образует гладкий многомерный геометрический образ в пространстве операторов. Изменение синапти-ческих весов нейронной сети приводит к непрерывному перемещению точки-оператора вдоль геометрического образа. Минимальное число параметров достаточное для однозначного определения пространственного местоположения любой точки-оператора рассматривается как число степеней свободы нейронной сети. В математической трактовке число степеней свободы сети равно максимальной размерности касательного пространства к геометрическому образу нейронной сети в пространстве операторов. Для модульной сети задача расчета степени пластичности разделяется на две подзадачи: в первой требуется определить пластичность отдельных модулей в составе сети, а во второй используя полученные данные и информацию о структуре, определить пластичности всей сети (системную пластичность).

Для определения размерности касательного пространства, достаточно использовать линейное приближение оператора нейронной сети. В этом случае каждый нейронный модуль можно представить многообразием линейных отображений фиксированного ранга. Известно, что размерность много-

образия линейных отображений ранга г равна: сИтАг = + г2, где размерности терминальных полей модуля. В составе сети вклад модуля в общее число степеней свободы зависит от окружения в котором он находится. На структурном уровне окружение характеризуется размерностью пространств системных состояний на терминальных полях модуля в прямой и двойственной категории. В работе показано, что фактический вклад модуля в общее число степеней свободы равен сИт Аг = + суг - г2, где - размерность пространства состояний рецепторного поля в прямой категории, су- размерность пространства состояний аксонового поля в двойственной категории, ? = - действующий ранг модуля. Модуль считается

нормальным (невырожденным), если г ¿тт^*,^), в этом случае

сШпД. = 8хсу. Условие нормальности устанавливает границу применимости известного коннекционистского принципа: «поведение сети полностью определяется ее связями». Анализ системной пластичности выполнен на основе предложенной категории модальных множеств.

Категория модальных множеств. Для построения модели структурного уровня предложено использовать категорию, определенную в пространстве модальных множеств. Категорная модель предназначена для расчета размерностей пространств окружения (модальных состояний) нейронных модулей сети. Под модальным множеством понимается пара = Л,

где Е несущее векторное подпространство, £?(•)> О - целочисленная функция модальности равная размерности пространства. Модальное отношение а между парой модальных множеств определено как подмножество тензорного произведения несущих пространств. Отношению а изоморфно соответствует класс отображений между пространствами.

Объектом категории является пара модальных множеств ассоциированных с нейронным модулем. Множество морфизмов объекта на себя определено полной матрицей модальных отношений между терминальными по-

рецепторов, индекс с - к полю аксонов). Элементы матрицы представляют собой многообразия операторов фиксированного ранга. Матрице морфизмов

для объекта считается матрица, составленная из диагоналей (биективных мо^

относится к полю

соответствует матрица операторных рангов

Единицей

модуля. Множество морфизмов между объектами определено матрицей от-( СС (X 1

ношений: Мог (Л, В)м » . Все модальные отношения в матрице

\аС! асс)

межмодульных морфизмов считаются точными и однозначными (инъектив-ными). Матрице морфизмов соответствует ранговая матрица: (гАВ глв\

г(А,В) = \ *АВ *СА11 I. Композиция морфизмов определена следующим выра-

V ^ /

жением:

I- Показано, что все условия

\ааР*1 ^ ассРа сзРзс ^ асс"сс )

категории выполнены. Системными состояниями для данной модели являются модальные множества терминальных полей, а модальными состояниями -размерности соответствующих несущих пространств. Построенная категория кроме взаимодействий «аксон-рецептор» описывает нетипичные взаимодействия типа «рецептор-рецептор» и «аксон-аксон» известные в биологических нейронных сетях. Так же как и для общей категории параметрического уровня, возможно упрощение характера межмодульного взаимодействия до типового уровня. Для ориентированной категории морфизмы объекта определяются матрицами:

а морфизмы связей матрицами:

" г"

а = Мог(А,В) = *

аЛВ * Г\и,)-\гЛ1! *

Матричное представление морфизмов, в данном случае является избыточным, но оно позволяет корректно реализовать переход к двойственной категории. Показано, что для модульной сети прямого распространения (без параллельных путей) уравнения в пространстве модальных состояний имеют вид:

cB=sB°rB, 7B=cB°re,

SB= £ cW X jC'orC'B

ЛеГ'(Я) С,6 Г(В)

где sB,cB, JB,cB значения модальностей в прямой и двойственной сети, символ «о» обозначает операцию min. IIa основе построенной категорной модели получено, что пластичность сети прямого распространения может быть определена выражением:

Л Л» в

где первая компонента определяет вклад нейронных модулей, а вторая учитывает влияние межмодульных связей. В главе выполнен расчет пластичности многослойных полносвязанных нейронных сетей и двухслойных мо-

дульных сетей. В главах 5 и 6 представлена методика расчета для класса слабосвязанных и регулярных нейронных сетей.

Расчет степени пластичности лежит в основе разработанного метода оценки уровня «интеллекта» нейронной сети прямого распространения. Естественной оценкой может служить способность нейронной сети к распознаванию образов, известная как оценка разделяющей мощности сети. В контексте задачи проектирования, проблема заключается в выборе такого тестового набора образов, который позволил бы с одной стороны построить аналитическую оценку исходя из структурных характеристик сети, а с другой - реализовать экспериментальную проверку. Предложено использовать для построения тестовых наборов образы «общего положения», представляющие собой компактные семейства линейно независимых векторов (реперы). Каждый репер характеризуется рангом к линейной оболочки. Считается, что нейронная сеть обладает разделяющей мощностью уровня к, если она распознает любой ¿-репер входного пространства, т.е. в результате обучения сеть способна установить однозначное соответствие с любым выходным репером ранга к. В общем случае в процессе обучения настраивается и топология сети (при сохранении структуры), однако для регулярных сетей в этом нет необходимости. Показано, что достаточное условие распознавания произвольного компактного А:-репера заключается в том, что множество операторов нейронной сети покрывает компактное многообразие операторов ранга к. Необходимое условие может быть выражено количественно через число степеней свободы нейронной сети следующим соотношением: 5(Я) 2: Ш+Мк - к2, где Ы,М размерности терминальных полей нейронной сети. Данное выражение позволяет аналитически оценить разрешающую мощность сети. Для класса линейных систем распознавания предложенная оценка совпадает с размерностью Вапника-Червоненкиса.

Рассмотрена задача аппроксимации нейронной сетью многомерных аффинных отображений. Показано, что уровень разделяющей мощности сети

определяет максимальный ранг точно аппроксимируемых отображений. В работе предложена методика экспериментальной оценки разделяющей мощности. В качестве реперов используются наборы ортонор-мированных векторов. Сеть последовательно обучается на реперах возрастающего ранга. На Рис. 5. Типичная экспериментальная зави- графике зависимости ошибки симоеть ошибки обучения нейронной сети от от тестового репера (см.

размерности репера. г .. с г 4

рис. 5) определяется позиция

фронта резкого возрастания ошибки обучения, которая и служит экспери-

Ошибха обучения БИС

у

/

1 2 3 4 5 6 7 8 Число независимых примеров

ментальной оценкой уровня разделяющей мощности. Статистическая устойчивость оценки обеспечивается многократным повторением испытаний с различными реперами, и рандомизацией процедуры обучения случайным выбором стартовой точки. Проведенные эксперименты показали, что теоретическая оценка устанавливает нижнюю границу разделяющей мощности.

На структурном уровне исследована обобщающая способность нейронной сети. Доказано, что для модели общего положения оценкой обобщающей способности нейронной сети может служить разность между размерностью входного пространства и операторным рангом сети. Предложен метод вычисления операторного ранга модульной нейронной сети.

В главе 5 рассматриваются методы структурного синтеза слабосвязанных модульных нейронных сетей, основанные на категорной модели морфологического уровня. Класс слабосвязанных нейронных сетей соответствует идеологии сетей прямого распространения, но устанавливает ограничения на структуру связей, реализуя принцип минимальной достаточности. Частными вариантами слабосвязанной сети является структурная модель алгоритма быстрого преобразования Фурье, не блокирующая коммутационная схема «Banyan», структурная модель многослойной нейронной сети и др. Широкая распространенность моделей подобного типа в технических приложениях обуславливает необходимость специального анализа нейронных сетей с данным типом структуры. Модульная сеть считается слабосвязанной, если любой конус терминальных проекций является разделяющим. В работе доказано, что в слабосвязанных сетях отсутствуют параллельные пути между вершинами. Пример трехслойной слабосвязанной сети показан на рис. 6. В обА

Рис. 6. Слабосвязанная модульная нейронная сеть

щем случае слабосвязанная сеть не обязана быть слоистой, и может иметь транзитные связи.

Категория морфологического уровня. Граф модульной сети рассматривается как математическая категория, в которой объектами являются нейронные модули - вершины графа, а морфизмами бинарные соответствия, заданные дугами графа. Единицы категории определены как тождественные

бинарные отношения на вершинах графа. Структурный синтез слабосвязанной сети интерпретируется как пошаговый процесс порождения (генезиса) нейронной сети из одного родительского модуля. Операция деления модуля описывается тройкой ^ = я), называемой криэйтором, где - функтор деления рецепторного поля, функтор деления аксонового поля, я—

плотное соответствие мевду порожденными вершинами в двухдольном графе. Доказано, что если функторы являются точными и однозначными по морфизмам и точными по объектам, то после акта деления нейронная сеть сохраняет морфологию слабой связанности.

Предложенное правило построения слабосвязанной сети инвариантно к размерностям модулей. Однако при практической реализации на сеть накладываются ряд ограничений, связанных с размерностью входного и выходного вектора, типом связей, уровнем пластичности, допустимым быстродействием, максимальным размером модуля и т.д. Это порождает задачу выбора оптимальной структуры сети при заданных ограничениях, которая в пошаговой процедуре трансформируется в задачу оптимизации криэйтора. На примере ядерных сетей в главе исследуется принципы построения оптимальных кри-эйторов. Критериями качества являются быстродействие, выраженное числом вычислительных операций и пластичность, выраженная числом степеней свободы. При воздействии криэйтора нейронное ядро распадается в двухслойную структуру с размерностями полей вершин потомков:(р(^,)- для ре-цепторной области и (/>у,1у)- для аксоновой области родительской вершины. Число операций умножения для порожденной структуры, можно определить

к I

выражением: 2 = + а степень пластичности выражением

/=1

к I к I

£ = + где ги~ Ранги связей между ядрами потом-

М /= 1 /=1

ками. Критерии 5 и 1 альтернативны. Для области Парето выполнены условия р1 = р2 = р3^--- = рк, g^ = g2~g3 = ••• = gl, гу=г. Целочисленность переменных вносит дополнительные ограничения на выбор оптимальных значений. Цель структурного синтеза заключается в построении структурной модели сети, оптимальной по критериям пластичности и быстродействия. Правила, устанавливающие компромисс между альтернативными критериями определяет стратегию синтеза. В работе предложены стратегии оптимальной пластичности и оптимального быстродействия.

В сверхбольших модульных сетях определяющим технологическим требованием становится минимизация числа связей и регулярность структуры сети. В главе рассматривается структурный синтез регулярных многослойных слабосвязанных сетей. Структура сети считается регулярной, если существует аналитическое правило, выражающее симметрию в образовании

узлов сети и организации межмодульных связей. Предложен формальный язык описания регулярных слабосвязанных сетей и на его основе разработан лингвистический метод синтеза. Структура сети рассматривается как семантические интерпретации допустимых предложений формального языка. Формальный язык определен алфавитом, синтаксисом и семантикой слов и предложений. Алфавит состоит из упорядоченного набора неповторяющихся символов. Слово языка интерпретируется как целочисленная

функция, заданная правилом:

{2„А2п-2 ■•■2о) = г»-\Рп-гРп-г ■■■Ро+ 2п-гР„-ъРп-4 ■..р0+---+2[р0+г0. В этом контексте символ г1 именует разряд позиционного представления числа в многоосновной системе счисления, а константа р1 определяет основание разряда.

Морфология регулярной слабосвязанной сети выражается грамматикой предложений. Для кодирования границ предложения использован вариант родовых имен. Алфавит языка А = ((*'), задан как линейно упорядо-

ченный набор неповторяющихся букв с двумя видами родовых имен. Множества I и У (мощности к -1) определяют состав и порядок букв каждого вида. Предложения языка строятся из множества всевозможных слов длиной (/с -1). Два слова языка считаются эквивалентными, если они различаются не более чем перестановкой букв. Отношение эквивалентности разбивает множество слов на классы, которые могут быть упорядочены в цепочки смежных классов, по числу вхождений букв одного родового имени в слова класса. Длина максимальной цепочки классов равна к. Допустимым предложением считается упорядоченная последовательность слов, каждое из которых является представителем максимальной цепочки смежных классов. В допустимом предложении представлены все смежные классы цепочки, и каждый класс представлен только одним словом. Длина предложения всегда равна к. Обозначим в максимальной цепочке классов через /, и 3х подмножества букв каждого типа для смежного класса с порядковым номером Я, а через ©(./)_, ^ каноническое слово предложения (в каноническом

слове порядок букв согласован с порядком букв в алфавите). Тогда грамматическое правило вывода для канонических предложений можно сформулировать следующим образом:

Данное правило построено для морфологического уровня и поэтому инвариантно к размерностям нейронных модулей. Число слов в предложении равно числу нейронных слоев. Следующее каноническое предложение описывает морфологию регулярной четырехслойной сети:

[{'¿А) ('М) (Ш>) (.Шо)] •

В семантической интерпретации каждое слово предложения определяет позиционный номер вершины в пределах одного слоя структурной модели сети. Вершины двух смежных слоев считаются связанными дугой, если в

поразрядном представлении номеров вершин ==((1)/ )>

/д+1 = < © ^ одноименные переменные имеют совпадающие значения. Доказано, что данное правило генерирует регулярную слабосвязанную нейронную сеть. Всевозможные перестановки букв в словах канонического предложения, определяют полное множество регулярных эквивалентных структур.

В главе предложена методика расчета пластичности слабосвязанной сети непосредственно по графу структурной модели, получены расчетные формулы оценки пластичности регулярных нейронных сетей.

Глава 6 посвящена вопросам проектирования быстрых нейронных сетей. Выполнен анализ алгоритма БПФ и показано, что его структурная модель представляет собой регулярную слабосвязанную ядерную сеть с рангами межъядерных связей равными единице. На основе структурного анализа алгоритма БПФ предложена парадигма быстрых нейронных сетей (БНС) с числом вычислительных операций порядка 0(иМо£пЛГ), где Ы- среднегеометрическая размерность терминальных полей сети, п - среднегеометрическая размерность нейронных ядер. Вычислительная эффективность БНС оценивается порядковой величиной <9(Л^/и) по отношению к многослойной полносвязанной сети с тем же числом нейронов и той же размерностью терминальных полей, что и БНС. Размер нейронного ядра, ограничен технологическими требованиями (например, для технологии больших интегральных схем оптимальное значение принадлежит диапазону 2+8).

На основе расширенных лингвистических моделей предложены методы проектирования топологий БНС. Регулярные топологии рецепторных и аксоновых полей БНС описываются парой предложений формального языка, например, для четырехслойной сети предложения могут иметь вид: \_{щи2щщ) (м3м2у0м,} (к3у,у0м2) (у2у,у0м3)] ,

[(щщщ) {щш) {тт) (^^о)].

где разрядные переменные и,у определяют локальную нумерацию рецепторов и аксонов нейронных ядер. Каждое слово предложения определяет глобальную нумерацию рецепторов и аксонов в пределах нейронного слоя. Пара топологических предложений трактуется как топологическая траектория. По топологической траектории однозначно может быть построен граф нейронной сети и алгоритм обработки данных (см. рис. 7). Топологический граф строится по тем же правилам, что и граф структурной модели нейронной сети.

Показано, что синтез топологий БНС можно рассматривать как построение траектории удовлетворяющей заданным условиям. В минимальном варианте траектория может быть задана только граничными условиями. В этом случае существует свобода выбора промежуточных шагов, что можно использовать для упрощения алгоритма реализации БНС за счет регуляризации топологической траектории. Предложены принципы построения регу-

0

1

2

3

4

5

6

7

8

9

10 11 12

13

14

15

Рис. 7. Графическая иитерпретация топологической траектории

лярных схем формирования топологических траекторий. Регулярная схема может быть выражена аналитической формой, например, для схемы Кули-Тьюки «с прореживанием по частоте» аналитическая форма топологической траектории имеет вид:

Vх ='Д

Vх = Iм = {м,.,ма._2 ... Ид+|УЛ,,УЛ_2 ... у,у0) . БНС с регулярной топологической траекторией наиболее просты в технической реализации. Разработан градиентный алгоритм обучения БНС, относящийся к классу алгоритмов обратного распространения ошибки.

Рассмотрено применение БНС для реализации быстрых перестраиваемых линейных преобразований. К этому классу в частности принадлежат быстрые спектральные преобразования. Основные трудности построения быстрых алгоритмов спектральных преобразований связаны с доказательством факторизуемости матрицы преобразования, построением топологий и выбором элементов слабозаполненных матриц. Использование многоуровневой модели БНС позволило установить инварианты топологических реализаций, определяющих общее решение задачи топологического проектирования алгоритмов быстрых преобразований. Топологические инварианты получены как следствие из грамматического правила вывода канонических предложений структурной модели БНС. Показано, что элементы матрицы факторизуе-

мого преобразования могут быть выражены через произведения элементов нейронных ядер:

Полученные результаты позволили разработать методы топологической и параметрической настройки БНС по аналитически заданной матрице преобразования. Построены БНС-реализации для преобразований Уолша-Адамара, Хаара, вейвлет-преобразования и БПФ с естественным упорядочением по частотам следования. Отмечено, что задача параметрического и топологического проектирования может иметь множество эквивалентных решений, что позволяет выбрать оптимальное решение с учетом технологических ограничений.

Установлена связь слабосвязанных сетей с фракталами. Построены примеры аппроксимации регулярных фракталов Кантора и Серпинского в базисе БНС. Предложена процедура фрактальной фильтрации для сигналов, заданных на дискретных интервалах длиной N = p0pl...pK_]. Фрактальный фильтр определен правилом:

foul (МЛГ-1ИГ-2 • • • • •

Uo) = F^ftop (U*-lU*-2■■-Uo)) >

«т

где f,„p(u) - функция сигнала, u = (uK_luK_2...u0) поразрядное представление аргумента в позиционной системе счисления, F[Sm) - произвольный функционал, на выборке значений сигнала по разрядной переменной ит. Процедура фрактальной фильтрации применена для разработки алгоритма параметрической настройки перестраиваемых преобразований, приспособленных к системе произвольных дискретных функций. Приспособленные преобразования служат средством реализации многоканальных адаптивных фильтров. Наличие быстрого алгоритма позволяет использовать фильтры подобного типа при обработке сигналов высокой размерности в системах реального времени. Алгоритм параметрической настройки приспособленных преобразований развит для спектральных преобразований в векторном пространстве и логических преобразований в нечетком пространстве. Показана связь методов построения приспособленных спектральных преобразования с алгоритмами распознавания унитарных состояний в теории квантовых вычислений. Предложено расширение лингвистических моделей для построения методов структурного и топологического синтеза многомерных БНС. Представлен вариант структурного синтеза двумерных БНС.

В главе 7 рассмотрено использование модульных нейронных сетей для построения подсистемы автоматической классификации движущихся групповых объектов на транспортных магистралях охранной зоны энергетических систем. В задачу классификации включается обнаружение и распознавания типа движущихся объектов по сигналам от удаленных сейсмических датчиков. Объекты характеризуются ордером группового объекта, кото-

рый определяет состав и последовательность информационных сигналов. Групповые объекты могут объединяться в транспортные колонны. Последовательность объектов в колонне образует ордер колонны. Основная проблема построения системы классификации связана с наличием высокого уровня случайных помех, статистические характеристики которых зависят от характера местности и погодных условий. В главе предложен метод построения системы распознавания групповых объектов на основе нечеткой модульной нейронной сети.

Сообщения от автономного датчика рассматриваются как выход дискретного канала передачи данных, на вход которого поступает достоверная информация от гипотетического источника дискретных данных. Искажения в канале приводят к трансформациям информационных символов и появлению ложных символов за счет эхо-эффекта. Дискретный канал описывается двумя характеристиками: марковской матрицей трансформации символов и вероятностью дублирования символов. Статистические характеристики канала известны для различных погодных условий и типа местности. Поток сообщений анализируется в темпе поступления информации от датчиков, в характерных временных позициях (точках измерения) которые соответствуют упорядоченной по возрастанию последовательности длин эталонных образов групповых объектов.

Распознавание ордера группового объекта выполняется по четырем группам информативных признаков, включающих: структуру, семантику и длину информационного образа. Информативные признаки каждой группы частично перекрываются по областям значений для различных образов и рассматриваются как нечеткие лингвистические переменные с набором термов равным числу эталонных образов групповых объектов. Отличительной особенностью в данной задаче является зависимость процедуры фаззификации от статистических характеристик дискретного канала. В работе предложен способ построения адаптивной фаззификации с квазиоптимальным правилом выбора функций принадлежности. Предложенный способ основан на использовании функций принадлежности с зонами толерантности, ширина которых определяется статистическими характеристиками канала.

Предложенный вариант нейронной сети имеет четырехслойную модульную структуру и соответствует экспертным рекомендациям по эффективной последовательности логических операций в классификационном правиле. Нейронные модули выполняют обработку термов лингвистических переменных соответствующие одному из информативных признаков. В нечетких композициях использованы контрастирующие функции с пороговыми свойствами, которые учитывают совместность и несовместность событий и устанавливают границу между высокой и низкой степенью доверия. Контрастирующие функции рассматриваются, как функции активации нечетких нейронов. Выходом сети является лингвистическая переменная с числом термов равным числу возможных типов групповых объектов. Значение

функции принадлежности нулевого терма определяет степень достоверности результата классификации. Предложенная схема распознавания ордера группового объекта была промоделирована при изменении вероятности трансформации символов канала в диапазоне pt = [0 -s- 0.7] и вероятности дублирования в диапазоне pd =[0-^0.1]. Вероятность правильного распознавания ордера колоны составила не менее 0.82 (при уровне достоверности не ниже 0.2). Испытания, проведенные на реальных объектах, соответствуют результатам моделирования.

В главе 8 рассматриваются принципы построения нейросетевого специализированного пакета Neuro Office, обеспечивающего поддержку проектирования модульных нейронных сетей. Представлены методы построения реконфигурируемых регулярных нейронных сетей. Пакет специфицирован как средство для создания интеллектуальных программных модулей, построенных на основе нейронных сетей прямого распространения с ядерной организацией. Результатом проектирования является обученная нейронная сеть с программным интерфейсом, соответствующим модели многокомпонентных объектов (использована СОМ-технология), что позволяет встраивать интеллектуальный модуль в любое приложение Microsoft office, включая электронные таблицы EXCEL, базы данных ACCESS, редактор WORD и пр. В равной степени интеллектуальный модуль может быть встроен в любой проект пользователя, реализованный на языках VISUAL С++, BORLAND С++, VISUAL BASIC, JAVA. Нейронный модуль может функционировать как элемент WEB-страницы, СОМ-интерфейс позволяет использовать в приложения необходимое количество нейронных модулей, формируя модульную сеть с различной структурой и топологией.

В главе представлена функциональная архитектура пакета и описаны используемые структуры данных. В программном пакете можно выделить средства проектирования и встраиваемые инструментальные компоненты. К средствам проектирования относятся редактор структур и топологий ядерных нейронных сетей и нейро-эмулятор с встроенным редактором синаптических весов. К инструментальным компонентам относятся: ActiveX - элемент «AS-нейронная сеть»; ActiveX - элемент «AS-электронная таблица»; ActiveX -элемент «AS-прогресс-индикатор». Инструментальные компоненты предназначены для встраивания в проекты пользователей и полностью совместимы со средствами проектирования по формату данных.

Как перспективное направление развития программного обеспечения в главе предложен класс реконфигурируемых регулярных сетей и представлено его функциональное описание. Концепция реконфигурируемых сетей основана на методологическом потенциале лингвистических моделей регулярных нейронных сетей. Расширенные лингвистические модели позволяют реализовать реконфигурацию структуры и топологии при сохранении регулярности и слабой связанности. Показано что в этом классе может быть реа-

лизована любая парадигма многослойных сетей от быстрых до полносвязанных. Функциональные возможности реконфигурируемых сетей описаны в контексте объектно-ориентированного подхода как интерфейс взаимодействия с объектом «нейронная сеть» через набор допустимых функций (методов). Рассмотрено несколько методов реконфигурации сети, поддержанных на топологическом уровне расширенной грамматикой формального языка. С учетом результатов главы 6, сделан вывод, что, класс реконфигурируемых сетей является базовым классом, позволяющим объединить в одном программном пакете, методы спектральной обработки, фрактальной фильтрации и многослойных нейронных сетей.

В приложении приведено краткое руководство пользователя нейросе-тевого пакета Neuro Office. Рассмотрены функциональные возможности пакета и представлены окна графического интерфейса.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

В диссертации предложены и развиты концептуальные, математические и методические положения, изложены практические результаты, в совокупности составляющие теоретические и практические основы системного проектирования быстродействующих модульных нейронных сетей высокой размерности:

1. Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба, основанная на принципе инъективно-сти связей, позволила выделить модельный класс для нейронных сетей прямого распространения, обладающий модульностью и трансверсальностью с согласованной стратификацией по уровням представлений и поддержанный унифицированным математическим аппаратом исследования. С позиций анализа это дает возможность получить вычислимые потенциальные оценки качественных характеристик нейронных сетей прямого распространения с произвольной топологией связей, за счет реализации модульного покрытия. С позиций проектирования модульность нейронной сети позволяет обеспечить технологические требования к реализации сетей большого масштаба за счет упрощения методов их проектирования.

2. Комплекс стратифицированных моделей обеспечивает иерархическую декомпозицию процесса анализа и проектирования модульных нейронных сетей, по целям, используемым методам, и формам представления результатов. В методах анализа это позволяет выделить инварианты каждого уровня модельных представлений, определить закономерности и описать поведение сети в пространстве состояний текущего уровня. В методах проектирования это позволяет реализовать нисходящую последовательность проектных решений, при котором текущий выбор базируется на результатах проектного решения верхнего уровня.

3. Общее решение задачи структурного и топологического проектирования быстрых сетей раскрывает общие закономерности построения алгоритмов

быстрых линейных преобразований и быстрых нейронных сетей, отождествляя их на уровне топологии структуры и морфологии. Применительно к быстрым преобразованиям единый подход решает проблему факторизации преобразований (которая прежде была предметом изобретений), заменяя ее задачей построения топологической траектории, удовлетворяющей общему решению. Множественность возможных решений позволяет выбрать топологию наиболее полно соответствующую технологическим требованиям.

4. Метод настройки быстрых перестраиваемых преобразований к заданной системе функций является теоретической базой для построения широкого класса быстрых спектральных преобразований, быстродействующих адаптивных фильтров и приспособленных линейных преобразований. Согла-суя параметрическое и топологическое проектирование, метод настройки дает возможность получить множественное решение, в котором дополнительные условия позволяют выбрать наиболее простую техническую реализацию. При этом обеспечивается использование всех степеней свободы перестраиваемых преобразований.

5. Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения решает задачу структурного синтеза быстродействующих нейронных сетей произвольной размерности. Сохранение инвариантов морфологического уровня при эволюционном синтезе обеспечивает вычислимость качественных показателей нейронной сети и структурное самоподобие быстрых алгоритмов. Пошаговая оптимизация приводит к структурам, близким к регулярным с неоднородностью сосредоточенной в терминальных полях сети, что упрощает техническую реализацию большой нейронной сети произвольной размерности. Вариабельность стратегий структурного синтеза позволяет выбрать оптимальный вариант разрешения системного противоречия «быстродействие-интеллект».

6. Методы оценки разделяющей мощности и обобщающей способности модульных нейронных сетей прямого распространения обеспечивают сравнение проектных вариантов нейронных сетей по отношению к задачам аппроксимации отображений и распознаванию образов, что позволяет получить интерпретируемое значение, которое может быть измерено на реальном варианте сети на основе предложенной методики экспериментальной оценки.

7. Методы фрактальной фильтрации сигналов - послужившие базой разработки метода настройки перестраиваемых преобразований, имеют самостоятельное значение как средство мультимасштабного анализа сигналов, определенных на конечных интервалах.

8. Методы и алгоритмы регулярной реконфигурации нейронных сетей основаны на лингвистических моделях топологического уровня и позволяют сохранить регулярность топологических связей при варьировании струк-

турных параметров, что дает возможность использовать однородные программные и аппаратные средства для реализации широкого класса многослойных нейронных сетей от полносвязанных до быстрых. Данные методы являются теоретической базой для разработки гибких реализаций нейронных сетей с варьируемыми уровнями интеллекта и вычислительной эффективности.

9. Унификация модельных представлений регулярных ядерных нейронных сетей и алгоритмов быстрых линейных преобразований объединяет оба направления цифровой обработки данных и позволяет использовать однотипные средства для их реализации.

10.В результате выполненных исследований решена крупная научно-техническая проблема, имеющая важная народнохозяйственное значение, заключающаяся в создании методологической базы, моделей, методов, и алгоритмов системного проектирования быстродействующих нейронных сетей больших масштабов, удовлетворяющих требованиям технической реализуемости для широкого класса современных вычислительных платформ.

11. Результаты работы целесообразно использовать при техническом проектировании, создании инструментальных средств и моделировании интеллектуальных систем используемых в авиации, космонавтике, транспорте, судостроении, машиностроении, робототехнике. Теоретико-методологические, инструментальные и прикладные результаты работы могут быть включены в учебный процесс вузов страны при преподавании дисциплин по теории нейронных систем, методам принятия решений, методам анализа и проектирования модульных систем.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Дорогов А.Ю. Быстрые нейронные сети: Проектирование, настройка, приложения // Лекции по нейроинформатике Часть 1. Материалы школы семинара «Современные проблемы нейроинформатики», 6 Всерос. научн. техн. конф. «Нейроинформатика 2004».- М.: МИФИ, 2004,- С. 69-134.

2. Дорогов А.Ю. Пластичность многослойных модульных нейронных сетей // Новости искусственного интеллекта. - №3(57), 2003.- С.36-45.

3. Дорогов А.Ю. Реализация спектральных преобразований в классе быстрых нейронных сетей // Программирование, №4 ,2003.- С. 13-26.

4. Dorogov A.Yu. Implementation of Spectral Transformation in the Class of Fast Neural Networks (Реализация спектральных преобразований в классе быстрых нейронных сетей) // Programming and Computer Software. Kluwer Academic / Plenum Publishers.- Vol. 29, No 4,2003.- 13-26p.

5. Дорогов А.Ю., Алексеев A.A. Оценка степени пластичности многослойных нейронных сетей // Известия СПбГЭТУ "ЛЭТИ": Информатика,

управление и компьютерные технологии. СПб.: Издательство СПбГЭТУ №2.-2003.- С.34-40.

6. Дорогов А.Ю. Быстрые нейронные сети. СПб.: Изд-во С.Петерб. ун-та, 2002.- 80с.

7. Дорогов А.Ю. Порождающие грамматики быстрых нейронных сетей // Нейрокомпьютеры: разработка и применение. - №9-10,2002.- С.10-25.

8. Дорогов А.Ю. Статическая настройка ядерной нейронной сети // Известия СПбГЭТУ "ЛЭТИ": Информатика, управление и компьютерные технологии СПб.: Издательство СПбГЭТУ "ЛЭТИ".- №3.-2002.- С.89-94.

9. Дорогов А.Ю., Краснова А.И., Яшин А.И. Байесовская фазификация вероятностных переменных в задаче распознавания вероятностных образов // Известия СПбГЭТУ "ЛЭТИ": Информатика, управление и компьютерные технологии СПб.: Издательство СПбГЭТУ "ЛЭТИ".- №3.-2002.- С.39-42.

10.Дорогов A.IO. Предварительная настройка ядерной нейронной сети // Радюелектрошка 1нформатика Управлшня (Радиоэлектроника Информатика Управление).- 2001.- №1.- С.71-75.

11.Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 2. .Ядерные нейронные сети // Кибернетика и системный анализ. - 2001.-№4.- С.13-20.

12.Dorogov A.Yu. Structural Synthesis of Modular Weakly Connected Neural Networks. II. Nuclear Neural Networks (Структурный синтез модульных слабосвязанных нейронных сетей. Ядерные нейронные сети) // Cybernetics and Systems Analysis. Kluwer Academic Publishers.- 37 (4): 470-477, July -August, 2001.

13.Дорогов A.IO. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 1. Методология структурного синтеза модульных нейронных сетей // Кибернетика и системный анализ,- №2,2001,- С.34-42.

14.Dorogov A.Yu. Structural Synthesis of Modular Weakly Connected Neural Networks. I. Methodology of Structural Synthesis of Modular Neural Networks (Структурный синтез модульных слабосвязанных нейронных сетей. Методология структурного синтеза модульных нейронных сетей) // Cybernetics and Systems Analysis. Kluwer Academic Publishers.- 37 (2): 175-181, March - April, 2001.

15.Дорогов A.IO. Структурный синтез двухслойных быстрых нейронных сетей // Кибернетика и системный анализ.- №4.- 2000.- С.47-57.

16.Алексеев А.А., Дорогов А.Ю. Пластичность многослойных слабосвязанных нейронных сетей // Нейрокомпьютеры: разработка и применение №11,2001.- С.22-40.

17.Дорогов А.Ю. Системные категории модульных нейронных сетей // Нейрокомпьютеры: разработка и применение №11,2001.- С.4-21.

18.Dorogov A.Yu. Structure Synthesis of Fast Neural Networks (Структурный синтез быстрых нейронных сетей) // Neurocomputers Design and Application. (New York).- Vol.l, Issue 1.2000.- l-18pp.

19.Dorogov A.Yu. Estimation of Multilayer Neural Network Plastisity (Оценка пластичности многослойных нейронных сетей) // In Preprints of Eleventh IFAC International Workshop Control application of optimization CAO'2000 july 3-6,2000, Saint-Petersburg, 96-99 pp.

20.Дорогов А.Ю. Анализ параметрической пластичности многослойных нейронных сетей // Радюелектрошка 1нформатика Управлшня (Радиоэлектроника Информатика Управление).- №1,2000.- С.66-71.

21.Дорогов А.Ю. Структурный синтез быстрых нейронных сетей // Нейро-компютеры: разработка и применение.-№1 1999.-С. 11-24.

22.Алексеев A.A. Дорогов А.Ю. Пластичность двухслойных быстрых нейронных сетей // Известия АИ. Теория и системы управления.- №5, 1999.-С.121-126.

23.Алексеев A.A. Дорогов А.Ю. Обучение быстрых нейронных сетей // Известия ГЭТУ.- Сб. науч. тр.- Вып.514,- Информационные технологии в технических и организационных системах. С-Ш.1997.- С.68-75.

24.Дорогов А.Ю. Пластичность многослойных нейронных сетей // Известия вузов. Приборостроение.- Т.41,№4, 1998г.-С.36-41.

25.Дорогов АЛО., Буторин Д.А. NEURO OFFICE - Технология проектирования нейронных сетей с ядерной организацией // Известия СПбГЭТУ "ЛЭТИ", вып. 1/98 серия: Управление, информатика и вычислительная техника. - С-Пб., 1998.- С.5-7.

26.Алексеев A.A., Дорогов А.Ю. Математические модели нейронных сетей с ансамблевой организацией // Известия СПбГЭТУ (ЛЭТИ) вып. 1/98 серия: Управление, информатика и вычислительная техника.- С-Пб., 1998.- С.ЗЗ-35.

27.Алексеев A.A., Дорогов АЛО. Нейронные сети с ядерной организацией // Оборонная техника.- №7-8,1998.- С.43-46.

28.Алексеев A.A., Дорогов А.Ю. Математические модели быстрых нейронных сетей // В сб. научн. Тр. СПбГЭТУ вып.490, серия: Системы управления и обработки информации, 1996. - С.79-84.

29.Dorogov A.Yu. Fast Neural Networks and Fast Spectral Transformations (Быстрые нейронные сети и быстрые спектральные преобразования) // In processing of Third International Conference on Neural Networks and Artificial Intelligence (ICNNAI-2003, Minsk, 12-14 November, 2003).- Minsk.-2003.-136-142pp.

30.Дорогов А.Ю. Нечеткий нейрон с контрастирующей функцией активации // Сб. тр. науч.-техн. конф. Нейроинформатика-2003 29-31 января 2003г., Москва. Изд. М.: - МИФИ, 2003,4.1.- С.55-60.

31 .Дорогов А.Ю. Фракталы и нейронные сети // Проблемы нейрокибернети-ки (материалы Юбилейной междунар. конф. по нейрокибернетике посвященной 90-летию со дня рождения проф. А.Б.Когана 23-29 октября 2002г. Ростов-на-Дону). Том 2. Ростов-на-Дону.- 2002.- С.9-14.

ЛР№ 020617 от 24. Об. 98

Подписано в печать 24.02.04. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. '2,25. _Тираж 100 экз. Заказ 12._

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ «ЛЭТИ» 19737б, С.-Петербург, ул. Проф. Попова, 5

РНБ Русский фонд

2007-4 17879

г

2 з апр im

ВВЕДЕНИЕ.

ГЛАВА 1. КОНЦЕПЦИИ СИСТЕМНОГО МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ.

1.1. Обзор направлений и тенденций развития нейротехнологии.

1.2. Принципы системного моделирования нейронных сетей.

1.3. Концептуальный анализ биологических нейронных сетей.

1.3.1. Свойства и функции одиночных нервных клеток.

1.3.2. Структурная организация биологических нейронных сетей.

1.3.3. Концептуальная модель биологической нейронной сети.

1.4. Математические модели нейронных сетей.

1.4.1. Модели одиночных нейронов.

1.4.2. Архитектура нейронных сетей прямого распространения.

1.4.3. Структурная оптимизация многослойных нейронных сетей.

1.4.4. Методы оценки качественных характеристик нейронных сетей.

1.5. Модульные нейронные сети.

1.6. Перестраиваемые спектральные преобразования и ядерные . нейронные сети.

1.7. Средства технической реализации нейросетевых алгоритмов высокой размерности.

1.8. Концепция системного моделирования модульных нейронных сетей.

1.9. Результаты и выводы по главе.

ГЛАВА 2. СИСТЕМНЫЕ МОДЕЛИ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ.

2.1. Математические модели динамических модульных систем.

2.2. Системные модели «общего положения».

2.3. Применение теории категории для исследования модульных систем.

2.3.1. Системные характеристики математических категорий.

2.3.2. Геометрия несущих пространств.

2.3.3. Категории несущих пространств.

2.3.4. Категория общих систем.

2.4. Сигнальные категории модульных систем.

2.4.1. Категории модульных систем для объектов с однородными терминальными полями.

2.4.2. Сигнальные категории для объектов с не однородными терминальными полями.

2.4.3. Ориентированные категории модульных систем.

2.5. Топологические категории модульных систем.

2.6. Ориентированная модульная сеть в пространстве системных состояний.

2.7. Результаты и выводы по главе.

ГЛАВА 3. МОДУЛЬНЫЕ НЕЙРОННЫЕ СЕТИ ПРЯМОГО РАСПРОСТРАНЕНИЯ.

3.1. Структурная модель модульной сети.

3.2. Алгоритм построения топологии модульной сети.

3.3. Обучение модульных нейронных сетей.

3.4. Многослойные ядерные нейронные сети.

3.4.1. Ранговые матрицы.

3.4.2. Алгоритм построения топологии ядерной сети.

3.4.3. Модель ядерной нейронной сети в операторной форме.

3.4.4. Матричные представления.

3.4.5. Обучение ядерных нейронных сетей.

3.5. Результаты и выводы по главе.

ГЛАВА 4. СТРУКТУРНЫЙ АНАЛИЗ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ.

4.1. Пластичность нейронных сетей.

4.1.1. Операторные многообразия нейронных модулей.

4.1.2. Модальные множества и отношения.

4.1.3. Модальные категории модульных нейронных сетей.

4.1.4. Ориентированные категории.

4.2. Пластичность модульных нейронных сетей.

4.3. Примеры расчета пластичности.

4.4. Оценка способности нейронной сети к аппроксимации многомерных отображений.

4.5. Оценка способности нейронной сети к распознаванию образов

4.6. Оценка обобщающей способности нейронной сети.

4.7. Операторный ранг модульной сети.

4.8. Быстродействие ядерных нейронных сетей.

4.9. Топологическая пластичность нейронных сетей.

4.10. Результаты и выводы по главе.

ГЛАВА 5. СТРУКТУРНЫЙ СИНТЕЗ СЛАБОСВЯЗАННЫХ НЕЙРОННЫХ СЕТЕЙ.

5.1. Морфология слабосвязанных сетей.

5.2. Генезис слабосвязанных сетей.

5.3. Алгоритмическая модель криэйтора.

5.3.1. Криэйторы общего вида.

5.3.2. Криэйторы градуированных нейронных сетей.

5.3.3. Криэйторы ядерных нейронных сетей.

5.4. Стратегии синтеза ядерных слабосвязанных сетей.

5.5. Структурный синтез регулярных сетей.

5.5.1. Формальный язык регулярных сетей.

5.5.2. Алфавит языка и грамматика слов.

5.5.3. Грамматика предложений.

5.5.4. Семантическая интерпретация предложений.

5.5.5. Структурные свойства графических интерпретаций.

5.6. Пластичность слабосвязанных сетей.

5.7. Результаты и выводы по главе.

ГЛАВА 6. ПРОЕКТИРОВАНИЕ БЫСТРЫХ НЕЙРОННЫХ СЕТЕЙ.

6.1. Структурный анализ алгоритмов БПФ.

6.2. Парадигма быстрой нейронной сети.

6.3. Топологическое проектирование быстрых нейронных сетей.

6.3.1. Топологии нейронных слоев.

6.3.2. Графическая интерпретация топологий.

6.3.3. Регулярные порождающие схемы.

6.3.4. Граничные условия и топологические матрицы.

6.3.5. Внешняя траектория топологий.

6.4. алгоритм обработки данных в БНС.

6.5. Градиентное обучение БНС.

6.6. Вычислительная эффективность БНС.

6.7. Перестраиваемые спектральные преобразования.

6.7.1. Настройка перестраиваемых преобразований.

6.7.2. Настройка на базис Адамара.

6.7.3. Настройка на базис Фурье.

6.7.4. Быстрое вейвлет преобразование.

6.8. Нейросетевая аппроксимация регулярных фракталов.

6.8.1. Аналитическая форма регулярного фрактала.

6.8.2. Дискретная аппроксимация фракталов.

6.9. Фрактальная фильтрация сигналов.

6.10. Приспособленные быстрые преобразования.

6.10.1. Алгоритм приспособления.

6.10.2. Приспособленные преобразования в нечетком пространстве.

6.10.3. Спектральные приспособленные преобразования.

6.11. Быстрые нейронные сети в квантовых вычислениях.

6.12. Многомерные БНС.

6.13. Результаты и выводы по главе.

ГЛАВА 7. НЕЙРОСЕТЕВАЯ КЛАССИФИКАЦИЯ ДВИЖУЩИХСЯ ГРУППОВЫХ ОБЪЕКТОВ.

7.1. Функциональное описание системы транспортного мониторинга

7.1.1. Информационный канал.

7.1.2. Синхронизация измерений.

7.1.3. Информативные признаки.

7.1.4. Постановка задачи классификации.

7.2. Формирование лингвистических переменных.

7.2.1. Метод фаззификации.

7.2.2. Лингвистическая переменная «Структура».

7.2.3. Семантика группового объекта.

7.2.4. Лингвистическая переменная «Длинна объекта».

7.3. Классификация объектов.

7.3.1. Архитектура нейронной сети.

7.3.2. Контрастирующие функции активации.

7.3.3. Алгоритм обработки данных в нечеткой нейронной сети.

7.3.4. Оценка достоверности классификации групповых объектов.

7.4. Результаты и выводы по главе.

ГЛАВА 8. ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ПРОЕКТИРОВАНИЯ ЯДЕРНЫХ НЕЙРОННЫХ СЕТЕЙ.

8.1. Концепция и архитектура программных средств.

8.2. Формат представления ядерной нейронной сети.

8.3. Класс реконфигурируемых регулярных сетей.

8.3.1. Изменение размерности нейронных ядер.

8.3.2. Изменение ранга межъядерных связей.

8.3.3. Изменение числа нейронных слоев.

8.3.4. Объединение и деление нейронных слоев.

8.4. Результаты и выводы по главе.

Конец 20-го столетия и начало нового века явились периодом бурного развития методов решения плохо формализуемых задач. Во многом этому процессу способствовало интенсивное развитие средств вычислительной техники. Задачи, которые раньше невозможно было решить ввиду вычислительной сложности или отсутствия формализованного представления, теперь часто решаются путем простого перебора вариантов. Однако с ростом размерности задач потребность в вычислительных ресурсах возрастает экспоненциально, поэтому несмотря на появление новых быстродействующих процессоров и развитие суперкомпьютеров «проклятие размерности» сохранят свои позиции. Ясное осознание невозможности победы над природой только с помощью технологической революции породило в конце двадцатого столетия новый импульс развития математических методов решения сложных задач. Искусственные нейронные сети (обучаемые коннеционистские модели) являются одним из таких методов, занимая определенную нишу между строгими математическими методами и методами эвристики, основанными на биологических аналогиях. Возможность обучения позволяет переложить на нейронную сеть проблему формализации. Не решая явно эту задачу, нейронная сеть позволяет создать модель, в которой инкапсулируется внешний образ объекта исследования, что дает возможность устранить полный перебор возможных вариантов за счет целенаправленного использования информации сосредоточенной в обученной нейронной сети.

Искусственные нейронные сети возникли как грубое подобие биологических нейронных сетей, тем не менее, они несут в себе существенный отпечаток живой природы. Наиболее наглядно это проявляется на уровне системно-структурных представлений. Однородность образующих элементов, нелинейность преобразования информации, многослойность, модульность искусственных нейронных сетей имеют прямые соответствия в биологических сетях. Несмотря на то, что искусственные нейронные сети прошли свой путь развития, биологические аналогии и в настоящее время являются источником новых плодотворных идей. Способность искусственных нейронных сетей обобщать накопленную информацию наряду с простотой их алгоритмической реализации обусловило их широкое использование в технических приложениях.

Актуальность. В настоящее время методы нейротехнологии активно применяются в таких прикладных технических областях как обработка аэрокосмических изображений и гидроакустических сигналов, управление интеллектуальными робото-техническими системами, распознавание слитной речи, моделирование многомерных динамических объектов в реальном времени и др. В целом этот класс приложений характеризуются высокой размерностью данных (1000 и более переменных) и критичностью к времени обработки (вплоть до долей секунды).

В последние годы теория нейронных сетей получила значительное развитие, однако до сих пор не достаточно развиты методы системного проектирования и анализа быстродействующих модульных нейронных сетей высокой размерности и родственных к ним быстрых перестраиваемых преобразований. Основной проблемой проектирования больших нейронных сетей является наличие системного противоречия между быстродействием и уровнем «интеллекта» нейронной сети. Анализ имеющихся научных источников показал, что одним из наиболее перспективных путей его разрешения является использование модульных нейронных сетей, с регулярной структурой и топологией. С основной проблемой связана следующая группа практически значимых задач:

• Задача построения системных моделей нейронных сетей адекватных технической и биологической концепции модульности.

• Задача количественная оценки коннекционистских свойств и потенциальных возможностей модульных нейронных сетей.

• Задача оптимального выбора структуры и топологии нейронной сети.

• Задача обучения и предварительной настройки модульных нейронных сетей.

• Задача проектирования больших и сверхбольших нейронных сетей высокого быстродействия.

• Задача эффективного сопряжения больших нейронных сетей с алгоритмами предварительной обработки данных;

• Задача построения реконфигурируемых регулярных нейронных сетей.

Основные трудности решения связаны с тем, что ни один из существующих методов анализа модульных систем полностью не покрывают спектра проблемных задач. Комплексированию методов препятствует их неоднородность, отсутствие модельной поддержки процедур обучения модульной сети, ориентация базовых моделей на геометрию векторного пространства, отсутствие унификации в методах анализа.

Специфика нейронных сетей требует модельного описания выражающего двойственность поведения нейронной сети как объекта обучения и как средства обработки данных для различного вида несущих пространств, типа модулей и уровня представления моделей. Широкий диапазон проблемных задач и прикладных интерпретаций, не может быть разрешен в рамках какой либо одной модели, поэтому возникает необходимость использования семейства моделей, каждая из которых описывает поведение нейронной сети с точки зрения выбранного уровня абстрагирования (страты). Отношение порядка между уровнями представлений задает иерархию между моделями.

Перечисленные вопросы приводят к необходимости системного исследования модульных нейронных сетей. Актуальность темы подтверждается значительным масштабом научных исследований, объемом публикаций, числом проводимых научно-технических конференций, как за рубежом, так и в России связанных с приложениями модульных нейронных сетей.

Постановка задачи. В области системного анализа и проектирования модульные сети непосредственно граничат с теорией сложных систем управления. Математические модели сложных систем управления изучались в работах Н.П.Бусленко, В.В.Калашникова, И.М.Коваленко [1] (1965-1971гг.), Р. Калмана, М.Арбиба, П.Фалба [2] (1971), М.Месаровича, Т.Такахара [3] (1975г.) А.А.Вавилова, Д.Х.Имаева, [4] Б.Ф.Фомина [5] (1983-1986гг.) и других авторов.

В настоящее время известны различные типы математических моделей сложных систем, конкретный вид которых обусловлен областью их приложения, степенью охвата реально действующих факторов, подробностью отображений физических явлений, целями исследования. Однако можно выделить базовые общесистемные принципы построения подобных моделей, к ним относятся:

• Разделение системы на функциональные объекты и межобъектные связи.

• Декомпозиция сложных систем на более простые подсистемы.

• Стратификация моделей по уровням представлений.

• Формирование стратифицированных пространств состояний.

Основное назначение модели сделать возможным выводы о поведении реальной системы. В зависимости поставленной цели модель используется либо для задач анализа, либо как инструмент проектирования новой системы или класса систем. Задача анализа, как правило, включает в себя:

• анализ поведения систем в пространствах состояний;

• выявление предельных состояний и аттракторов;

• оценку потенциальных возможностей системы.

Задача проектирования состоит в выборе приемлемого варианта из некоторого класса возможных решений при выполнении заданных ограничений. Для того чтобы выделить предмет исследования рассмотрим специфические особенности модульных нейронных сетей.

В отличие от систем управления, где структура, тип модуля и тип связей, как правило, заданы технической реализаций, в модульных нейронных сетях, размерности и параметры модуля, структура и топология связей всегда является предметом проектирования и ограничены по типам, требованием однородности и простоты реализации. При проектировании модульной нейронной сети, функциональность любого модуля может быть доведена до предельного уровня, определяемого только его размерностью, а связи всегда могут быть выбраны в наиболее простом варианте. Эти особенности позволяет существенно упростить системные модели и методы их исследования.

Второе важное отличие состоит в том, что в нейронной сети модуль не обязан быть кибернетическим объектом (удовлетворяющим идеологии «вход-выход»). Исследования нейрофизиологов показали, что между нейронами возможны связи типа вход-вход, выход-выход. Такие системы не описываются кибернетическими моделями, и для их анализа требуется разрабатывать специальные методы.

Третье отличие - при исследовании модульных нейронных сетей акцент переносится на анализ коннекционистских свойств сети. Необходимость такого подхода, во-первых, связана с задачей выбора структуры сети, оптимально приспособленной к анализу определенного набора данных и, во-вторых, обусловлено требованиями технической реализуемости сетей большого масштаба. Сверхбольшие модульные нейронные сети должны удовлетворять условиям регулярности по структуре и топологии, в противном случае они технически не реализуемы. Условие регулярности близко соотносится с понятиями самоподобие и фрактальность. Поэтому для проектирования регулярных сетей необходимы математические модели, поддерживающие новые структурные и топологические парадигмы.

Четвертое - в технических приложениях доминирующее распространение получили нейронные сети прямого распространения (сети без обратных связей). К этому классу относятся, в частности, многослойные нейронные сети. Для сетей подобного класса известные методы анализа сложных систем оказываются избыточными. Модели многослойных нейронных сетей близки по архитектуре к итеративным алгоритмам цифровой обработки данных, от которых требуется высокая вычислительная эффективность при обработке данных большой размерности.

Пятое - функционирование нейронных сетей включает в себя этапы обучения и обработки данных. Методы исследования сложных систем, как правило, обслуживают уровень обработки данных, но не поддерживают уровень обучения, тем более он не развит для модульных систем.

Шестое - модульные нейронные сети могут быть реализованы в различных несущих пространствах. Необходим унифицированный математический аппарат, пригодный для представления систем качественно различного типа.

Седьмое - для нейронных сетей должна быть обеспечена возможность реконфигурации структуры и топологии сети в соответствии вариацией структурной сложности обрабатываемых данных. В системах управления вопросы адаптации в лучшем случае решаются подстройкой параметров при сохранении структуры связей, поэтому модели поддерживающие реконфигурацию систем практически не развиты.

Восьмое - нейронная сеть представляет собой целостный объект, поэтому в ре-конфигурируемой сети должны быть согласованы все уровни представлений от параметрического до морфологического, что должно найти отражение в моделях сети. В моделях систем управления это условие не считается обязательным.

Из сказанного следует вывод: теоретическое обобщение существующих методов исследования модульных систем, разработка методов системного проектирования быстродействующих модульных сетей больших масштабов, разработка общих методов построения быстрых алгоритмов для эффективной обработки данных высокой размерности является в настоящее время актуальной задачей.

Целью диссертационной работы является: разработка унифицированных моделей и методов системного проектирования модульных быстродействующих нейронных сетей большего масштаба и быстрых перестраиваемых преобразований в нейро-сетевом базисе.

Задачи. В соответствии с поставленной целью определены следующие задачи:

• Разработать концепцию системного проектирования быстродействующих нейронных сетей большого масштаба.

• Разработать комплекс стратифицированных системных моделей для многоуровневого проектирования модульных нейронных сетей.

• Разработать методы структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

• Разработать методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

• Разработать методы структурного проектирования модульных нейронных сетей высокой размерности.

• Разработать методы оценки коннекционистских характеристик модульных нейронных сетей прямого распространения.

• Разработать методы построения реконфигурируемых регулярных нейронных сетей.

Научная новизна диссертации. В работе предложена, развита и реализована новая концепция и разработаны теоретические основы методов системного проектирования быстродействующих нейронных сетей и перестраиваемых преобразований больших масштабов:

• Концепция многоуровневого системного проектирования быстродействующих нейронных сетей большого масштаба, отличается четырехуровневой иерархией модельного представления сети основанной на модульном обособлении обусловленным инъективностью связей, что позволяет выполнить многоуровневую декомпозицию задачи проектирования по целям и используемым методам.

• Системные модели модульных нейронных сетей удовлетворяют всем требованиям математических категорий, и отличаются трансверсальностью и согласованной многоуровневой стратификацией, образуя взаимосвязанный комплекс, что позволяет реализовать сквозное нисходящее проектирование модульных нейронных сетей произвольной размерности.

• Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований, отличается использованием стратифицированных лингвистических моделей, что позволило определить инварианты, структурного и топологического синтеза быстрых алгоритмов.

• Методы настройки быстрых перестраиваемых преобразований к системе функций основаны на кратно масштабном мультипликативном представлении произвольных дискретных функций и отличаются полным использованием степеней свободы перестраиваемых преобразований.

• Эволюционный метод структурного проектирования ядерных нейронных сетей отличается сохранением генетического подобия слабосвязанной структуры при пошаговом синтезе сети с оптимизацией по критериям пластичности и вычислительной эффективности, что позволяет выполнить структурное проектирование быстродействующих нейронных сетей произвольной размерности с вычислимыми оценками качественных показателей.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам использует в качестве измеримого показателя число распознаваемых образов общего положения и отличается наличием аналитических форм расчета и методики экспериментальной оценки, что позволяет обоснованно выбрать структуру быстродействующей нейронной сети.

Практическая значимость. Разработанные методы являются научной базой конструкторского и технологического проектирования регулярных модульных сетей большого масштаба для широкого класса вычислительных платформ:

• Комплекс стратифицированных моделей - основа поэтапного нисходящего проектирования модульной нейронной сети, исходя из требуемых функциональных возможностей, уровня быстродействия, и технологических ограничений.

• Общее решение задачи структурного и топологического синтеза быстрых регулярных нейронных сетей и перестраиваемых преобразований выраженное установленным инвариантом морфологического уровня и группами допустимых преобразований структуры и топологии, определяет полный диапазон проектных решений, удовлетворяющих принятым условиям регулярности.

• Методы настройки быстрых перестраиваемых преобразований к системе функций - теоретическая база для построения алгоритмов быстрых преобразований и многоканальных быстродействующих адаптивных фильтров в нейросетевом базисе.

• Эволюционный метод структурного проектирования ядерных нейронных сетей выделяет класс квазирегулярных проектных решений быстродействующих модульных нейронных сетей прямого распространения, с вычислимыми оценками качественных показателей.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам и разработанная на его основе методика экспериментальной оценки решают задачу вычисления и измерения способности нейронной сети к распознаванию образов и аппроксимации отображений.

• Созданный пакет программных средств для проектирования и моделирования ядерных нейронных сетей может быть использован как для научных исследований и обучения, так и для создания коммерческих программных продуктов в области интеллектуальных технологий.

Достоверность и значимость практических результатов подтверждена их использованием при проектировании подсистемы классификации транспортных колонн в системе охранного мониторинга энергетических объектов, при моделировании подсистемы динамической стабилизации шагающего робота, при проектировании подсистемы контроля динамики судна при движении в ледовой обстановке, при проектировании подсистемы распознавании групп токсических фосфорорганических соединений при групповых отравлениях.

Созданный программный пакет инструментальных средств вместе с сопутствующими методическими материалами используется в учебном процессе в ряде вузов России: в Санкт-Петербургском государственном электротехнический университете (ЛЭТИ), в Академия управления и предпринимательства (институт) - негосударственное образовательное учреждение высшего профессионального образования, (г. Екатеринбург), в Дальневосточном государственном техническом университет (ДВГТУ). (г. Владивосток), в Кубанском государственном аграрном университете (г. Краснодар).

Практическое применение результатов диссертационной работы подтверждено соответствующими актами о внедрении основных результатов работы и использовании программных средств.

Апробация. По результатам диссертационной работы опубликованы одна монография и 93 научные статьи, из них 27 в отечественных и зарубежных журналах и повторяющихся изданиях, остальные в трудах российских и международных конференций. Основные результаты работы докладывались на: Международном симпозиуме «Интеллектуальные системы» (INTEL'S 96); International Conference on Informatic and Control (IC&C97); Всероссийском семинаре «Нейроинформатика и ее приложения» (1997, 1998, 1999, 2000, 2001, 2003гг.); Международной конференции «Информационные средства и технологии» (1997г.); Международной конференции «Современные технологии обучения» (1998, 1999гг.); Международной научно-технической конференции «Нейронные, реляторные сети и модели» (1998г.); Межреспубликанской научной конференции «Управление в социальных, экономических и технических системах» (1998г.); Международной конференции «по мягким вычислениям и измерениям» (1998, 2000, 2001, 2002, 2003гг.); Всероссийском семинаре «Моделирование неравновесных систем» (1998, 2001гг.). Всероссийской научно-технической конференции «Нейроинформатика» (1999, 2000, 2001, 2002, 2003, 2004гг.); Всероссийской конференции с международным участием «Нейрокомпьютеры и их применение» (1999, 2000, 2001, 2002гг.); Международной конференции по нейрокибернетике «Проблемы нейрокибернетики» (1999, 2002гг.); Международной научно-технической конференции «Пятьдесят лет развития кибернетики» (1999г.); First international conference on mechatronics and robotics: M&R'2000, Saint-Petersburg; Eleventh IF AC International Workshop Control application of optimization CAO'2000, Saint-Petersburg; 4-th International Conference "New Information Technologies" (NITe'2000), Minsk; Seventh International Conference on Advanced Computer Systems (ACS-2000), Poland, Szczecin; 2nd International Conference on Neural Networks and Artificial Intelligence, ICNNAI'2001, Minsk; Seventh International Conference on Information Networks, System and Technologies, ICINASTe-2001, Minsk; Международной научно-технической конференции IEEE AIS'03 CAD-2003; 5-ой международной конференции по морским интеллектуальным технологиям «Моринтех'2003»; Third International Conference on Neural Networks and Artificial Intelligence ICNNAI-2003, Minsk.

Результаты работы нашли отражение в рамках двух научно-исследовательских программах и восьми научных грантах в период 1997-2003гг. (в шести из них автор был руководителем):

Обучающиеся системы распознавания предаварийного состояния энергетических объектов на основе нейронных сетей со структурно-ядерной организацией», -грант Минобразования РФ, 1997-1999, Гос. per. № 01980009502.

Разработка методов построения инструментальных средств с использованием нейротехнологии для контроля и управления технологическими процессами», - грант Минобразования РФ, 1997-1999, Гос. per. № 01980009504.

Разработка методов проектирования модульных нейронных сетей» грант ЛЭТИ для аспирантов и докторантов в рамках тематического плана по заданию Минобразования РФ, 2001г., Мин. Обр. per. № 1.5.01.

Разработка методов синтеза быстрых нейронных сетей», - грант Минобразования, 2000-2002, Гос. per. №01200104991, код. ЕОО-1.0-63.

Технология проектирования нейрологических когнитивных управляющих систем», - научно-техническая программа «Научные исследования высшей школы по приоритетным направлениям науки и техники», 2001-2002. Подпрограмма: Производственные технологии. Раздел: Интеллектуальные системы автоматизированного проектирования и управления производством. Код. № 206.06.01.067.

Методы проектирования сверхбольших модульных нейронных сетей», - грант РФФИ 2000-2002, Код. № 00-01-00-670а.

Нейросетевые и FUZZY- технологии в интеллектуальных системах управления», - научно-техническая программа «Научные исследования высшей школы по приоритетным направлениям науки и техники», 2001-2002. Подпрограмма: Производственные технологии. Раздел: Интеллектуальные системы автоматизированного проектирования и управления производством. Код. № 206.06.01.067.

Разработка нейросетевой технологии смысловой классификации информационных сообщений». Грант администрации Санкт-Петербурга в сфере научной и научно-технической деятельности, 2003г. Шифр Е00-1.0-63.

Разработка слабосвязанных реконфигурируемых нейронных сетей для информационно-измерительных систем». Грант Минобразования РФ по фундаментальным исследованиям в области технических наук, 2003-2004, Гос.рег. № 012003 10052.

Автоматизированная интерактивная нейросетевая система обработки и анализа двумерных изображений». Грант администрации Санкт-Петербурга в сфере научной и научно-технической деятельности, 2003г. Шифр № 138/03.

Структура работы. Диссертационная работа состоит из восьми глав и приложения.

В первой главе показана роль нейротехнологии в развитии современных методов решения технических задач. Рассмотрено функционирование и системная организация биологических нейронных сетей. Рассмотрен ряд известных математических моделей одиночных нейронов, нашедших применение в технических приложениях. Рассмотрены методы оценки качества нейронных сетей. Выполнен обзор и анализ технических реализаций нейронных сетей большого масштаба на современных вычислительных платформах. Основное внимание уделено структурной организации нейронных сетей. Концептуальный анализ биологических и искусственных нейронных сетей позволил сформулировать системные требования к математическому моделированию модульных нейронных сетей. Приведен обзор методов структурного синтеза нейронных сетей. Показана роль и значение модульных нейронных сетей. В этой же главе показаны родственные связи модульных сетей с классом быстрых спектральных преобразований и приведен исторический обзор развития перестраиваемых преобразований. Разработана концепция системного моделирования модульных нейронных сетей, определены цели и средства исследования.

Во второй главе выполнен обзор существующих методов анализа модульных систем. Обоснована необходимость использования математической теории категорий для построения моделей модульных систем. Представлена существующая методология использования теории категорий для анализа систем сложных систем управления. Предложены новые категории модульных систем, адекватные концептуальной модели. Показано, что в частных случаях категории модульных систем реализуют категории кибернетических и общих систем Месаровича-Такахары. Предложена системная классификация объектов категорий. Представлены категории для нейронных сетей с различным типом несущих пространств. Показана связь категории модульных систем с категорией систем управления. Введено понятие топологии модульных сетей и построена топологическая категория. Дано описание модульной сети в пространстве состояний. Приведено обобщение понятия пространства состояний для топологической модели сети. Анализ, выполненный в данной главе, определил место модульных сетей в общей категории систем. Предложенные модели системного уровня сохраняют преемственность с известными модели нейронных сетей, используемых в технических приложениях, но при этом сохраняется достаточный «методологический запас» для представления нейронных сетей с нетиповыми свойствами.

В третьей главе исследованы модульные сети прямого распространения. Показано, что для модульных сетей данного типа достаточным системным описанием является структурная модель. Разработаны алгоритмы топологического проектирования модульных нейронных сетей. Разработаны методы обучения модульных нейронных сетей прямого распространения с транзитивными связями. Исследован класс многослойных ядерных сетей, получены операторные и матричные представления для данного класса сетей. Разработаны методы обучения ядерных нейронных сетей. Основные результаты 2 и 3 главы изложены в работах [6-17].

В четвертой главе выполнен структурный анализ модульных сетей на основе модальных категорий модульных сетей. В данной главе приведено обобщение понятия пространства состояний на модальные модели модульных систем. В пространстве модальных состояний выполнено структурное исследование ориентированных сетей с объектами типа «вход-выход». Приведен метод анализа слабосвязанных сетей прямого распространения в пространстве модальных состояний. Проведенный анализ позволил получить численные характеристики, пригодные для сравнительной оценки модульных сетей по степени пластичности. На основе показателя пластичности разработаны методы оценки разделяющей мощности и обобщающей способности мо» дульных сетей прямого распространения. Предложена методика экспериментальной оценки разделяющей мощности нейронной сети. Показана связь показателя разделяющей мощности с аппроксимирующими свойствами нейронных сетей. Разработан алгоритм вычисления операторного ранга нейронной сети. Выполнен анализ быстродействия ядерных нейронных сетей. Предложен метод оценки топологической пластичности ядерных и модульных нейронных сетей. Получены структурные условия оптимальной топологической пластичности. Основные результаты данной главы представлены в работах [18-29].

В пятой главе предложена парадигма слабосвязанной сети для обработки данных высокой размерности. Проведено исследование модульных нейронных сетей обладающих генетическим свойством слабой связанности. Доказан ряд теорем о свойствах слабо связанной сети. На уровне системных представлений доказан генетический принцип порождения слабосвязанных сетей. В соответствии с данным принципом, слабосвязанная сеть представляется как растущая сеть с предопределенным генетическим законом развития. Предложены алгоритмические модели порождающих правил. Для ядерных слабосвязанных сетей разработан алгоритм синтеза квазиоптимальных структурных моделей. Предложен формальный язык для описания регулярных сетей. Разработаны лингвистические методы структурного синтеза регулярных модульных сетей. Выполнен анализ и разработан метод графического расчета пластичности слабосвязанных нейронных сетей.

В шестой главе выполнен структурный анализ алгоритмов быстрого преобразования Фурье (БПФ). Доказано, что структурная модель БПФ является слабосвязанной сетью. На основе проведенного анализа предложена концепция быстрых нейронных сетей (БНС) как особого класса многослойных слабосвязанных сетей, обладающих регулярной структурой. Разработаны алгоритмы структурного синтеза БНС. Разработаны лингвистические методы формирования регулярных топологий БНС. Получено общее решение задачи проектирования быстрых линейных факторизуемых преобразований. Предложены алгоритмы обучения БНС. С позиции БНС исследован класс перестраиваемых преобразований. Разработаны методы настройки перестраиваемых преобразований на системы ортогональных функций. Показано возможность использования быстрых нейронных сетей для аппроксимации регулярных фракталов. Предложен метод фрактальной фильтрации сигналов, на основе которого разработаны методы построения быстрых преобразований приспособленных к системе произвольных функций. Разработан метод построения ортогональных быстрых приспособленных преобразований составной размерности. Показаны потенциальные возможности использования приспособленных ортогональных преобразований в квантовых вычислениях. Предложен лингвистический метод проектирования многомерных регулярных нейронных сетей. Использование лингвистических моделей позволило представить настройку сети, как синтез топологической траектории с заданными граничными условиями и параметрическими ограничениями, обусловленными видом базисных функций. Новая концепция настройки в частности позволила для любого набора оснований построить алгоритм БПФ с естественным упорядочением функций по частотам следования. По этому же принципу получена настройка на вейвлет-базис, базис Адамара, базис Хаара. Основные результаты, полученные в главах 5 и 6 представлены в работах [30-47].

В седьмой главе представлены результаты разработки подсистемы классификации движущихся групповых объектов. Предложена методика адаптивной фаззифи-кации информативных признаков вероятностных образов с изменяющимися статистическими характеристиками. Для классификации предложено использовать модульную нечеткую нейронную сеть с контрастирующими функциями активации нейронов.

В восьмой главе представлена концепция и архитектура инструментальных средств проектирования модульных нейронных сетей. Описаны форматы представления данных. Разработаны методы регулярной реконфигурации модульных нейронных сетей. Построен программный класс реконфигурируемых нейронных сетей. Основные результаты, полученные в главах 7 и 8 представлены в работах [48-54].

В приложении 1. дано краткое описание пользовательского интерфейса программного пакета разработанного для проектирования модульных нейронных сетей.

В приложении 2. представлены протоколы экспериментального исследования разделяющей мощности нейронных сетей.

ЗАКЛЮЧЕНИЕ

В диссертации предложены и развиты концептуальные, математические и методические положения, изложены практические результаты, в совокупности составляющие теоретические и практические основы системного проектирования быстродействующих модульных нейронных сетей высокой размерности.

Научная новизна результатов, полученных в диссертационной работе состоит в следующем:

1. Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба, основанная на принципе инъективности связей, позволила выделить модельный класс для нейронных сетей прямого распространения, обладающий модульностью и трансверсальностью с согласованной стратификацией по уровням представлений поддержанный унифицированным математическим аппаратом исследования. С позиций анализа это дает возможность получить вычислимые потенциальные оценки качественных характеристик нейронных сетей прямого распространения с произвольной топологией связей, за счет реализации модульного покрытия. С позиций проектирования модульность нейронной сети позволяет обеспечить технологические требования к реализации сетей большого масштаба за счет упрощения методов проектирования регулярных сетей.

2. Комплекс стратифицированных моделей обеспечивает иерархическую декомпозицию процесса исследования и проектирования модульных нейронных сетей, по целям, используемым методам, и формам представления результатов. В методах анализа это позволяет выделить инварианты каждого уровня модельных представлений, определить закономерности и описать поведение сети в пространстве состояний текущего уровня. В методах проектирования это позволяет реализовать нисходящую последовательность проектных решений, при котором текущий выбор базируется на результатах проектного решения верхнего уровня.

3. Общее решение задачи структурного и топологического проектирования быстрых сетей раскрывает общие закономерности построения алгоритмов быстрых линейных преобразований и быстрых нейронных сетей, отождествляя их на уровне топологии структуры и морфологии. Применительно к быстрым преобразованиям единый подход решает проблему факторизации преобразований (которая прежде была предметом изобретений), заменяя ее задачей построения топологической траектории, удовлетворяющей общему решению. Множественность возможных решений позволяет выбрать топологию наиболее полно соответствующую технологическим требованиям.

4. Метод настройки быстрых перестраиваемых преобразований к заданной системе функций является теоретической базой для построения широкого класса быстрых спектральных преобразований, быстродействующих адаптивных фильтров и приспособленных линейных преобразований. Согласуя параметрическое и топологическое проектирование, метод настройки дает возможность получить множественное решение, в котором дополнительные условия позволяют выбрать наиболее простую техническую реализацию. При этом обеспечивается использование всех степеней свободы перестраиваемых преобразований.

5. Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения решает задачу структурного синтеза быстродействующих нейронных сетей произвольной размерности. Сохранение инвариантов морфологического уровня при эволюционном синтезе обеспечивает вычислимость качественных показателей нейронной сети и структурное самоподобие быстрых алгоритмов. Пошаговая оптимизация приводит к структурам, близким к регулярным с неоднородностью сосредоточенной в терминальных полях сети, что упрощает техническую реализацию большой нейронной сети произвольной размерности. Вариабельность стратегий структурного синтеза позволяет выбрать оптимальный вариант разрешения системного противоречия «быстродействие-интеллект».

6. Методы оценки разделяющей мощности и обобщающей способности модульных нейронных сетей прямого распространения обеспечивают сравнение проектных вариантов нейронных сетей по отношению к задачам аппроксимации отображений и распознаванию образов, что позволяет получить интерпретируемое значение, которое может быть измерено на реальном варианте сети на основе предложенной методики экспериментальной оценки.

7. Методы фрактальной фильтрации сигналов - послужившие базой разработки метода настройки перестраиваемых преобразований, имеют самостоятельное значение как средство мультимасштабного анализа сигналов, определенных на конечных интервалах.

8. Методы и алгоритмы регулярной реконфигурации нейронных сетей основаны на лингвистических моделях топологического уровня и позволяют сохранить регулярность топологических связей при варьировании структурных параметров, что дает возможность использовать однородные программные и аппаратные средства для реализации широкого класса многослойных нейронных сетей от полносвязанных до быстрых. Данные методы являются теоретической базой для разработки гибких реализаций нейронных сетей с варьируемыми уровнями интеллекта и вычислительной эффективности.

9. Унификация модельных представлений регулярных ядерных нейронных сетей и алгоритмов быстрых линейных преобразований объединяет оба направления цифровой обработки данных и позволяет использовать однотипные средства для их реализации.

10. Методика адаптивной фазификации позволяет использовать нечеткие нейронные сети для классификации вероятностных образов с изменяемыми статистическими характеристиками.

По совокупности выполненных исследований на защиту выносятся следующие результаты:

• Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба.

• Комплекс стратифицированных категорных моделей модульных нейронных сетей.

• Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

• Методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

• Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения произвольной размерности.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам.

1. Бусленко Н.П. Лекции по теории сложных систем / Бусленко Н.П., Калашников В.В., Коваленко И.Н. - М.: Советское радио,1973.- 440с.

2. Калман Р. Очерки по математической теории систем / Калман Р., Фалб П., Арбиб М. М.: Мир.- 1971.

3. Mesarovich M.D., Takahara Y. General System Theory: Mathematical Foundations.- ACADEMIC PRESS, New York, 1975. (Русский перевод: Месарович M., Такахара. Я. Общая теория систем: Математические основы.- М.: Мир, 1978.- 311с.)

4. Вавилов А.А., Эволюционный синтез систем управления: Учеб. Пособие Вавилов А.А., Имаев Д.Х.- Л.: ЛЭТИ, 1983.- 80с.

5. Технология системного моделирования / Е.Ф.Аврамчук, А.А.Вавилов, С.В.Емельянов и др.- М.: Машиностроение; Берлин: Техник, 1988.- 520с.

6. Дорогов А.Ю., Алексеев А.А. Структурные модели быстрых нейронных сетей // Интеллектуальные системы (INTEL'S96): Тр. П-го Международного симпозиума, Санкт-Петербург, июнь 1996г.- М.: Из-во ПАИМС, 1996.- Т.2.- С.138-143.

7. Дорогов А.Ю., Алексеев А.А. Математические модели быстрых нейронных сетей // Системы управления и обработки информации. (Тр. СПбГЭТУ).- СПб., 1996.- Вып.490.- С.79-84.

8. Dorogov A.Ju., Alekceev А.А. Topological Models of Fast Neural Networks / In proceedings International Conference on Informatic and Control (IC&C97) June 9-13, 1997.- St.Petersburg, Russia.- P. 648-649.

9. Дорогов А.Ю. Структурно-ядерная организация нейронных сетей прямого распространения // Нейроинформатика и ее приложения: Тезисы докладов 5-го Всероссийского семинара, г. Красноярск.- 3-5 октября 1997.

10. Дорогов А.Ю. Структурные модели и топологическое проектирование быстрых нейронных сетей // Информационные средства и технологии: Докл. ме-ждунар. конф., Москва, 21-23 октября.1997г.- М., 1997.- Т.1.- С.264-269.

11. Дорогов А.Ю., Алексеев А.А. Нейронные сети с ядерной организацией // Оборонная техника.- 1998.- №7-8.- С.43-46.

12. Дорогов А.Ю., Алексеев А.А. Математические модели нейронных сетей с ансамблиевой организацией // Известия СПбГЭТУ (ЛЭТИ). Сер. Управление, информатика и вычислительная техника.- СПб., 1988.- Вып. 1/98.- С.33-35.

13. Дорогов А.Ю., Алексеев А.А. Категории ядерных нейронных сетей // Нейроинформатика-99: Сб. науч. тр. Всерос. науч.-техн. конф.- Москва 20-22 января 1999г. -М., 1999.- Часть 1,- С.55-64.

14. Дорогов А.Ю., Алексеев А.А. Обучение быстрых нейронных сетей // Известия ГЭТУ, Сб. науч. тр. Информационные технологии в технических и организационных системах,- СПб. 1997.- Вып.514.- С.68-75.

15. Дорогов А.Ю. Алгоритм Error Backpropagation для модульных нейронных сетей// Нейроинформатика 2000: 2-я Всерос. науч.-техн. конф,- 19-21 января 2000г. Москва. М.: МИФИ, 2000.- Ч.1.- С. 52-60.

16. Дорогов А.Ю., Алексеев А.А. Обучение нейронных сетей с ядерной организацией // Нейрокомпьютеры и их применение: VI Всероссийская конференции 16-18 февраля 2000г. г.Москва, Сб. докл.- М.: Радиотехника.- С.493-495.

17. Дорогов А.Ю. К расчету пластичности нейронных сетей // Междунар. конф. по мягким вычислениям и измерениям SCM-98 Санкт-Петербург, 22-26 июня 1998г. Сб. докл.- С.341-344.

18. Дорогов А.Ю. Пластичность многослойных нейронных сетей // Известия вузов. Приборостроение.- 1998.- Т.41, №4.- С.36-41.

19. Дорогов А.Ю. Оптимизация структуры двухслойной ядерной нейронной сети по критерию параметрической пластичности // Нейрокомпьютеры и их применение: 5 Всероссийская конференция НКП-99, 17-19 февраля 1999г. Сб. докл.- С.368-371.

20. Дорогов А.Ю., Алексеев А.А. Пластичность двухслойных быстрых нейронных сетей // Известия АН. Теория и системы управления. 1999.- №5.- С. 121-126.

21. Дорогов А.Ю. Оптимальные криэйторы слабосвязанных нейронных сетей // Нейрокомпьютеры и их применение: VI Всероссийская конференция 16-18 февраля 2000г. г.Москва. Сб. докл.- М.: Радиотехника.- С.512-516.

22. Dorogov AJu. Plasticity of Multilayer Neural Network // First international conference on mechatronics and robotics: Proceeedings (M&R'2000) St-Petersburg: NPO Omega BF Omega, 2000. May 29-June 2.- 2000.-V1.- P.33-38.

23. Dorogov A.Yu. Estimation of Multilayer Neural Network Plasticity // Eleventh IF AC International Workshop Control application of optimization CAO'2000 Perga-mon An Imprint of Elsevier Science Oxford, UK.- 2000.- VI.- P. 81-85.

24. Дорогое А.Ю. Пластичность многослойных модульных нейронных сетей // Новости искусственного интеллекта. №3(57), 2003.- С.36-45.

25. Дорогое А.Ю. К расчету топологической пластичности ядерных нейронных сетей // Междунар. конф. по мягким вычислениям и измерениям SCM'2000, Сашсг-Петербург, 27-30 июня 2000г., Сб. докл.- СП6.-Т.2.- С.27-30.

26. Дорогое А.Ю. Анализ параметрической пластичности многослойных нейронных сетей // Радюелектрошка 1нформатика Управлшня (Радиоэлектроника Информатика Управление).- 2000.- №1.- С.66-71.

27. Dorogov A.Yu. Parametrical and Topological Plasticity of Multilayer Neural Networks // Processing of 4-th International Conference "New Information Technologies" (NITe'2000) Minsk, Belarus 5-7 December, 2000.- Minsk, 2000.- Vol. 1.- P. 15-19.

28. Дорогое А.Ю., Алексеев А.А., Буторин Д.А. Нейронные сети со структурой быстрого алгоритма // Нейроинформатика и ее приложения: 6 Всерос. семинар, 20-25 октября 1998г. г.Красноярск, тезисы докл.- Красноярск, КГТУ- 1998.- С.53.

29. Дорогов А.Ю. Генезис слабосвязанных нейронных сетей // Нейроин-форматика-99: Всерос. научю.-техн. конф. г.Москва, 20-22 января 1999г. Сб. науч. тр. -М., 1999.- Часть 1.- С.64-70.

30. Дорогов А.Ю. Модальные категории модульных нейронных сетей // Проблемы нейрокибернетики: XII Междунар. конф. по нейрокибернетике Сентябрь 1999г., Ростов-на-Дону. Сб. статей.- 1999г.- Ростов-на-Дону.- С.137-141.

31. Дорогов А.Ю., Алексеев А.А. Быстрые нейронные сети // Пятьдесят лет развития кибернетики: Междунар. научно-технич. конф., Санкт-Петербург 5-7-оюгября 1999г. Тр.- СПб.- С.120-121.

32. Дорогов А.Ю., Алексеев А.А., В.Е.Пименов. Структурный синтез нейронных сетей для СБИС реализации // Нейроинформатика и ее приложения: 7 Всероссийский семинар 1-3 октября 1999г. г.Красноярск. Тезисы докл.- Красноярск, КГТУ,- 1999.- С.12-13.

33. Дорогов А.Ю. Структурный синтез быстрых нейронных сетей // Нейрокомпютер.- 1999.-№1.- С.11-24.

34. Dorogov A.Ju., Alekseev А.А. Fast Neural Networks // Proceedings of Seventh International Conference on Advanced Computer Systems (ACS-2000) Poland, Szczecin, October 2000.- P.267-270.

35. Дорогов А.Ю. Структурный синтез двухслойных быстрых нейронных сетей // Кибернетика и системный анализ.- 2000.- №4.- С.47-57.

36. Дорогов А.Ю. Реализация дискретных вейвлет-преобразований в базисе быстрых нейронных сетей // Междунар. конф. по мягким вычислениям SCM'2001 Санкт-Петербург, 25-27 июня 2001. Сборник докладов.- T.l.-СПб.- С.268-274.

37. Дорогов А.Ю. Реализация спектральных преобразований в классе быстрых нейронных сетей // Программирование, №4 ,2003.- С. 13-26.

38. Dorogov A. Yu. Fast Neural Networks and Fast Spectral Transformations // Inprocessing of Third International Conference on Neural Networks and Artificial Intellli-gence (ICNNAI-2003, Minsk, 12-14 November, 2003).- Minsk.-2003.-P.136-142.

39. Дорогов А.Ю. Быстрые нейронные сети. СПб.: Изд-во С.Петерб. ун-та, 2002.- 80с.

40. Дорогов А.Ю.Фрактальная фильтрация сигналов // Нейроинформатика и ее приложения Материалы 11 Всероссийского семинара Красноярск 3-5 октября 2003г.- Красноярск: ИВМ СО РАН, 2003.- С.59-61.

41. Дорогов А.Ю. Приспособленное ортогональное преобразование // Нейроинформатика и ее приложения Материалы 11 Всероссийского семинара Красноярск 3-5 октября 2003г.- Красноярск: ИВМ СО РАН, 2003.- С.55-56.

42. Дорогов А.Ю. Мультимасштабная аппроксимация вещественных функций в минимаксном пространстве // Нейроинформатика и ее приложения Материалы И Всероссийского семинара Красноярск 3-5 октября 2003г.- Красноярск: ИВМ СО РАН, 2003.- С.57-58.

43. Дорогов А.Ю, Курбанов Р.Г.Реконфигурируемые нейронные сети // Сборник докладов 5-ой международной конференции по морским интеллектуальным технологиям «Моринтех'2003», г.Санкт-Петербург, сентябрь 2003.- С.З89-393.

44. Дорогов А.Ю, Курбанов Р.Г. Реконфигурируемые регулярные нейронные сети // Сборник докладов. Международная конференция по мягким вычислениям и измерениям SCM'2003, 27-30 июня 2003г. Санкт-Петербург.- С.325-329.

45. Дорогов А.Ю, Курбанов Р.Г Лингвистические модели регулярных многослойных нейронных сетей // Труды международной научно-технической конференции IEEE AIS'03 CAD-2003, 3-10 сентября 2003г, Дивноморское.- М.- Физматлит, 2003,- С.528-536.

46. Дорогов А.Ю., Курбанов Р.Г Методы реконфигурации регулярных многослойных нейронных сетей // Сб. тр. Науч.-техн. Конф. "Нейроинформатика-2004" 28-30 января 2004г. Москва. Изд. М.: МИФИ, 2004, Ч.2.- С.30-38.

47. Дорогов А.Ю. Нечеткий нейрон с контрастирующей функцией активации // Сб. тр. науч.-техн. конф. Нейроинформатика-2003 29-31 января 2003г., Москва. Изд. М.: МИФИ, 2003, Ч.1.- С.55-60.

48. Винер Н. Кибернетика или управление и связь в животном и машине.-М.: Наука, 1983.- 344с.

49. Hebb D.O. The Organization of Behavior / N.Y: Acad. Press, 1949.- P.141.

50. Розенблатг Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга.- М.: Мир, 1965.- 480с.

51. Минский М., Пайперт С. Персептроны.- М.: Мир, 1971.

52. Hopfield J.J. Neural Networks and Physical systems with emergent collective computational abilities // Proc. Nat. Sci. USA. 1982,- V.79.- P. 2554-2558.

53. Горбань А. Нейроинформатика и ее приложения // Открытые системы.-1998.- №4-5 (30-31).- С.36-41.

54. Галушкин А. Современные направления развития нейрокомпьютерных технологий в России // Открытые системы.-1997.- №4.- С.25-28.

55. Artificial Neural Networks: A Tutorial Computer.- March 1996.-Vol. 29.

56. No.3.- pp.31-41. ( Русский превод: Открытые системы.-1997.- №4.- С. 16-24).

57. Роберт Хехт-Нильсен. Нейрокомпьютинг: история состояние перспективы // Открытые системы.-1998.- № 4-5 (30-31).- С.23-28.

58. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.- Новосибирск: Наука, 1996.- 276с.

59. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его приложения в экономике и бизнесе.- М.: МИФИ, 1998.- 224с. (Учебники экономико-аналитического института МИФИ).

60. Оптнер С. Системный анализ для решения деловых и промышленных проблем.- М.: Сов. Радио, 1969.- 216с.

61. Bertlanfy L. Von. General System Theory a Critical Review // General System.- 1962.- Vol. VII.- P. 1-20.

62. Богданов А.А. Всеобщая организационная наука: Тектология. В 2-х кн-М., 1905-1924. (Переиздана в 1989г.)

63. Горетко А.Б., Угольницкий Г.А. Введение в прикладной системный анализ." Ростов-на- Дону: изд-во Книга.- 1996.-132с.

64. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа: Учебник для студентов вузов.- СПб.: Изд-во. СПбГТУ, 1999.- 512с.

65. Куффлер С., Дж.Николс. От нейрона к мозгу.- Пер. с англ.- М.: Мир, 1979.- 440с.

66. Архитектоника синапсов и организация связей коры головного мозга /

67. A.С.Ионтов, Ф.П.Макаров, Э.Э.Гранстрем. В.Л.Рыбаков.- Л.: Наука, 1990.- 120с.

68. Структура и модели нейронных комплексов головного мозга /

69. B.П.Бамбидра, Т.А.Брегина, И.П.Ионов, Н.П.Нуртдинов.- Л.: Наука, 1988г.- 98с.

70. Шерингтон Ч. Итегративная деятельность нервной системы.- Л.: Медицина, 1979.- 224с.

71. Lorente de No R. Studies on structure of the celebral cortex // J.Psychol. Neurol.- 1933.-V.45.- P.381-392.

72. Коган А.Б. Функциональная организация нейронных механизмов мозга.-Л.: Медицина, 1979.- 228с.

73. Гибадулин Т.В., Голубев В.Н. Свойства нервных центров,- Д.: ВМА, 1987.- 56с.

74. Mauntcastle V.B. Mogality and topographies of single neurouns of cat's somatic sensory cortex // J.Neurophysiol.- 1957.- V.20.- P.408-434.

75. Mauntcastle V.B. Powell T.P. Central nervous mechanisms subserving position sense and kinesthesis // Bull. John Hopkins Hosp.- 1959,- V.105.- P.173-182.

76. Rockel A.J., Hiorns R.W., Powell T.P. Numbers of neurons through fall depth of neocortex // Proc. Anat. Soc. Cr. Br. Iro.- 1974.- 118, 371.

77. Edelman G.M. Molecular recognition in the immune and nervous systems. // Neurosciences: Path of Discovery / F.G.Worden, F.G.Swarey and G.Edelman eds.- New York: The Rockfeller University Press.- 1975.- P. 65-74.

78. Чораян О.Г. Нейронный ансамбль (идея, эксперимент, теория) // Успехи физиологических наук. 1989. - Т.20.- №2. - С.75-95.

79. Anninos P.A. Beck В. Czermely T.J. Harth Е.М. Pertlibe G. Dynamics of neural structures // J.Theoret. Biol. 1970.- V.26.- P.121-148.

80. Кэндел Э. Малые системы нейронов. / В кн. Мозг. Д.Хьюбел, Ч.Стивенсоню.- М.: Мир, 1984.- 280с.

81. Абарванель Г.Д., Рабинович М.М., Селвертон А., Баженов А. Синхронизация в нейронных ансамблях // Успехи физических наук.- 1996.-Т.166.- №4.- С.363-390.

82. Нейроны как проводники электричества // Куффлер С., Николе Дж. От нейрона к мозгу.- М.: Мир, 1979.- Гл.7.- С.132-141.

83. Rummelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors 11 Nature.- 1986.- V. 323.- P. 533-536.

84. Masters T. Advanced Algorithms For Neural Networks. A С++ Source-book.-New York: Wiley, 1995.

85. Калман P. Основные концепции нейронных сетей / Пер. с англ.-М. Издательский дом Вильяме, 2001.- 208с.

86. Горелик A.JL, Скрипкин В.А. Методы распознавания.- М.: Высшая школа, 1989.-232с.

87. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин.- М.: Наука, 1970.- 384с.

88. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д.Рудинского.- М.: Финансы и статистика, 2002.- 344с.

89. Cover Т. Geometrical and statistical properties of system of linear inequalities with applications in patern recognition // IEEE Trans. Electronic Computers.- 1965.-Vol 14.- pp. 326-334.

90. Белман P. Введение в теорию матриц.- М.: Наука, 1976.-352с.

91. Ахмед Н., Рао К.Р. Ортогональные преобразования при обработке цифровых сигналов / Пер. с англ. под ред. И.Б.Фоменко.- М., 1980.-248с.

92. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации.- М.: Наука, 1981.- 208с.

93. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976.

94. Аверкин А.Н., Батыршин И.З. и др. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова.- М.:Наука, 1986.-312с.

95. Горбань А.Н. Обучение нейронных сетей.- М.: изд. СССР-США СП ParaGraph, 1990.- 160с.

96. Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // 3 Всеросс. сем. Нейроинформатика и ее приложения: Докл.- Красноярск, 1995.- С.66-78.

97. Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage // Advances in Neural Information Processing Systems II (Denver 1989). San Mateo, Morgan Kaufman, 1990.-P. 598-605.

98. Prechelt L. Comparing Adaptive and Non-Adaptive Connection Pruning With Pure Early Stopping // Progress in Neural Information Processing (Hong Kong, September 24-27, 1996), Springer.- Vol. 1.- P. 46-52.

99. Fukushima K. Cognitron: A self-organizing multilayered neural network. // Biological Cybernetics.- 1975.-V20.- P. 121-136.

100. Fukushima K. A hierarchical neural network model for associative memory// Biological Cybernetics.- 1984.-V50.-P.105-113.

101. Fukushima K. Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of dedeformations and shifts in position. // Pattern recognition.- 1982.-VI5.-P.455-469.

102. Genetic Algorithms in Engineering and Computer Science / Edited by G.Winter and al.- Great Britan, JOHN WILEY&SONS, 1996,- 464p.

103. Miller G., Todd P, Hedge S. Disigning Neural Networks using Genetic Algorithm, in 3rd Intern. Conf. on Genetic Algorithms, 1989.

104. Whitley D.,Starkweather T. and Borgart C. Genetic Algorithms and Neural Networks: Optimising Connections and Connectivity // Parallel Computing.- 1990.-V14.-P.347-461.

105. Koza J.R., Rice J.P. Genetic generation of both the weigts and architecture for a neural network. In, Intern. Joint Conf. on Neural Networks, Seattle 92, 1991.

106. Mjolness E., Sharp D.N., Alpert B.K. Scaling, machine learning, and genetic neural nets //Advances in Applied Mathematics, 1989,10.- P. 137-163.

107. Kitano H. Designing neural network using genetic algorithm with graph generation system // Complex System, 1990,4.- P.461-476.

108. Gruan F. Genetic synthesis of Boolean neural networks with a cell rewriting development process // In, Combination of Genetic Algorithms and Neural Networks, D.Whitley, Schaffer J.D., eds. IEEE Computer Society Press, 1992.

109. Kitano H. A simple model of neurogenesis and cell differentiation based on evolutionary large-scale chaos // Artificial Life, 2, 1995.- P.79-99.

110. Gruau F. Automatic Definition of Modular Neural Networks // Adaptive Behavior ,1995, 3(2).- P.151-183.

111. Дорогов А.Ю. Синтез алгоритмов быстрых линейных преобразований в задачах функциональной диагностики динамических объектов / Автореферат дис. к.т.н.-Л., 1988,- 15с.

112. Дорогов А.Ю. Структурный синтез быстрых алгоритмов линейных преобразований // Изв. Ленингр. электротехн. инст.- 1989.- Вып.411.- С.76-80.

113. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. 1. Методология структурного синтеза модульных нейронных сетей // Кибернетика и системный анализ.- 2001.-№2.- С.34-42.

114. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 2 Ядерные нейронные сети // Кибернетика и системный анализ.-2001.-№4.- С. 13-20.

115. Гисин В.Б., Цаленко М.Ш. Алгебраическая теория систем и ее приложения: Системные исследования. Методологические проблемы. Ежегодник 1984.- М.: Наука 1984.- С.130-151.

116. Гонсалес Р., Дж. Ту. Принципы распознавания образов. М.: Мир, 1978.-411с.

117. Вапник В.П., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения).- М.: Наука, 1974.- 415с.

118. Vapnik V.M. The Nature of Statistical Learning Theory.- Springer-Verlag New York. Inc.- 1995.- 188p.

119. Baum E.B, Haussler D. What size gives valid generalization? Neural Computation. - 1989, No 1(1).- 151-160.putation. 1989, No 1(1).- 151-160.

120. Hammerstrom D. The Connectivity Analysis of Simple Association or-How Many Connections Do You Need.- In D.Z. Anderson (ed.): NIPS, AIP, NY, 338-347, 1988.

121. Beiu V. How to Build VLSI-Efficient Neural Chips.- in Proc. of the intl. ICSC Symp. on Engineering of intelligent Systems EIS'98, Tenerife, Spain, Febrary 9-13, 1998.

122. Колмогоров A.H. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения,- Докл. АН СССР, 1957, Т. 114, №5, С. 953-956.

123. Barron A.R. Universal approximation bounds for superpositions of a sigmoi-dal function // IEEE Transaction on Information Theory.- 1993, No 3, Vol 39.- P. 930-945.

124. Breiman L. Hiding heperplanes for regression, classification and function approximation // IEEE Transaction on Information Theory.- 1993, No 3, Vol 39.- P. 999-1013.

125. Jones L.K. A simple lemma on greedy approximation in Hilbert space and convergence rates for Projection Pursuit Regression // The Annals of Statisics, 20, (1), 1992.- P.608-613.

126. Mhaskar H.N. Approximation properties of multi-layer feedforward artificial neural network // Advances in Computational Mathematics.- No 1, 1993.- P.61-80.

127. Галушкин А.И. Теория нейронных сетей. Кн. 1. Учеб. пособие для вузов.- М.: ИПРЖР, 2000.- 416с. (Нейрокомпьютеры и их применение).

128. Нгусеу Т. Modular Learning in Neural Networks (A Modulariced Approach to Neural Network Classification).- USA, JOHN WILEY&SONS. INC 1992.- 235 p.

129. Jacobs R.A., Jordan M.I. A cjmpettitive modular connectionist architecture // In Advances in Neural Information Processing Systems 3. San Mateo, CA: Morgan Kauf-mann, 1991.- P.767-773.

130. Good I.J. The Interaction Algorithm and Practical Fourier Analysis // Journal of Royal Statistical Soseity. Ser.B.- 1958.- Vol.20.- No.2.- P.361-372.

131. Andrews H.C. Walch Function Selection and Pattern Recognition // SAWF, IEEE Tr. on EMC-13.-1971.-No/3.- P. 115-119.

132. Andrews H.C., Caspari K.L. A General Techniques for Spectral Analysis // IEEE. Tr. Computer.- I970.-Vol C-19.-Jan, No 1.-P.16-25.

133. Andrews H.C.,Kanl J. Kronecker Products Computer Implementation and Generalized Spectra // J. ACM.- 1970.- Vol.17.-apr.- P.260-268.

134. Andrews H.C., Caspari K.L. Degrees of Freedom and Modular Structure in Matrix Multiplication // IEEE. Tp. Compt.-1971.- Vol. C-20.-feb.- P. 113-141.

135. Эндрюс Г. Применение вычислительных машин для обработки изображений: / Перевод с англ. Под ред. Б.Ф. Курьянова.- М., 1977.- 160с.

136. Трахтман A.M., Трахтман В.А. Основы теории дискретных сигналов на конечных интервалах.- М.: Сов. Радио, 1975.- 208с.

137. Солодовников А.И., Канатов И.И., Спиваковский A.M. Синтез ортогональных базисов на основе обобщенного спектрального ядра // Вопросы теории систем автоматического управления: Межвуз. Сб. Ленингр. Гос. Ун-т.- Л., 1976.-Вып.2.-С.99-112.

138. Солодовников А.И. Синтез полных систем ортонормированных функций, имеющих алгоритмы быстрого преобразования // Вопросы теории систем автоматического управления: Межвуз. Сб. Ленингр. Гос. Ун-т.-Л., 1978.- Вып. 4.- С.94-105.

139. Солодовников А.И., Канатов И.И., Спиваковский A.M. Методы обобщенных спектральных преобразований в задачах оперативного сжатия информации // Вопросы кибернетики: Автоматизация экспериментальных исследований.- М.: ИСК АН СССР, 1979.- Вып.62.- С.19-35.

140. Солодовников А.И. Формирование оптимальных базисов Карунена-Лоэва с алгоритмами быстрого преобразования // Вопросы теории систем автоматического управления: Межвуз. Сб. /Ленингр. Гос. Ун-т.- Л.: 1980.- Вып.5.- С.10-27.

141. Солодовников А.И.,Спиваковский A.M. Основы теории и методы спектральной обработки информации.- Л., 1986.- 272с.

142. Дорогов А.Ю., Солодовников А.И. Быстрые ортогональные преобразования в базисах с параметрической перестройкой // Планирование и автоматизация эксперимента в научных исследованиях: Всесоюз. Конф. Тезисы докладов.- Л.: ЛГУ, 1986.

143. Дорогов А.Ю., Солодовников А.И Перестраиваемые ортогональные базисы для адаптивных спектральных преобразований // Методы и средства обработки пространственно-временных сигналов: Межвуз. Сб.- Свердловск: Уральск. Политехи. Ин-т, 1988.- С. 18-26.

144. Лабунец В.Г. Единый подход к алгоритмам быстрых преобразований // Применение ортогональных методов при обработке сигналов и анализа систем: Межвуз. Сб.- Свердловск: Уральск. Политехи. Ин-т.- 1980.- С.4-14.

145. Колмогоров Г.С. Алгоритмы быстрых преобразований в базисах классических ортогональных полиномов // Применение ортогональных методов при обработке сигналов и анализе систем: Межвуз. Сб.- Свердловск: Уральск. Политехи. Ин-т, 1981.- С.39-44.

146. Колмогоров Г.С., Лабунец В.Г. Стратегия настройки многопараметрических преобразований // Применение ортогональных методов при обработке сигналов и анализе систем: Межвуз. Сб.- Свердловск: Уральск. Политех. Ин-т, 1983.- С.4-16.

147. Рабинер Л., Гоулд. Теория и примененение цифровой обработки сигналов: Пер. с англ.- М.: Мир, 1978.- 848с.

148. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов: Пер. с англ.- М.: Мир, 1989.- 448с.

149. Цаленко М.Ш., Шульгейфер Е.Г. Основы теории категорий (серия Современная алгебра).-М.: Наука, 1974 256с.

150. Дорогов А.Ю. Структурные модели и топологическое проектирование быстрых нейронных сетей // Информационные средства и технологии: междунар. конф. Москва, 21-23 окг. 1997, Докл.- Т.1.- С.264-269.

151. Дорогов А.Ю. К расчету пластичности нейронных сетей // Междунар. конф. по мягким вычислениям и измерениям SCM-98, Санкт-Петербург, 22-26 июня1998г. Сб. докл.- С.341-344.

152. Барабанов Н.Е., Лисс А.А., Мельканович B.C., Степанов М.В. Модель искусственной нейронной сети обработки пространственно-временныж сигналов // Сб. Известия ТЭТУ.- С-Пб.,1994.- Вып 476,

153. Галушкин А.И., Назаров Л.Е., Аляутдинов М.А. Методы распараллеливания и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений // Нейрокомпьютеры: разработка, применение.- №2,2003.- С.3-21.

154. Нейронные сети STATISTIKA Neural Networks.- М.: Горячая линия Телеком, 2000.

155. Круглое В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2002.

156. Glesner М., Pochmuller W. Neourocomputers. An Overview of Neural Networks in VLSI. Chapman&Hall, 1994.

157. Галушкин А.И. Нейрокомпьютеры. Кн.З: Учебное пособие для вузов / Общая ред. А.И.Галушкина.- М.: ИПРЖР, 2000.- 528с.

158. Галушкин А.И. Супер- и нейрокомпьютеры // Нейрокомпьютеры: разработка, применение.- №6, 2001.- С.16-25.

159. Каляев А.В., Галуев Г.А. Концепция и экспериментальная реализация параллельных цифровых нейрокомпьютеров с программируемой архитектурой // Нейрокомпьютеры: разработка, применение.- №6, 2001.- С.26-32.

160. Schmid Philipp. The mapping problem. Neural network approach // in Neural Network Conf. Paris, July 9-13, 1990, vol. 1.- pp.274-277.

161. Fox. G., Koller. J. Code generation by a generalized neural network: general principles and elementary examples // J. Parallel and Distrib. Comput.- 1989, vol 6, no 2.-pp. 288-410.

162. M. de Bolliver, Gallinari P., Thiria S. Neural nets and task decomposition. Artificial Neural Networks // Elsevier Science Publ. 1991. - pp.1291-1294.

163. Литовченко Ц.Г., Мистюков В.Г., Сафонов И.А. Построение больших нейронных сетей на одном ПЛИС.- НКП-2002, Москва, 2002.

164. Галушкин А.И., Остапенко Г.П. Пути и средства реализации нейросетевых алгоритмов // НКП-2002, Москва, 2002.

165. Качаиова Т.П., Фомин Б.Ф. Реконструктивный анализ поведения сложных систем по эмпирическим данным.- С-Пб., 1997.-68 с. (Препринт №1).

166. Сверхбольшие интегральные схемы и современная обработка сигналов: Пер. с англ. / Под ред. С.Гука, Х.Уайтхауза, Т.Кайлата. М.: Радио и связь, 1989.-472с.

167. Uhr L. Algorithm-Structured Computer Arrays and Networks: Parallel Archi-tecturts for Perception and Modelling / Academic Press, New York, 1984.

168. Thurber K.J. Large Scale Computer Architecture / Hayden, Rochelle Park, N.J.,1976.

169. Simon Hayken. Neural Networks a Comprehensive Foundtion. Macmillan Published Company, USA, 1994, 696p.

170. Кострикин А.И., Манин Ю.И. Линейная алгебра и геометрия: Учеб. по-соб. для вузов.- 2-е изд., перераб.- М.: Наука, 1986.- 304с.

171. Вавилов А.А. Структурный и параметрический синтез сложных систем. Учебн. пособие.- Л.,1979.- 94с.

172. Анисимов В.И. Топологический расчет электронных схем.- Л.: Энергия, 1977,- 240с.

173. Тарасик В.П. Математическое моделирование технических систем.-Минск: Дизайн Про, 1977.- 640с.

174. Горбатов В.А. Основы дискретной математики: Учебн. пособие для студентов вузов. -М.: Высш. шк., 1986.- 311с.

175. Volk R. Self-modifying nets, a natural extension of Petri nets.// Lectures Notes in Сотр. Sci. Berlin: Springer-Verlag, 1978, 62, P.464-476.

176. Котов B.E. Сети Петри.- M.: Наука, 1984.-160с.

177. Управление ГПС: Модели и алгоритмы / Под общ. ред. С.В.Емельянова.-М.: Машиностроение, Берлин: Техник,1987.- 368с.

178. Дубровин Б.А., Новиков С.П., Фоменко А.Т. Современная геометрия: Методы и приложения. Т.2 Геометрия и топология многообразий. 5-е изд., испр. М.: Эдиториал УРСС, 2001.- 296с.

179. Хирш М. Дифференциальная топология.- М.: Мир, 1979.- 280с.

180. Елкин В.И. Редукция нелинейных управляемых систем: Дифференциально-геометрический подход.- М.: Наука. Физматлит, 1977.- 320с.

181. Математические методы в теории систем: Новое в зарубежной науке / Сб. стат. под ред. А.Н. Колмогорова, С.П.Новикова.-М.: Мир, 1979.- Вып. 14.- 328с.

182. Гисин В.Б., Цаленко М.Ш. Алгебраическая теория систем и ее приложения: Системные исследования. Методологические проблемы. Ежегодник 1984.- М.: Наука 1984.- С.130-151.

183. Фрид.Э. Элементарное введение в абстрактную алгебру / Перевод с венгерского Ю.А.Данилова.- М.: Мир, 1979.- 260с.

184. Колмогоров А.И. Основные понятия теории вероятностей.- М.:- Наука, 1974.- 120с. (Теория вероятностей и математическая статистика).

185. Скорняков Л.А. Элементы теории структур.- М.: Наука, 1982.-160с.

186. Алексеев А.А., Имаев Д.Х., Кузьмин Н.Н., Яковлев В.Б. Теория управления: Учебник.- СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 1999.- 435с.

187. Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые системы управления. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 1999.- 265с.

188. Кострикин А.И. Введение в алгебру. Основы алгебры.- М.: Физматлит, 1994, -320с.

189. Борисович Ю.Г., Близняков Н.М., Израилевич Я.А., Фоменко Т.Н. Введение в топологию. М.: Наука, Физматлит, 1995.-416с.

190. Ефимов Н.В, Розендорн Э.Р. Линейная алгебра и многомерная геометрия.- М.: Наука, 1970. 528с.

191. Фоменко А.Т. Наглядная геометрия и топология. Математические образы в реальном мире.- М.: Изд-во Моск. ун-та ЧеРо,1998.- 416с.

192. Крипке С.А. Семантический анализ модальной логики. Нормальные модальные высказывания // Фейс Р. Модальная логика.- М., 1974.

193. Яблонский С.В., Гаврилов Г.П., Кудрявцев В.Б. Функции алгебры логики и классы Поста.- М., 1966.

194. Fundamentals of neural Networks, Architectures algorithms and application.1.urence Fauselt, USA, Florida, 1994. -461p.

195. Белман P. Введение в теорию матриц.- М.: Наука, 1976.- 351с.

196. Ежов И.И., Скороход А.В., Ядренко М.И. Элементы комбинаторики.-М.: Наука, 1977.- 80с.

197. Гоппа В.Д. Введение в алгебраическую теорию информации М.: Наука. Физматлит, 1995. -112с.

198. Гросс М., Лантен А. Теория формальных грамматик / Пер. с франц.- М.1971.

199. Cooley J.W., and J.W. Tukey, An Algorithm for the Machine Computation of Complex Fourier Series // Math.Comp. 1965. - N. 19. - P.297-301.

200. Писанецки С. Технология разреженных матриц / Пер. с англ. М.: Мир, 1988.-411с.

201. Растригин Л.А. Системы экстремального управления,- М.:, Наука, 1974.630с.

202. Уоссерман Ф. Нейрокомпьютерная техника. Теория и практика / Пер. с англ. М.: Мир, 1992,- 236с.

203. Малинецкий Г.Г., А.Б.Потапов. Современные проблемы нелинейной динамики. М.: Эдиториал УРСС, 2000.- 336с.

204. Кроновер P.M. Фракталы и хаос в динамических системах.- М.: По-стмаркет, 2000.- 350с.

205. Макаренко Н.Г. Фракталы, аттракторы, нейронные сети и все такое // Нейроинформатика 2002: 4-й Всеросс. науч. техн. конф. 23-25 января 2002г. Москва. / Лекции по нейроинформатике.- Часть 2.- с.136-169.

206. Stark J. Iterated function systems as neural networks // Neural Networks.-1991.-V.4.-pp. 679-690.

207. Астафьева H.M. Вейвлет-анализ: основы теории и примеры применения // Успехи физических наук.- Т. 166.-1996.-№ 11.- С.1145-1170.

208. Каппелини В и др. Цифровые фильтры и их применение: Пер. с англ.-М.: Энергоатомиздат, 1983.- 360с.

209. Feynman R. Simulating physics with computers. International Journal of

210. Theoretical Physics 21, 6&7,467-488 , 1982.

211. Feynman R. Quantum mechanical computers. Optics News 11, 1985. Also in Foun dations of Physics, 16(6): 507--531, 1986.

212. Риффель Э., Полак В. Основы квантовых вычислений. // Квантовый компьютер и квантовые вычисления.- Т.1., №1, 2000.- с.4-57.

213. Ekert A., Hayden P., Inamori Н. Basic concepts in quantum computation // Centre for Quantum Computation University of Oxford 0X1 3PU, United Kingdom.

214. Ватанабэ С. и др. Оценка и отбор параметров в задачах распознавания // Автоматический анализ сложных изображений.-М.: Мир, 1969.- С.276-295.

215. Буторин Д.А., Дорогов А.Ю. NEURO OFFICE Технология проектирования нейронных сетей с ядерной организацией // Известия СПбГЭТУ (ЛЭТИ) выпЛ/98 серия «Управление, информатика и вычислительная техника», Санкт-Петербург 1988.- С.5-7.

216. Дорогов А.Ю, Алексеев А.А., Пименов В.Е Пакет программного моделирования быстрых нейронных сетей // Управляющие вычислительные системы. Новые технологии. Материалы межвузовской научно-технической конференции. Вологда. ВоГТУ, 2000.-С.129.