автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование и разработка генетических методов и алгоритмов инструментальных средств систем поддержки формирования и обучения нейронных сетей

Введение

1. Анализ нейро-генетических технологий для решения задач системы поддержки принятия решений

1.1. Анализ факторов, определяющих характер человеко-машинных процедур принятия решения

1.2. Анализ особенностей постановки задач поддержки принятия решения

1.3. Анализ перспектив развития интеллектуализации систем поддержки принятия решений

1.4. Разработка процедуры синтеза синтетической модели систем поддержки принятия решений на основе нейро-генетических технологий

1.5. Выводы

2. Разработка базиса представления нейронных сетей для инструментальных средств систем поддержки принятия решений

2.1. Разработка технологии проектирования синтетической модели поддержки принятия решений на основе нейро-нечетких систем

2.2.Постановка задачи обучения нейронных сетей

2.3. Анализ и выбор архитектур нейронных сетей

2.4. Разработка метода представления архитектур нейронных сетей, ориентированного на эволюционную парадигму

2.5. Выводы

3. Разработка технологии построения инструментальных средств для формирования и обучения нейронных сетей на основе генетических алгоритмов 83 3.1. Анализ подходов к разработке алгоритмов генетического поиска 83 3.2 Выбор принципов модификации генетических операторов

3.3. Выбор технологий многоуровневого эволюционного поиска

3.4. Разработка системных принципов построения инструментальных средств формирования и обучения нейронных сетей

3.5. Выводы

4. Разработка инструментальных средств синтеза нейронных сетей

4.1. Разработка генетического алгоритма формирования и обучения нейронных сетей

4.1.1. Разработка принципов кодирования и декодирования хромосом

4.1.2. Анализ воздействия генетических операторов на хромосомы различных видов

4.1.3. Организация процедуры генетического поиска для синтеза архитектуры нейронной сети

4.2. Разработка метода построения эволюционных инструментальных средств для формирования обучающей выборки

4.3. Разработка операторов локального поиска фрагментов нейронной сети

4.3.1. Разработка оператора локального поиска числа нейронов в скрытых слоях нейронной сети

4.3.2. Разработка нейросетевых алгоритмов локального поиска фрагментов нейронной сети

4.3.3. Разработка нейросетевого оператора локального поиска для сравнения фрагментов л оку сов хромосом

4.4. Разработка и описание пакета прикладных программ инструментальных средств формирования и обучения нейронных сетей на основе эволюционной парадигмы

4.5. Выводы

В настоящее время существенное внимание уделяется разработке специализированных нейрокомпьютеров, предназначенных для решения задач большой размерности и трудно формализуемых задач, с которыми плохо справляются компьютеры предыдущих поколений. Нейрокомпьютеры обладают целым рядом свойств, привлекательных с точки зрения их практического использования:

- способность к распознаванию образов в условиях сильных помех и искажений;

- сверхвысокое быстродействие за счет использования массового параллелизма обработки информации;

- толерантность к ошибкам: работоспособность сохраняется при повреждении значительного числа нейронов. Нейронные сети обеспечивают решение сложных задач за времена порядка времен срабатывания цепочек и/или оптических элементов. Решение слабо зависит от неисправности отдельного нейрона;

- способность к обучению: программирование вычислительной системы заменяется обучением.

Теория нейронных сетей постоянно развивается, однако, успехи в решении двух основных проблем: выбор структуры сети и параметров обучения сетей, пока еще не очень большие. Большинство правил в этой области эмпирические, и они были получены экспериментальным путем. Высокий уровень параллелизма архитектур нейронных сетей, нелинейность и адаптивные свойства порой приводят к выводу, что использование нейронных сетей в больших масштабах в ближайшее время будет ограничено. Обсудим причины, которые являются основанием иногда встречающихся сомнений по отношению к перспективности развития нейрокомпьютерной техники:

1. Учитывая невозможность обработки огромного количества сетевых архитектур (даже для простых приложений), большинство из них не используются в исследованиях.

2. Оценка конкретной архитектуры сети зависит от конкретной задачи, которую она решает.

3. Отсутствуют способы целенаправленного синтеза нейронных сетей в соответствии с предъявляемыми требованиями, например, быстрое обучение и/или слабая связность и/или высокая точность.

4. Для достижения наилучших результатов, используется метод проб и ошибок. Большинство приложений использует простые структуры, значения обучающих параметров берутся с запасом. На самом деле структурные параметры при конструировании нейронных сетей не учитываются. Это тоже недостаток, т.к. наиболее эффективные нейронные сети должны использовать различные способы структурной специализации.

5. Полученная нейронная модель при заданных начальных условиях должна быть оптимизирована с целью удовлетворения предъявляемых к ней требованиям. Следует заметить, что задача оптимизации нейронных сетей для заданных критериев качества, в свою очередь, является достаточно сложной проблемой «большой размерности». Для ее решения необходимо рассмотреть большое количество переменных, как дискретных, так и непрерывных, и учесть их сложное взаимодействие между собой.

6. Как правило, оценка работы нейронной сети требуется проведение экспериментальных исследований по предъявлению входных последовательностей, получению выходных последовательностей и, затем анализу закономерностей поведения такой сети, т.к. начальные условия формирования нейронной сети задаются случайным образом.

Указанные проблемы требуют решения. Для изучения закономерностей, которые помогут развитию теории нейронных цепей, необходимо создание интеллектуальных инструментальных средств конструирования нейронных сетей. Такие средства должны автоматизировать процесс выбора нейронной сети в зависимости от решаемой задачи и критериев.

Существует множество способов задания параметров для организации и функционирования нейронной сети. Проблема представления архитектуры нейронных сетей является одной из важнейших проблем в современной теории нейрокомпьютинга. Решение данной проблемы требует решения многокритериальной задачи, учитывающей такие параметрами, как количество слоев нейронной сети, количество нейронных элементов в слое, допустимое количество обратных связей, степень связность между двумя слоями, скорость обучения, количество ошибок при обучении и другие.

В идеале система должна содержать все потенциально "интересные" нейронные сети, исключая, сетевые структуры, которые не имеют практической значимости. С другой стороны, необходимо сократить пространство поиска архитектур нейронных сетей, при этом, не отбросив ценные варианты нейронных структур. Другими словами инструментальные средства, с одной стороны, не должны слишком сужать пространство поиска, а, с другой, не должны позволять распространяться поиску во все стороны.

Из сказанного следует, что решение задачи создания и использования инструментальных средств моделирования нейронных сетей содержит в себе потенциальные трудности задачи различения информации при принятии решений. Следует заметить, что значению (значимости) информации было посвящено много исследований, т.к. исследование влияния информации на различение не только обогащает наши знания о природе самой информации, но вносит определенный вклад в саму теорию принятия решений. В этих исследованиях отмечалось, что понятие неопределенности cumyaifuu полезно подразделить на случайность и нечеткость. Так теория информации Шеннона и теория статистических решений изучают зависимость информации от случайности. В качестве другого подхода к исследованию проблемы различения предлагается использовать меру эффекта различения информации о нечетких объектах. По этой причине целесообразным является применение подходов по принятию решений в условиях неопределенности для различения альтернатив и объектов с целью сокращения пространства поиска требуемых нейронных структур с помощью инструментальных средств. Другими словами, инструментальные средства моделирования нейронных структур должны создаваться в ориентации на современные подходы синтеза систем поддержки принятия решений. В свою очередь, задачи принятия решений имеют много характерных особенностей:

1. Многоцелевой характер. При решении сложных задач приходится стремиться к достижению различных целей. Эти цели почти всегда противоречивы. Продвижение по пути достижения некоторой цели обычно сопровождается ухудшением результатов по другим.

2. Воздействие фактора времени. Важные последствия решения задачи не проявляются сразу и нельзя указать конкретный момент времени, когда можно наблюдать, то или иное последствие.

3. Неопределенность. Маловероятно, что в момент принятия решения (то есть выбора конкретного варианта альтернативного действия) известны последствия каждой из альтернатив.

4. Не формализуемые понятия. Такие понятия человеческого фактора, как добрая воля, престиж, волнение, политические взгляды и другие являются очень важными не формализуемыми понятиями, которые существенно усложняют задачу принятия решений.

5. Возможности получения информации. Информация, на основе которой принимается решение, может быть не вполне достоверной. Получение новой информации, помогающей выбрать одно действие из множества альтернативных, может потребовать неприемлемых затрат.

6. Динамические аспекты процесса принятия решений. После выбора некоторого решения, может оказаться, что решение задачи не исчерпано до конца и потребуется принять очередное новое решение. Важно распознать заранее динамические аспекты проблемы и увидеть, какие возможности могут открыться или, наоборот, исчезнуть в будущем, благодаря данному решению.

7. Влияние решений на группы. Некоторая выбранная альтернатива может повлиять на большое количество различных групп. Очевидно, что в такой ситуации были бы полезны любые сведения, способные оказать помощь лицу, ответственному за принятие решения.

8. Коллективное принятие решений. Часто ответственность за выбор альтернативы несет не отдельное лицо, а целая группа. Другими словами, для некоторых решений нельзя четко разграничить функции и ответственность лиц, принимающих решение по некоторому кругу вопросов.

Как правило, различные задачи не обладают всеми выше перечисленными особенностями. Однако достаточно иметь только нескольких подобных задач, чтобы сделать задачу принятия решений трудно разрешимой. Из приведенного ограниченного списка задач следует, что их решение - выбор альтернатив и принятие решений определяется двумя факторами: представлениями и предпочтениями лица, принимающего решение (ЛПР). Однако многочисленные психологические исследования показывают, что сами ЛПР без дополнительной аналитической поддержки используют упрощенные, а иногда и противоречивые решающие правила. Более того, следует отметить, что признанием фактора объективности ЛПР в принятии решения нарушен фундаментальный принцип методологии исследования операций: поиск объективно оптимального решения. Признание права ЛПР на субъективность решения есть признак появления новой парадигмы, характерной для другого научного направления - принятия решений при многих критериях.

Влияние и значимость человеческого фактора на процесс принятия решений ЛПР накладывает отпечаток на развитие современной теории принятия решений. Такая теория базируется на позиции здравого смысла и попытке формализации совокупности ниже перечисленных четырех действий, характерных для человека при принятии им решений:

1. Определение множества альтернативных способов действия.

2. Оценка возможных последствий для каждого из выбранного множества действий.

3. Оценка полезности и ранжирование соотношений «действие -последствие».

4. Выбор варианта действия - принятие решения.

В современных условиях информационных перегрузок и быстротечности протекания информационных процессов принятие решений осуществляется на основе человеко-машинных процедур в виде циклического процесса взаимодействия человека и компьютера. Действие -принятие решения предварительно анализируется и формируется информационной системой, которая выполняет функции эксперта и искусственного интеллектуального подсказчика разумного ограниченного множества действий. Применение СППР не исключило право принятия решения и меру ответственности за человеком, но отразило практическую значимость и необходимость создания человеко-машинных процедур для решения задач выбора альтернативных действий.

Однажды созданная система СППР с точки зрения принципа здравого смысла, несомненно, будет вносить элемент эффективности действий ЛПР при его оперативной работе в нештатных ситуациях, характеризующихся той или иной долей неопределенности. Однако никакая система СППР не может отразить субъективность каждой личности, работающей с такой системой. Одним из способов разрешения данного противоречия можно достичь за счет усиления зависимость человека в своих действиях от практических результатов работы технических систем. Другими словами, сложность решаемых задач выдвигает повышенные требования к интеллектуализации технических средств систем поддержки принятия решений.

В качестве таких технических средств могут служить нейро-нечеткие системы, которые позволяет учесть субъективные (экспертные) знания о человеке для оптимизации параметров нейронной сети на основе объективных данных, определяющих эффективность работы данной системы. Субъективные знания определяются набором лингвистических правил функционирования искусственной нейронной сети, параметрами связности и параметрами настройки элементов этой сети. Другими словами структура нейро-нечеткой системы задает некоторую стратегию, посредством которой будет достигаться цель системы - управление человеко-машинным комплексом. При этом предварительно заданные параметры нейросети (заложенная субъективность) уточняются в процессе обучения нейронной сети на реальных (объективных) данных. В результате объективная оценка эффективности функционирования нейро-нечеткой системы является оптимизационным критерием. Эффективность нейро-нечеткой системы определяется выбором обучающего алгоритма нейронной сети. Многомерная оптимизация такой системы может быть решена с помощью генетического алгоритма, который является эффективным классом эволюционных алгоритмов и позволяет осуществить поиск оптимального решения.

Из сказанного выше следует взаимосвязь двух предметных областей: нейрокомпьютинга и систем принятия решений. С одной стороны, для развития теории нейронных сетей необходимо создание инструментальных средств, использующих методологию синтеза систем поддержки решений. С другой стороны, современные требования по усилению интеллектуалицации систем поддержки принятия решений приводят к необходимости использования нейро-нечетких систем.

Целью диссертационной работы является разработка методов и алгоритмов инструментальных средств системы поддержки принятия решений по формированию и обучению нейронных сетей с помощью генетического алгоритма.

В соответствии с поставленной целью в диссертации решаются следующие задачи:

1 .Исследование человеко-машинных процедур и разработка модели системы поддержки принятия решений на основе сочетания нейронных и генетических технологий.

2.Исследование генетических алгоритмов для решения задачи выбора предпочтений, определяемых многокритериальным вектором альтернатив архитектур нейронных сетей.

3. Разработка принципов построения нейро-генетических инструментальных средств формирования и обучения нейронных сетей.

4.Разработка генетического метода и алгоритмов формирования и обучения нейронных сетей на основе эволюционной парадигмы.

Основные положения, выносимые на защиту:

1. Синтетическая нейронная модель системы поддержки принятия решений.

2. Универсальный базис представления архитектур нейронных структур, ориентированный на метод эволюционного поиска.

3. Многоуровневая технология построения инструментальных средств для формирования и обучения нейронных сетей.

4. Генетический алгоритм формирования и обучения нейронных сетей.

Новые научные результаты работы:.

1. Предложен подход к построению нейро-генетических инструментальных средств систем поддержки принятия решений на основе синтетической нейронной модели, которая позволяет вырабатывать стратегию воздействия на объект или предоставлять рекомендации лицу, принимающему решение.

2. Разработан универсальный базис представления нейронной сетевой архитектуры в виде битовой последовательности, которая является сложным способом кодирования информации о параметрах нейронной сети и может рассматриваться в качестве хромосомы, что позволяет автоматизировать процесс формирования и обучении нейронных сетей на основе генетических алгоритмов.

3. Предложены генетические операторы локального поиска, позволяющие анализировать различные фрагменты нейронных сетей, производить обмен строительных блоков под действием операторов репродукции и кроссинговера и объединять решения из разных популяций с лучшим значением целевой функции.

4. Разработана многоуровневая технология построения инструментальных средств для формирования и обучения нейронных сетей на основе кооперирования глобальных и локальных генетических операторов, позволяющих вести обработку хромосом и сужать пространство поиска в соответствии с оценкой целевой функции.

5. Разработан генетический алгоритм формирования и обучения нейронных сетей с многоэкстремальными целевыми функциями, ориентированный на увеличение скорости обучения нейронных сетей путем «выбивания» сети из локального минимума с большим значением целевой функции на основе совмещение процедур случайного и направленного поиска.

Практическая ценность работы.

1. Предложенная синтетическая нейронная модель в сочетании с динамическим объектом может быть использована для построения адаптивных систем, которые самостоятельно могли бы улавливать изменения в объекте, вырабатывать оптимальную стратегию взаимодействия с внешней средой и учитывать субъективные знания для оптимизации параметров на основе объективных данных, определяющих эффективность работы системы.

2. Разработанная технология создания нейро-генетических инструментальных средств позволяет проектировать программно-аппаратные и имитационные модели человеко-машинного интерфейса для задач обработки больших оперативных информационных потоков реального времени.

Использование результатов работы. Материалы диссертации использованы в работах факультета информационной безопасности ТРТУ (г. Таганрог), научно-исследовательского института технологий комплексной безопасности ТРТУ (г. Таганрог). Акты использования научных результатов, полученных в диссертационной работе, приведены в приложении.

Апробация работы.

Основные результаты диссертационной работы были представлены и обсуждались на следующих конференциях:

Международной научно-технической конференции и молодежной научной конференции «Интеллектуальные САПР - 99», г. Геленджик;

Первой Международной научной конференции «Искусственный интеллект-2000», п. Кацивели, Крым;

Всероссийской научно-технической конференции «Медицинские информационные системы - МИС-2000», г. Таганрог;

Третьей региональной конференции «ГИС для муниципального управления 2000», г. Таганрог;

Международной научно-технической конференции и молодежной научной конференции «Интеллектуальные САПР - 2000», г. Геленджик;

Седьмой Национальной конференции по искусственному интеллекту КИИ-2000, г. Переславль-Залесский;

Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности 2001», г. Таганрог.

Публикации. По материалам диссертации опубликовано 11 печатных работ.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературных источников из 115 наименований на 11 страницах и приложения. Основное содержание работы изложено на 153 страницах текста, из которых 26 страниц являются иллюстрациями и таблицами.

4.5. Выводы

1. Использование нейронных структур в качестве базовой структуры для хранения информации позволяет стандартизировать процедуры построения системы принятия решений, в основе которых лежит алгоритм обучения нейронных сетей на множестве образов из обучающей выборки.

2. Основной проблемой при этом подходе становится выбор качественного и количественного состава образов из числа имеющихся. Такой выбор должен обеспечить, с одной стороны, высокий процент верных классификаций после обучения нейронной сети, а с другой - сократить машинные затраты на построение системы, исключив из выборки малозначимые образы, с точки зрения процедуры обучения нейронных сетей.

3. Совмещение процедур случайного и направленного поиска позволяет нахождение оптимального решения за счет учета нескольких вариантов решения, которые случайным образом заполняют область допустимых решений задачи.

Заключение

В диссертационной работе решена поставленная научная задача: разработаны модель, методы и алгоритмы нейро-генетических инструментальных средств формирования и обучения нейронных сетей на основе эволюционного поиска. Основные результаты диссертационной работы заключаются в следующем.

1. Предложена синтетическая нейронная модель, которая позволяет строить инструментальные средства моделирования нейронных структур в ориентации на современные подходы синтеза систем поддержки принятия решений. Многомерная оптимизация такой системы достигается с помощью генетического алгоритма, который является эффективным классом эволюционных алгоритмов и позволяет осуществить поиск оптимального решения.

2. Разработан метод представления архитектур нейронных структур, ориентированный на эволюционную парадигму, что позволяет разработку автоматизированных систем поддержки принятия решений для формирования и обучения архитектур нейронных сетей, анализа результатов поведения нейронной сети, выбора начальных условий в соответствии с заданными критериями ее поведения.

3. Исследованы генетические алгоритмы для решения задачи выбора предпочтений, определяемых многокритериальным вектором альтернатив. Предложены нейросетевые генетические операторы локального поиска, позволяющие создание многоуровневых генетических алгоритмов формирования и обучения нейронных сетей с различной архитектурой.

4. Разработаны системные принципы и многоуровневая технология моделирования нейронных сетей на основе генетических алгоритмов, использование которой выполнено для целей ускорения решения оптимизационных задач при формировании и обучении нейронных синтетических моделей адаптивных систем.

169

5. Разработана технология создания нейро-генетических инструментальных средств, которая позволяет проектировать программно-аппаратные и имитационные модели человеко-машинного интерфейса для задач обработки больших оперативных информационных потоков реального времени в ориентации на субъективные знания и обьективныек данные, определяющие эффективность работы системы в целом.

6. Разработан комплекс алгоритмов и программ, позволяющих на основании эволционно-генетического поиска решать оптимизационные задачи при формировании и обучении нейронных сетей.

1. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. -М.: Наука. Физматлит, 1996.

2. Simon Н.А. The new science of management decision. Englewood Cliffs, N.J., Prentice Hall Inc., 1975

3. Simonovic A., Slobodan P. Decision support for sustainable water resources development in water resources planning in a changing world // Proceeding of International UNESCO symposium, Karlsruhe, Germany, p.III. 3 -13, 1994.

4. Ginzberg M.J., Stohr E.A. A decision support: Issues and Perspectives. // Processes and Tools for Decision Support. Amsterdam, North Holland Publ. Co, 1983.

5. Ларичев О.И. Некоторые проблемы искусственного интеллекта. // Сборник трудов ВНИИСИ. № 10, 1990, с. 3 9.

6. Кун Т. Структура научных революций. М.: Прогресс, 1977.

7. Fetterman R.L., Gupta S.K. Mainstream Multimedia. Applying Multimedia in Business. New York, 1993. 278 c.

8. Kaplan R.M. Intelligent Multimedia Systems. Jons Wiley&Sons, Inc.1997. -494 c.

9. Nielsen J. Multimedia and Hypertext. AP Professional, 1995. 480 c.

10. Горский Ю.М. Основы гомеостатики. Иркутск, изд-во ИГЭА,1998.- 337 с.

11. П.Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Ростов-на-Дону, изд-во Ростовского государственного университета, 1999. - 296 с.

12. Ларичев О.И. Наука и искусство принятия решений. М.: Наука, 1979.- 200 с.

13. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. М.: Мир, 1973. - 344 с.

14. Поспелов Д.А. Ситуационное управление: теория и практика. М.: Гл. Ред. Физ.-мат. лит., 1986. - 288 с.

15. Поспелов Д.А., Пушкин В.М. Мышление и автоматы. М.: Советское радио, 1972. - 222 с.

16. Шрейдер Ю.А., Шаров А.А. Системы и модели. М.: Радио и связь, 1982. - 152 с.

17. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. -М.: «СИНТЕГ», 1998.- 376 с.

18. Клейменов С.А., Павленко А.И., Рябов С.Н. Основы проектирования автоматизированных технологических комплексов производства элементов РЭА. Уч. пособие. - М.: Высшая школа, 1984. - 120 с.

19. Борисов А.Н., Алексеев А.В., Меркурьева Г.В. и др. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989-304 с.

20. Гафт М.Г. Принятие решений при многих критериях. М.: Знание,1979.

21. Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.: Наука, 1990.

22. Представление и использование знаний: пер. с япон. / Под ред. X. Уэно, М. Исидзука. М.: Мир, 1989 - 220с.

23. Заде JI.A. Основы нового подхода к анализу сложных систем и процессов принятия решений. / Математика сегодня. М.: Знание, 1974. - с. 5 -49.

24. Розен В.В. Цель оптимальность - решение (математические модели принятия оптимальных решений). - М.: Радио и связь, 1982 - 168 с.

25. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, Гл. ред. физ.-мат. лит., 1981 - 208 с.

26. Моисеев Н.Н. Предисловие к книге Островского С.А. «Проблемы принятия решений при нечеткой исходной информации». М.: Наука, 1981.

27. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей. Примеры использования. Рига: «Зинатне», 1990. -184 с.

28. Трахтенгерц Э.А. Взаимодействие агентов в многоагентных системах. «Автоматика и телемеханика» № 8, 1998.

29. Трахтенгерц Э.А, Многоагентные системы поддержки. «Известия Академии наук. Теория и системы управления», № 5, 1998.

30. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

31. Нечеткие множества и теория возможностей. Последние достижения. Под ред. Р. Ягера. М.: Радио и связь, 1986. - 408 с.

32. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. Пер. с фр. // М.: Радио и связь, 1990 -288 с.

33. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе. М.: МИФИ. 222 с.

34. Божич В.И., Горбатюк Н.В., Шницер Ю.Л. Нейро-нечеткая система интегральной оценки знаний студента. В кн.: Искусственный интеллект-2000//Тезисы докладов международной конференции.Таганрог. Изд-во ТРТУ, 2000, с 163-164

35. Курейчик В.М. Генетические алгоритмы. Таганрог. Изд.-во ТРТУ, 1998.-242 с.

36. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. Харьков: ОСНОВА, 1997. - 112 с.

37. Slovic P., Fichhoff В., Lichtenstein S. Behaviorial decision theory. // Annu. Phycol. Rev. Vol. 28, 1997.

38. Edelman. G. Neural Darwinism. New York: Basic Books, 1988.

39. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983. - 464 с.

40. Заде J1. Понятие лингвистической переменной и ее применеия к принятию приближенных решений /Пер. с англ.; Под ред. Н.Н. Моисеева, С.А. Орловского М.:Мир, 1976. - 166 с.

41. Frakes W.B., Baeza-Yates R. Information Retrieval: Data Structures and Algorithms. EngleWood Cliffs, N.J.: Prentice Hall, 1992.

42. К.Асаи, Д.Ватада, С.Иваи и др. Прикладные нечеткие системы /Пер. с япон.; Под. Ред. Т. Тэрано, К.Асаи, М.Сугэно.- М.: Мир, 1993. 368 е.: ил.

43. Jang J.-S., Sun С.-Т. Neuro-Fuzzy Modelling and Control // In Proc. of the IEEE. 1995. V. 83. 3. p. 378-406.

44. Mamdani E.H., Assilian S. An Experiment in Linguistic Synthesis With a Fuzzy Logic Controller // Int. J. Man-Machine Studies. 1975. V. 7. 1. p. 11-13.

45. Varsek A., Urbancic Т., Filipic B. Genetic Algorithms in Controller Design and Tuning // IEEE Trans, on SMC. 1993. V. 23. 5.

46. Мелихов А.Н., Берштейн JI.C. Конечные четкие и расплывчатые множества. 42. Учебное пособие. Таганрог: ТРТИ, 1981. - 90 с.

47. Zadeh L.A. Fuzzy Sets // Information and Control. 1965. V. 8. P. 338-353.

48. Holland J. H. Adaptation in Natural and Artificial Systems: An Introductionary Analysis with Application to Biology, Control and Artificial Intelligence. University of Michigan, 1975. 211 p.

49. Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. -Таганрог: изд-во ТРТУ, 1997. 273 с.

50. Вассерман Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

51. А.Н.Горбань. Обучение нейронных сетей. М.: СП Параграф, 1990.

52. Topchy А.Р., Miagkih V.V., Kononenko R.N., Melihov A.N. Adaptive Genetic Search for Optimization of Fuzzy and Neuro-Fuzzy Systems // Proceedings of the Evolutionary Computations and Algorithms Conference (EvCA-96). 1996. - P. 245-253.

53. Brown С.Т. An Introduction to avida, an Auto-Adaptive Genetic System: SURF technical report. Caltech, 1993.

54. Back T. et al. A Survey of Evolution Strategies // Proc. Int. Conf. Genetic Algorithms, San Diego: Morgan Kaufmann Publishers, 1991. p. 2-9.

55. Back Т., Fogel D.B. and Michalewuz Z. Handbook of Evolutionary Computation New York: Oxford University Press, 1997.

56. Fogel D. B. An Introduction to Simulated Evolutionary Optimization // IEEE Transactions on Neural Networks. 1994. V. 5. 1.

57. Goldberg D. E. Genetic Algorithms in Search, Optimization and Machine Learning. Addison Wesley, 1989.

58. Koza J.R. Genetic Programming: On the Programming of Computers by Means of Natural Selection. Cambridge (Mass.): MIT Press, 1992.

59. Starkweather Т., Whitley D., Mathias K. Optimization using Distributed Genetic Algorithms // Parallel Problem Solving from Nature/ H.-P Schwefel., R. Manner Berlin: Springer-Verlag Berlin, 1990. - p. 176-185.

60. Muhlenbein H., Schomisch M. Born J. The Parallel Genetic Algorithm as Function Optimizer // Parallel Computing. 1991. V. 17. p. 498-516.

61. Soft Computing: Fuzzy Logic Neural Networks, and Distributed Artificial Intelligence /Eds. F. Aminzadeh, M. Jamshildi. Englewood Cliffs: PTR Prentice Hall, 1994 - 301 p.

62. Курейчик B.M. Методы генетического поиска: Учебное пособие, часть 1. Таганрог: ТРТУ, 1988. - 118 с.

63. Joze L. Filho R., Treleaven P. Genetic-Algoritm Programming Environments //Proceedings of IEEE. 1994. 1.

64. Thrif P., Fuzzy Logic Synthesis with Genetic Algorithms // In Proc. of the 4-th Int. Conf. on Genetic Algorithms. San Diego. USA., 1991.

65. Karr C.L., Stanley D.A. Fuzzy Logic and Genetic Algorithms in lime-Varying Control Problems // In Proc. of the NAPFIS-91. 1991. - p. 285-290.

66. Almeida L.B. A learning rule for asynchronous perceptrons with feedback in a combinatorial environment. Proc. 1st IEEE Intl. Conf. on Neural Networks, vol. 2, pp. 609-618, San Diego, CA, June 1987.

67. Ackley D.H., Hinton G.E., Sejnowski T.J. A Learning Algorithm for Boltzmann Machines. Cognitive Science, 9, 1985, pp. 147-169.

68. Cottrell G.W., Munro P. and Zipser D. Learning Internal Representation from Gray-Scale Images: An Example of Extensional Programming. In Proc. 9th Annual Conference of the Cognitive Science Society, 1987, p. 461-473.

69. Dennis J., Schnabel R. Numerical Methods for Unconstrained Optimization and Nonlinear Equations. Englewood Cliffs, NJ: Prentice-Hall, 1983.

70. Gilev S.E., Gorban A.N., Mirkes E.M. Several methods for acceleration the training process of neural networks in pattern recognition. USSR Academy of

71. Sciences, Siberian Branch, Institute of Biophysics, Krasnoyarsk, 1990. Preprint N 146Б.

72. Guyon I., Poujaud I., Personnaz L., Dreyfus G., Denker J. and Le Cun Y. Comparing different neural network architectures for classifying handwritten digits. In Proc. IEEE Int. Joint Conf. Neural Networks, June 1989.

73. Muller В., Reinhardt J. Neural networks. Springer -Verlag. 1990. 267 p.

74. Neural Computing: Neural Works Professional II/Plus and Neural Works Explorer. NeuralWare, Inc., 1991. 355 p.

75. Hecht-Nielsen R. Theory of the backpropagation neural network // International joint conference on neural networks, Sheraton Washington Hotel, Washington D.C., June 18-22, vol. 1, 1989, p. 593-606.

76. Мелихов A.H., Карелин В.П. Методы распознавания изоморфизма и изоморфного вложения четких и нечетких графов. Учебное пособие. -Таганрог: изд-во ТРТУ, 1995 112 с.

77. Нильсон Н. Принципы искусственного интеллекта / Пер.с анг. М.: Радио и связь,1985. - 376 е.: ил.

78. Лорьер Ж.-Л.Системы искусственного интеллекта / Пер. с франц. -М.: Мир, 1991.- 568 е.: ил.

79. Хант Э. Искусственный интеллект / Пер. с англ. М.: Мир, 1978.558 с.

80. Виннер Н. Кибернетика, или управление и связь в животном и машине. 2-е. изд. - М.: Наука, 1983. - 338 с.

81. Поспелов Д.А. Вероятностные автоматы. М.: Энергия, 1970. - 88с.:ил.

82. Edelman. G. Neural Darwinism. New York: Basic Books, 1988.

83. Purves. D. Body and Brain. Cambridge. Mass.: Harvard University Press, 1988.

84. Montana. D. J. and L. Davis Training feedforward neural networks using genetic algorithms. Proceedings of the Eleventh International Joint Conference on Artificial Intelligence, 1989. p. 762-767.

85. Whitley. D. Applying genetic- algorithms to neural net learning. Tech Report number CS-88-128. Department of Computer Science. Colorado State University, 1988.

86. Holland J. The dynamics of searches directed by Genetic Algorithms. In: Lee Y.S. (ed.) Evolution, Learning and Cognition. Word Scientific, Singapore, 1988.

87. Handbook of Genetic Algorithms, Edited by Lawrence Davis, Van Nostrand ReinhoLd, New York, 1991. 412 p.

88. Wynne Jones M. Node splitting: A constructive algorithm for feed -forward neural networks. // Neural Computing and Applications, Vol. 1, № 1, 1993 -p. 17-22.

89. Harp Steven A., Samad Tariq. Genetic Synthesis of Neural Network Architecture. // Handbook of Genetic Algorithms. Edited Lawrence Davis. Van Nostrand Reinhold. New York, 1991. - p. 202 - 221.

90. Miller G., Todd P. and Hegde S. Designing neural networks using genetic algorithms. In J. D. Schaffer (ed.). Proceedings of Third International Conference on Genetic Algorithms. Morgan Kaufmann, 1989.

91. Schaffer. J. D., Caruana R. and Edelman L. Using genetic search to exploit the emergent behavior of neural networks. Phillips Laboratories. 345 Scarborough Rd. Briar Cliff Manor. NY 10510, 1989 (unpublished).

92. Нечаев Ю.И., Дегтярев А.Б., Сиек Ю.Л. Принятие решений в интеллектуальных системах реального времени с использованием концепции мягких вычислений. Искусственный интеллект № 3, 2000, НАН Украины, ИЛИИ, с. 525-533.

93. Аверкин А.Н. Мягкие вычисления основы новых информационных технологий // V Национальная конференция по искусственному интеллекту: Сб. тр. Казань, 1996. - Т.2. - с. 237-239.

94. Werbos. P. J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Ph. D. thesis. Department of Applied Mathematics. Harvard University. Cambridge. Mass, 1974.

95. Goldberg D.E., Korb В., Kalyanmoy D. Messy Genetic Algorithms. // Complex Systems, № 3, 1989.

96. Осыка A.B. Экспериментальное исследование зависимости скорости сходимости генетического алгоритма от его параметров. // Известия Академии Наук. Теория и системы управления, № 5, 1997.

97. Поспелов Д.А. Ситуационное управление: теория и практика. -М.: Гл. ред. Физ.-мат. Лит., 1986 288 с.

98. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983 - 464 с.

99. Мелихов А.Н., Карелин В.П. Методы распознавания изоморфизма и изоморфного вложения четких и нечетких графов. Учебное пособие. Таганрог: изд-во ТРТУ, 1995. - 112 с.

100. Орловский С.А. Проблемы принятия решений при нечеткой входной информации. М.: Наука, Гл. ред. Физ.-мат. Лит., 1981. 208 с.180

101. Дой С., Цхай С.М. Прикладная теория графов. Алма-Ата: Наука,1971.

102. Алгоритмы и программы решения задач на графах и сетях. / Нечепуренко М.И., Попков В.К., Майнагашев С.М. и др. Новосибирск: Наука, Сиб. Отд., 1990. - 515 с.

103. Зыков А.А. Основы теории графов. М.: Наука, 1987. - 384 с.

104. Мелихов А.Н, Ориентированные графы и конечные автоматы. М.: Наука, 1971.-416 с.1. УТВЕРЖДАЮ»

105. Первый проректор проректор1. АКТоб использовании научных результатов диссертационной работы Шницера Ю.Л. «Исследование и разработка генетических методов и алгоритмов инструментальных средств системы поддержки формирования и обучения нейронных сетей».

106. Использование результатов диссертационной работы Шницера Ю.Л. позволяет создавать адаптивные системы, которые вырабатывают оптимальную стратегию взаимодействия с внешней средой.канд. техн. наук

107. Ответственный исполнитель,1. Р.Н. Кононенко

108. Использование результатов диссертационной работы Шницера Ю.Л. позволяет ускорить решение оптимизационных задач.

109. Зам. декана по научной работе факультета информационной безопасности, канд. техн. наук, с.н.с.1. Ю.А. Брюхомицкий