автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы структурно-параметрического синтеза нейросетевой модели для формирования интеллектуальных информационных технологий

На правах рукописи

Воеводин Юрий Юрьевич

МЕТОДЫ И АЛГОРИТМЫ СТРУКТУРНО-ПАРАМЕТРИЧЕСКОГО СИНТЕЗА НЕЙРОСЕТЕВОЙ МОДЕЛИ ДЛЯ ФОРМИРОВАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

05.13.01 Системный анализ, управление и обработка информации (промышленность)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

0 1:СП

п

Волгоград-2009

00340253262259

Работа выполнена на кафедре «Компьютерные системы и сети» Калужского филиала МГТУ им. Н.Э. Баумана

Официальные оппоненты:

Научный руководитель

доктор технических наук, профессор Комарцова Людмила Георгиевна, доктор технических наук, профессор Заболеева-Зотова Алла Викторовна.

кандидат технических наук, доцент Тарасов Валерий Борисович.

Ведущая организация Тверской государственный технический университет.

Защита состоится 26 ноября 2009 г. в 10:00 часов на заседании диссертационного совета Д 212.028.04 при Волгоградском государственном техническом университете по адресу: 400005, Волгоград, проспект им. В. И. Ленина, 28.

С диссертацией можно ознакомиться в библиотеке Волгоградского государственного технического университета.

Автореферат разослан 25 октября 2009 г.

Ученый секретарь диссертационного совета

Водопьянов В.И

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Интеллектуальные информационные технологии в настоящее время являются одним из ключевых направлений развития информатики. Исследования по форме и методам создания интеллектуальных информационных технологий (ИИТ) для решения различных научных и практических задач активно проводятся как России, так и за рубежом.

Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов к реализации ИИТ, поскольку в большинстве случаев традиционные методы требует больших временных затрат и материальных вложений. В последнее время для решения сложных задач управления, информационного мониторинга, диагностики, автоматизированного проектирования, распознавания образов, классификации и т.д используют технологии нейронных сетей (НС), эволюционного моделирования и генетических алгоритмов, нечеткой логики, а также различные гибридные технологии или технологии мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.).

Сфера практического применения перечисленных технологий постоянно расширяется. Однако, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для конкретных приложений, недостаточно проработаны вопросы создания гибридных моделей и особенности их реализации в интеллектуальных системах.

Таким образом, решаемые в диссертационной работе задачи создания алгоритмического и программного обеспечения ИИТ на основе нейронных сетей и различных гибридных моделей для повышения эффективности реализации в них механизмов обучения, самообучения и адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертации является повышение эффективности структурно-параметрического синтеза нейросетевых и гибридных моделей сложных систем для обоснованного принятия решений при автоматизированном формировании интеллектуальных информационных технологий.

Для достижения поставленной цели необходимо решить следующие основные задачи.

1. Проанализировать существующие методы формирования интеллектуальных информационных технологий для решения практических задач. Выявить их достоинства и недостатки.

2. Разработать и исследовать принципы автоматизации построения базовых нейросетевых моделей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальных информационных технологий.

3. Разработать и исследовать эффективность гибридных нейросетевых моделей на основе использования генетических алгоритмов и систем на нечеткой логике.

4. Выполнить программную реализацию разработанных методов и алгоритмов. Проверить их работоспособность на тестовых задачах.

5. Исследовать на практике эффективность применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и формирования интеллектуальной информационной технологии для решения практических задач.

Методы исследования. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, нейроинформа-тики, генетических и эволюционных алгоритмов, теории нечеткой логики, теории распознавания образов, теории оптимизации, методах математической статистики, объектно-ориентированного программирования.

Научную новизну полученных в работе результатов определяют.

1. Модифицированный конструктивный алгоритм, автоматически формирующий нейросетевые модели, отличающийся от известных универсальностью подхода к выбору топологии НС, что позволяет уменьшить время обучения и время распознавания в НС.

2. Новые эволюционные алгоритмы, отличающиеся комплексностью подхода к созданию нейросетевой модели и позволяющие, в отличие от известных, минимизировать как топологию, так и ошибку обучения НС.

3. Методика и алгоритмы формирования специализированных баз знаний на основе предварительно обученных нейросетевых модулей, обеспечивающих гибкость их применения для решения конкретных задач и накопление опыта эксперта в заданной предметной области.

4. Новые методы и алгоритмы на основе совместного использования НС, систем нечеткой логики, алгоритмов глобальной оптимизации, позволяющие осуществлять комплексное моделирование сложных систем интеллектуальными информационными технологиями.

Практическая значимость результатов диссертационной работы определяется созданием формальных методик, позволяющих автоматически проектировать интеллектуальные информационные технологии. Разработанные программные системы позволяют пользователю, не обладающему профессиональными знаниями в области ИИТ, НС, эволюционного моделирования, получать решения для конкретных практических задач. Теоретические и практические результаты реализованы в виде программных модулей, позволяющих проверить работоспособность разработанных алгоритмов.

Полученные в диссертационной работе результаты внедрены в учебный процесс кафедры «Компьютерные системы и сети» Калужского филиала МГТУ им. Н.Э.Баумана, кафедры «Прикладная информатика» Калужского филиала Российского государственного гуманитарного университета при чтении лекций и проведении лабораторных занятий по курсам «Нейронные сети», «Информационные технологии», «Модели и алгоритмы обработки информации», использованы при выполнении работ по проектированию и оптимизации компьютерных систем в НПФ «Эверест» (г. Калуга) и Калужском НИИ телемеханических устройств, а также для повышения эффективности функционирования центра информацион-

ных технологий и систем (ЦИТ и С) и организации Росинтер ресторантс (г. Москва).

Достоверность. Достоверность научных положений, теоретических выводов и практических результатов, полученных в диссертации, подтверждена результатами экспериментальной проверки методов, алгоритмов и программного обеспечения с использованием стандартных и специально разработанных тестов на основе существующих методик, обоснованием и анализом моделей с применением методов математической статистики, подтверждением полученных результатов работы другими авторами, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.

Основные положения, выносимые на защиту.

1. Применение новой формальной модели для выбора архитектуры НС, которая позволяет получить НС меньшей вычислительной сложности при сохранении точности решаемой задачи.

2. Многопопуляционный параллельный генетический алгоритм, обеспечивающий возможность одновременного развития нескольких популяций, что позволяет повысить эффективность эволюционного поиска минимальной ошибки обучения НС в ИИТ.

3. Методы и алгоритмы формирования специализированных нейросетевых баз знаний на основе предварительно обученных нейронных модулей, обеспечивающих гибкость и снижение времени на разработку основной модели НС в ИИТ.

4. Комплекс гибридных моделей на основе совместного использования НС, нечеткой логики и ГА, позволяющий повысить точность моделирования предметной области с помощью ИИТ.

1. Апробация работы. Основные результаты работы докладывались и обсуждались на следующих симпозиумах, форумах, конференциях и семинарах: Международной конференции «Континуальные алгебраические логики, исчисления и нейроинформатика в науке, технике и экономике (Ульяновск-2003), Региональной студенческой конференции «Применение кибернетических методов в решении проблем общества XXI века (0бнинск-2003), Региональной научно-технической конференции студентов, аспирантов и молодых ученых «Прогрессивные технологии, конструкции и системы в приборо- и машиностроении» (Калуга-2003), Седьмой всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» 0бнинск-2004, Международном форуме «Информатика МФИ-2003, Информационные средства и технологии» Москва-2003, Всероссийской научно-технической конференции «Автоматизация проектирования сложных технических систем в приборо- и машиностроении» Москва-2004, Пятой региональной конференции «Информатика: проблемы, методология, технологии» Калуга-2005, III Межд. научно-практ. семинаре «Интегрированные модели и мягкие вычисления в искусственном интеллекте» Москва-2005, 4 Всерос. н-т конференции «Новые информационные технологии в системах управлении и связи» Калуга-2005, 10 Национальной конференции по искусственному интеллекту Москва-2006, 7 Международном симпозиуме «Ин-

5

теллектуальные системы» 0бнинск-2006,4 Международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» 0бнинск-2007, «Дистанционное обучение - образовательная среда 21 века» Минск-2007, научно-технической конференции "Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе" Калуга — 2008, научной сессии МИФИ-2009 «Интеллектуальные системы и технологии» Москва-2009, международной научно практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» Москва-2009.

Публикации. По теме диссертации автором опубликовано 26 работ, из них 4 в журналах, рекомендуемых ВАК.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследуемой в диссертации проблемы, формулируется цель и задачи исследования. Кратко изложена научная новизна, практическая ценность и достоверность полученных результатов диссертационной работы.

В первой главе представлен обзор и анализ современных проблем в области создания интеллектуальных информационных технологий, расширяющих возможности компьютерных систем при решении сложных прикладных задач. Отмечаются характерные особенности задач, решаемых на основе ИИТ: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результата. Перечисленные особенности не позволяют использовать для решения таких задач строгие алгоритмические методы и модели. ИИТ, используя подходы искусственного интеллекта, позволяет даже для таких задач обеспечить решение с приемлемой точностью за приемлемое время.

Основными компонентами ИИТ являются модели представления проблемной ситуации (база знаний) и поиска решений, а также средства организации взаимодействия с пользователем. Подчеркивается, что главной трудностью разработки и реализации ИИТ для решения конкретных прикладных задач является объективное существование факторов, связанных с неполнотой и неопределенностью знаний о развитии процессов в моделируемой среде. Выражается это в нарушении свойства монотонности получения новых знаний, являющегося основным в традиционных формальных логических системах.

Преодоление ограничений, налагаемых этими системами, требует либо применения неклассических логик, либо разработки новых подходов, имитирующих человеческие способности при поиске и выборе решений. К таким способностям относятся: возможность обработки неполной и противоречивой информации; высокопараллельная обработка данных и знаний; обучение и адаптация к новой информации; интеграция всех имеющихся данных и знаний для поиска и выбора решений.

Для развития последнего подхода в диссертации предложено использовать нейросетевые и гибридные технологии, которые позволяют устранить отмеченные недостатки формальных логических систем.

Выполненный анализ и обзор зарубежных и отечественных пакетов прикладных программ на основе нейронных сетей показал, что ряд задач, связанных с эффективным использованием этой технологии, остается нерешенным. К ним относятся: небольшой выбор алгоритмов обучения многослойного персептрона, альтернативных методу обратного распространения ошибки, отсутствие методов автоматической подстройки параметров алгоритма обучения во время процедуры обучения, недостточно гибкие настройки автоматического останова процедуры обучения, отсутствие методов автоматического формирования топологии нейронной сети, методов интерпретации результатов работы сети и т.д., которые требуют дальнейшей доработки. Мало исследованными остаются также проблемы построения гибридных моделей, формирующихся на основе интеграции нейросе-тевых и других технологий.

Обзор интегрированных программных продуктов на основе нейронных сетей, нечеткой логики и генетических алгоритмов показал, что интеграция различных информационных технологий при построении гибридных моделей осуществляется чаще всего на уровне отдельных модулей. Хотя это и дает во многих случаях положительный эффект, но не позволяет в полной мере использовать возможности заложенных в интегрируемые системы алгоритмов. Необходима интеграция на уровне методов.

Исследование программных моделирующих нейросетевых комплексов показало, что актуальной проблемой является разработка интеллектуальных компонент в составе моделирующей системы на основе не только нейросетевых, но и гибридных технологий. На основании проведенного обзора и анализа методик создания ИИТ сформулирована цель исследований и основные задачи, решением которых она достигается.

Вторая глава посвящена вопросам структурно-параметрического синтеза нейросетевой модели и организации нейросетевых баз знаний на основе предварительно обученных на решение определенной проблемы нейронных модулей.

Нейросетевая база знаний формируется на основе информации, поступающей из различных источников: 1) фундаментальных знаний, представленных в виде стандартов, нормативно-справочной информации и т.д. 2) экспериментальной информации, получаемой из результатов моделирования, натурного эксперимента, тестирования; 3) экспертной информации о качественных и количественных характеристиках конкретных объектов исследуемой предметной области в форме текстов, экспертных правил и отдельных примеров (невербализованных описаний), а также информации мета - уровня, определяющей правила использования фундаментальных знаний.

Проблема заключается в том, что эти данные, как правило, носят фрагментарный характер, имеют формат представления в различных шкалах (числовых, лингвистических, порядка, наименований) и задача системы состоит в обобщении имеющихся данных и формировании соответствующих обучающих выборок.

Разработаны и реализованы методы кодирования исходной информации и ее единообразное представление в обученных нейронных модулях.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация НС и решаемых ими задач позволила в данной работе выбрать следующие типы НС: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные ИИТ, в которых интегрируются несколько информационных технологий.

Исследованы проблемы синтеза НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач; недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучения; высокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать ИИТ на базе НС с минимальной сложностью.

Поставлена задача синтеза НС следующим образом. Пусть задана обучающая выборка / = {(К ,= 1 ,...,Р , Р - число примеров в обучающей выборке,

У,- входной и выходной вектор НС соответственно. Необходимо построить такую НС, которая обеспечивала бы наиболее эффективное решение ставящейся прикладной задачи, описываемой выборкой I. Оценку синтезируемой НС будем осуществлять с помощью следующих критериев: 1) вычислительной сложностью 5, определяемой количеством межнейронных связей в НС (или количеством операций, требуемых для вычисления выходного вектора); 2) ошибкой обобщения £общ> определяющей величину ошибки распознавания, вычисляемой на тестовой выборке.

Эти два критерия являются взаимно противоположными и должны быть обращены в минимум. Задача синтеза НС в работе решается с использованием одного критерия с учетом ограничений, налагаемых на другой критерий: 1) для заданной мах допустимой £общ (неотрицательное действительное число е) найти топологию нейронной сети с минимальной сложностью 5; 2) для заданной топологии сети, определяемой мах допустимой сложностью 5 (положительное целое число), построить такую НС, для которой значение Е05щ. <= £. Конкретно задача синтеза НС в заданной постановке решается в диссертации применительно к многослойному персептрону.

Проведено сравнение известных алгоритмов формирования топологии НС для конкретной решаемой задачи. Разработан модифицированный конструктивный алгоритм, обеспечивающий, в отличие от известного метода динамического наращивания нейронов МНС, итерационный способ наращивания нейронов с учетом скорости изменения ошибки обучения Е0 и одновременным обучением только части нейронов очередного слоя. Проверка условия продолжения обучения осуществляется на основе формулы (1):

iMhM^, (1)

ВД

где t- номер текущей итерации; E0(t) - ошибка обучения на текущей итерации; t{ = t-l, I- количество итераций, задаваемое экспертом, при котором ошибка сети меняется несущественно (/>1), е - допустимый порог изменения ошибки обучения.

Проверка условия допустимости изменения скорости ошибки обучения:

\MhMA<e, (2)

EStо)

где t0- номер итерации, на которой была изменена топология сети путем добавления нового нейрона из тех, которые соединяются обучаемыми связями; /г номер текущего такта обучения; в = const, 0 < в <1 и задается экспертом. Коэффициент в определяет скорость изменения ошибки обучения. Если условие (2) не выполняется, то коэффициенты межнейронных связей нейронов, добавленных после момента t0, фиксируются и при дальнейшем обучении НС не изменяются, иначе, если скорость изменения ошибки обучения невелика, то нейроны, добавленные после t0, не внесли существенного улучшения в качество обучения, поэтому они участвуют в дальнейшем обучении. Связи нейронов последнего (выходного) слоя с нейронами скрытых слоев всегда являются обучаемыми.

Таким образом, разработанный алгоритм позволяет выявить значимые и незначимые нейроны в процессе их добавления в структуру НС, производить обучение только для незначимых нейронов и тем самым сократить время формирования топологии НС. Проведенные эксперименты построения информационной модели на основе МНС, формируемой с использованием предложенного алгоритма, показали, что в среднем удается уменьшить количество межнейронных связей примерно на 30% по сравнению с полносвязной МНС, что позволяет, в свою очередь, уменьшить время оценки рангов поисковых систем и время обучения в системах, использующих данный модуль.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W. В качестве ошибки обучения в работе используется среднеквадратичная ошибка или MSE (Mean Squared Error), которая для выбранных типов НС определяется как усредненная сумма квадратов разностей между желаемой величиной выхода d, и реально полученными на сети значениями у, для каждого примера / (Р - число примеров в

1 р

обучающей выборке): Е0 =—- yt )2 (3).

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation - BP) .Для построения алгоритма обучения НС, альтернативного BP, а также для разработки универсального метода формирования топологии НС проведено экспериментальное исследование генетического алгоритма (ГА).

На эффективность ГА в смысле повышения скорости сходимости алгоритма и процента нахождения глобального или близкого к нему решения влияют методы

кодирования потенциальных решений и выбранные параметры популяции, к которым относятся размер популяции и механизм построения начальной популяции, вид функции качества Fit, типы генетических операторов - мутации, кроссингове-ра, селекции и отбора хромосом.

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (робертсоновские транслокации,), селекции ("дальнее" и "ближнее" родство"), отбора ("мягкая" схема). Экспериментальное исследование ГА для решения задачи минимизации ошибки обучения НС на представительном наборе тестовых функций (экстремум которых известен) позволило определить наилучшее сочетание генетических операторов для функций, отличающихся размерностью и числом экстремумов. Полученные рекомендации использованы при конструировании генетических алгоритмов для обучения НС.

Разработана схема многопопуляционного алгоритма, отличающаяся от известных решением проблем определения момента начала взаимодействий tv и способами обмена хромосомами между популяциями. Первая проблема решается следующим образом. Вводится условие наступления события tv: если сумма отклонений Fitmax в текущем поколении и Fitmax за последние с поколений не превосходит некоторого заданного положительного числа 5, то развитие популяции не приводит к появлению лучших решений и наступает период взаимодействия. Параметр 5 является одним из вспомогательных параметров ГА и задается пользователем перед началом его инициализации. Для решения второй проблемы после наступления момента tv происходит ранжирование всех хромосом по функции Fit (по возрастанию). Из каждой популяции удаляется q-r худших хромосом {q -процент исключения; 0<<7<1; г - количество хромосом в популяции), и на их место включается q-r лучших хромосом из другой популяции.

Выбор обменных хромосом из каждой популяции осуществляется с вероят-Fit(tf/-)

ностью: р, = —-—— (4). Условие останова многопопуляционного алгоритма

iW;-)

ГА - сумма разностей функций фитнесса разных популяций, участвующих в обмене, за с последних популяций меньше 5. Для двух одновременно развивающихся популяций условие останова записывается следующим образом:

¿|Fit^-FitL|/(cxmax(Fitl,Fitl)<5(5).

На основе полученных результатов исследования ГА разработан алгоритм обучения, отличный от BP. Для минимизации Е0 каждому варианту вектора весовых коэффициентов W (фенотипу) будем ставить в соответствие некоторую хромосому Н (генотип), полученную в результате использования разработанного метода числового кодирования. Хромосома будет представлять собой вектор действительных чисел, кодирующих весовые коэффициенты связей нейронов входного слоя с нейронами одного или нескольких скрытых слоев, а также связи между

10

нейронами скрытых слоев и нейронами выходного слоя. Таким образом, каждой /-й реализации, /=1 ,...к вектора весовых коэффициентов УУ, = (и>11,и'12,...,и'Ь,,...)на уровне генотипа соответствует хромосома н, =(АП)Л)2,...,^/,...), начальная популяция формируется из к таких хромосом методом равномерного распределения весов.

Задача обучения сводится к нахождению варианта XV*, соответствующего заданной Ев, которая принимается за функцию фитнесса Рк в генетическом алгоритме. Для определения Е0 каждый /-й вектор весовых коэффициентов (фенотип) закодированный в хромосоме Н/ (генотип), обучается на "своей" нейронной сети НС,. Тогда ошибка / -й нейронной сети Ео1 может быть вычислена по результатам ее обучения: Е01 = #СД\У(), где НС, - нейронная сеть для обучения вектора

Само понятие обучения НС при использовании для этих целей генетического алгоритма, в отличие от традиционных методов обучения, имеет несколько иной смысл. Обучение каждой НС заключается в применении генетических операторов к генотипу вектора \У„ т.е. к хромосоме Н„ а обучающая выборка служит для вычисления ошибки обучения Еы нейронной сети ЯС, применительно к фенотипу. При завершении работы ГА определяется лучшая по всем популяциям хромосома Н*, соответствующая искомому вектору \У*. На основе дополнительных исследований определяются генетические операторы, дающие наименьшую Е0.

В предложенном алгоритме, в отличие от известных методов обучения НС на основе генетических алгоритмов, с целью повышения точности нахождения экстремума разработана и исследована двухэтапная процедура поиска Е0 тт. На первом этапе, на котором определяется область существования глобального экстремума, используется ГА. На втором этапе происходит уточнение экстремума на основе локальных алгоритмов оптимизации, исследованных в диссертации.

Были исследованы следующие методы локальной оптимизации и их комбинации с ГА: метод Коши, метод Дэвидона - Флетчера - Пауэлла (ДФП) и Бройде-на - Флетчера - Гольдфарба - Шанно (Вгоус1еп, воЖатЬ, БЬаппо - ВРОБ). Экспериментальное исследование рассмотренных алгоритмов проводилось на достаточно представительном наборе тестовых функций, характеризующихся различной размерностью, количеством экстремумов, а также сложностью ландшафта изменений значений функций.

Сравнение эффективности исследуемых алгоритмов, используемых в ВР, выполнялось по двум показателям: сходимости (соотношению количества схождений к глобальному и к локальным минимумам) и вычислительной сложности (количеству вычислений значений оптимизируемой функции).

Применение комбинированных моделей позволило разрабатывать алгоритмы обучения НС, обладающие высокой скоростью сходимости с одновременным повышением вероятности нахождения глобального экстремума (ошибка распознавания уменьшается примерно на 10%).

Разработан алгоритм интерпретации результатов работы НС. Проблема использования НС в ИИТ заключается в том, что итогом обучения НС является числовой вектор весовых коэффициентов который трудно интерпретировать.

Рис.1

В диссертации решение задачи интерпретации получено на основе разработки оригинального алгоритма формирования нечеткой базы знаний по примерам (рис.1), который на основе заданной обучающей выборки позволяет формировать продукционные правила IF - THEN. Исследована проблема устранения конфликтов при создании базы знаний.

Третья глава посвящена повышению эффективности использования нейро-сетевых и гибридных моделей в ИИТ.

Предложен алгоритм построения адаптивного ГА, т.е. такого алгоритма (внутреннего), параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа.

На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА: тип оператора кроссинго-вера, тип оператора мутации, тип оператора селекции, тип оператора отбора, размер популяции.

На втором этапе на каждой итерации работы внешнего ГА для оценки качества каждой хромосомы происходит функционирование внутреннего ГА с параметрами, выбранными на данной итерации. Общее число итераций для поиска лучших параметров внутреннего алгоритма является значительным и составляет т*г*п, где т - число итераций, а г - размер популяции внешнего алгоритма, п -число итераций внутреннего ГА. Однако, как показали экспериментальные исследования, скорость сходимости адаптивного ГА по сравнению с обычным ГА значительно выше.

Разработан комбинированный алгоритм обучения МНС: на основе генетического алгоритма и алгоритма имитации отжига (АИО). Создание такого алгоритма открывает возможность динамически менять типы и вероятность применения генетических операторов на различных этапах поиска минимума с целью снижения временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации ошибки обучения Е0 управляющего параметра "температуры" /, который постепенно уменьшаясь по задан-

ному закону, позволяет стабилизироваться Е0 в состоянии минимума. В отличие от известных комбинированных алгоритмов на основе ГА и АИО в предложенном варианте используются новые исследованные в работе генетические операторы, позволяющие учитывать состояние среды поиска.

Рис.2

Проведен сравнительный анализ нейросетевых моделей с традиционными классификаторами на основе методов к- ближайших соседей и потенциальных функций (рис.2). Результаты экспериментального исследования показали, что классификаторы на основе многослойного персептрона с генетическим алгоритмом обучения (с использованием двухэтапной процедуры и комбинированный с алгоритмом имитации отжига НС +АИО) могут быть использованы, когда требуется малое время обучения, высокая скорость распознавания и достаточно высокое качество распознавания.

Предложены и программно реализованы усовершенствованные нейросетевые классификаторы персептронного типа, позволяющие устранить выявленные недостатки алгоритма обратного распространения ошибки ВР: медленную сходимость и возможность блокировки сети. Для повышения скорости сходимости алгоритма ВР обычно до начала процедуры обучения эмпирически устанавливаются 1) коэффициент к, характеризующий скорость обучения, от величины которого зависит время сходимости; 2) коэффициент инерционности я, позволяющий корректировать приращение веса Аы^ на предыдущей итерации, что предотвращает блокировку сети:

где (7); а Е0 - средняя квадратичная ошибка обучения; к -

ОУ]

скорость обучения; л - коэффициент инерционности; / - номер текущей итерации; и - номер слоя; х, - значение входа /-о нейрона в слое и, -выходной сигнал нейрона у. Основная проблема более быстрой сходимости состоит в автоматической подстройке параметров обучения к и л, влияющих на процесс сходимости.

Для решения этой проблемы в работе предложен метод автоматической подстройки параметров обучения НС на основе методов нечеткой логики. Идея подхода заключается в том, чтобы величина скорости обучения не оставалась посто-

янной на протяжении всей процедуры обучения, а изменялась в процессе работы алгоритма BP, в зависимости от определенных условий. Такими условиями является состояние НС (в смысле приближения к экстремуму) и реальное значение параметра обучения, вычисленное в текущей итерации. В нечеткую базу правил записывается экспертная информация о том, каким образом необходимо изменять значение регулируемого параметра (например, на основе приращения градиента ошибки Е0 и градиента второго порядка Е0, влияющего на скорость сходимости BP) для улучшения работы алгоритма, при этом схема вычисления приращения h и п соответствует базовой схеме нечеткого контроллера. Проведенные экспериментальные исследования показали, что BP с нечетким управлением параметрами h ил при обучении обеспечивает существенно более быструю сходимость, чем классический BP. Достижение той же ошибки обучения (25 %) было достигнуто при числе итераций в пять раз меньше.

В четвертой главе представлены результаты практической проверки эффективности разработанных нейросетевых методов и алгоритмов для формирования ИИТ решения ряда важных практических задач, связанных с модернизацией специализированных вычислительных сетей, обслуживающих военные объекты (КНИИТМУ), созданием компьютерных сетей коммерческих организаций (научно-промышленная фирма «Эверест»), апри проведении работ по сравнению различных систем поиска информации в сети Интернет в ЦИТ и С, организацией эффективного поиска информации в сети Интернет (Росинтер-Ресторантс)

Проведены эксперименты, направленные на сравнение эффективности поиска документов с помощью локальной метапоисковой системы Neuro searcher, использующей НСБЗ для осуществления релевантной обратной связи с пользователем и популярными поисковыми и метапоисковыми системами. Результаты экспериментов подтвердили, что эффективность разработанной метапоисковой системы выше, чем эффективность используемых в ее работе систем в отдельности. Пользовательские оценки документов в Neuro searcher были на на 10-15% выше чем у документов, полученных от одиночных систем.

Обобщенная оценка пользователей

7,000

6,000 -■

5,000 -■

2 4,000 -■

§ 3,000 -■ О

2,000 -1,000 -0,000 -20 40 60 80 100 120 140 160 180 200 220 Кол-во запросов

Рис.3.

Одним из показателей, позволяющих оценить качество работы поисковой системы, является количество документов просмотренных и проанализированных пользователем. Анализ полученных результатов (рис. 3) показывает, что количество документов, просмотренных и оцененных пользователями в ходе работы с системой, постоянно сокращалось, это позволяет говорить о том, что при работе с системой была достигнута экономия времени поиска. Доля положительно оцененных документов (с оценкой более 5 баллов) постоянно росла, что свидетельствует о повышении качества поиска.

■ Положительно оцененных ■ Отрицательно оцененных -»—Оцененных Д01

Представлены результаты решения ряда важных практических задач, связанных с созданием компьютерных сетей коммерческих организаций (НПФ «Эверест»), Накопленный опыт решения этих задач позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации ней-росетевых и гибридных технологий. Большинство пакетов прикладных программ, разработанных под руководством автора, защищено авторскими свидетельствами и внедрено в учебный процесс.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ В рамках диссертационной работы проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методологической базы, моделей, методов, алгоритмов и программ для формирования интеллектуальной информационной технологии нового типа, обеспечивающей обучение, адаптацию и модификацию баз знаний к проблемной среде с учетом неполноты исходной информации.

Основные результаты работы заключаются в следующем. 1. Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных технологий в ИИТ, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, са-

мообучение и модификацию нейросетевых и гибридных модулей обработки информации с учетом специфики предметной области.

2. Разработаны принципы построения специализированных нейросетевых баз знаний для прикладных областей и методы формирования нейронных сетей на основе предварительного обучения базовых нейросетевых и гибридных модулей, обеспечивающих их модификацию, обучение и адаптацию к решаемой задаче.

3. Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back Propagation -BP), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно:

• на основе анализа естественных природных механизмов эволюции предложены, исследованы и реализованы новые операторы селекции хромосом, кроссинговера, хромосомной мутации, отбора, которые, в отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом;

• предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения;

• разработан, исследован и реализован двухэтапный алгоритм оптимизации, позволяющий за счет использования на первом этапе генетического алгоритма быстро локализовать область существования глобального экстремума, а на втором за счет использования локального алгоритма оптимизации повысить точность нахождения экстремума;

• проведено экспериментальное исследование влияния различных генетических операторов на эффективность поиска и получены рекомендации о целесообразном их использовании в генетическом алгоритме при минимизации функции ошибки НС.

4. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, на основе модифицированного конструктивного подхода и генетического алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время распознавания и время обучения в НС, использующих данный модуль.

5. Создана методологическая и инструментальная среда для построения нейронных сетей с требуемыми характеристиками из предварительно обученных и вновь разрабатываемых нейросетевых и гибридных модулей для конкретных приложений. С помощью разработанных программных средств реализованы ИИТ для решения реальных практических задач.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Основные положения и результаты диссертации опубликованы в следующих работах:

В изданиях, рекомендуемых ВАК:

1. Комарцова Л.Г., Воеводин Ю.Ю. Локальная метапоисковая система для повышения эффективности обучения // Известия Волгоградского государственного технического университета «Актуальные проблемы управления, вычислительной техники и информатики в технических системах».-вып. 2 (28). -2007.-С 67-72.

2. Воеводин Ю.Ю. Использование нейросетевых технологий для построения мета-поисковых систем // Вестник ТРТУ. Технические науки -2006. №6 -С. 82-86.

3. Воеводин Ю.Ю. Нейросетевые системы метапоиска в сети Интернет // Программные продукты и системы. Тверь изд-во НИИ ЦПС. 2008. № 4(84) - С98-101.

4. Комарцова Л.Г., Воеводин Ю.Ю. Нейросетевой подход к поиску релевантной информации в сети Интернет. Нейрокомпьютеры. Разработка и применение. -М.: Радиотехника. -2009.№ 1.

В прочих печатных изданиях:

5. Воеводин Ю.Ю. Исследование алгоритмов оптимизации для повышения эффективности обучения нейронных сетей / Воеводин Ю.Ю., Голубин A.B. Комарцова Л.Г. // Системы искусственного интеллекта и нейроинформатика: Тр. межд. конф. «Континуальные алгебраические логики, исчисления и нейроинформатика в науке, технике и экономике -КЛИН-2003» Ульяновск: УлГТУ, 2003. -т.З. с.79-81.

6. Воеводин Ю.Ю. Исследование алгоритмов обучения нейронных сетей / Воеводин Ю.Ю. // Per. студ. конф. «Применение кибернетических методов в решении проблем общества XXI века». Тез. докл. Обнинск: ИАТЭ. - 2003. -С. 32-33.

7. Воеводин Ю.Ю. Проблемы повышения эффективности обучения нейронных сетей / Воеводин Ю.Ю. // Матер, per. научно-техн. конф. студентов и аспирантов «Прогрессивные технологии, конструкции и системы в приборо- и машиностроении» - Калуга: МГТУ им. Н.Э. Баумана. - 2003. -С. 69-71.

8. Воеводин Ю.Ю. Применение нейронных сетей с комбинированными методами обучения для предварительной обработки информации в экспертных системах / Воеводин Ю.Ю. И 7 всерос. науч. конф. молодых ученых и аспирантов «Новые инф. технологии». - Обнинск: Из-во ИАТЭ.-2004.-С.67-68.

9. Воеводин Ю.Ю. Проблема адаптации нейронной сети к решению прикладных задач. / Воеводин Ю.Ю., Комарцова Л.Г. // Сб. научн. тр. Межд. форума «Информатика МФИ -2003. Инф. средства и техн.». - М.: МЭИ. -2003. -Т.2.- С. 39-42.

10. Воеводин Ю.Ю. Проблемы построения эволюционных моделирующих систем. / Воеводин Ю.Ю., Комарцова Л.Г. // Сб. научн. тр. Всерос. научно-техн. Конф. «Автоматизация проектирования сложных технических систем в приборо- и машиностроении». -М.: Из-во МГТУ им Баумана. -2004. -С 89-90.

11. Воеводин Ю.Ю. Применение генетического алгоритма для оптимизации параметров нейронной сети в задачах классификации. / Воеводин Ю.Ю., Комарцова Л.Г. / 5-я per. конф. «Информатика: проблемы, методология, технологии». - М.:Из-во МГТУ им Баумана -2005. -С 42-46.

12. Воеводин Ю.Ю. Проектирование компьютерной сети на основе комбинированных технологий / Комарцова Л.Г., Воеводин Ю.Ю., Солодовников А.Ю. // Сб. трудов 3 Всерос. н-т конф. «Новые информационные технологии в системах управлении и связи». КНИИТМУ,- Ч.1.- Калуга. - 2005. -С.105-107.

17

13. Воеводин Ю.Ю. Особенности построения интеллектуальных эволюционных систем / Комарцова Л.Г., Воеводин Ю.Ю. // Методы исследования и проектирования СТС. Научные труды. №588. -М.: МГТУ им. Н.Э. Баумана. -2005.-С. 43-53.

14. Воеводин Ю.Ю. Исследование комбинированных алгоритмов обучения нейронной сети для решения задач классификации / Воеводин Ю.Ю. // Сб. научных тр. III Межд. научно-практ. сем. «Интегрированные модели и мягкие вычисления в искусственном интеллекте». -М.: Физматлит.-2005. -С. 306-308.

15. Воеводин Ю.Ю. Создание распределенной инструментальной среды интеллектуальной системы поддержки принятия решений / Комарцова Л.Г., Воеводин Ю.Ю., Иванов А.Н. // Сб. трудов 4 Всерос. н-т конференции «Новые информационные технологии в системах управлении и связи». КНИИТМУ.- Ч.1.- Калуга. - 2006. -С. 101-108.

16. Воеводин Ю.Ю. Нейросетевые методы эффективного поиска релевантной информации в сети Интернет / Комарцова Л.Г., Воеводин Ю.Ю. // Сб. тр 10 Нац. конф. по искусственному интеллекту. -ч.2 с. 256-265. - Физматлит.-2006

17. Воеводин Ю.Ю. Применение генетического алгоритма для оптимизации параметров нейронной сети при решении задачи аппроксимации функций / Воеводин Ю.Ю. // Сб. тр. 7 Межд. симп. «Интеллект, системы», с. 90-92 - М.: РУСАКИ.-2006

18. Воеводин Ю.Ю. Исследование методов формирования топологии нейронной сети / Комарцова Л.Г., Воеводин Ю.Ю. // Методы исследования и проектирования СТС. Научные труды. №591. -М.: МГТУ им. Н.Э. Баумана. -2006.-С. 73-83.

19. Воеводин Ю.Ю. Эволюционный подход к формированию топологии нейронной сети / Комарцова Л.Г., Воеводин Ю.Ю. // Научные труды МГТУ им. Н.Э.Баумана №589 -М.: МГТУ им. Н.Э. Баумана. -2006.-С. 53-63.

20. Воеводин Ю.Ю. Интеллектуальная поисковая система с релевантной обратной связью на основе нейросетевого обучения / Комарцова Л.Г., Воеводин Ю.Ю. // Сб. тр. 9-й Всерос. научно-техн. конф. «Нейроинформатика - 2007» в 3-х частях -ч.1-М.: МИФИ-2007.-С. 10-18.

21. Воеводин Ю.Ю. Применение нейросетевых баз знаний для построения метапоис-ковых систем. / Воеводин Ю.Ю. // Тр. 4-й Международной научно практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» т. 2 -М.: Физматлит -2007.-С. 447-453.

22. Воеводин Ю.Ю. Нейросетевые методы решения задачи поиска релевантной информации в сети Интернет / Комарцова Л.Г., Воеводин Ю.Ю., Тихонова Н.И. // Сб. тр. 5-й Всерос. н-т конф. «Новые информационные технологии в системах управлении и связи». - КНИИТМУ - ч. 2. - Калуга -2007.-С 135-138.

23. Воеводин Ю.Ю. Повышение эффективности обучения на основе Интернет-технологий. / Комарцова Л.Г., Воеводин Ю.Ю. // Матер. VI Межд. Научно-мет. конф. «Дистанционное обучение ».-Минск. :БГУИР.-2007.-С. 132-135.

24. Воеводин Ю.Ю. Применение нейронных сетей для персонализации информационного поиска / Воеводин Ю.Ю. // Сб. тр. научно-технической конференции "Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе" - Калуга: МГТУ им. Н.Э. Баумана. - 2008. -С. 69-71.

25. Воеводин Ю.Ю. Применение нейронных сетей для персонализации поиска информации в сети Интернет. / Воеводин Ю.Ю. // Мат. секции Интеллектуальные системы и технологии научной сессии МИФИ-2009.

26. Воеводин Ю.Ю. Повышение вычислительной эффективности обучения многослойного персептрона. / Комарцова Л.Г., Воеводин Ю.Ю. // Тр. 5-й Международной на-

учно практической конф. «Интегрированные модели и мягкие вычисления в искусственном интеллекте»

В работах, опубликованных в соавторстве, автору принадлежат следующие результаты: [1], [4], -разработан алгоритм работы метапоисковой системы, адаптирующейся к информационным потребностям пользователя, создано программное обеспечение [15,16], [18-20] и [22,23] - проведено исследование эффективности применения нейронных сетей для поиска информации в сети Интернет; [3] - предложены комбинированные методы оптимизации функций; [9-13] и [26] - проведены исследования комбинированных методов оптимизации функций.

Соискатель

Ю.Ю.Воеводин

Подписано к печати 24.10.2009г.

Объем 1,5 пл.

Тираж 110 экз. Заказ №6589

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

1. АНАЛИЗ СОСТОЯНИЯ ТЕОРИИИ ПРАКТИКИ СОЗДАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ.

1.1. Проблемы создания новых информационных технологий для решения сложных задач науки и техники.

1.2. Эволюционное моделирование.

1.3. Создание гибридных моделей на основе различных методик и информационных технологий.

1.4. Обзор программных средств, использующих нейронные сети.

Выводы по главе 1.

2. СТРУКТУРНО-ПАРАМЕТРИЧЕСКИЙ СИНТЕЗ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ.

2.1. Синтез нейронной сети для решения прикладной задачи.

2.2. Кодирование и предварительная обработка входных данных.

2.3. Выбор типа НС.

2.4. Проблемы формирования топологии НС.

2.5. Влияние алгоритма обучения на эффективность использования НС.

2.6. Сравнительный анализ квазиньютоновских методов обучения НС.

2.7. Алгоритм обучения нейронной сети на основе. генетического алгоритма и его оценка.

2.8. Разработка и оценка качества многопопуляционного ГА.

2.9. Экспериментальное исследование генетического алгоритма.'.

2.10. Исследование комбинированных алгоритмов. обучения на основе ГА.

2.11. Задача интерпретации результатов работы нейронной. сети в ИИТ и ее решение.

Выводы по главе 2.

3. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ НС МОДЕЛЕЙ В ИИТ.

3:1. Разработка метагенетического алгоритма.

3.2. Разработка и исследование комбинированного алгоритмаюбучения НС на основе

ГА и имитации отжига.1.:.

З'.З. Использование нечеткой логики для регулирования'. скорости обучения. НС.:.

Выводы по главе 3.

4. ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ И ОЦЕНКА ИХ ЭФФЕКТИВНОСТИ ПРИ РЕШЕНИИ ПРАКТИЧЕСКИХ ЗАДАЧ.

4.1. Цели и методы проводимых исследований.

4.2. Исследование эффективности разработанной системы при решении задач пользователей сети Интернет.

4.3. Пример применения НС к выбору параметров ЛВС

4.4. Повышение эффективности функционирования. распределенной вычислительной системы.

4.5. Внедрение в учебный процесс.

Выводы по главе 4.

Интеллектуальные информационные технологии в настоящее время являются одним из ключевых направлений развития информатики. Исследования по форме и методам создания интеллектуальных информационных технологий (ИИТ) для решения различных научных и практических задач активно проводятся как России, так и за рубежом.

Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов к реализации ИИТ, поскольку в большинстве случаев традиционные методы требует больших временных затрат и материальных вложений. В1 последнее время для решения сложных задач управления, информационного мониторинга, диагностики, автоматизированного проектирования, распознавания образов, классификации и т.д используют технологии нейронных сетей (НС), эволюционного моделирования и генетических алгоритмов, нечеткой логики, а также различные гибридные технологии- или технологии^ мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.).

Сфера практического применения перечисленных технологий ^постоянно расширяется. Однако, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для« конкретных приложений^ недостаточно5 проработаны-вопросы создания.гибридных моделей и особенности их реализации в1 интеллектуальных системах.'

Такимюбразом, решаемые вдассертационнойфаботе задачи-создания5 алгоритмического- и*- программного обеспечения. ИИТ на основе нейронных сетей и различных гибридных моделей для повышения' эффективности peav лизации в них механизмов обучения, самообучения и1 адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертации является повышение эффективности структурно-параметрического синтеза нейросетевых и гибридных моделей сложных систем для обоснованного принятия решений при автоматизированном формировании интеллектуальных информационных технологий.

Для достижения поставленной цели необходимо решить следующие основные задачи.

1. Проанализировать существующие методы формирования интеллектуальных информационных технологий для решения практических задач. Выявить их достоинства и недостатки.

2. Разработать и исследовать принципы автоматизации построения базовых нейросетевых моделей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальных информационных технологий.

3. Разработать и исследовать эффективность гибридных нейросетевых моделей на, основе использования генетических, алгоритмов и систем на нечеткой логике.

4. Выполнить программную реализацию разработанных методов и алгоритмов. Проверить их работоспособность на тестовых задачах.

5. Исследовать на практике эффективность применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и формирования интеллектуальной, информационной технологии для решения практических задач.

Методы исследования. Проведенные теоретические и прикладные исследования базируются на, методах современного системного анализа, нейро-информатики, генетических и эволюционных алгоритмов (ГА),-теории, нечеткой'логики, теории распознавания образов, теории оптимизации, методах математической статистики, объектно-ориентированного программирования.

Научную * новизну полученных в работе результатов определяют.

1. Модифицированный конструктивный алгоритм, автоматически формирующий нейросетевые модели, отличающийся от известных универсальностью подхода к выбору топологии НС, что позволяет уменьшить время обучения и время распознавания в НС.

2. Новые эволюционные алгоритмы, отличающиеся комплексностью подхода к созданию нейросетевой модели и позволяющие, в отличие от известных, минимизировать как топологию, так и ошибку обучения НС.

3. Методика и алгоритмы формирования специализированных баз знаний на основе предварительно обученных нейросетевых модулей, обеспечивающих гибкость их применения для решения конкретных задач и накопление опыта эксперта в заданной предметной области.

4. Новые методы и алгоритмы на основе совместного использования НС, систем нечеткой логики, алгоритмов глобальной оптимизации, позволяющие осуществлять комплексное моделирование сложных систем интеллектуальными информационными технологиями.

Практическая значимость результатов диссертационной работы определяется созданием формальных методик, позволяющих автоматически проектировать интеллектуальные информационные технологии. Разработанные программные системы позволяют пользователю, не обладающему профессиональными знаниями в области ИИТ, НС, эволюционного моделирования, получать решения для конкретных практических задач. Теоретические и практические результаты реализованы в виде программных модулей, позволяющих проверить работоспособность разработанных алгоритмов.

Полученные в диссертационной работе результаты внедрены в учебный процесс кафедры «Компьютерные системы и сети» Калужского филиала МГТУ им. Н.Э.Баумана, кафедры «Прикладная? информатика» Калужского филиала Российского государственного гуманитарного университета при чтении лекций и проведении лабораторных занятий по курсам «Нейронные сети», «Информационные технологии», «Модели и алгоритмы обработки информации», использованы при выполнении работ по проектированию и оптимизации компьютерных систем в НПФ «Эверест» (г. Калуга) и Калужском НИИ телемеханических устройств, а также для повышения эффективности функционирования центра информационных технологий и систем (ЦИТ и С) и ООО «Ро-синтер ресторантс» (г. Москва).

В первой главе представлен обзор и анализ современных проблем в области создания интеллектуальных информационных технологий, расширяющих возможности компьютерных систем при решении сложных прикладных задач. Отмечаются характерные особенности задач, решаемых на основе ИИТ: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результата. Перечисленные особенности не позволяют использовать для решения таких задач строгие алгоритмические методы и модели. ИИТ, используя подходы искусственного интеллекта, позволяет даже для таких задач обеспечить решение с приемлемой точностью за приемлемое время.

Исследование программных моделирующих нейросетевых комплексов показало, что актуальной проблемой является разработка интеллектуальных компонент в составе моделирующей системы на основе не только нейросетевых, но и гибридных технологий. На основании проведенного обзора и анализа методик создания ИИТ сформулирована цель исследований и основные задачи, решением которых она достигается.

Вторая глава посвящена вопросам структурно-параметрического синтеза нейросетевой модели и организации нейросетевых баз знаний на основе предварительно обученных на решение определенной проблемы нейронных модулей.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков-использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация НС и решаемых ими задач позволила в данной работе выбрать следующие типы. НС: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные ИИТ, в которых интегрируются несколько информационных технологий.

Исследованы проблемы синтеза НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач; недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучения; высокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать ИИТ на базе НС с минимальной сложностью.

Проведено сравнение известных алгоритмов формирования топологии НС для конкретной решаемой задачи. Разработан модифицированный конструктивный алгоритм, обеспечивающий, в отличие от известного метода динамического наращивания нейронов НС, итерационный способ наращивания нейронов с учетом скорости изменения ошибки обучения Ео и одновременным обучением только части нейронов очередного слоя.

Разработанный алгоритм позволяет выявить значимые и незначимые нейроны в процессе их добавления в структуру НС, производить, обучение только для значимых нейронов-и тем самым сократить время формирования топологии НС.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W.

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation - BP)- .Для построения алгоритма обученияНС, альтернативного BP; а также для разработки универсального метода формирования топологии НС проведено экспериментальное исследование генетического алгоритма (ГА).

На эффективность ГА в смысле повышения скорости сходимости алгоритма и процента нахождения глобального или близкого к нему решения влияют методы кодирования потенциальных решений и выбранные параметры популяции, к которым относятся размер популяции и механизм построения начальной популяции, вид функции качества Fit, типы генетических операторов - мутации, кроссинговера, селекции и отбора хромосом.

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (робертсоновские транслокации,), селекции ("дальнее" и "ближнее" родство"), отбора ("мягкая" схема). Полученные рекомендации использованы при конструировании генетических алгоритмов для обучения НС.

Разработана схема многопопуляционного алгоритма, отличающаяся от известных решением проблем определения момента начала взаимодействий tv и способами обмена хромосомами между популяциями. На основе полученных результатов исследования ГА разработан*алгоритм обучения, отличный от BP. г

Были исследованы следующие • методы- локальной» оптимизации и их комбинации с ГА: метод Коши, метод Дэвидона - Флетчера - Пауэлла (ДФП) и Бройдена - Флетчера - Гольдфарба - Шанно (Broyden, Goldfarb, Shanno - -BFGS).

Были исследованы комбинированные методы оптимизации на основе ГА и локальных методов оптимизации. Применение комбинированных моделей позволило разрабатывать алгоритмы обучения НС, обладающие высокой скоростью сходимости с одновременным, повышением' вероятности нахождения* глобального экстремума (ошибка распознавания уменьшается примерно на' 10%).

Разработан^ алгоритм, интерпретации результатов работы. НС. Проблема использования НС в ИИТ заключается в том, что итогом обучения НС являет-сяv числовой вектор весовых коэффициентов* W, который трудно интерпретировать. В диссертации решение задачи интерпретаций получено на основе разработки оригинального алгоритма формирования нечеткой, базы знаний по примерам, который на основе заданной обучающей выборки позволяет формировать продукционные правила IF - THEN. Исследована проблема устранения конфликтов при создании базы знаний.

Третья глава посвящена повышению эффективности использования нейросетевых и гибридных моделей в ИИТ.

Предложен алгоритм построения адаптивного ГА, т.е. такого алгоритма (внутреннего), параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА: тип оператора кроссинговера, тип оператора мутации, тип оператора селекции, тип оператора отбора, размер популяции. На втором этапе на каждой итерации работы внешнего ГА для оценки качества каждой хромосомы происходит функционирование внутреннего ГА с параметрами, выбранными на данной итерации.

Разработан комбинированный алгоритм обучения НС: на основе генетического алгоритма,и алгоритма имитации отжига (АИО). Создание такого алгоритма открывает возможность динамически менять типы и вероятность применения генетических операторов на различных этапах поиска минимума с целью снижения^ временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации ошибки обучения Ео управляющего параметра "температуры" t, который постепенно уменьшаясь по заданному закону, позволяет стабилизироваться'Ео в состоянии минимума. В отличие от известных комбинированных алгоритмов на основе ГА и АИО в предложенном варианте используются новые исследованные в работе генетические операторы, позволяющие* учитывать состояние среды поиска.

Проведен сравнительный анализ нейросетевых моделей с традиционными классификаторами на основе методов к- ближайших соседей и потенциальных функций.

Предложены и программно реализованы усовершенствованные нейросе-тевые классификаторы персептронного типа, позволяющие устранить выявленные недостатки алгоритма обратного распространения ошибки BP: медленную сходимость и возможность блокировки сети. Для решения этой проблемы в работе предложен метод автоматической подстройки параметров обучения НС на основе методов нечеткой логики. Идея подхода заключается, в том, чтобы величина скорости обучения не оставалась постоянной на протяжении всей процедуры обучения, а изменялась в процессе работы алгоритма BP, в зависимости от определенных условий.

Четвертая глава посвящена исследованию разработанных методов и алгоритмов при решении практических задач.

Представлены результаты практической проверки эффективности разработанных и исследованных в диссертации нейросетевых и гибридных методов и технологий на раннем этапе проектирования и моделирования компьютерных систем и сетей, и при» автоматизациишоиска информации в: сети Интернет.

Проведены эксперименты, направленные на* сравнение эффективности поиска5 документов с помощью метапоисковой: системы использующей Neuro searcher использующей НСБЗ и популярными поисковыми и метапоисковыми системами; Результаты экспериментов подтвердили, что эффективность разработанной. метапоисковой' системы выше, чем эффективность каждой: из используемых в ее работе систем в отдельности.

Представлены результаты решения ряда важных практических задачу связанных с созданием компьютерных сетей* коммерческих организаций: (НПФ ' «Эверест»). •

Результаты исследований позволили сформулировать следующие положения, выносимыена защиту:

1. Применение: новой формальноймодели«для-выбора, архитектуры НС, которая позволяет получить НС меньшей вычислительной; сложности: при сохранении точности решаемой: задачи.

Многопопуляционный параллельный генетический алгоритм, обеспечивающий возможность одновременного развития нескольких популяций, что позволяет повысить эффективность эволюционного поиска минимальной ошибки обучения НС в ИИТ.

Методы и алгоритмы формирования специализированных нейросетевых баз знаний на основе предварительно обученных нейронных модулей, обеспечивающих гибкость и снижение времени на разработку основной модели НС в ИИТ.

Комплекс гибридных моделей на основе совместного использования НС, нечеткой логики и ГА, позволяющий повысить точность моделирования предметной области с помощью ИИТ.

Выводы по главе 4

1. Проведенные исследования подтверждают, что использование нейронных сетей позволяет увеличить качество поиска информации в сети Интернет в среднем на 20%. Данный вывод сделан на основе сравнения средних оценок документов, даваемых пользователями после анализа предоставленных документов. Кроме того, количество документов, просматриваемых и оцениваемых пользователем, также постоянно сокращалось.

2. Проведено исследование, сравнивающее систему с каждой из отдельных поисковых систем и с метапоисковой системой отбирающей равное количество документов от каждой системы. Результаты исследования показали, что система, использующая НС, более эффективна по такому показателю, как усредненная оценка документов.

3. Были проведены исследования, подтвердившие преимущество НС блока над отдельными нейронными сетями.

4. Были проведены исследования, подтвердившие преимущества нейронных сетей с адаптивной подстройкой топологии над сетями с фиксированной топологией.

5. На основе разработанных методов, алгоритмов и программных средств решен ряд важных практических задач, связанных с созданием вычислительных средств, модернизацией специализированных вычислительных систем, обслуживающих военные объекты (КНИИТМУ), созданием компьютерных сетей коммерческих организаций (научно-промышленная фирма «Эверест. Накопленный опыт позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации интеллектуальных информационных технологий.

139

ЗАКЛЮЧЕНИЕ

Проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методологической базы, моделей, методов, алгоритмов и программ для формирования интеллектуальной информационной технологии нового типа, обеспечивающей обучение, адаптацию и модификацию нейросетевых баз знаний к проблемной среде с учетом неполноты исходной информации.

Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных моделей в ИИТ, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, самообучение и модификацию нейросетевых и гибридных модулей обработки информации с учетом специфики предметной области. Разработаны принципы построения специализированных нейросетевых баз знаний для конкретной проблемной области и методы формирования нейронных сетей на основе предварительного обучения базовых нейросетевых и гибридных модулей, обеспечивающих их модификацию, обучение и адаптацию к решаемой задаче.

Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back Propagation -BP), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно:

• на основе анализа естественных природных- механизмов эволюции предложены, реализованы новые операторы селекции хромосом, кроссинго-вера; хромосомной мутации, отбора, которые; в отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом. Проведено экспериментальное исследование влияния предложенных операторов на эффективность поиска и получены рекомендации о целесообразном их использовании в генетическом алгоритме при оптимизации функции ошибки НС;

• предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения;

• разработан, исследован и реализован двухэтапный алгоритм оптимизации, позволяющий за счет использования на первом этапе генетического алгоритма быстро локализовать область существования глобального экстремума, а на втором за счет использования локального алгоритма оптимизации повысить точность нахождения экстремума.

5. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, на основе модифицированного конструктивного подхода и генетического алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время распознавания и время обучения в НС, использующих данный модуль.

6. Создана методологическая и инструментальная среда для построения нейросетевых моделей с требуемыми характеристиками из предварительно обученных и вновь разрабатываемых нейросетевых и гибридных модулей в составе РШТ для конкретных приложений. С помощью разработанных программных средств решены реальные практические задачи моделирования технических систем и систем поиска информации. Таким образом, в данной работе предложено решение задачи автоматизации проектирования интеллектуальных информационных технологи на основе перспективных нейросетевых моделей, что имеет существенное значение для теории и практики1 интеллектуального анализа и обработки дан

1. Аведьян Э.Д. Ассоциативная нейронная сеть СМАС // Сборник статей "Проблемы построения и обучения нейронных сетей". -М.: Машиностроение. -1999.

2. Аверченков В.И. Система формирования знаний в среде Интернет/ В.И. Аверченков, A.B. Заболеева-Зотова, Ю.М. Казаков, Е.А. Леонов, С.М. Ро-щин//Брянск: БГТУ. 2008. 181 с.

3. Арлазаров В.Л., Журавлев Ю.И., Ларичев О.И., Лохин В.М., Макаров И.М., Рахманкулов В.З., Финн В.К. Теория и методы создания интеллектуальных компьютерных систем // Информационные технологии и вычислительные системы. -1998. -№1

4. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта. Киев.: Наукова Думка, 2001.

5. Балухто А.Н. Общий методический подход к решению задач обработки информации в нейросетевом базисе. Нейрокомпьютеры в прикладных задачах обработки изображений. -Кн.25. —Под редакцией А.И. Галушкина и• Балухто А.Н. -М. Радиотехника. -2007.-С. 110-117.

6. Батищев Д.И. Генетические алгоритмы решения экстремальных задач. — Воронеж: Изд-во ВГТУ, 1995.

7. Батищев Д.И. Поисковые методы оптимального проектирования. — М.:Советское радио. -1975.

8. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов. М.: Мир, 1974.

9. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. — Ростов-на-Дону: Изд-во РГУ, 1999.

10. Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения. —Харьков.: Телетех. — 2004.

11. И. Борель Э., Дельтейл Р., Юрон Р. Вероятности, ошибки / Пер. с франц. — М.: Статистика, 1972.

12. Букатова И.Л., Михасев Ю.И., Шаров А.М. Эвоинформатика. Теория и практика эволюционного моделирования. — М.: Наука, 1991.

13. Вагин В.Н., Федотов A.A., Фомина М.В. Методы извлечения и обоб-щения информации в больших базах данных // Известия РАН.: Теория и сис-темы управления. -1999. -№5.

14. Воеводин Ю.Ю. Использование нейросетевых технологий для по-строения метапоисковых систем // Известия Таганрогского радиотехниче-ского университета. Из-во ТРТУ. -2006. №6 -С. 82-86.

15. Воеводин Ю.Ю. Исследование алгоритмов обучения нейронных сетей // Региональная студенческая конференция «Применение кибернетических методов в решении проблем общества XXI века». Тезисы докладов. Обнинск: ИАТЭ. 2003. -С. 32-33.

16. Воеводин Ю.Ю. Применение генетического алгоритма для оптимизации параметров нейронной сети в задачах классификации. // Пятая- региональная конференция «Информатика: проблемы, методология; технологии». -М.:Из-во МГТУ им Баумана. -2005. -С 42-46.

17. Воеводин Ю.Ю. Применение генетического алгоритма для оптимизации параметров нейронной сети при, решении задачи аппроксимации функций // Сб. трудов 7 Международного симпозиума Интеллектуальные-системы с. 90-92 М!: РУСАКИ.-2006:

18. Вороновский Г.А., Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -X.: ОСНОВА, 1997. -112 с.

19. Гаврилова Т.А., Хорошевский В.Р. Базы знаний интеллектуальных систем. -СПб.: Питер. -2000.

20. Галушкин А.И. Нейрокомпьютеры. Кн. 3. - М.: ИПРЖР, 2000.

21. Галушкин А.И. Теория нейронных сетей. Кн. 1. - М.: ИПРЖР, 2000.

22. Гареев А.Ф. Применение вероятностной нейронной сети для автоматического рубрицирования текстов // Всероссийская научно-техническая конференция Нейроинформатика-1999, сб.научн.т., М.1999.

23. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация / Пер. с англ. -М.: Мир. -1985.

24. Гладков JI.A., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. Учебное пособие. -М.: Физматлит, 2006.

25. Головко В.А. Нейронные сети: обучение, организация, применение.-Кн.4. -М.: ИПРЖР. -2001.

26. Горбань А.Н. Обучение нейронных сетей.- М.: изд. USSR-USA JV "ParaGraph", 1990.

27. Горбань А.Н., Дунин-Барковский B.JI. и др. Нейроинформатика // Новосибирск: Наука, Сибирская издательская фирма РАН. 1998.

28. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск.: Наука. СО РАН. -1996.

29. Добрынин В.Ю. Методические указания к курсу "Теория информационно-логических систем. Информационный.поиск" http://ir.apmath.spbu.ru

30. Дубинин Н.П. Избранные-труды: Т.1-. Проблемы гена и эволюции. М.: Наука, 2000

31. Ежов A.A., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе.-М. :МИФИ,-1998.

32. Емельянов,В,В., Курейчик В.М., Курейчик В.В. Теория и практика*эволюционного моделирования.-М.: Физматлит.-2003.

33. Еремеев А.П. Об интеграции моделей в интеллектуальных системах поддержки принятия решений// Труды 9-й- национальной конференции по искусственному интеллекту КИИ'2004- Mi: Физматлит, 2004 Т.2. - С.815-823.

34. Жабко Е.Д. Справочно-библиографическое обслуживание в электронной среде: теория-и практика : монография / Е.Д. Жабко ; Рос. нац. б-ка. СПб., 2006. - 387 с. - Библиогр.: с. 326-364 (481 назв.). Шифр РНБ: Л1 Ч75/Ж-123 ; Б Б135/Ж-12.

35. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений: Пер. с англ. М.: Мир, 1976.

36. Интеллектуальные системы: Коллективная монография/ Под ред. В.М.Курейчика.- Вып 2. -М.: Физматлит. -2007.

37. Искусственный интеллект. Справочник в трех томах / под ред. В. Н. Захарова, Э. В. Попова, Д. А. Поспелова, В. Ф. Хорошевского- М.: Радио и связь, 1990.

38. Калиткин H.H. Численные методы. М.: Наука, 1978. - 512 с.

39. Каллан Р. Основные концепции нейронных сетей. Санкт-Петербург. -Вильямс.-2001.

40. Ковалев С.М., Родзин С.И. Информационные технологии: интеллектуализация обучения, моделирование эволюции, распознавание речи. — Ростов-на-Дону: Изд-во СКНЦ ВШ, 2002.

41. Комарцова Л. Г. Исследование нейросетевых и гибридных методов и технологий в интеллектуальных системах поддержки принятия решений : Дис. д-ра техн. наук : 05.13.11 : Калуга, 2003 436 с. РГБ ОД, 71:04-5/432.

42. Комарцова Л.Г., Воеводин Ю.Ю. Нейросетевые методы эффективного поиска релевантной информации в сети Интернет.// -Тр. 10-й национальной конференции по искусственному интеллекту с международным участием. -М. : Физматлит. -Т.2. -2006. -С. 626-634.

43. Комарцова Л.Г., Воеводин Ю.Ю. Особенности построения интеллектуальных эволюционных систем // Методы исследования и проектирования СТС. Научные труды МГТУ им. Н.Э. Баумана. №588. -М.: МГТУ им. Н.Э. Баумана. -2005.-С. 43-53.

44. Комарцова Л.Г., Воеводин Ю.Ю. Проблема адаптации нейронной сети к решению прикладных задач. // Сборник научных трудов международного форума «Информатика МФИ -2003. Информационные средства и технологии». -М.: МЭИ. -2003. -Т.2.- С. 39-42.

45. Комарцова Л.Г., Воеводин Ю.Ю. Эволюционный подход к формированию топологии нейронной сети // Научные труды МГТУ им. Н.Э.Баумана №589 -М.: МГТУ им. Н.Э. Баумана. -2006.-С. 53-63.

46. Комарцова Л.Г., Голубин A.B. Адаптация параметров генетических алгоритмов при поиске решений// Сборник научных трудов. Научная сессия МИФИ-2003.-М.:Изд-во МИФИ, 2003.- Т.З. С.124-125.

47. Комарцова Л.Г., Максимов A.B. Нейрокомпьютеры. М.: МГТУ им. Н.Э. Баумана, 2004.-400 с.

48. Корячко В.П., Курейчик В.М., Норенков И.П. Теоретические основы САПР. -М.: Энергоатомиздат, 1987.

49. Красилов В.А. Нерешенные проблемы теории эволюции. Владивосток, 1986.

50. Красилов В.А. Теория эволюции: необходимость нового синтеза // Эволюционные исследования. Макроэволюция. — Владивосток: ДВНЦ АН СССР, 1984.-С.4-12.

51. Круглов В.В:, Борисов В.В. Искусственные нейронные сети. Теория и практика. -М.: Телеком. -2001.

52. Кураленок И.Е., Некрестьянов Й.С. Оценка систем текстового поиска // Программирование, 28(4): 226-242, 2002.

53. Курейчик В.М., Курейчик В.В. Эволюционные, синергетические и гомео-статические стратегии в искусственном интеллекте: сосотояние и перспективы // Новости искусственного интеллекта. -№3>. -2000. -С.39-65.

54. Курейчик В.В. Построение моделей эволюций// Интеллектуальные системы/ Под ред. В.М.Курейчика. М.: Физматлит, 2005. - С.47-56.

55. Курейчик В:В. Эволюционные методы решения оптимизационных задач. — Таганрог: Изд-во ТРТУ, 1999.

56. Курейчик B.B. Эволюционные, синергетические и гомеостатические методы принятия решений: Монография. — Таганрог: Изд-во ТРТУ, 2001.

57. Курейчик В.М., Родзин С.И. Эволюционные вычисления: генетическое и эволюционное программирование // Новости искусственного интеллекта. — 2003. — №5. С.13-19.

58. Ландэ Д.В. Поисковые системы: поле боя семантика // Киев. Журнал "Телеком", N 4, 2004, С. 44-50.

59. Ландэ Д.В., Фурашев В.Н., Брайчевский С.М., Григорьев А.Н. Основы моделирования и оценки электронных информационных потоков: Монография. Киев: Инжиниринг, 2006.

60. Ларичев О.И. Теория и методы принятия решений. — М.: Логос. -2002.

61. Лю Б. Теория и практика неопределенного программирования.-Пер. с англ. -М.:Бином. Лаборатория знаний. -Под ред Тюменцева Ю.В. -2005.

62. Люгер Дж.Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем: Пер с англ. — М.: Изд. Дом .«Вильяме», 2003. J

63. Медведев B.C., Потемкин В.Г. Нейронные сети. Matlab 6.0. -М.:ДиалогМИФИ. -2002.

64. Миркес Е.М. Нейроинформатика: Учеб. пособие для студентов. Красноярск: ИПЦ КГТУ, 2002, 347 с.

65. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука.-Сибирское отделение РАН, 1999.

66. Нейрокомпьютеры и интеллектуальные роботы // Под ред. Амосова Н.М. -Киев. -Наукова думка. -1994.

67. Нейронные сети. Statistical Neural Networks // Пер. с англ. М.: Горячая линия -Телеком, 2000.

68. Некрестьянов И.С., Пантелеева Н. Системы текстового поиска для Веб // Программирование, 28(4): 207-225, 2002.

69. Нечаев Ю.И. Современные проблемы нейроинформатики.-М.:Радиотехника.-2006.

70. Нильсон Н. Принципы искусственного интеллекта. Методы поиска решений. М : Мир, 1972. -234 с.

71. Нильсон Н. Принципы искусственного интеллекта: Пер. с англ. — М.: Издательский Дом «Вильяме», 2001.

72. Норенков И.П. Эвристики и их комбинации в генетических методах дискретной оптимизации// Информационные технологии. 1999. - №1. - С. 27.

73. Норенков И.П., Арутюнян Н.М. Метагенетический алгоритм оптимизации и структурного синтеза проектных решений. —Информационные технологии.-№3.-2007.-С. 10-13.

74. Норенков И.П., Косачевский О.Т. Генетические алгоритмы комбинирования эвристик в задачах дискретной оптимизации // Информационные технологии. 1999. - №2. - С.2-7.

75. Осипов Г.С. Динамика в системах, основанных на знаниях// Известия РАН: Теория и системы управления. 1998. - №5. - C.24-28i

76. Осипов F.G. Приобретение знаний: интеллектуальными системами. М.: Наука. Физматлит, 1997.

77. Осипов Г.С. Работы исследовательского центра искусственного интеллекта // Труды международной конференции "Программные системы: теория1, и приложения", Переславль-Залесский, М.: Физматлит, 2004, л. 1,,с. 117-126.

78. Осипов Г.С., Куршев Е.П., Кормалев Д.А., Трофимов И.В., Рябков О.В., Тихомиров И.А.: Препринт // Семантический поиск в среде интернет. — Переславль-Залесский, ИПС РАН, 2003.

79. Осипов Г.С., Куршев Е.П., Рябков О.В. и др. Интеллектуальная метапоис-ковая система // Труды международного семинара Диалог'2002 «Компьютерная лингвистика и интеллектуальные технологии». — М.: Наука, 2002, с. 320-330.

80. Осипов Г.С., Тихомиров И.А., Смирнов И.В. Exactus система интеллектуального метапоиска в сети Интернет // Труды десятой национальной конференции по искусственному интеллекту с международным участием КИИ-2006. М.: Физматлит, 2006. т. 3, с.859-866.

81. Осовский С. Нейронные сети для обработки информации /Пер. с польского. -М.: Финансы и статистика. -2002.

82. Пиотровский Р.Г. Текст, машина, человек. — СПб.: Наука, 1975.

83. Прикладные нечеткие системы // Под редакцией Тэрано Т. -Пер. с англ. -М.:Мир. -1993.

84. Ратнер А.Н. Генетика. Молекулярная кибернетика. -Новосибирск.: Наука. -2002.

85. Редько В.Г. Эволюционная кибернетика. М.: Наука, 2001.

86. Реклейтис А., Рейвиндран А. и др. Оптимизация в технике. — В 2-х кн. — М.: Мир, 1988.

87. Родзин С.И. Эволюционные стратегии: концепция и результаты // Перспективные информационные технологии и интеллектуальные системы. — 2002. -№2. -С.4-12.

88. Скурихин А.Г. Генетические алгоритмы// Новости искусственного интеллекта. 1995. - №4. - С.6-46.151 ■'.

89. Стефанюк B.JI. Локальная организация интеллектуальных систем. М.: Физматлит, 2004.

90. Сэлтон Г., Автоматическая обработка, хранение и поиск информации. -М.: Советское радио, 1973.

91. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. -М.:Эдиториал УРСС. -2002.

92. Тархов Д.А. Нейронные сети. Модели и алгоритмы. ~М.: Радиотехника,-2005.

93. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач.-М:Наука.-1979.

94. Тихонов В. Архитектура метапоисковых систем, htpp ://www. getinfo.ru/article267.html

95. Федотов B.X. Нейронные сети в MS Excel: Метод, указания к практ. занятиям и лабораторным работам // Чуваш, унниверситет. Чебоксары, 2004. 72 с.

96. Фогель Л., Оуэне А., Уолш М. Искусственный интеллект и эволюционное моделирование: Пер. с англ. М;: Мир, 1969.

97. Харламов- A.A. Нейросетевая технология' представления и обработки; информации. Естественное представление знаний. -М.:Радиотехника.-2006.

98. Хорошевский В.Ф. Ontosminer;: семейство систем извлечения информации из мультиязычных коллекций документов: Гр. 9-й национальной конференции по искусственному интеллекту с международным участием. —М. : Физматлит. -2004,-Т.2.-С. 573-581,

99. Шумский С.А. Байесова регуляризация обучения // Научная сессия МИ-ФИ-2002. Сб. научных трудов 4 -ой Всероссийской конференции "Нейро-информатика-2002". -В 2 частях. -Ч;1. ,-М;!:МИФИь2002. ;

100. Ярушкина П.Г. Гибридные системы, основанные на ¡мягких; вычисление ях: определение; архитектура, возможности// Программные продукты и системы. 2002: - №3. - С. 19-22.

101. Baeza-Yates R. A., Ribeiro-Neto B. A. Modern Information Retrieval. ACM Press, Addison-Wesley, 1999.

102. Chin-Ming Chen, Hahn-Ming Lee, Ming-Tyan Kao Multi-class SVM with negative data selection for Web page classification // Proceedings of 2004 IEEE International Joint Conference on Neural networks, 2004. Vol. 3. - P.2047-2052.

103. Freeman J. Neural Networks: Algorithms, Applications, and Programming Techniques // Addison-Wesley, 1991.121. http://cml.ics.uci.edu/

104. Holland J.H. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Application to Biology, Control, and Artificial Intelligence. — Ann Arbor: University of Michigan Press, 1975.

105. Kasabov N., Benuskova L. and Wysoski S.G. Computational neurogenetic modelling: gene networks within neural networks // Proceedings of 2004 IEEE International Joint Conference on Neural networks, 2004. Vol. 2. - P. 1203 -1208.

106. Kasabov N.K., Foundations*of Neural Networks, Fuzzy Systems and Knowledge Engineering. The MIT Press, Cambridge, London, 1996

107. Kohonen T. Self-organization and Associative Memory. Springer-Verlag: New York, 1984.

108. Kohonen T. Self-Organizing Maps, Springer, 1995.

109. Kosko B. Neural Networks and Fuzzy Systems. Englewood Cliffs: Prentice Hall, 1992.

110. Kussul N., Shelestov A., Sidorenko A., Pasechnik V., Skakun S., Veremeyen-ko Y., Levchenko N. Multi-agent security system based on neural network model of user behaviour // International Journal "Information Theories & Applications". Vol.10 P.184-188.

111. Lawrence S., Giles C. Searching tnS^Web: General and Scientific Information Access // IEEE Communications Magazine. January 1999, P. 116-122.

112. Michie D., Spiegelhalter D.J., Taylor C.C. Machine learning, neural and statistical classification // Elis Horwood, London, 1994.

113. Qun Song, Kasabov N. WDN-RBF: weighted data normalization for radial basic function type neural networks Neural Networks // Proceedings of 2004 IEEE International Joint Conference on Neural networks, 2004. Vol. 3. -P.2095 - 2098.

114. Selberg E., Etzioni O. Multi-Engine Search and Comparison Using the Meta-Crawler, Proceedings of the Fourth International Conference on the World Wide Web, pp. 195-208, 1995.