автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Нейросетевые и гибридные методы и программные средства повышения эффективности поддержки принятия решений в интеллектуальных системах

На правах рукописи

¡ъ

4848248

НЕЙРОСЕТЕВЫЕ И ГИБРИДНЫЕ МЕТОДЫ И ПРОГРАММНЫЕ СРЕДСТВА ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ

Специальность 05.13.11 ■

Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 ИЮН 2011

Москва-2011

4848248

Работа выполнена в Калужском филиале ГОУ ВПО «Московский государственный технический университет им. Н.Э. Баумана на кафедре «Компьютерные системы и сети»

Научный руководитель:

доктор технических наук, профессор Комарцова Людмила Георгиевна

Официальные оппоненты

доктор технических наук, профессор Борисов Вадим Владимирович

кандидат технических наук, доцент Тарасов Валерий Борисович

Ведущая организация

Тверской государственный технический университет (г. Тверь)

Защита состоится «23» июня 2011 г. в 16 час. 00 мин. на заседании диссертационного совета Д 212.157.01 при Московском энергетическом институте (ТУ) по адресу: Москва, Красноказарменная ул., д. 13, ауд. М-704.

С диссертацией можно ознакомиться в библиотеке Московского энергетического института (технического университета).

Отзывы в двух экземплярах, заверенные печатью, просим направлять по адресу: 111250, Москва, Красноказарменная ул., д. 14, Ученый совет МЭИ (ТУ).

Автореферат разослан <2 у> мая 2011 г.

Ученый секретарь

диссертационного совета Д 212.157.01 кандидат технических наук, доцент

М.В. Фомина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Интеллектуальные компьютерные технологии в настоящее время являются одним из ключевых направлений развития информатики. Особенно важным в этих исследованиях представляется создание интеллектуальных систем поддержки принятия решений (ИСППР), которые благодаря огромному прогрессу в области вычислительной техники находят все более широкое применение при решении сложных трудно формализуемых задач, какими являются задачи информационного мониторинга, автоматизированного проектирования, робототехники, управления, диагностики и т.д.

Отличительными признаками трудно формализуемой задачи являются неполнота исходных данных о решаемой задаче, их неточность и неоднородность, высокая вычислительная сложность их анализа даже на быстродействующих компьютерах. Трудно формализуемая задача не имеет точного решения и требует применения приближенных методов, основанных на широком использовании эмпирических данных, экспертного оценивания, неклассических логик, моделирования, специально разработанных методик.

Современные методы построения ИСППР берут начало в работах таких российских и зарубежных ученых, как Глуппгов R.M., Ампспп Н,А,. Поспрпо? Д А., Винер Н., Минский М., Ларичев О.И., Лорьер Ж.-Л., Розенблатт Ф., Пейперт С., Стефанюк В.Л., Гладун В.П., Вагин В.Н., Еремеев A.B., Попов Э.В., Осипов Г.С, Трахтенгерц Э.А., Загоруйко Н.Г., Борисов А.Н., Финн В.К. и др.

Основные ограничения известных методов и технологий, используемых в настоящее время в системах поддержки принятия решений в трудно формализуемых задачах, обусловлены недостаточной эффективностью решения в них проблем обучения, настройки и адаптации к проблемной области, обработки неполной и неточной исходной информации, интерпретации данных и накопления знаний экспертов, единообразного представления информации, поступающей из различных источников и т.д.

Преодоление ограничений, налагаемых формальными логическими системами, требует либо применения неклассических логик, либо разработки новых подходов, имитирующих человеческие способности при поиске и выборе решений. Эти ограничения могут быть устранены на основе использования перспективных нейросетевых методов и технологий, эволюционного моделирования и генетических алгоритмов, нечеткой лотки, различных комбинированных технологий или технологий мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.). Исследованию и практическому применению этих методов и технологий для решения практических задач посвящены работы Галушкина А.И., Горбаня А.Н., Курейчика В.М., Комарцовой Л.Г., Дунина-Барковского В.Л., Омату С., Заде Л., Касабова Н., Гольдберга Д., Дэвиса Л., Лина С., Тарасова В.Б., Ковалева С.М, Пупкова К.А., Нечаева Ю.И., Васильева В.И., Ярушкиной Н.Г., Жданова A.A., Редько В.Г., Аверкина А.Н., Батыршина И.З., Нариньяни A.C. и др.

Вместе с тем, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для конкретных приложений, недостаточно проработаны вопросы интеграции различных информационных технологий и особенности их реализации в ИСППР с целью повышения эффективности решаемых с ее помощью трудно формализуемых задач.

Таким образом, решаемые в диссертационной работе задачи исследования нейросетевых и гибридных методов и технологий в ИСППР для повышения эффективности реализации в них механизмов обучения, самообучения и адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертации является развитие теории, создание, исследование и совершенствование методов и алгоритмов, составляющих основу нейросетевых и гибридных технологий, повышающих эффективность процессов обработки информации в интеллектуальных системах, предназначенных для поддержки принятия решений в трудно

формализуемых областях. Эффективность применения технологий оценивается по качеству решений, срокам их получения, а также по возможности расширения класса решаемых в рамках ИСППР задач.

Для достижения поставленной цели в диссертации решаются следующие основные задачи.

1. Разработка и исследование методов и алгоритмов, нацеленных на повышение эффективности применения нейросетевых и гибридных методов и технологий в интеллектуальных системах поддержки принятия решений.

2. Разработка и исследование принципов построения базовых нейронных модулей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальной системы поддержки принятия решений.

3. Разработка алгоритмов и методики построения нейронных сетей и гибридных моделей с заданными характеристиками, в зависимости от особенностей их применения для решения конкретных задач в рамках интеллектуальной системы поддержки принятия решений с возможностью адаптации к проблемной среде в условиях процесса поиска решения.

4. Исследование на практике эффективности применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и выбора решения.

Методы исследования. Проведенные теоретические и прикладные исследования базируются на теории принятия решений, нейроинформатике, теории оптимизации, генетических и эволюционных алгоритмах, на методах математической статистики и объектно-ориентированного программирования.

Научная новизна. Разработанные в диссертации теоретические основы построения нейросетевых и гибридных методов и моделей поиска и оценки решений в трудно формализуемых задачах с помощью ИСППР, обеспечивающих реализацию механизмов обучения и адаптации к особенностям проблемной среды, методы их анализа являются существенным вкладом в развитие фундаментальных исследований в области теории принятия решений, создания и исследования новых технологий проектирования сложных программных систем, расширяющих интеллектуальные возможности компьютеров и компьютерных систем.

Конкретно на защиту выносятся следующие новые научные положения и результаты:

1) Методы и алгоритмы повышения эффективности применения нейросетевых и гибридных технологий в интеллектуальных системах поддержки принятия решений, что выражается в повышении качества формируемых решений и в сокращении сроков их получения.

2) Методика и алгоритмы формирования специализированных нейросетевых модулей на основе предварительного обучения, обеспечивающих гибкость и накопление опыта эксперта в заданной предметной области.

3) Методы и алгоритмы синтеза нейронной сети и гибридных моделей с требуемыми свойствами для конкретных приложений.

Практическая значимость результатов диссертационной работы определяется созданием комплекса программных инструментальных средств, повышающих эффективность процессов обработки информации в интегрированных интеллектуальных системах поддержки принятая решений и позволяющих использовать разработанные методы, модели и программные системы, отвечающие конкретным приложениям. Созданный комплекс инструментальных средств может служить как для научных исследований и обучения, так и для комплексирования с другими информационными системами коммерческих и государственных предприятий посредством стандартных интерфейсов DCOM, DDE, CORBA и др. с целью получения доступа к реальным базам

данных и знаний. Разработанные методы, алгоритмы и программные системы нашли применение при решении конкретных задач экологического мониторинга загрязнения атмосферы города промышленными предприятиями в процессе их функционирования, а также используются в разработках предприятий г. Калуги (КНИИТМУ - Калужском НИИ телемеханических устройств), внедрены в учебный процесс ряда учебных заведений г. Калуги: в Калужском филиале МГТУ им. Н.Э. Баумана, Российском государственном гуманитарном университете (РГГУ), в Калужском государственном педагогическом университете (КГПУ).

Достоверность. Достоверность научных положений, теоретических выводов и практических результатов, полученных в диссертации, подтверждена результатами экспериментальной проверки методов, алгоритмов и программного обеспечения с использованием стандартных и специально разработанных тестов на основе существующих методик, корректным обоснованием и анализом моделей с применением методов математической статистики, подтверждением полученных результатов работы другими авторами, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.

В|'"Др"""д XI "0éí»IíI3',HlIIi р oiy ^тотпи рчйпти^ Лнпл'рл'гатша аипартга

теоретическим обобщением научных исследований, выполненных автором в результате сотрудничества с промышленными предприятиями и фирмами. Теоретический базис разработанного подхода к повышению эффективности использования интеллектуальных систем поддержки принятия решений в трудно формализуемых задачах основан на исследованиях, результаты которых обобщены в 3-х научных статьях в журналах, рекомендованных ВАК, и в докладах на национальных и международных конференциях. Наиболее важная часть разработанного программного обеспечения зарегистрирована в Роспатенте. Основные результаты диссертационной работы нашли свое применение в виде инженерных рекомендаций и методик, пакетов прикладных программ и инструментальных средств, а также внедрены в учебный процесс.

Практическое использование результатов диссертационной работы подтверждено соответствующими актами о внедрении. Акты о внедрении и использовании результатов работы, а также копии авторских свидетельств (Роспатент) представлены в Приложении к диссертации.

Апробация работы. Основные положения диссертации докладывались на'научных семинарах кафедры «ЭИУ2-КФ» МГТУ им. Н.Э. Баумана Калужский филиал (2007-2011 гг.), а также на международных и всероссийских научных и научно-практических конференциях: «Интеллектуальные системы» (AIS'08); на VIII Международной научно-технической конференции «Интеллектуальные системы»; VII межрегиональной научно-технической конференции студентов и аспирантов «Применение кибернетических

методов в решении проблем общества XXI века» (ИАТЭ-2009); на Всероссийских научно-технических конференциях «Нейроинформатика 2009»; «Нечеткие системы и мягкие вычисления» (НСВМ-2009); «Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в ВУЗЕ», на VIII межрегиональной научно-технической конференции студентов и аспирантов «Применение кибернетических методов в решении проблем общества XXI-века» (ИАТЭ-2010); на Всероссийской научно-технической конференции «Нейроинформатика - 2010», «Нейроинформатика - 2011»; на «Международном конгрессе по интеллектуальным системам и информационным технологиям» (IS&IT'IO).

Работа выполнена при поддержке гранта фонда содействия развитию малых форм предприятий в научно-технической сфере.

Публикации. По теме диссертации опубликовано 15 печатных работ из них 3 публикации в журналах, рекомендованных ВАК. Получено свидетельство о государственной регистрации программы для ЭВМ в Федеральной службе по

интеллектуальной собственности, патентам и товарным знакам (Роспатент) № 2010611798.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, приложений, содержит 196 страниц текста, 71 рисунок, 3 таблицы, библиографический список из 170 наименований и 5 приложений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследуемой в диссертации проблемы создания интеллектуальных систем поддержки принятия решений (ИСППР) нового типа, формулируется цель и основные направления исследования. Кратко изложепа научная новизна, практическая ценность и достоверность полученных результатов.

В первой главе представлен обзор и анализ современных проблем в области создания ИСППР, расширяющих возможности компьютерных систем при решении трудно формализуемых задач.

Отмечаются характерные особенности трудно формализуемых задач: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения: высокая вычислительная сложность получения пезуттт.татгг необходимость коррекции и введения дополнительной информации во время формировании решения при активном участии лица, принимающего решение (ЛПР). Перечисленные особенности не позволяют использовать для решения таких задач известные методы и модели.

Подчеркивается, что главной трудностью разработки и реализации ИСППР для решения конкретных прикладных задач является объективное существование факторов, связанных с неполнотой и неопределенностью знаний о развитии процессов в среде принятия решений.

Проведено исследование существующих в настоящее время подходов к решению сложных задач такого рода на примере задачи экологического мониторинга и прогноза загрязнения атмосферного воздуха выбросами промышленных предприятий. Выделены основные подзадачи, которые сводятся к следующему.

1. Минимизация выбросов загрязняющих веществ в атмосферу:

1.1. Реализация инструментального мониторинга, который характеризуется:

a) высокой стоимостью (невозможностью контролировать все вещества,

выбрасываемые в атмосферу города);

b) невозможностью выявления вкладов каждого из веществ (контролируется только

интегральное значение концентраций);

c) неточностью, противоречивостью данных (обусловленное погрешностью приборов

и текущими метеоусловиями измерения);

с!) неполнотой данных.

1.2. Реализация расчетного мониторинга, для которого характерны следующие ошибки:

a) учтены не все источники загрязнения;

b) предоставлены недостоверные данные о характеристиках источников загрязнения.

2. Повышение эффективности поддержки принятия управленческих решений:

a) автоматизация анализа данных мониторинга;

b) обеспечение наглядной формы представления результатов мониторинга для принятия соответствующего решения;

c) предоставление актуальной информации о загрязнении атмосферы города общественности;

й) обеспечение общедоступности информации заинтересованным организациям и ведомствам.

Анализ задач, требующих решения в рассматриваемой области показал, что проблема загрязнения атмосферного воздуха имеет следующие особенности: большие

объемы анализируемой информации, сложность формализации некоторых этапов решения задачи; неполнота, зашумленность и противоречивость входных данных; высокая цена неверно принятых решений (грозящих в некоторых случаях экологической катастрофой). Эти задачи относятся к классу трудно формализуемых, и для их решения необходимо использовать новые подходы.

Преодоление ограничений, налагаемых формальными логическими системами, требует либо применения неклассических логик, либо разработки подходов, имитирующих человеческие способности при поиске и выборе решений с помощью ИСППР. К таким способностям относятся: возможность обработки неполной и противоречивой информации; высоко-параллельиая обработка данных и знаний; обучение и адаптация к новой информации; интеграция всех имеющихся данных и знаний для поиска и выбора решений. Для преодоления ограничений формальных логических систем в диссертации предложено использовать нейросетевые и гибридные технологии.

Выполненный анализ и обзор зарубежных и отечественных пакетов прикладных программ на основе нейронных сетей (НС) показал, что ряд задач, связанных с эффективным использованием этой технологии, остается нерешенным. К ним относятся: ОТСуТСТВИе эффективных алгоритмов обучения МНОГОСЛОЙНОГО гх^пгрптппня альтернативных методу обратного распространения ошибки, методов автоматической подстройки параметров алгоритма обучения во время процедуры обучения, автоматического останова обучения, автоматического формирования топологии нейронной сети, методов интерпретации результатов работы сети и т.д., которые требуют дальнейшей доработки. Мало исследованными остаются также проблемы построения гибридных моделей, строящихся на основе интеграции различных информационных технологий.

Обзор интегрированных программных продуктов на основе различных классов нейронных сетей и генетических алгоритмов, которые можно использовать для построения ИСППР, показал, что интеграция осуществляется при построении гибридных моделей только на уровне отдельных модулей. Хотя это и дает во многих случаях положительный эффект, но не позволяет в полной мере использовать возможности заложенных в интегрируемые системы алгоритмов. Нужна более глубокая интеграция - на уровне методов. В работе с этой целью выделены следующие базовые гибридные модели:

1) иерархические нейросетевые, использующие в одной модели различные типы нейронных сетей для повышения эффективности принятия решений;

2) на основе нейронных сетей и генетических алгоритмов, использование которых расширяет класс решаемых трудно формализуемых задач.

На основе проведенного обзора и анализа сформулирована цель исследований и основные задачи, решением которых она достигается.

Вторая глава посвящена вопросам разработки моделей принятия решений, как составной части интеллектуальной системы поддержки принятия решений, на основе предварительно обученных на решение определенной проблемы модулей.

Исследованы проблемы формирования НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач; недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучения; высокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать НС минимальной сложности.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация нейросетевых моделей, а также решаемых ими задач позволила в данной работе для построения ИСППР выбрать следующие типы НС: нейронные сети без обратных связей, в которых имеются только прямые

(последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные комбинированные НС, а также интегрировать их с другими информационными технологиями.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W. В качестве ошибки обучения в работе используется среднеквадратичная ошибка или MSE (Mean Squared Error), которая для выбранных типов НС определяется как усредненная сумма квадратов разностей между желаемой величиной выхода dJ и реально полученными на сети значениями yj для каждого примера j из обучающей выборки (Р - число примеров в обучающей выборке):

z^tvj-y/ (1)

' м

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation - BP): медленная сходимость алгоритма, невозможность управления параметрами обучения во время процедуры оптимизации, частое попадание в локальный экстремум и др. Предложены способы решения выявленных проблем: использование адаптивного шага обучения для алгоритма BP; использование для обучения алгоритмов глобальной оптимизации, а именно генетических алгоритмов и их модификаций.

Для выбора адаптивного шага обучения а будем использовать метод наискорейшего спуска: при этом на каждой итерации обучения НС необходимо выбирать шаг обучения для каждого слоя таким, чтобы минимизировать среднеквадратичную ошибку сети:

a(i) = min£(^(/ + l)), (2)

где j = \,m\ т - число нейронов в последнем слое; yj (t +l) - выходное значение j -го нейрона.

Вычисление a(t) на каждом шаге работы алгоритма осуществляется на основе приближенного метода, который базируется на разложении функции активации нейронных элементов в ряд Тейлора. При этом получается следующее уравнение для нахождения скорости обучения:

Ш-уМ«,

Применение адаптивного шага позволило повысить скорость сходимости алгоритма BP в среднем в 2 раза.

Для построения алгоритма обучения НС, альтернативного BP, с целью устранения выявленных проблем проведено экспериментальное исследование генетического алгоритма (ГА). На эффективность ГА в смысле повышения скорости сходимости алгоритма и процента нахождения глобального или близкого к нему решения влияют методы кодирования потенциальных решений и выбранные параметры популяции, к которым относятся размер популяции, механизм построения начальной популяции, вид функции качества Fit, типы генетических операторов - мутации, кроссинговера, селекции и отбора хромосом. Для минимизации Е„ каждому варианту вектора весовых коэффициентов W (фенотипу) будем ставить в соответствие некоторую хромосому Н (генотип), полученную в результате использования разработанного метода числового кодирования. Хромосома будет представлять собой вектор действительных чисел, кодирующих весовые коэффициенты связей нейронов входного слоя с нейронами одного

или нескольких скрытых слоев, а также связи между нейронами скрытых слоев и нейронами выходного слоя. Таким образом, каждой i-й реализации, i=l,...k вектора весовых коэффициентов Wy =(vv11,w'j2,...)wjtn,...)Ha уровне генотипа соответствует хромосома Н,- = (hu,hi2,...,ha,...), начальная популяция формируется из ¿таких хромосом методом равномерного распределения весов.

Задача обучения сводится к нахождению варианта W*, соответствующего заданной Е0, которая принимается за функцию фитнесса Fit в генетическом алгоритме. Для определения Е0 каждый i-й вектор весовых коэффициентов W* (фенотип) закодированный в хромосоме Н/ (генотип), обучается на "своей" нейронной сети НС/. Тогда ошибка i -й нейронной сети Еы может быть вычислена по результатам ее обучения: £0, =#Cj(Wf), где HCl - нейронная сеть для обучения вектора W, Само понятие обучения НС при использовании для этих целей генетического алгоритма, в отличие от традиционных методов обучения, имеет несколько иной смысл. Обучение каждой НС заключается в применении генетических операторов к генотипу вектора W/, т.е. к хромосоме Н„ а обучающая выборка служит для вычисления ошибки обучения Ео1 нейронной сети HCj применительно к фенотипу. При завершении работы ГА определяется лучшая по всем популяциям хромосома Н*, соответствующая искомому вектору W*. На основе дополнительных исследований определены генетические операторы, дающие наименьшую Е0.

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (Робертсоновские транслокации), селекции ("дальнее" и "ближнее" родство), отбора ("мягкая" схема). Экспериментальное исследование ГА для решения задачи минимизации ошибки обучения НС на представительном наборе тестовых функций (экстремум которых известен) позволило определить наилучшее сочетание генетических операторов для функций, отличающихся размерностью и числом экстремумов. Полученные рекомендации использованы при конструировании эффективных ГА для обучения НС.

Разработана схема многопопуляционного алгоритма, в которой одновременно создается N начальных популяций Р°,Р°,...,Р°, которые развиваются независимо друг от друга до определенного момента tv (начало периода взаимодействия). После tv популяции обмениваются хромосомами (мигрантами), затем снова развиваются независимо. Разработанный многопопуляционный ГА отличается от известных решением проблем определения момента начала взаимодействий tv и способами обмена хромосомами между популяциями. Первая проблема решается следующим образом. Вводится условие наступления события tv: если сумма отклонений Fitm в текущем поколении и Fitт за последние с поколений не превосходит некоторого заданного положительного числа S, то развитие популяции не приводит к появлению лучших решений и наступает период взаимодействия. Параметр S является одним из вспомогательных параметров ГА и задается пользователем перед началом его инициализации. Для решения второй проблемы после наступления момента tv происходит ранжирование всех хромосом по функции Fit (по возрастанию). Из каждой популяции удаляется q^r худших хромосом (q - процент исключения; 0<#<1; г -количество хромосом в популяции), и на их место включается q ■ г лучших хромосом из другой популяции. Выбор обменных хромосом из каждой популяции осуществляется с

вероятностью: р: = ■ —. Условие останова многопопуяяционного ГА - сумма

м

разностей функций фитнесса разных популяций, участвующих в обмене, за с последних популяций меньше S. Для двух одновременно развивающихся популяций условие останова записывается следующим образом:

TlFit' -Fit" I

^ -■-(5)

(cxmaxiFit^FiO)

Далее проводится исследование методов по выбору топологии НС с целью минимизации времени, необходимого для получения результатов в ИСППР.

Поставлена задача формирования топологии НС. Пусть задана обучающая выборка I-{(Rj,Yj)},j = , Р - число примеров в обучающей выборке, R,, Yr входной и

выходной вектор НС соответственно. Необходимо построить такую НС, которая обеспечивала бы наиболее эффективное решение ставящейся прикладной задачи, описываемой выборкой I. Оценку синтезируемой НС будем осуществлять с помощью следующих критериев:

1) вычислительной сложностью S, определяемой количеством межнейронных связей в НС (или количеством операций, требуемых для вычисления выходного вектора);

2) ошибкой обобщения £,ойч> определяющей величину ошибки распознавания и

вычисляемой по формуле (1) на тестовой выборке.

Эти два критерия являются взаимоисключающими и должны быть обращены в минимум. Задача формирования топологии НС в работе решается с использованием одного критерия с учетом ограничений, налагаемых на другой критерий.

Пусть задана выборка 7 = {(Ry,\j)},j = \,...,Р. Требуется:

Случай 1: для заданной максимально допустимой Е^. (неотрицательное действительное

число е) найти топологию нейронной сети с минимальной сложностью S; Случай 2: для заданной топологии сети, определяемой максимально допустимой сложностью S (положительное целое число), построить такую НС, для которой значение ЕЛп < е; при этом Smx> 0.

Существуют следующие известные подходы к решению проблемы подбора топологии НС для решения конкретных прикладных задач: деструктивный (осуществляется выбор полной модели с последующим сокращением количества слоев и нейронов до тех пор, пока ошибка сети Еа остается на приемлемом уровне); конструктивный (постепенное наращивание количества слоев и нейронов в каждом слое НС с целью уменьшения Еа до приемлемого уровня); эволюционный (формирование топологии НС с использованием генетических методов).

В диссертации предложен способ модификации конструктивного подхода, который заключается в следующем. Если при добавлении очередного нейрона в некоторый слой НС ошибка обучения существенно изменяется в заданном диапазоне (определяемом предварительно), то этот нейрон является значимым, и его необходимо включать в топологию НС, в противном случае - незначимым. Связи, соединяющие значимые нейроны, остаются неизменными во время всей процедуры обучения. Межнейронные связи, которые соединяют незначимые нейроны, являются обучаемыми. Основная проблема использования метода заключается в определении момента добавления очередного нейрона или слоя. Для решения этой проблемы в работе предложен алгоритм, основная идея которого заключается в том, что на каждой итерации обучается только часть связей между нейронами в сети. Это позволяет, в отличие от классического конструктивного подхода, существенно сократить время обучения. Для определения

момента перехода к следующей модификации НС вычисляется скорость изменения ошибки Ео, и, если она становится недопустимо низкой, а при этом значение Ео не достигло нужного значения, производится дальнейшее наращивание НС.

Исследованы проблемы применения ГА для решения задачи построения топологии НС. В разработанном алгоритме развивается вариант прямого кодирования путей передачи информации в ациклическом графе персептрона (от входного слоя к выходному), что позволяет одновременно исследовать несколько вариантов организации топологии и тем самым повысить вероятность получения лучшего варианта (в смысле минимальной сложности) при заданной Я

Для предварительной обработки данных, поступающих на вход нейросетевой системы, предложен алгоритм, основанный на кластеризации, выполняемой с помощью сети Кохонена. Исследование самоорганизующихся сетей на основе сети Кохонена (Kohonen Mastering network - KCN), выполненное в работе, преследовало цель создания эффективных нейросетевых моделей, позволяющих исключить трудоемкий этап подбора примеров (за счет реализации механизма обучения без учителя) и обеспечивающих работу в условиях малых обучающих выборок.

Для повышения эффективности использования нейросетевых технологий в ИСППР предложена иерархическая нейронная сеть на основе объединения алгоритма предварительной обработки данных, основанного на нейросетевой кластеризации и многослойного персептрона. Сеть Кохонена используется для предварительной кластеризации исходных данных, многослойный персептрон - для выбора окончательного решения (рис. 1). Такое объединение позволяет добиться более высокой точности работы нейросетевой модели, повысить скорость получения результатов, а также упростить построение обучающего множества.

Рис. 1 Схема прогнозирования результатов работы ИСППР

Определим двухэтапный алгоритм обучения следующим образом:

1. Получить вектор входных данных Х„„.

2. Если входные данные имеют пропуски, то положить i = 1 и переход на шаг 3, иначе переход на шаг 8.

3. Выбрать текущее отсутствующее значение х°, где х° е Хтс, Х„с - вектор отсутствующих значений.

4. Для отсутствующего значения х° получить матрицу значений за п предыдущих отчетных периодов Х®°ш.

5. На основе алгоритма обобщения данных выполнить восстановление данных:

^»х» _^ Qeocjji

6. Обобщенные на шаге 5 данные О*""" подать на входы системы восстановления данных (прогнозирования) и получить восстановленное значение.

7. Положить i = i +1; если ion, где т - количество отчетных периодов, за которые нет исходных данных, то переход на шаг 3, иначе - переход на шаг 8.

8. С помощью системы обобщения входных данных обобщить исходные данные:

о„.

9. Подать вектор Оисх на входы системы прогнозирования.

10. Интерпретация полученного на шаге 9 прогноза И. Останов.

Для исследования эффективности разработанного алгоритма было выполнено решение практической трудно формализуемой задачи прогнозирования загрязнения атмосферы города Калуги вредными веществами с использованием указанного выше алгоритма и наиболее часто используемого для этих целей классического авторегрессионного алгоритма (рис.2, рис.3).

I I I 1 I 1 1 1 1 I 1 I 1 1 I 1 I 1 1 I

о о о, 2 а 2о5 3 ^ о 2 о 2> о ^ о о ооосоооооооооооооооо

Рис. 2 Прогнозирование загрязнения атмосферы (авторегрессионная модель)

Рис. 3 Прогнозирование загрязнения атмосферы (гибридная нейросетевая модель)

Сравнительный анализ результатов по прогнозу загрязнения атмосферы различными вредными веществами на месяц вперед на основе регрессионного анализа и обученной на «прошлых данных» иерархической нейросетевой модели показал, что нейросетевые модели позволяют получать более достоверные, по сравнению с авторегрессионными моделями, прогнозы в условиях неполных и неточных входных данных.

Третья глава посвящена разработке методов и алгоритмов повышения эффективности использования нейросетевых и гибридных технологий в ИСППР. С этой целью проведено теоретическое и экспериментальное исследование в области построения нейросетевых и гибридных классификаторов, используемых в ИСППР для прогноза возможных решений, и определены пути их создания.

Предложен алгоритм построения адаптивного (метагенетического) ГА, т.е. такого алгоритма, параметры которого настраиваются с помощью другого ГА (внешнего).

Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА. Хромосома внешнего ГА представляется в следующем виде:

Тип оператора Тип операто- Тип операто- Тип опера- Размер попу-

скрещивания ра мутации ра селекции тора отбора ляции

На втором этапе на каждой итерации работы внешнего ГА для оценки качества каждой хромосомы происходит функционирование внутреннего ГА с параметрами, выбранными на данной итерации. Общее число итераций для поиска лучших параметров внутреннего алгоритма составляет т-г-п, где m - число итераций, а г - размер популяции внешнего алгоритма, п - число итераций внутреннего ГА. Вычислительная сложность алгоритма велика, поэтому его рекомендуется использовать для выбора параметров ГА, использующихся многократно при решении конкретных задач. Экспериментальное исследование алгоритма показало, что скорость сходимости адаптивного ГА увеличивается ь два и иильшсс числи реи.

Для повышения эффективности решения задачи обучения МНС разработан комбинированный алгоритм обучения МНС: на основе ГА и имитации отжига (ГА+АИО). Создание такого алгоритма открывает возможность динамически менять скорость сходимости ГА на различных этапах поиска минимума с целью снижения временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации Еа управляющего параметра "температуры", который, постепенно уменьшаясь по заданному закону, позволяет стабилизироваться Е0 в состоянии минимума. Экспериментально установлено, что предложенная модификация позволяет повысить качество обучения МНС на величину до 10% в сравнении с классическим ГА,

Проведено сравнение эффективности разработанных алгоритмов обучения НС (рис. 4): BP - алгоритм обучения МНС на основе обратного распространения ошибки; BP Adaptive - алгоритм обучения с адаптивным шагом, ГА - генетический алгоритм обучения МНС, ГА + АИО - комбинированный алгоритм обучения на основе ГА и имитации отжига. На представленном графике по вертикальной оси отложена ошибка обучения НС, по горизонтальной - количество итераций алгоритма обучения.

Рис.4. Сравнение эффективности работы алгоритмов обучения НС

По результатам сравнения делается вывод, что для обучения НС перспективным является использование эволюционных алгоритмов, поскольку их использование позволяет сократить время обучения и достичь более глубокого минимума ошибки обучения НС.

Отмечается, что наиболее предпочтительным для решения задачи подстройки НС в ИСППР под решаемую задачу является эволюционный метод, позволяющий минимизировать сложность НС при решении конкретных прикладных задач. Для реализации этого подхода в диссертации предложен оригинальный метод генетического программирования (ГП) формирования топологии НС.

Сформулируем алгоритм построения топологии НС на основе ГП следующим образом:

1. Сформировать начальную популяцию. Вычислить функции фитнесса для всех хромосом (деревьев) популяции: Fit(Hl},k = 0,1,...,г.

2. Применить к популяции генетические операторы, исправить недопустимые топологии НС

3. Вычислить новые значения функции фитнесса для всех г хромосом текущей популяции. Определить приращение функции фитнесса &Fit(Hk),k = 0,1,...,/■, где

AFit(Hi) = AFit' (#4)-ДЛ'гм(#4), где / - номер текущей популяции.

4: а) Если количество последних итераций, в течение которых AFit(Ht)< 0, к > к^,

где ктгх - априорно заданное пороговое значение, то перейти к шагу 6, иначе - к шагу 5.

Ь) Если текущее количество итераций t работы алгоритма где tm<a -

априорно заданное пороговое значение, то перейти к шагу 6, иначе - к шагу 5.

5. Положить t -1 +1, перейти к шагу 2.

6. Выбрать лучшую хромосому популяции.

7. Останов.

Сравнение эффективности предложенного алгоритма с другими алгоритмами формирования топологии НС проводилось при решении задачи прогнозирования загрязнения атмосферы г. Калуги по следующим основным контролируемым веществам: «Азота диоксид» (HCl); «Углерода оксид» (НС2); «Взвешенные вещества» (НСЗ). В качестве критерия оптимальности топологии использовалась вычислительная сложность НС при нахождении ошибки обобщения на заданном уровне (0.1%). Результаты сравнения представлены на рис. 5 (по вертикальной оси отложено количество вычислительных операций, требуемых для выполнения прогноза).

Рис. 5 Сравнение эффективности генетического и конструктивного подходов формирования топологии НС

Сравнение показало, что для всех случаев формирования топологии НС при решении конкретных задач метод генетического программирования позволяет получить топологию с меньшей сложностью, что значительно уменьшает время принятия решений в ИСППР.

Для повышения эффективности предварительной обработки информации, выполняемой, как было показано в главе 2, с использованием сети Кохонена предложен модифицированный алгоритм обновления весов, отличающийся от известных введением латерального торможения, что позволяет ускорить процедуру кластеризации. Модификация заключается в изменении скорости обучения и радиуса окрестности нейрона-победителя по определенному закону для ускорения стабилизации вектора весовых коэффициентов каждого нейрона во время процедуры обучения.

Модификация весовых коэффициентов выигравшего нейрона выполняется по следующей формуле:

\У . (/ +1) = \Ут (?) + И-с!ы{Х) (/),\У„ (/)), (6)

Модификация весовых коэффициентов тех нейронов 5, которые находятся в окрестности выигравшего, определяется по формуле (7):

-М

\у( (? +1) = \У( (/) ■+ е 2 ^1 ' ' ■ Ъ ■ <&/ (X, (/), \У( (?)) (7)

гдеI = 1, 2, ..т -\,т +1,...,$; Ь - скорость обучения (А <1), убывает в процессе обучения от 1 до 0. В разработанном алгоритме на данном шаге используется латеральное

•¿М

торможение; элемент е 1 ' определяет латеральное (побочное) торможение активности соседних нейронов; г. - расстояние между победившим т и соседним нейроном./; г-

текущий размер окрестности.

Экспериментальное исследование предложенного алгоритма показало, что за счет введения в стандартный алгоритм КСК модифицированного механизма изменения радиуса окрестности выигрывающего нейрона и скорости обучения удалось в среднем на 10 процентов улучшить качество кластеризации и уменьшить время обучения.

В четвертой главе предложена архитектура ИСППР, включающая три основные подсистемы: подсистему приобретения и накопления знаний экспертов в определенной прикладной области, подсистему прогноза и вывода альтернативных решений, подсистему оптимизации и выбора приемлемых решений, а также интеллектуальный пользовательский интерфейс, обеспечивающий взаимодействие ЛПР с системой.

Разработан комплекс инструментальных средств, обеспечивающий

функционирование ИСППР в соответствии с созданной методологией и включающий: нейроимитатор для функционирования и отработки различных алгоритмов обучения и построения нейронных сетей, инструментальную среду для функционирования и исследования генетических алгоритмов, пользовательский интерфейс. Использование распределенной вычислительной среды для формирования решения в ИСППР позволяет ускорить процедуру поиска и анализа решения за счет одновременного развития нескольких вариантов формируемых решений, а также повысить достоверность получаемых результатов за счет дублирования выполняемых процедур.

На основе разработанной методологии и созданного программного комплекса представлены варианты решения некоторых важных практических задач: экологического мониторинга загрязнения атмосферного воздуха промышленными предприятиями г. Калуги с целью прогноза развития экологической ситуации в городе (фирма Экоаналитика), модернизации специализированных вычислительных систем, обслуживающих военные объекты (КНИИТМУ, г. Калуга). Накопленный опыт решения

этих задач позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации нейросетевых и гибридных технологий. Пакеты прикладных программ, разработанные автором, защищены авторскими свидетельствами и внедрены в учебный процесс.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

В рамках диссертационной работы проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методов, алгоритмов и программных средств интеллектуальной системы поддержки принятия решений, обеспечивающей обучение, адаптацию и модификацию базовых модулей к проблемной среде.

Основные результаты работы заключаются в следующем.

1. Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных технологий в интеллектуальных системах поддержки принятия решений, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, самообучение и модификацию нейросетевых и

Ги(ч»>ППШТУ l/nrnmou ШкЬлтГОГТТт И ПГ,ЛТТО/.Л1, от.тойлтт/?! ТI П /11 ГТТ'1 J IT

. .... ----- . " . tj ...... ^u^uu,.,,, ----MJ .... — ..tw , . ...j ... .. V. < ... . . . ..J.J.. ... .....

решений с учетом специфики предметной области.

2. Разработаны принципы построения базовых нейронных модулей, ориентированных на специфику предметной области для комплексного решения типовых задач ИСППР на основе нейронных сетей различных типов и генетических алгоритмов.

3. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, решаемую в ИСППР, на основе генетического программирования и модифицированного конструктивного алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время принятия решений в ИСППР.

4. Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back Propagation (BP)), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно:

• на основе анализа естественных природных механизмов эволюции предложены, исследованы и реализованы новые операторы селекции хромосом, кроссинговера, хромосомной мутации, отбора, которые, в отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом;

• предложен метагенетический алгоритм, параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА. Экспериментальное исследование алгоритма показало, что скорость сходимости адаптивного ГА увеличивается в два и большее число раз;

• предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения.

5. Создана методологическая и инструментальная среда для построения нейронных сетей с требуемыми характеристиками из предварительно обученных и вновь

разрабатываемых нейросетевых и гибридных модулей для конкретных приложений. В том числе:

• предложены и программно реализованы усовершенствованные нейросетевые классификаторы персептронного типа, позволяющие, в отличие от стандартных классификаторов типа ВР, уменьшить ошибку распознавания на 30-40 % и время обучения в тысячу и более раз при той же обучающей выборке за счет разработки комбинированного генетического алгоритма с динамическим изменением параметров во время процедуры оптимизации на основе недетерминированного алгоритма поиска экстремума - алгоритма имитации отжига;

• предложен усовершенствованный алгоритм обучения НС Кохонена, позволяющий за счет использования механизма изменения радиуса окрестности выигрывающего нейрона и скорости обучения в среднем на 10 процентов уменьшить число ошибок распознавания и время обучения.

6. Полученные в диссертационной работе результаты нашли применение при решении двух практических задач и внедрены в учебный процесс.

Статьи в изданиях, рекомендованных ВАК РФ

1. Комарцова Л.Г., Кадников Д.С., Ковалев И.В. Особенности построения гибридных интеллектуальных систем обработки информации.// Журнал "ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ" №5,2010. - С.2 - 10.

2. Ковалев И.В. Интеллектуальная система прогнозирования загрязнения атмосферы.// Журнал «Нейрокомпьютеры: разработка, применение», №7,2010 г. - С.62 - 66.

3. Ковалев И.В. Программный комплекс автоматизации экологического мониторинга загрязнения атмосферы.// Известия Волгоградского государственного технического университета: межвуз. сб. науч. ст. № 11(71) / ВолгГТУ. - Волгоград: УИНЛ ВолгГТУ, 2010. - 160 с. - (Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. Вып. 9). - С.95 - 98.

Научные статьи в сборниках и периодических изданиях

4. Комарцова Л.Г., Ковалев И.В. Редукция базы знаний с использованием генетического алгоритма.// Научная сессия МИФИ-2006. Сборник научных трудов в 16 томах. Т.З. Интеллектуальные системы и технологии. - М.: МИФИ, 2006.

5. Ковалев И.В. Применение нейронных сетей для обобщения входных данных в системах прогнозирования.// Обнинск 2009 (VII межрегиональная научно-техническая конференция студентов и аспирантов «Применение кибернетических □ методов в решении проблем общества XXI века» Национальный исследовательский ядерный университет «МИФИ» Обнинский институт атомной энергетики (ИАТЭ) Обнинск 2009).

6. Ковалев И.В. Нейросетевой подход к решению задачи снижения размерности входного множества системы прогнозирования загрязнения атмосферы.// Научная сессия МИФИ-2009. XI Всероссийская научно-техническая конференция "Нейроинформатика 2009". - М.: МИФИ, 2009

7. Ковалев И.В. Интеллектуальная система обобщения входных данных в системе прогнозирования загрязнения атмосферы.// VIII Международная научно-техническая конференция «Интеллектуальные системы»

8. Ковалев И.В. Интеллектуальная система прогнозирования загрязнения атмосферного воздуха.// Третья Всероссийская научная конференция "Нечеткие системы и мягкие вычисления "НСМВ-2009

9. Комарцова Л.Г., Кадников Д.С., Ковалев И.В. Исследование генетических алгоритмов для обучения многослойного персептрона.// РИО КФ МГТУ им. Н.Э. Баумана 2009

Ю.Ковалев И.В. Архитектура интеллектуальной системы обработки данных.// Наукоемкие технологии в приборо- и машиностроении и развитие инновационной

деятельности в ВУЗЕ. Всероссийская научно-техническая конференция. М.: МГТУ им.Н.Э. Баумана 2009.

П.Ковалев И.В. Интеллектуальный анализ данных в задаче экологического мониторинга загрязнения атмосферы.// VIII межрегиональная научно-техническая конференция студентов и аспирантов «Применение кибернетических методов в решении проблем общества XXI века» Национальный исследовательский ядерный университет «МИФИ» Обнинский институт атомной энергетики (ИАТЭ) Обнинск 2010.

12. Ковалев И.В. Система интеллектуальной обработки данных в задаче экологического мониторинга и прогнозирования загрязнения атмосферы.// Международный конгресс по интеллектуальным системам и информационным технологиям IS&IT'IO 2-9 сентября 2010 года.

13. Ковалев И.В. Интеллектуальная система прогнозирования загрязнения атмосферы.// XII Всероссийская научно-техническая конференция "Нейроинформатика 2010". - М.: МИФИ, 2010.

14. Ковалев И.В. Эволюционный подход к обучению нейронных сетей в интеллектуальной системе управления мобильного робота.// Интеллектуальные системы: Труды RofíbMorn междуняподиого симпозиума / под пед. К.А. Пулкова. - М.:РУСЛКИ. 2008.

15. Ковалев И.В. Интеллектуальная система поддержки принятия решений системы управления мобильным роботом.// Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе: Материалы региональной научно-технической конференции 19-20 апреля 2007г., т.2. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2007.

Свидетельства о регистрации программных систем:

16. Свидетельство о государственной регистрации программы для ЭВМ ПАК «Воздух-Город» 2.0 № 2010612678 от 19 апреля 2010 г.

Подписано в печать ¡1 С 6' ///; Зак. Тир ¡00 Пл Цб Полиграфический центр МЭИ(ТУ) Красноказарменная ул.,д.13

ВВЕДЕНИЕ.,.

ГЛАВА 1. Анализ состояния теории и практики создания интеллектуальных информационных технологий.

1.1. Проблемы решения задач в трудно формализуемых областях.

1.2. Структурный анализ процесса мониторинга загрязнения атмосферного воздуха как трудно формализуемой задачи.

1.2.1. Поддержка принятия решений в задаче мониторинга загрязнения атмосферы города.

1.3. Обзор интеллектуальных технологий решения трудно формализуемых задач.

1.3.1. Технологии, основанные на классических системах искусственного интеллекта.

1.3.2. Технологии, основанные на генетических алгоритмах.

1.3.3. Технологии, основанные на нейронных сетях.

1.4. Сравнительный анализ технологий интеллектуальной обработки информации.

1.5. Обзор программных средств для организации поиска решений.

1.6. Обзор программных средств для решения задачи мониторинга загрязнения атмосферного воздуха.

1.7. Выводы по главе 1. Цель и задачи диссертационной работы.

ГЛАВА 2. Разработка нейросетевых баз знаний ИСППР.

2.1. Особенности нейросетевой базы знаний.

2.2. Суть алгоритмов обучения НС.

2.2.1. Анализ классического алгоритма обучения НС. Применение адаптивного шага обучения.

2.2.2. Разработка эволюционного алгоритма обучения НС.

2.2.3. Разработка и оценка многопопуляционной ГА.

2.3. Разработка алгоритмов автоматического построения топологии НС.

2.3.1. Классические алгоритмы построения топологии НС.

2.3.2. Модификация конструктивного алгоритма построения топологии НС.

2.3.3. Формирование топологии НС с помощью генетического алгоритма

2.4. Разработка алгоритмов обобщения данных.

2.5. Исследование классических моделей прогнозирования.

2.6. Разработка нейросетевой модели прогнозирования.

2.7. Разработка алгоритмов многомерного анализа данных.

2.10. Выводы по главе 2.

ГЛАВА 3. Разработка методов настройки и адаптации интеллектуальных модулей к решению задач.

3.1. Разработка алгоритма повышение эффективности предварительной обработки данных.

3.2. Разработка метагенетического алгоритма.

3.3. Разработка гибридного алгоритма обучения НС на основе ГА и имитации отжига.

3.4. Исследование эффективности алгоритмов обучения нейронных сетей

3.5. Разработка алгоритма построения топологии НС, основанного на генетическом программировании.

3.6. Исследование эффективности алгоритмов построения топологии НС

3.7. Выводы по главе 3.

ГЛАВА 4. Применение разработанных методов, алгоритмов и программных средств для решения практических задач.

4.1. Цели и методы проводимых исследований.

4.2. Этапы разработки системы.

4.3. Формирование структурных и функциональных требований к разрабатываемой системе.

4.4. Выбор и разработка архитектуры системы.

4.5. Функциональные характеристики разработанной системы.

4.6. Система расчетного мониторинга загрязнения атмосферы.

4.7. Система инструментального мониторинга загрязнения атмосферы.

4.8. Система прогнозирования загрязнения атмосферы.

4.9. Внедрение в учебный процесс.

4.10. Выводы по главе 4.

Интеллектуальные компьютерные технологии в настоящее время являются одним из ключевых направлений развития информатики. Особенно важным в этих исследованиях представляется создание интеллектуальных систем поддержки принятия решений (ИСППР), которые благодаря огромному прогрессу в области вычислительной техники находят все более широкое применение при решении сложных трудно формализуемых задач, какими являются задачи информационного мониторинга, автоматизированного проектирования, робототехники, управления, диагностики и т.д.

Отличительными признаками трудно формализуемой задачи являются неполнота исходных данных о решаемой задаче, их неточность и неоднородность, высокая вычислительная сложность их анализа даже на быстродействующих компьютерах. Трудно формализуемая задача не имеет точного решения и требует применения приближенных методов, основанных на широком использовании эмпирических данных, экспертного оценивания, неклассических логик, моделирования, специально разработанных методик.

Современные методы построения ИСППР берут начало в работах таких российских и зарубежных ученых, как Глушков В.М., Амосов H.A., Поспелов Д.А., Винер Н., Минский М., Ларичев О.И., Лорьер Ж.-Л., Розенблатт Ф., Пейперт С., Стефанюк В.Л., Гладун В.П., Вагин В.Н., Еремеев A.B., Попов Э.В., Осипов Г.С, Трахтенгерц Э.А., Загоруйко Н.Г., Борисов А.Н., Финн В.К. и др.

Основные ограничения известных методов и технологий, используемых в настоящее время в системах поддержки принятия решений в трудно формализуемых задачах, обусловлены недостаточной эффективностью решения в них проблем обучения, настройки и адаптации к проблемной области, обработки неполной и неточной исходной информации, интерпретации данных и накопления знаний экспертов, единообразного представления информации, поступающей из различных источников и т.д.

Преодоление ограничений, налагаемых формальными логическими системами, требует либо применения неклассических логик, либо разработки новых подходов, имитирующих человеческие способности при поиске и выборе решений. Эти ограничения могут быть устранены на основе использования перспективных нейросетевых методов и технологий, эволюционного моделирования и генетических алгоритмов, нечеткой логики, различных комбинированных технологий или технологий мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.). Исследованию и практическому применению этих методов и технологий для решения практических задач посвящены работы Галушкина А.И., Горбаня А.Н., Курейчика В.М., Комарцовой Л.Г., Дунина-Барковского В.Л., Омату С., Заде JL, Касабова Н., Гольдберга Д., Дэвиса Л., Лина С., Тарасова В.Б., Ковалева С., Пупкова К.А., Нечаева Ю.И., Васильева В.И., Ярушкиной Н.Г., Жданова A.A., Редько В.Г., Аверкина А.Н., Батыршина И.З., Нариньяни A.C. И др.

Вместе с тем, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для конкретных приложений, недостаточно проработаны вопросы интеграции различных информационных технологий и особенности их реализации в ИСППР с целью повышения эффективности решаемых с ее помощью трудно формализуемых задач.

Таким образом, решаемые в диссертационной работе задачи исследования нейросетевых и гибридных методов и технологий в ИСППР для повышения эффективности реализации в них механизмов обучения, самообучения и адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертационной работы является развитие теории, создание, исследование и совершенствование методов и алгоритмов, составляющих основу нейросетевых и гибридных технологий, повышающих эффективность процессов обработки информации в интеллектуальных системах, предназначенных для поддержки принятия решений в трудно формализуемых областях. Эффективность применения технологий оценивается по качеству решений, срокам их получения, а также по возможности расширения класса решаемых в рамках ИСППР задач.

Задачи исследования. Для достижения поставленной цели должны быть решены следующие задачи:

1. Разработка и исследование методов и алгоритмов, нацеленных на повышение эффективности применения нейросетевых и гибридных методов и технологий в интеллектуальных системах поддержки принятия решений.

2. Разработка и исследование принципов построения базовых нейронных модулей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальной системы поддержки принятия решений.

3. Разработка алгоритмов и методики построения нейронных сетей и гибридных моделей с заданными характеристиками, в зависимости от особенностей их применения для решения конкретных задач в рамках интеллектуальной системы поддержки принятия решений с возможностью адаптации к проблемной среде в условиях процесса поиска решения.

4. Исследование на практике эффективности применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и выбора решения.

Методология и методы исследования. Проведенные теоретические и прикладные исследования базируются на теории принятия решений, 7 нейроинформатике, теории оптимизации, генетических и эволюционных алгоритмах, на методах математической статистики и объектно-ориентированного программирования.

Научная новизна. Разработанные в диссертации теоретические основы построения нейросетевых и гибридных методов и моделей поиска и оценки решений в трудно формализуемых задачах с помощью ИСППР, обеспечивающих реализацию механизмов обучения и адаптации к особенностям проблемной среды, методы их анализа являются существенным вкладом в развитие фундаментальных исследований в области теории принятия решений, создания и исследования новых технологий проектирования сложных программных систем, расширяющих интеллектуальные возможности компьютеров и компьютерных систем.

Конкретно на защиту выносятся следующие новые научные положения и результаты:

1. Методы и алгоритмы повышения эффективности применения нейросетевых и гибридных технологий в интеллектуальных системах поддержки принятия решений, что выражается в повышении качества формируемых решений и в сокращении сроков их получения.

2. Методика и алгоритмы формирования специализированных нейросетевых модулей на основе предварительного обучения, обеспечивающих гибкость и накопление опыта эксперта в заданной предметной области.

3. Методы и алгоритмы синтеза нейронной сети и гибридных моделей с требуемыми свойствами для конкретных приложений.

Практическая значимость результатов диссертационной работы определяется созданием комплекса программных инструментальных средств, повышающих эффективность процессов обработки информации в интегрированных интеллектуальных системах поддержки принятия решений и позволяющих использовать разработанные методы, модели и программные системы, отвечающие конкретным приложениям. Созданный комплекс 8 инструментальных средств может служить как для научных исследований и обучения, так и для комплексирования с другими информационными системами коммерческих и государственных предприятий посредством стандартных интерфейсов DCOM, DDE, CORBA и др. с целью получения доступа к реальным базам данных и знаний. Разработанные методы, алгоритмы и программные, системы нашли применение при решении конкретных задач экологического мониторинга загрязнения атмосферы городов Калуги и Владимира промышленными предприятиями в процессе их функционирования, а также используются в разработках предприятий г. Калуги (КНИИТМУ — Калужском НИИ телемеханических устройств), внедрены в учебный процесс ряда учебных заведений г. Калуги: в Калужском филиале МГТУ им. Н.Э. Баумана, Российском государственном гуманитарном университете (РГГУ), в Калужском государственном педагогическом университете (КГПУ).

Достоверность., Достоверность научных положений, теоретических выводов и практических результатов, полученных в диссертации, подтверждена результатами экспериментальной проверки методов, алгоритмов и программного обеспечения с использованием стандартных и специально разработанных тестов на основе существующих методик, корректным обоснованием и анализом моделей с применением методов математической статистики, подтверждением полученных результатов работы другими авторами, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.

Внедрение и реализация результатов работы. Диссертация является теоретическим обобщением научных исследований, выполненных автором в результате сотрудничества с промышленными предприятиями и фирмами. Теоретический базис разработанного подхода к повышению эффективности использования интеллектуальных систем поддержки принятия решений в трудно формализуемых задачах основан на исследованиях, результаты 9 которых обобщены в 3-х научных статьях в журналах, рекомендованных ВАК, и в докладах на национальных и международных конференциях. Наиболее важная часть разработанного программного обеспечения зарегистрирована в Роспатенте. Основные результаты диссертационной работы нашли свое применение в виде инженерных рекомендаций и методик, пакетов прикладных программ и инструментальных средств, а также внедрены в учебный процесс.

Практическое использование результатов диссертационной работы подтверждено соответствующими актами о внедрении. Акты о внедрении и использовании результатов работы, а также копии авторских свидетельств (Роспатент) представлены в Приложении к диссертации.

Цель и поставленные задачи определили следующую структуру работы.

В первой главе представлен обзор и анализ современных проблем в области создания ИСППР, расширяющих возможности компьютерных систем при решении трудно формализуемых задач.

Отмечаются характерные особенности трудно формализуемых задач: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результата; необходимость коррекции и введения дополнительной информации во время формировании решения при активном участии лица, принимающего решение (ЛПР). Перечисленные особенности не позволяют использовать для решения таких задач известные методы и модели.

Подчеркивается, что главной трудностью разработки и реализации ИСППР для решения конкретных прикладных задач является объективное существование факторов, связанных с неполнотой и неопределенностью знаний о развитии процессов в среде принятия решений.

Проведено исследование существующих в настоящее время подходов к решению сложных задач такого рода на примере задачи экологического мониторинга и прогноза загрязнения атмосферного воздуха выбросами промышленных предприятий. Выделены основные подзадачи, которые сводятся к следующему.

1. Минимизация выбросов загрязняющих веществ в атмосферу:

1.1 .Реализация инструментального мониторинга, который характеризуется: a) высокой стоимостью (невозможностью контролировать все вещества, выбрасываемые в атмосферу города); b) невозможностью выявления вкладов каждого из веществ (контролируется только интегральное значение концентраций); c) неточностью, противоречивостью данных (обусловленное погрешностью приборов и текущими метеоусловиями измерения);

1) неполнотой данных.

1.2.Реализация расчетного мониторинга, для которого характерны следующие ошибки: a) учтены не все источники загрязнения; b) предоставлены недостоверные данные о характеристиках источников загрязнения.

2. Повышение эффективности поддержки принятия управленческих решений: a) автоматизация анализа данных мониторинга; b) обеспечение наглядной формы представления результатов мониторинга для принятия соответствующего решения; c) предоставление актуальной информации о загрязнении атмосферы города общественности;

1) обеспечение общедоступности информации заинтересованным организациям и ведомствам. Анализ задач, требующих решения в рассматриваемой области показал, что проблема загрязнения атмосферного воздуха имеет следующие особенности: большие объемы анализируемой информации, сложность

11 формализации некоторых этапов решения задачи; неполнота, зашумленность и противоречивость входных данных; высокая цена неверно принятых решений (грозящих в некоторых случаях экологической катастрофой). Эти задачи относятся к классу трудно формализуемых, и для их решения необходимо использовать новые подходы.

Преодоление ограничений, налагаемых формальными логическими системами, требует либо применения неклассических логик, либо разработки подходов, имитирующих человеческие способности при поиске и выборе решений с помощью ИСППР. К таким способностям относятся: возможность обработки неполной и противоречивой информации; высоко-параллельная обработка данных и знаний; обучение и адаптация к новой информации; интеграция всех имеющихся данных и знаний для поиска и выбора решений. Для преодоления ограничений формальных логических систем в диссертации предложено использовать нейросетевые и гибридные технологии.

Выполненный анализ и обзор зарубежных и отечественных пакетов прикладных программ на основе нейронных сетей (НС) показал, что ряд задач, связанных с эффективным использованием этой технологии, остается нерешенным. К ним относятся: отсутствие эффективных алгоритмов обучения многослойного персептрона, альтернативных методу обратного распространения ошибки, методов автоматической подстройки параметров алгоритма обучения во время процедуры обучения, автоматического останова обучения, автоматического формирования топологии нейронной сети, методов интерпретации результатов работы сети и т.д., которые требуют дальнейшей доработки. Мало исследованными остаются также проблемы построения гибридных моделей, строящихся на основе интеграции различных информационных технологий.

Обзор интегрированных программных продуктов на основе различных классов нейронных сетей и генетических алгоритмов, которые можно использовать для построения ИСППР, показал, что интеграция осуществляется при построении гибридных моделей только на уровне

12 отдельных модулей. Хотя это и дает во многих случаях положительный эффект, но не позволяет в полной мере использовать возможности заложенных в интегрируемые системы алгоритмов. Нужна более глубокая интеграция - на уровне методов. В работе с этой целью выделены базовые гибридные модели:

1. иерархические нейросетевые, использующие в одной модели различные типы нейронных сетей для повышения эффективности принятия решений;

2. на основе нейронных сетей и генетических алгоритмов, использование которых расширяет класс решаемых трудно формализуемых задач.

На основе проведенного обзора и анализа сформулирована цель исследований и основные задачи, решением которых она достигается

Вторая глава посвящена вопросам разработки моделей принятия решений, как составной части интеллектуальной системы поддержки принятия решений, на основе предварительно обученных на решение определенной проблемы модулей.

Исследованы проблемы формирования НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач; недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучения; высокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать НС минимальной сложности.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация нейросетевых моделей, а также решаемых ими задач позволила в данной работе для построения ИСППР выбрать следующие типы НС: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот

13 тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные комбинированные НС, а также интегрировать их с другими информационными технологиями.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W. В качестве ошибки обучения в работе используется среднеквадратичная ошибка или MSE (Mean Squared Error), которая для выбранных типов НС определяется как усредненная сумма квадратов разностей между желаемой величиной выхода и реально полученными на сети значениями для каждого примера из обучающей выборки.

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation - BP): медленная сходимость алгоритма, невозможность управления параметрами обучения во время процедуры оптимизации, частое попадание в локальный экстремум и др. Предложены способы решения выявленных проблем: использование адаптивного шага обучения для алгоритма BP; использование для обучения алгоритмов глобальной оптимизации, а именно генетических алгоритмов и их модификаций.

Для построения алгоритма обучения НС, альтернативного BP, с целью устранения выявленных проблем проведено экспериментальное исследование генетического алгоритма (ГА).

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (Робертсоновские транслокации), селекции ("дальнее" и "ближнее" родство), отбора ("мягкая" схема). Экспериментальное исследование ГА для решения задачи минимизации ошибки обучения НС на представительном наборе тестовых функций (экстремум которых известен) позволило

14 определить наилучшее сочетание генетических операторов для функций, отличающихся размерностью и числом экстремумов. Полученные рекомендации использованы при конструировании эффективных ГА для обучения НС.

Разработана схема многопопуляционного алгоритма для решения задачи обучения НС.

Далее проводится исследование методов по выбору топологии НС с целью минимизации времени, необходимого для получения результатов в ИСППР. Исследованы проблемы применения ГА для решения задачи построения топологии НС.

Для повышения эффективности использования нейросетевых технологий в ИСППР предложена иерархическая нейронная сеть на основе объединения алгоритма предварительной обработки данных, основанного на нейросетевой кластеризации и многослойного персептрона. Сеть Кохонена используется для предварительной кластеризации исходных данных, многослойный персептрон — для выбора окончательного решения. Такое объединение позволяет добиться более высокой точности работы нейросетевой модели, повысить скорость получения результатов, а также упростить построение обучающего множества.

Третья глава посвящена разработке методов и алгоритмов повышения эффективности использования нейросетевых и гибридных технологий в ИСППР. С этой целью проведено теоретическое и экспериментальное исследование в области построения нейросетевых и гибридных классификаторов, используемых в ИСППР для прогноза возможных решений, и определены пути их создания.

Предложен алгоритм построения адаптивного (метагенетического) ГА, т.е. такого алгоритма, параметры которого настраиваются с помощью другого ГА (внешнего).

Экспериментальное исследование алгоритма показало, что скорость сходимости адаптивного ГА увеличивается в два и большее число раз.

Для повышения эффективности решения задачи обучения МНС разработан комбинированный алгоритм обучения МНС: на основе ГА и имитации отжига (АИО). Создание такого алгоритма открывает возможность динамически менять скорость сходимости ГА на различных этапах поиска минимума с целью снижения временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации Еа управляющего параметра "температуры", который, постепенно уменьшаясь по заданному закону, позволяет стабилизироваться Еа в состоянии минимума. Экспериментально установлено, что предложенная модификация позволяет повысить качество обучения МНС на величину до 10% в сравнении с классическим ГА.

Отмечается, что наиболее предпочтительным для решения задачи подстройки НС в ИСППР под решаемую задачу является эволюционный метод, позволяющий минимизировать сложность НС при решении конкретных прикладных задач. Для реализации этого подхода в диссертации для решения задачи формирования топологии НС предложен оригинальный метод генетического программирования (ГП).

Для повышения эффективности предварительной обработки информации, выполняемой, как было показано в главе 2, с использованием сети Кохонена предложен модифицированный алгоритм обновления весов, отличающийся от известных введением латерального торможения, что позволяет ускорить процедуру кластеризации. Модификация заключается в изменении скорости обучения и радиуса окрестности нейрона-победителя по определенному закону для ускорения стабилизации вектора весовых коэффициентов каждого нейрона во время процедуры обучения.

В четвертой главе предложена архитектура ИСППР, включающая три основные подсистемы: подсистему приобретения и накопления знаний экспертов в определенной прикладной области, подсистему прогноза и вывода альтернативных решений, подсистему оптимизации и выбора приемлемых решений, а также интеллектуальный пользовательский интерфейс, обеспечивающий взаимодействие ЛПР с системой.

Разработан комплекс инструментальных средств обеспечивающий функционирование ИСППР в соответствии с созданной методологией и включающий: нейроимитатор для функционирования и отработки различных алгоритмов обучения и построения нейронных сетей, инструментальную среду для функционирования и исследования генетических алгоритмов, пользовательский интерфейс. Использование распределенной вычислительной среды для формирования решения в ИСППР позволяет ускорить процедуру поиска и анализа решения за счет одновременного развития нескольких вариантов формируемых решений, а также повысить достоверность получаемых результатов за счет дублирования выполняемых процедур.

На основе разработанной методологии и созданного программного комплекса представлены варианты решения некоторых важных практических задач: экологического мониторинга загрязнения атмосферного воздуха промышленными предприятиями г. Калуги с целью прогноза развития экологической ситуации в городе (фирма Экоаналитика), модернизации специализированных вычислительных систем, обслуживающих военные объекты (КНИИТМУ, г. Калуга). Накопленный опыт решения этих задач позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации нейросетевых и гибридных технологий. Пакеты прикладных программ, разработанные автором, защищены авторскими свидетельствами и внедрены в учебный процесс.

1. АНАЛИЗ СОСТОЯНИЯ ТЕОРИИ И ПРАКТИКИ СОЗДАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

Основные результаты работы заключаются в следующем.

1. Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных технологий в интеллектуальных системах поддержки принятия решений, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, самообучение и модификацию нейросетевых и гибридных модулей обработки информации в процессе выработки и принятия решений с учетом специфики предметной области.

2. Разработаны принципы построения базовых нейронных модулей, ориентированных на специфику предметной области для комплексного решения типовых задач ИСППР на основе нейронных сетей различных типов и генетических алгоритмов.

3. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, решаемую в ИСППР, на основе генетического программирования и модифицированного конструктивного алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время принятия решений в ИСППР.

4. Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back Propagation (BP)), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно: a. На основе анализа естественных природных механизмов эволюции предложены, исследованы и реализованы новые операторы селекции хромосом, кроссинговера, хромосомной мутации, отбора, которые, в отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом. b. Предложен метагенетический алгоритм, параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА. Экспериментальное исследование алгоритма показало, что скорость сходимости адаптивного ГА увеличивается в два и большее число раз. c. Предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения.

5. Создана методологическая и инструментальная среда для построения нейронных сетей с требуемыми характеристиками из предварительно обученных и вновь разрабатываемых нейросетевых и гибридных модулей для конкретных приложений. В том числе: a. предложены и программно реализованы усовершенствованные нейросетевые классификаторы персептронного типа, позволяющие, в отличие от стандартных классификаторов типа ВР, уменьшить ошибку распознавания на 30-40 % и время обучения в тысячу и более раз при той же обучающей выборке за счет разработки комбинированного генетического алгоритма с динамическим изменением параметров во время процедуры оптимизации на основе недетерминированного алгоритма поиска экстремума -алгоритма имитации отжига; b. предложен усовершенствованный алгоритм обучения НС Кохонена, позволяющий за счет использования механизма изменения радиуса окрестности выигрывающего нейрона и скорости обучения в среднем на 10 процентов уменьшить число ошибок распознавания и время обучения.

6. Полученные в диссертационной работе результаты нашли применение при решении двух практических задач и внедрены в учебный процесс. Диссертационная работа выполнялась в рамках целевой программы фонда содействия развитию малых форм предприятий в научно-технической сфере (http://www.fasie.ru/).

ЗАКЛЮЧЕНИЕ

Диссертационная работа «Исследование и разработка нейросетевых и гибридных методов и программных средств в интеллектуальных системах поддержки принятия решений» выполнена в Московском Государственном Техническом Университете им. Н.Э. Баумана КФ.

В рамках диссертационной работы проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методов, алгоритмов и программных средств интеллектуальной системы поддержки принятия решений, обеспечивающей обучение, адаптацию и модификацию базовых модулей к проблемной среде с учетом неполноты исходной информации.

1. Израэль Ю.А. Экология и контроль состояния природной среды. М.: Гидрометеоиздат, 1984. 435 с.

2. Федеральный закон «Об охране окружающей среды» №7-ФЗ от 10.01.2002 (ред. от 27.12.2009).

3. ГОСТ 17.2.3.01-86. Охрана природы. Атмосфера. Правила контроля качества воздуха населенных пунктов. М., 1987.

4. РД 52.04. 186-89 «Руководство по контролю загрязнения атмосферы». Л.: Гидрометеоиздат, 1991

5. Абакумов В.А. Экологические модификации и развитие биоценозов // Экологические модификации и критерии экологического нормирования. Труды международного симпозиума. Л.: Гидометеоиздат, 1991. С. 18-40.

6. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976. 280 с.

7. Алексеев В.А. особенности описания древостоев в условиях атмосферного загрязнения // Взаимодействие лесных экосистем и атмосферных загрязнителей. Таллин, 1982. С.97-115.

8. Борисов Б.М. К вопросу об оценке состояния здоровья населения в условиях антропогенного загрязнения окружающей среды // Экол. пром. пр-ва. 1999. №1.

9. Булгаков Н.Г. Индикация состояния природных экосистем и нормирование факторов окружающей среды. Обзор существующих подходов // Усп. соврем, биол. 2002. Т. 122. №2.

10. Ю.Быстрова А.К. Экология и капиталистический город. М.: Наука, 1980.

11. Бялобок С. Регулирование загрязнения атмосферы // Загрязнение воздуха и жизнь растений. Л., 1988. С.500-531.

12. Гудериан Р. Загрязнение воздушной среды. М.: Мир, 1979. 200 с.

13. М.Максимов В.Н., Булгаков Н.Г., Левич А.П. Количественные методы экологического контроля: диагностика, нормирование, прогноз // Экология и устойчивое развитие города. М. 20006. С.79-83.

14. Сивакумар Харинатх, Стивен Куинн SQL Server 2005 Analysis Services и MDX для профессионалов. Диалектика, 2008 г., 848 стр.

15. Бергер A. Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных. БХВ-Петербург, 2007 г., 928 стр.

16. Наталия Елманова, Алексей Федоров Введение в OLAP-технологии Microsoft. Диалог-МИФИ, 2002 г., 272 стр.

17. Барсегян A.A. Методы и модели анализа данных: OLAP и Data Mining / A.A. Барсегян, М.С.Куприянов, В.В.Степаненко, И.И.Холод. — СПб.: БХВ-Петербург, 2004. 336 с.

18. Коровкин С. Д. Решение проблемы комплексного оперативного анализа информации хранилищ данных / С.Д. Коровкин, И.А. Левенец, И.Д. Ратманова, В.А. Старых, Л.В. Щавелёв // СУБД. 1997. - № 5-6. - С. 47-51с.

19. Business intelligence effective data mining & analysis http://www.olap.ru21 .http://technet.microsoft.com/ru-ru/default.aspx

20. Головко B.A. Нейронные сети: обучение, организация и применение. Кн. 4: Учеб. пособие для вузов. Общая ред. А.И. Галушкина. М.: ИПРЖР, 2001. - 256 е.: ил. (Нейрокомпьютеры и их применение).

21. Костров Б.В., Ручкин В.Н., Фулин В.А. Искусственный интеллект и робототехника. М.: «Издательство ДИАЛОГ-МИФИ», 2008. - 224 с.

22. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского. М.: Горячая линия - Телеком, 2007. - 452 е.: ил.

23. Батыршин ИЗ., Недосекин А.О., Стецко A.A., Тарасов В.Б., Язенин A.B., Ярушкина Н.Г. Нечеткие гибридные системы. Теория и практика / Под ред. Н.Г. Ярушкиной. М.: ФИЗМАТЛИТ, 2007. - 208 с.

24. Хайкин, Саймон Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. -М.: ООО «И.Д. Вильяме», 2006. 1104 с. : ил. - парал. тит. англ.

25. Рассел, Стюарт, Норвиг, Питер Искусственный интеллект: современный подход, 2-е изд.: Пер. с англ. — М.: Издательский дом «Вильяме», 2007. -1408 е.: ил. Парал.тит.англ.

26. Тарасов В.Б. Синергетические проблемы в искусственном интеллекте // Труды Международной научно-практической конференции «Знание-диалог-решение». Т. 2 (Санкт-Петербург, 19-22 июня 2001 г.). СПб: Лань, 2001.-С. 594-602.

27. Hewitt С. Viewing Control Structures as Patterns of Message Passing // Artificial Intelligence. 1977. V. 8, № 3. P. 323-364.

28. Ferber J. Les systems multi-agents. Vets une intelligence collective. P.: InterEditions, 1995.

29. Городецкий В.И. Многоагентные системы: основные свойства и модели координации поведения // /информационные технологии и вычислительные системы. 1998. № 1. С. 22-34.

30. Осипов Г.С. Приобретение знаний интеллектуальными системами. М.: Наука, 199734.0сипов Г.С. Динамика в системах, основанных на знаниях // Известия РАН: Теория и системы управления. 1998. № 5. С. 24-28.

31. Аверкин А.Н., Прокопчина C.B. Мягкие вычисления и измерения // интеллектуальные системы. 1997. Т. 2, вып. 1-4. С. 93-114.

32. Jang J.-S. Roger, Sun C.T., Mizutani E. Neuro-Fuzzy and Soft Computing. A Computational Approach to Learning and Machine Intelligence. Prentice-Hall International, 1997.

33. Nii H.P. The Blackboard Model of Problem Solving and the Evolution of

34. Blackboard Architecture // AI Magazine. 1986. V. 7, № 2. P. 38-53.f

35. Алиев P.A., Алиев P.P. Теория интеллектуальных систем и ее применение. Баку: Чашыоглы, 2001.

36. Курейчик В.М„ Курейчик В.В. Эволюционные синергетические и гомеостатические стратегии в искусственном интеллекте // Новости искусственного интеллекта. 2000. № 3, С. 39-65.

37. Дубров А.М Обработка статистических данных методом главных компонент. 1978. 136 с.

38. Лоул и Д., Максвелл А., Факторный анализ как статистический метод, пер. с англ., М., 1967;

39. Харман Г., Современный факторный анализ, пер. с англ., М., 1972.

40. Саймон Г. Науки об искусственном // Пер. с англ. -М.: Мир. -1972.

41. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. -М.:Эдиториал УРСС. -2002.

42. Искусственный интеллект. Справочник. Модели и методы. Кн.2. Под ред. проф. Поспелова Д.А. М: Радио и связь. 1990. -303 с.

43. Ларичев О.И. и др. Новые возможности компьютерного обучения. // Вестник РАН. -1999. -Т.69. -№2.

44. Искусственный интеллект. Справочник. Системы общения и экспертные системы. Кн.1. Под ред. проф. Попова Э.В. М: Радио и связь. 1990.

45. Искусственный интеллект. Справочник. Программные и аппаратные средства. Кн.З. Под ред. проф. Захарова В.Н., проф. Хорошевского В.Ф. М: Радио и связь. 1990, с.287.

46. Ларичев О.И. Теория и методы принятия решений. — М.: Логос. -2002.

47. Gero J.S. Creativity, emergence and evolution on design // Knowledge -based system. -1996. -Vol.9. -№7. -p.435-448.

48. Осипов Г.С. Приобретение знаний интеллектуальными системами. -M.: Наука. Физматлит. -1997.

49. Представление и использование знаний // Пер. с яп. под ред. Х.Уэно, М.Исудзуки. -М: Мир. -1989.

50. Поспелов Д.А. Ситуационное управление. Теория и практика. -М.: Наука. -1986.

51. Гаврилова Т.А., Хорошевский В.Р. Базы знаний интеллектуальных систем. -СПб.: Питер. -2000.

52. Вагин В.Н. Дедукция и обобщение в системах принятия решений. -М.: Наука, 1988.

53. Quillian M.R. Semantic Memory // Minsky M. (ed.) Semantic Information Processing. Cambridge: MIT Press. -1968. P. 216-270.

54. Гладун В.П. Процессы формирования новых знаний. София: СД "Педагог". -1994.

55. Нильсон Н. Принципы искусственного интеллекта. Методы поиска решений. M : Мир.-1972. -234 с.

56. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта. -Киев.: Наукова Думка. -2001.

57. Towell G. Knowledge-Based Artificial Neural Networks //Artificial Intelligence. 1994. -№7. -P. 119-165.

58. Розенблатт Ф. Принципы нейродинамики. M.: Мир. -1965.

59. Sarle W. Frequent asked question on neural networks: ftp:// ftp.sas.com/pub/neural/FAQ.html

60. Комарцова Л.Г. Исследование возможностей нейронных сетей для создания проекта локальной вычислительной сети // Нейрокомпьютеры. Разработка и применение. -М.:Радиотехника.-2001.-№6.

61. Комарцова Л.Г. Двухэтапный алгоритм обучения нейронной сети на основе генетического поиска // Нейрокомпьютеры. Разработка и применение.-М.: Радиотехника.-2000. -№1.

62. Комарцова Л.Г. Управляемый алгоритм обучения нейронной сети на основе генетического поиска и имитации отжига // Сб. докладов VII Всероссийской конференции "Нейрокомпьютеры и их применение". -М.: Радиотехника. -2001.

63. Lim T.S., Loh W.Y. Shih Y.S. An empirical comparison of decision trees and other classification methods. Technical Report 979. Department of Statistics. University of Wiscosin. Madison. Wisconsin. -1997. http:// www.stat.wisc.edu/ ~limt/compare.ps

64. Sarle W. Neural Networks and Statistical models. In Proc. of 19-th Annual SAS users group International Conferense. -1994. ftp:// ftp.sas.com/pub/neural/inter95 .ps

65. Галушкин А.И. Теория нейронных сетей. -Кн. 1. -М.: ИПРЖР. -2000.

66. Горбань А.Н. и др. Нейроинформатика. -Красноярск.: СО РАН. -1999.

67. Клир Дж. Системология. Автоматизация решения системных задач. М.: Радио и связь. -1990.

68. Галушкин А.И. Нейрокомпьютеры. -Кн. 3. -М.: ИПРЖР. -2000.

69. Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры. -М.:Из-во МГТУ им. Н.Э. Баумана. -2002.

70. Горбань А.Н. и др. Нейроинформатика. -Красноярск.: СО РАН. -1999.

71. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск.: Наука. СО РАН. -1996.

72. Горбань А.И., Дунин-Барковский В.Л., Кирдин А.И. и др. // Сб. статей "Нейроинформатика" .-Новосибирск.: Наука. Сибирское предприятие РАН. -1998.

73. Хакен Г. Синергетика. Иерархия неустойчивостей в самоорганизующихся системах и устройствах / Пер. с англ. -М.: Мир.-1985.

74. Голицын Г.А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. -1996.

75. Lin С.Т. Neural Fuzzy Control System with Structure and Parameter Learning. Singapore: World Scientific. -1994.

76. Chin-Teng Lin, George Lee C.S. Neural Fuzzy Systems. A Neuro.-. Fuzzy Synergism to Intelligent Systems. Prentice Hall P T R, Upper Sandle River, NJ 07458. -1997.86.3агоруйко Н.Г. Прикладные методы анализа данных и знаний.

77. Новосибирск.: Из-во Института Математики СО РАН. -1999. 87.Осипов Г.С. Динамика систем, основанных на знаниях // Известия РАН. Теория и системы управления. -1998. -№5. -С.24-28.

78. Kosko В. Neural networks and fuzzy system . Prentice Hall, Englewood Cliffs. N.J. 1992.

79. Chin-Teng Lin, George Lee C.S. Neural Fuzzy Systems. A Neuro Fuzzy Synergism to Intelligent Systems. Prentice Hall P T R, Upper Sandle River, NJ 07458. -1997.

80. Ярушкина Н.Г. Мягкие вычисления в автоматизированном проектировании // Труды КИИ'2000. -Т.2. -С.541-548.

81. Брауде Э.Дж. Технология разработки программного обеспечения / Э.Дж. Брауде. Питер, 2004. - 656с.

82. Лешек А.М. Анализ требований и проектирование систем. Разработка информационных систем с использованием UML / А.М. Лешек. М.: Вильяме, 2002. - 432 с.

83. Лафоре Р. Объектно-ориентированное программирование в С++. Классика Computer Science. 4-е изд. / Р. Лафоре — СПб.: Питер, 2004. -924 е.: ил.

84. С# Language Specification 3.0 Электронный ресурс. Режим доступа: — http://download/microsoft.com/download/3/8/8/388e7205-bcl0-4226-b2a8-75351с669Ь09/С8Ьаф%20Ьапеиаее%208рес1Асайоп.аос

85. Extensible Markup Language (XML) 1.1 (Second Edition) Электронный ресурс. — Режим доступа: — http://www.w3.org/TR/xml 11/.

86. Платт Д.С. Знакомство с Microsoft .NET / Д.С. Платт. М.:. Русская Редакция, 2001. - 240с.

87. Троелсен Э. С# и платформа .NET / Э. Троелсен. Питер, 2007. —796с.

88. Пауэрс Л. Microsoft Visual Studio 2008 В подлиннике / Ларе Пауэре, Майк Снелл БХВ-Петербург, 2009. - 1200с.

89. Байдачный С. SQL Server 2005. Новые возможности для разработчиков / С. Байдачный, Д. Маленко, Ю. Лозинский. М.: Солон-Пресс, 2006. -208 с.

90. Браст Э.Дж. «Разработка приложений на основе Microsoft SQL Server 2005» / Э.Дж. Браст, С. Форте. М.: Русская Редакция, 2007. - 880с.

91. Горев А. Эффективная работа с СУБД / А. Горев, Р. Ахаян, С. Макашарипов. Питер, 1997. - 445с.

92. Дейт К.Дж. Введение в системы баз данных 8-е издание / К.Дж. Дейт. -М.: Вильяме, 2006. 1328 с.

93. Райордан P.M. Основы реляционных баз данных / P.M. Райордан. М.: Русская Редакция, 2001. — 384 с.

94. Мандел Т. Разработка Пользовательского Интерфейса / Т. Мандел. — М.: ДМК, 2001.-416 с.

95. Федеральный закон «Об охране атмосферного воздуха» №96-ФЗ от 04.05.1999 (ред. от 27.12.2009).

96. Федеральный закон «О санитарно — эпидемиологическом благополучии населения» №52-ФЗ от 30.03.1999 (ред. от 30.12.2008).

97. Постановление Правительства РФ от 21.04.2000 г. № 373. «Положение о государственном учете вредных воздействий на атмосферный воздух и их источников».

98. Постановление Правительства РФ от 02.03.2000 №183 (ред. от 22.04.2009) «О нормативах выбросов вредных (загрязняющих) веществ в атмосферный воздух и вредных физических воздействий на него».

99. Постановление Правительства РФ от 15.01.2001 №31 (ред. от 27.01.2009) «Об утверждении Положения о государственном контроле за охраной атмосферного воздуха».

100. Постановление Правительства РФ от 02.02.2006 №60 «Об утверждении Положения о проведении социально-гигиенического мониторинга».

101. Приказ № 66 Госкомэкологии РФ от 16.02.1999 г. «О применении системы сводных расчетов при нормировании выбросов».

102. Приказ № 56 Ростехнадзора от 07.02.2007 г. «Об утверждении формы разрешения на выброс вредных (загрязняющих) веществ в атмосферный воздух».

103. ГОСТ 17.2.3.02-78. «Охрана природы. Атмосфера. Правила установления допустимых выбросов вредных веществ промышленными предприятиями». Изд. Стандартов. М., 1979.

104. СанПиН 2.1.6.1032-01. Гигиенические требования к обеспечению качества атмосферного воздуха населенных мест. М., Минздрав России. 2001.

105. СанПиН 2.2.1/2.1.1.1200-03 «Санитарно-защитные зоны и санитарная классификация предприятий, сооружений и иных объектов», новая редакция, 2007 г.

106. СанПиН 2.2.1./2.1.1.-2361-08 «Изменение №1 к СанПиН 2.2.1/2.1.1.1200-03». М., Минздрав России.

107. МосМР 2.1.9.001-03. «Критерии установления уровней минимального риска здоровью населения от загрязнения окружающей среды» М.: Санэпидмедиа, ГУ НИИ ЭЧ и ГОС имени А.Н.Сысина РАМН, Центр Госсанэпиднадзора в г. Москве, 2003.

108. МосМР 2,1.9.004-03. «Критерии оценки риска для здоровья населения приоритетных химических веществ, загрязняющих окружающую среду» М.: Санэпидмедиа, ГУ НИИ ЭЧ и ГОС имени А.Н.Сысина РАМН, Центр Госсанэпиднадзора в г. Москве, 2003.

109. МосМР 2.1.9.005-03. «Применение факторов канцерогенного потенциала при оценке риска воздействия химических веществ» М.:

110. Санэпидмедиа, ГУ НИИ ЭЧ и ГОС имени А.Н.Сысина РАМН, ММА имени И.М.Сеченова, Центр госсанэпиднядзора в г. Москве, 2003.

111. МУ 2.1.6.792-99. «Выбор базовых показателей для социально -гигиенического мониторинга (атмосферный воздух населенных мест)» -М., Минздрав, 1999.

112. Ковалев И.В. Применение нейронных сетей для обобщения входных данных в системах прогнозирования / И.В. Ковалев // Per. студ. н-т. конф.

113. Ч. 1. Применение кибернетических методов в решении проблем общества XXI века. Тезисы докладов. Обнинск, 24-26 апреля 2009г, с.24-27.

114. Ковалев И.В. Нейросетевой подход к решению задачи снижения размерности входного множества системы прогнозирования загрязнения атмосферы / И.В. Ковалев // Научн. сессия МИФИ-2009. XI Всерос.н-т. конф. "Нейроинформатика 2009". М.: МИФИ, 2009, с.66-68.

115. Емельянов В.В., Курейчик В.В., Курейчик В.М. Теория и практика эволюционного моделирования. М.: ФИЗМАТЛИТ, 2003. - 432 с. -ISBN 5-9221-0337-7.

116. Интеллектуальные системы управления с использованием генетических алгоритмов: Учебное пособие / В.И.Васильев, Б.Г.Ильясов; . Уфимск.гос.авиац.техн.ун-т. Уфа, 1999. - 105 с. ISBN 5-86911-251-6

117. Бэстенс Д., Ван Ден Берг, Д. Вуд Нейронные сети и финансовые рынки. -М.: ТВП. -1997.

118. Barren A. Approximation and estimation bounds for artificial neural networks //Proceedings of the Fourth Annual Workshop on Computational Learning Theory, 1991, pp.243-249.

119. Barren A. Complexity Regularization with Application to Neural Networks // Nonparametric Functional Estimation and Related Topics, Roussas G.,editor, Kluwer Academic Publishers, 1991,pp.561-576.

120. Moody J. The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems // Moody, J.E., Hanson, S.J., and Lippmann, R.P., Advances in Neural Information Processing Systems 4, 1992, pp. 847- 854.

121. Шумский С.А. Байесова регуляризация обучения // Научная сессия МИФИ-2002. Сб. научных трудов 4 -ой Всероссийской конференции "Нейроинформатика-2002". -В 2 частях. -4.1. -М.:МИФИ.-2002.

122. Girosi F., Jones М., Poggio Т. Regularization. Theory and Neural Networks.

123. Torres-Moreno J. M. Apprentissage et generalisation par des reseaux de neurones : etude de nou'ueuux u.lgo'n.th'rnes con.itructifs. II PhD thesis, de l'lnstitut National PolytechniquedeGrenobire,1997.

124. Ash T. Dynamic Node Creation in Back-Propagation Networks. II Connection Science, V. 1, 1989.

125. Whitley D., Starkweather Т., Bogart C. Genetic algorithms and neural networks: optimizing connections and connectivity // Parallel Computing, 14:347-361, 1990.

126. Bartlett P., Downs T. Training a neural network with a genetic algorithm // Technical Report, Dept. offilec. Eng., Univ. of Queensland, January 1990.

127. Fogel D., Fogel L., Porto V. Evolving neural networks // Biological Cybernetics, 63, 1990, pp. 487-493.

128. Yao X. A review of evolutionary artificial neural networks // International Journal of Intelligent Systems, 8(4):539-67, 1993.

129. Harp S., Samad Т., Guha A. Designing application-specific neural networks using the genetic algorithm // In D. S. Touretzky, editor. Advances in Neural1.formation Processing Systems 2, pp. 447-454. Morgan Kaufrnann, San Mateo, CA, 1990.

130. Harp S., Samad Т., Guha A. Towards the genetic synthesis of neural networks // In J. D.Schaffer, editor, Proc. of the Third Int'l Conf. on Genetic Algorithms and Their Applications, pp. 360-369. Morgan Kaufrnann, San Mateo, CA, 1989.

131. Schaffer J., Caruana R., Eshelman L. Using genetic search to exploit the emergent behavior of neural networks // Physica D, 42:244-248, 1990.

132. Wilson S. Perceptron redux: emergence of structure // Physica D, 42:249256, 1990.

133. Mandischer M. Representation and evolution of neural networks // Proceedings of the Conference on Artificial Neural Nets and Genetic Algorithms, pp. 643-649. Springer Verlag, 1993.

134. Hancock P. Coding Strategies for Genetic Algorithms and Neural Nets // PhD thesis, Department of Computing Science and Mathematics, University of Stirling, 1992.

135. Thierens D., Suykens J., Vandewalle J., De Moor B. Genetic weight optimization of a feedforward neural network controller // Proceedings of the Conference on Artificial Neural Nets and Genetic Algotithms, pp. 658-663. Springer Yerlag, 1993.

136. Laarhoven P. van Aarts E. Simulated Annealing: Theory and Application. D. Riedel, Dordrecht. Holland. -1987.

137. Kirkpatrick S., Gellat C.D. Vecchi M. Optimization by Simulated Annealing. Science. 1983. - vol. 220.

138. Metropolis N., and al. Equation of calculation by fast computing machines. -J. of Chem. Phys. -21(6). 1998.

139. Sechen C. Lee K. -W. An improved simulated annealing algorithm for row-based placement //Proc. of the IEEE International Conf. on CAD.-1987.

140. И.В. Ковалев Система интеллектуальной обработки данных в задаче экологического мониторинга и прогнозирования загрязнения атмосферы.

141. Международный конгресс по интеллектуальным системам и информационным технологиям IS&IT' 10 2-9 сентября 2010 года.

142. И.В. Ковалев Интеллектуальная система прогнозирования загрязнения атмосферы. XII Всероссийская научно-техническая конференция "Нейроинформатика 2010". М.: МИФИ, 2010

143. Ковалев И.В. Интеллектуальная система прогнозирования загрязнения атмосферы.// Журнал «Нейрокомпьютеры: разработка, применение», №7, 2010 г.-С.62-66.

144. А.К. Керимов. Анализ и прогнозирование временных рядов. Издатель: Издательство Российского Университета дружбы народов 2005. — 140 с.

145. Дуброва Т.А. Статистические методы прогнозирования: учеб. пособие для вузов. — Москва: ЮНИТИ-ДАНА, 2003.

146. Golovko, V., Savatsky, Ju., Gladischuk, V., A neural net for prediction problems // Proceedings of Int. Conf. on technical informatics Timisoara: University of Timisoara, Romania, 1996, t. 49-52.

147. Golovko, V., Savatsky, Ju., Gladischuk, V., Predicting Neural Net // Proceedings Int. Conf. CM NDT-95, Berlin: DGZfP, 1995, pp.248-353.

148. Головко В.А., Дунец А.П., Левонюк Д.Н. Метод обучения многослойной нейронной сети // Тр. X научно-технической конференции. Брест: - БПИ, 1998, с.8-15.

149. Horts, J., Krogh, A., Palmer, R., Introduction to the theory of neural computation. Addison Wesly Publishing Company, 1991.

150. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18. М.: Радиотехника, 2005. - 256 с.