автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модифицированная нейросеть для обработки информации с селекцией существенных связей

На правах рукописи

Энгель Екатерина Александровна

МОДИФИЦИРОВАННАЯ НЕЙРОСЕТЬ ДЛЯ ОБРАБОТКИ ИНФОРМАЦИИ С ИСПОЛЬЗОВАНИЕМ СЕЛЕКЦИИ СУЩЕСТВЕННЫХ СВЯЗЕЙ

Специальность:

05.13.01- Системный анализ, управление и обработка информации (по отраслям: информатика, вычислительная техника и управление)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Абакан - 2004

Работа выполнена в Хакасском государственном университете им. Н.Ф. Катанова

(г. Абакан)

Научный руководитель доктор технических наук, доцент

Дулесов Александр Сергеевич

Официальные оппоненты: доктор технических наук, профессор

Ковалев Игорь Владимирович

доктор технических наук Миркес Евгений Моисеевич

Ведущая организация: Институт вычислительного моделирования СО РАН

(г. Красноярск)

Защита состоится 3 декабря 2004 года в 14:00 на заседании диссертационного совета Д 212.098.04 при Красноярском государственном техническом университете по адресу: ул. академика Киренского, 26, Красноярск, 660074, ауд. Д 501.

Факс: (3912) 43-06-92 (КГТУ, для каф. САПР)

E-mail: sovet@front.ru

Телефон: (391-2) 49-77-28 (КГТУ, каф. САПР)

С диссертацией можно ознакомиться в библиотеке Красноярского государственного технического университета.

Автореферат разослан 2004 года.

Учёный секретарь диссертационного совета д.т.н.

С. А. Бронов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Создание и развитие новых методов решения слабо формализованных задач основано на автоматизации некоторых интеллектуальных функций принятия решений. На этом пути в настоящее время общезначимым является использование информационных технологий с элементами искусственного интеллекта на базе нейроинформатики.

Нейросетевые модели рассматриваются как самостоятельные средства обработки информации, вне связи с существующими информационными системами и технологиями. Поэтому востребованными являются задачи автоматизированного построения нейросетевых моделей информационных систем. Решение указанных задач сопряжено с выбором и обоснованием структуры нейросети, настройкой её параметров для интеграции нейросети в существующие информационные системы.

Разработка методов интегрирования нейросетей в информационные системы с применением варианта унифицированного формата представления информации о нейросетевой модели, предложенного Е.М. Миркесом, может существенно расширить возможности решения информационных задач в экономических, медицинских, производственных, исследовательских, учебных и других приложениях.

В рамках создания технологии автоматизированного построения нейросете-вых моделей решения практических слабо формализованных задач в нашей стране были разработаны методы выбора и обоснования структуры нейросети, настройки её параметров. Ведущие роли в этом принадлежат ученым: Красноярской группы «Нейрокомп» во главе с А.Н. Горбанем, лаборатории искусственных нейронных сетей NcurOK Software во главе с С Л. Тереховым; Алтайского Государственного Технического Университета во главе с О.И. Пятковским и др. В рамках существующих тенденций перспективны разработка и внедрение нейросети, модифицированной с применением метода группового учета аргументов (МГУА). Ее реализация связана с поиском приемлемого решения слабо формализованной задачи посредством обоснования выбора критерия оценки достижения приемле-

мого решения слабо формализованной задачи, модификации работки данных и разработки методов достижения конечного I

Объект и предмет исследования. В качестве объекта исследования принята нейросетевая система решения слабо формализованных задач. Предмет исследования: структура многослойной нейросети и способы её интеграции в систему решения слабо формализованных задач.

Цель и задачи работы. Получение структуры нейросети, позволяющей эффективно решать слабо формализованные задачи с приемлемой точностью.

Цель достигается решением следующих задач:

1. Дать постановку слабо формализованной задаче, выработать критерий оценки достижения приемлемого решения слабо формализованной задачи;

2. В информационных системах обосновать выбор технологии применения нейросетевых моделей, представленных в унифицированном формате;

3. Адаптировать и дополнить вариант стандарта нейрокомпьютера, с целью модификации нейросети с применением метода группового учета аргументов;

4. Разработать алгоритм построения модифицированной нейросети, допускающей коррекцию части её настроенной структуры для решения слабо формализованных задач с приемлемой точностью;

5. Практически использовать модифицированную нейросеть для решения задач в следующих предметный областях: психология, энергетика.

Основная идея диссертации. Применить МГУА для построения модифицированной нейросети, решающей слабо формализованные задачи с приемлемой точностью.

Методы исследования. Основные теоретические и прикладные результаты работы получены на основе методологии системного анализа, информационного моделирования и использования систем искусственного интеллекта. В процессе конструирования модифицированной нейросети использовались МГУА, теория нейронных сетей, математическое программирование и методы принятия решений.

Основные результаты:

1. Обоснован выбор критерия оценки достижения приемлемого решения сла-' бо формализованной задачи на основе сопоставления предъявленной точности с оценкой максимальной ошибки модели.

2. Модифицированы алгоритмы предобработки числовых признаков (оценки степени корректности задачи; ранжирования выборки; кластеризации данных) для снижения оценки максимальной ошибки нейросетевой модели.

3. Разработан алгоритм построения модифицированной нейросети с применением МГУА, позволяющий получать приемлемое решение слабо формализованной задачи. На базе предложенного алгоритма разработана коррекция выходного слоя модифицированной нейросети, позволяющая находить приемлемое решение в случае, когда настроенная модифицированная нейросеть решает задачу с точностью ниже предъявленной.

Научная новизна работы.

1. Предложена модифицированная нейросеть, которая, в отличие от обычной слоистой нейросети, содержит блоки селекции и использует для достижения приемлемого решения слабо формализованной задачи меньшее количество настраиваемых параметров.

2. Разработан алгоритм настройки последнего блока селекции с применением МГУА, позволяющий находить приемлемое решение в случае, когда настроенная модифицированная нейросеть не решает задачу с требуемой точностью.

Значение для теории. Предложен метод построения модифицированной нейронной сети на основе простых обученных нейросетей, который имеет существенное значение для развития теории нейронных сетей.

Значение для практики. Разработанный алгоритм построения модифицированной нейросети позволяет решать слабо формализованные задачи в разных предметных областях.

Практическая значимость модифицированных нейросетей подтверждается решением следующих прикладных задач: диагностики уровня социальной адаптации первокурсников вузов; повышения уровня социальной адаптации студен-тов-первокурсников; прогноза поквартирного электропотребления многоэтажных застроек.

Коррекция выходного слоя модифицированной нейросети для получения приемлемого решения в случае, когда настроенная модифицированная нейросеть

не решает задачу с требуемой точностью проводится в режиме реального времени.

Обоснованность и достоверность результатов подтверждается сопоставлением результатов решения практических задач модифицированными нейросетями с фактическими данными. Результаты модифицированной нейросети при решении практических задач показали лучшее качество обработки информации по сравнению с другими методами (обычными слоистыми нейросетями, сетями Ко-хонена, МГУА).

Использование результатов диссертации. Результаты исследований:

• внедрены н а МП «Абаканские электрические сети» г. Абакана; необходимость использования материалов обусловлена решениями задач оценки тарифов за потребленную электроэнергию, прогнозирования потребностей в электроэнергии;

• внедрены на кафедре психологии медико-психолого-социального института ХГУ; необходимость решения задач диагностики и повышения уровня социальной адаптации первокурсников вузов вызвана сложностью традиционных психодиагностических методик для их решения;

• используются в учебном процессе Хакасского государственного университета при проведении дисциплины «Системы искусственного интеллекта».

Личный вклад автора заключается в следующем:

1. Автором разработана модифицированная нейросеть для решения слабо формализованной задачи с приемлемой точностью, которая в отличие от обычной слоистой нейросети содержит блоки селекции.

2. Модифицированная нейросеть использована автором при решении практических задач: диагностики и повышения уровня социальной адаптации первокурсников вузов, прогнозирования поквартирного электропотребления многоэтажных застроек.

Апробация работы. Результаты работы были представлены на научных семинарах «Катановские чтения» (г. Абакан) 1999-2004 годы, на 8, 11 и 12 семинарах «Нейроинформатика и ее приложения» (г. Красноярск) в 2001, 2003 и 2004 году.

Публикации. По материалам диссертации опубликовано 8 работ, из них: 1 -статья в изданиях по списку ВАК; 3 — статьи в сборниках; 3 — работы, опубликованные в материалах всероссийских конференций;. 1 — программный продукт, зарегистрированный в ОФАП.

Объем и структура работы. Диссертационная работа общим объемом 109 страниц состоит из введения, трех разделов, заключения, библиографического списка из 126 наименований, включает в себя 15 рисунков, 8 таблиц. В четырех приложениях представлены: документированные листинги (предоработчика, ранжирующего выборку по убыванию дисперсии; алгоритмов классификации и обучения сети Кохонена; программного продукта БМ, используемого для диагностики и повышения уровня социальной адаптации первокурсников вузов); материалы о внедрении и апробации результатов работы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ В первом разделе дана формальная постановка задачи поиска приемлемого решения слабо формализованных задач. Выполнен аналитический обзор методов построения моделей решения слабо формализованных задач .

Практика и опыт научных исследований показывают, что слабо формализованные задачи обладают следующими свойствами:

1. Ошибочностью, неоднозначностью, неполнотой и противоречивостью знаний о предметной области и о решаемой задаче;

2. Синтез математической модели связан с такими затратами, что они существенно превышают выигрыш, приносимый решением;

3. Экспериментальные данные по существу являются неполными (с пропусками), разнородными, косвенными, нечеткими, неоднозначными.

Под слабо формализованной задачей в данной работе понимается набор, содержащий т точек экспериментальных данных 2?=(У/, Ус', ¿2/, ¿2/, О^, У?}, !№}, ..., УУ^), где ¡е{1,.., т}, РГ- вектор ожидаемых реакций системы; V- вектор возможных состояний системы, представляющих собой количественное или качественное описание важнейших признаков; О — вектор воздействий внешней среды. В рамках кибернетического подхода, используя принцип «черного ящика»,

функционирование системы может быть описано некоторой (неизвестной) вектор-функцией У = Р(Х), где Х={(У/, У2', ..., V', П/. П2', ..., Ц/)\ 1=1,....т}, Раз-

мерности векторов равны соответственно

Задачей моделирования является идентификация системы, состоящая в нахождении функционального отношения, алгоритма или системы правил в общей форме ассоциирующей вектор с вектором таким образом, что и

близки в некоторой метрике, отражающей цели моделирования, где - вектор параметров модели Су. Отношение ¥~С(Х,р), воспроизводящее в указанном смысле функционирование системы, получило название модель системы.

Практика и опыт научных исследований показывают, что для приемлемого решения слабо формализованной задачи достаточно найти «хороший» локальный экстремум. Поэтому при заданных условиях с учетом неизвестных факторов во множестве реализуемых моделей решения слабо формализованной задачи ищутся такие модели которые обеспечивают приемлемое решение за-

дачи, где ..., Ко). Такая задача трудноразрешима классическими методами

оптимизации.

Для оценки достижения приемлемого решения слабо формализованной задачи разработан соответствующий критерий. Его формальный выбор заключается в нижеследующем.

Для решаемой задачи существует допустимая абсолютная погрешность в значении функции области соответственно определения и

значения функции. То есть, выполняется соотношение Приемлемое

решение соответствует таким моделям что на всей области определения значения модельной функции и системной отличаются не более

чем на то есть выполняется условие:

Яир^В*

и,- (I)

Левая часть неравенства (1) представляет собой максимальную ошибку модели прямое измерение которой на практике не достижимо, поскольку системная функция при произвольных значениях аргумента неизвестна.

В данной работе максимальная ошибка модели Оц оценивается значением вектора Ец, элементы которого Ецх вычисляются по формуле:

Е,г=та4ГЯх-Гг\. (2)

где хе{1> *!}• У"к~о(Х, рк). Приемлемое решение вырабатывает модель Оц, для которой выполняется соотношение:

ЕЯ<Е'. (3)

Таким образом, (3) - критерий оценки достижения приемлемого решения слабо формализованной задачи. Если условие (3) истинно, то слабо формализованная задача решена; если ложно - точность решения слабо формализованной задачи посредством реализации модели будет ниже предъявленной.

Решение слабо формализованной задачи представляет собой итерационный процесс взаимодействия человека и модели системы (рис.1). Итерация состоит из фазы анализа и подбора входных данных У" для модели системы, выполняемой лицом, принимающим решение, и фазы оптимизации (поиска решения У""* и выполнения его характеристик), реализуемой моделью системы.

Рис 1. Структурная схема решения слабо формализованной задачи

В данном исследовании для идентификации модели слабо формализованной задачи по критерию (3) используется МГУА.

Аналитический обзор технологий решения слабо формализованных задачи выявил перспективность индуктивных методов моделирования. В рамках индук-

тивного подхода одним из эффективных средств решения слабо формализованных задач являются нейронные сети.

Второй раздел посвящен описанию на базе варианта стандарта нейрокомпьютера модифицированной нейросети с применением МГУА

Применение унифицированного формата для описания нейросетевых моделей, на базе варианта стандарта нейрокомпьютера, предложенного Е.М. Миркесом, дает простой и универсальный способ построения нейросетевых моделей и их интеграции в существующие информационные системы.

Выделяются следующие компоненты нейрокомпьютера: 1) пред обработчик, 2) сеть, 3) учитель, 4) интерпретатор, 5) оценка, 6) контрастер, 7) задачник, 8) исполнитель. Для того чтобы генерировать разные решения нейрокомпьютером, необходимо использовать различные варианты его компонентов. Количество

полученных решений в этом случае - количество

альтернативных блоков -го компонента нейромпьютера.

Реализация макрокомпонента нейромпьютер как функции с вектором параметров Р

У'^НЩР. X), (4)

существенно упрощает процессы построения и описания нейросетевой модели, где Р, -идентификатор / -го компонента нейромпьютера, 1е{1,...,8}, X - вектор входных данных, У — вектор выходных данных, У и У близки в некоторой метрике, отражающей цели моделирования. Функция (4) возвращает нейронную сеть структуры обученную учителем представленную в унифицированном формате.

С целью выявления областей нерегулярности слабо формализованной задачи модифицирована предобработка количественных признаков, оценивающая степень корректности задачи на основе кластерного анализа сетью Кохонена. Для использования МГУА модифицированы алгоритмы предобработки качественных упорядоченных и количественных признаков (имеющих нормальное распределение): ранжирования выборки, кластеризации данных.

Для выработки приемлемого решения слабо формализованной задачи модифицирована нейросеть (рис.2) с применением МГУА

Рис.2. Модифицированная нейросеть

Возможно два варианта реализации модифицированной нейросети. Первый из них предусматривает ее реализацию в виде универсального обучаемого ней-роимитатора, способного как решать задачи, так и обучаться их решению. Второй

— предполагает создание и обучение модифицированной нейросети на внешних универсальных нейроимитаторах с последующей ее интеграцией в существующую информационную систему. В данной работе использовался внешний ней-роимитатор NeuroPro 0.25 (разработчик Царегородцев В.Г.).

Предложенная модифицированная нейросеть выполняет следующие функции:

-1. Генерацию возможных решений;

2. Получение явного алгоритма решения;

3. Определение пригодности решения;

4. Коррекцию выходного слоя модифицированной нейросети, позволяющую находить приемлемое решение в случае, когда настроенная модифицированная нейросеть решает задачу с точностью ниже предъявленной.

В модифицированной нейросети (рис. 3) функции 1 и 2 выполняются параллельно, что существенно снижает вычислительные затраты.

Процесс реализации модифицированной нейросети состоит из двух этапов:

1. Построение модифицированной нейросети для решения практической слабо формализованной задачи;

2. Использование модифицированной нейросети для решения задачи.

Рис. 3. Вычислительный граф модифицированной нейросети

Модифицированная нейросеть составлена из нейронных сетей РУ{и в количестве, соответственно, - количество проведенных рядов селекции, - количество генерируемых модифицированной нейро-сетью решений, рО — свобода выбора,Xе{1, ...,р0}, ге{1,..., у-1}.

В блоках селекции заложен алгоритм, использующий МГУА для отбора ней-росетей по критерию регулярности на каждом ряду селекции. Условие прекращения селекции (построена модифицированная нейросеть, решающая задачу с предъявленной точностью) - выполнение критерия оценки достижения приемлемого решения слабо формализованной задачи для нейросетей Использование классического анализа коэффициентов корреляции между сигналами внутри слоя в алгоритме построения модифицированной нейросети позволяет избежать избыточности её архитектуры, что упрощает структуру модифицированной нейросети.

В третьем разделе описан процесс настройки двух модифицированных ней-росетей осуществляющих: первая - диагностику и повышение уровня социальной адаптации студентов первокурсников; вторая - прогноз поквартирного электропотребления многоэтажных застроек.

С целью изучения возможностей применения в психологии модифицированной нейросети были решены 2 практические задачи, необходимость решения которых обусловлена рядом причин: экспериментальные данные на 220 первокурсников представляют собой зашумленную информацию, поскольку были получены в ходе «бланковых» психодиагностических методик; количественные или качественные зависимости между параметрами неизвестны; сложность психодиагностических методик оценки и повышения уровня социальной адаптации студентов первокурсников.

Задача 1 (прямая): диагностировать уровень социальной адаптации первокурсников вузов Уп =У (1 уровень - низкая адаптация, 2 - средняя, 3 - высокая) по ряду показателей.К, (1-1, 2, ..., 16), характеризующих личностные характеристики студента.

Задача 2 (комбинированная): повысить уровень социальной адаптации студентов-первокурсников (с 1-го уровня до 2-го или 3-го; со 2-го уровня до 3-го), скорректировав личностные характеристики V, (1=10,16).

Допустимая абсолютная погрешность в значении системной функции; Е'<0.5, т.к. У - целое число. Величина Е' принята равной 0.4.

Выборка экспериментальных данных была разбита

на обучающую Т,={№". У')\ 511=11,...,220} и тестовую У2)]

5/2=/,..., 10}. Выборка Т} была получена следующим образом объекты 1-го, 2-го и 3-го класса были случайным образом выбраны из N в количестве соответственно 3,4 и 3. Выборка Т2= Ы-Т,.

Определение множества наиболее значимых параметров, сокращение размерности признакового пространства с 16 до 7 реализовано посредством нейросе-тевого факторного анализа выборки N.

В таблице 1 представлен сопоставительный анализ построенных по выборке Т/ моделей решения прямой задачи, где К( (1=1,2) - процент элементов выборки для которых критерий оценки достижения приемлемого решения слабо формализованной задачи выполняется. Из таблицы 1 видно, что для решения прямой задачи пригодны две нейросети: обычная слоистая и модифицированная.

Таблица 1. Сопоставительный анализ моделей решения прямой задачи

Модель {среда реализации} Описание модели Критерий оценки достижения приемлемого решения слабо формализованной задачи

по Г, к, % по Т2 к2 %

Сеть Кохонена {Mathcad2000} Устойчивая (относительно смены центроидов) классификация не выполняется (2>0.5) 56 не выполняется (2>0.5) 23.5

Обычная слоистая нейросеть {NeuroPro 0.25, Mathcad2000} Обычная слоистая нейросеть, оценка константы Липшица которой равна 60* количество настраиваемых параметров 591 выполняется (0.27<0.5) 100 выполняется (0.4<0.5) 100

Модифицированная нейросеть {NeuroPro 0.25, Mathcad2000, Visual С++ 6.0} Модифицированная нейросеть, оценка константы Липшица которой равна 3.4*106; найдена после двух рядов селекции; количество настраиваемых параметров 219 выполняется (0.29<0.5) 100 выполняется (0.33<0.5) 100

Тестирование обычной слоистой и модифицированной нейросетей по вы-

борке Тз представлено на рисунке 4.

Рис.4. Тестирование нейросетей по выборке Т2

Таким образом, сложность построенной модифицированной нейросети для решения прямой задачи меньше сложности обычной слоистой (3.4*1& < 60*106). По принципу бритвы Оккама решение, вырабатываемое модифицированной ней-росетью предпочтительнее решения обычной слоистой нейросети.

Решение комбинированной задачи осуществлялось методом полного перебора, посредством функционирования модифицированной нейросети, построенной для решения прямой задачи. Такой способ обусловлен тем, что два корректируемых поля принимают конечное множество целочисленных значений. Модифицированная нейросеть, построенная для решения прямой задачи и алгоритм решения комбинированной задачи были реализованы в среде программным

продуктом для диагностики и повышения уровня социальной адаптации первокурсников вузов (рис.5), решения которого согласуются с реальными данными.

Д Диагностика и повышение уровня социальной адаптации первокурсников вузов - ОМ 11и1 |

№ Е.Я Васиб »ей И* , 4 1 "-»г ' » ~ } 1*"

0|й|Н1 Л]:*>>№ НЙ1 ;?1 4 . "

^Евтушенко

вывести уровень ¡^циальлой

• ; поеысигь урове«! САV - *

1Г ■ Г- Г"

I ' мотивация, сойильныв

статус ■

р [{йЬЙипЯ р ' "«р^ ' "I20 р - '

кшмчшлве * • ]

Рис. 5. Интефейс программного продукта

С целью изучения возможностей использования в энергетике модифицированной нейросети была решена практическая задача прогноза поквартирного электропотребления многоэтажных застроек г. Абакана. Количество потребленной электроэнергии квартиры - прогнозировалось по ряду показателей: - количество комнат в квартире; — количество человек, проживающих в квартире; У3 - тариф; V4 - частота оплаты; V¡ — общий семейный доход за месяц. В МП «Абаканские элекрические сети» были собраны экспериментальные данные по 100 квартирам (т=100)^{(Х.У)\1=1,...,т}, где Х=(Г/г У2,..., V,).

Причины необходимости решения задачи прогноза поквартирного электропотребления многоэтажных застроек г. Абакана следующие: данные неточные, неполные вследствие невозможности проконтролировать верность ответов респондентов по совершенствование традиционной методики прогноза поквартирного электропотребления.

Допустимая абсолютная погрешность в значении системной функции; Е'<0.5, т.к. погрешность измерения У- 1 (квт/ч). Величина Е' принята равной 0.4.

Сокращение размерности признакового пространства с 5 до 3, определение множества наиболее значимых параметров, реализовано посредством нейросете-вого факторного анализа выборки

Выборка экспериментальных данных была разбита

случайным образом на обучающую и тестовую

В таблице 2 представлен сопоставительный анализ построенных по выборке моделей решения задачи, где — процент элементов выборки для

которых критерий оценки достижения приемлемого решения слабо формализованной задачи выполняется. Из таблицы 2 видно, что для решения задачи прогноза поквартирного электропотребления многоэтажных застроек пригодны две ней-росети: обычная слоистая и модифицированная.

Сопоставление абсолютных ошибок нейросетей по тестовой выборке представлено на рисунке 6.

Таблица 2. Сопоставительный анализ моделей решения задачи прогноза поквар-тирного электропотребления__

Модель Описание Критерий оценки достижения прием-

{среда реали- модели лемого решения задачи

зации} {средняя погрешность прогноза, %}

по Т, к, по Т2 К2 %

Полное описа- Полином Колмогоро- выполняется % не выполня- 30

ние объекта по ва-Габора второй сте- (0.4<0.5) ется

МГУА пени, найденный по- (2.3>0.5)

{МаШсаё2000} сле двух рядов селекции

Обычная Обычная выполняется 100 выполняется 100

слоистая ней- слоистая нейросеть, (037<0.5) (0.4<0.5)

росеть оценка константы {0.27%} {0.3%}

{№игоРго 0.25, Липшица которой

МаШсаё2000} равна 58.4*1О6; количество настраиваемых параметров 556

Модифициро- Модифицированная выполняется 100 выполняется 100

ванная нейро- нейросеть, оценка (0.25<0.5) (0.35<0.5)

сеть {№игоРго константы Липшица {0.23%} {0.25%}

0.25, которой равна 7.7*70*;

МаШсаё2000} количество настраиваемых параметров 125; найдена после двух рядов селекции

1 23456789 10

номер объекта

'□Модифицированная нейросеть АНейросеть]

Рис.6. Сопоставление по выборке абсолютных ошибок нейросетей -Е

Сложность построенной модифицированной нейросети для решения задачи меньше сложности обычной слоистой нейросети {1.7*1&< 58.4*1&). По принципу бритвы Оккама решение, вырабатываемое модифицированной нейросетью предпочтительнее решения обычной слоистой нейросети.

ЗАКЛЮЧЕНИЕ

Основные результаты исследований заключаются в следующем:

1. Обоснован выбор критерия оценки достижения приемлемого решения слабо формализованной задачи на основе сопоставления предъявленной точности с оценкой максимальной ошибки модели.

2. Модифицированы алгоритмы предобработки признаков (оценки степени корректности задачи; ранжирования выборки; кластеризации данных) для снижения оценки максимальной ошибки нейросетевой модели.

3. Предложена модифицированная нейросеть, которая, в отличие от обычной слоистой нейросети, содержит блоки селекции и использует для достижения приемлемого решения слабо формализованной задачи меньшее количество настраиваемых параметров. На базе разработанного алгоритма построения модифицированной нейросети предложена коррекция ее выходного слоя, позволяющая находить приемлемое решение в случае, когда настроенная модифицированная нейросеть решает задачу с точностью ниже предъявленной.

4. Результаты модифицированной нейросети при решении практических задач показали лучшее качество обработки информации по сравнению с другими методами (обычными слоистыми нейросетями, сетями Кохонена, МГУА).

5. Практическая значимость модифицированных нейросетей подтверждается решением следующих прикладных задач: диагностики уровня социальной адаптации первокурсников вузов; повышения уровня социальной адаптации студентов-первокурсников; прогноза поквартирного электропотребления многоэтажных застроек.

6. Результаты диссертационной работы отражены в восьми публикациях.

Основные положения работы отражены в следующих публикациях:

1. Энгель, Е.А. Применение нейросетевых алгоритмов для моделирования системы принятия решений / ЕА Энгель // Вестник Хакасского Государственного ун-та им. Н.Ф. Катанова. Серия 1: «Математика. Информатика». - Абакан: Изд-во ХГУ им. Н.Ф. Катанова, 1999. -Вып.З.-С. 172-174.

2. Афанасьева (Энгель), Е.А. Исследование нейронных сетей для построения графиков электрической нагрузки / Е.А. Афанасьева, А.С. Дулесов // Изв. Вузов. Электромеханика. -1998. -№2-3.-С.1О7.

3. Энгель, Е.А. Нейрокибернетические модели системы принятия решений / ЕА Энгель // Вестник Хакасского Государственного ун-та им. Н.Ф. Катанова. Серия 1: «Математика. Информатика». - Абакан: Изд-во ХГУ им. Н.Ф. Катанова, 1999. -Вып.З .-С. 174-177.

4. Энгель, Е.А. Генерация решений нейрокомпьютером / Е.А. Энгель // Вестник Хакасского Государственного ун-та им. Н.Ф. Катанова. Серия 1: «Математика. Информатика». - Абакан: Изд-во ХГУ им. Н.Ф. Катанова, 2001. -Вып.З. -С. 153-156.

5. Энгель, Е.А. Использование экономической, интуиции ИНС для прогноза процентной ставки / Е.А. Энгель // Материалы VIII Всероссийского семинара «Нейроинформатика и ее приложения» / Под ред. А.Н. Горбаня, Е.М. Миркеса -Красноярск: ИВМ СО РАН, 2000. -С. 181-185.

6. Энгель, Е.А. Нейросетевая модель системы поддержки принятия решений / ЕА Энгель // Материалы XI Всероссийского семинара «Нейроинформатика и ее приложения» / Под ред. А.Н. Горбаня, Е.М. Миркеса - Красноярск: ИВМ СО РАН, 2003.-С.188-189.

7. Энгель, Е.А. Практическая реализация нейросетевой модели СППР для диагностики и повышения уровня социальной адаптации первокурсников вузов / ЕА Энгель // Материалы XII Всероссийского семинара «Нейроинформатика и ее приложения./ Под ред. А.Н. Горбаня, Е.М. Миркеса - Красноярск: ИВМ СО РАН, 2004.-С. 183-185.

8. Энгель, Е.А. Программный продукт DM для диагностики и повышения уровня социальной адаптации первокурсников вузов. Свидетельство об официальной регистрации программы для ЭВМ. Номер регистрации ОФАП 3972. Номер госрегистрации - 50200401224.

#21 5 8 О

РНБ Русский фонд

2005-4 18970

Энгель Екатерина Александровна Модифицированная нейросеть для обработки информации с селекцией существенных связей. Автореф. дисс. на соискание учёной степени кандидата технических наук. Подписано в печать 28.10.2004. Заказ № 2Ц5 Формат 60x90/16. Усл. печ. л. 1. Тираж 100 экз. Типография Красноярского государственного технического университета

ВВЕДЕНИЕ

1. АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ РЕШЕНИЯ СЛАБО

ФОРМАЛИЗОВАННЫХ ЗАДАЧ.

1.1. Формальная постановка задачи поиска приемлемого решения СФЗ

1.2. Сравнительный анализ методов автоматизации решения СФЗ

1.3. Возможность применения нейронных сетей для решения СФЗ

1.4. Нейросетевые методы решения СФЗ

1 ^.Стандартизация и унификация описания нейронных сетей

1.6. Системы моделирования нейронных сетей на персональных ЭВМ

Выводы

2. МОДИФИЦИРОВАННАЯ НЕЙРОСЕТЬ ДЛЯ ОБРАБОТКИ ИНФОРМАЦИИ С СЕЛЕКЦИЕЙ СУЩЕСТВЕННЫХ СВЯЗЕЙ

2.1. Применение нейросетевых компонентов в информационных системах на основе унифицированного формата представления нейросетевой модели

2.2. Описание варианта стандарта нейрокомпьютера, адаптированного и дополненного с целью с целью модификации нейросети

2.3. Модифицированная нейросеть с селекцией существенных связей

Выводы

3. АПРОБАЦИЯ МОДИФИЦИРОВАННОЙ НЕЙРОСЕТИ ПРИ РЕШЕНИИ ПРИКЛАДНЫХ ЗАДАЧ

3.1. Особенности практических СФЗ в психологии.

3.2. Решение задачи диагностики уровня социальной адаптации первокурсников вузов

3.3. Решение задачи повышения уровня социальной адаптации студентов первокурсников

3.4. Решение задачи прогноза поквартирного электропотребления многоэтажных застроек г. Абакана.

Выводы

Актуальность темы. Практические слабо формализованные задачи (СФЗ) обладают множеством свойств:

• сложная структура объекта;

• необходимость быстрого принятия решения на основе переработки больших объемов информации в условиях постоянно меняющихся внешних и внутренних характеристик системы;

• стохастический и динамический характер процессов в объекте;

• большая размерность вектора входных факторов (десятки и сотни);

• наличие качественных, порядковых и количественных факторов;

• мультиколлинеарность вектора входных факторов;

• дефицит наблюдений и др.

Вышеперечисленные особенности приводят к повышению сложности алгоритмического описания модели решения СФЗ.

Создание и развитие новых методов решения СФЗ основано на автоматизации некоторых интеллектуальных функций принятия решений. На этом пути в настоящее время общезначимым является использование информационных технологий с элементами искусственного интеллекта на базе нейроинформатики, широко применяемых в различных областях человеческой деятельности [1-23]. Например, в [17,18] приводится информация о более чем ста приложениях нейронных сетей в областях распознавания изображений, анализа сигналов, робототехники, медицины, финансов, планирования и контроля процессов, управления производством, организации интерфейса и т.д. Поэтому востребованными являются задачи автоматизированного построения нейросетевых моделей информационных систем. Решение указанных задач сопряжено с выбором и обоснованием структуры ней-росети, настройкой её параметров для интеграции нейросети в существующие информационные системы.

Основные усилия исследователей и разработчиков сосредоточены на изучении и развитии теоретических и прикладных аспектов нейроинформатики. При этом нейросетевые модели рассматриваются как самостоятельные средства обработки информации, вне связи с существующими информационными системами и технологиями. Разработка методов интегрирования нейросетевых компонентов в информационные системы с применением варианта унифицированного формата представления информации о нейросетевой модели, предложенного Е.М. Мирке-сом, может существенно расширить возможности решения информационных задач в экономических, медицинских, производственных, исследовательских, учебных и других приложениях.

В рамках создания технологии автоматизированного построения нейросетевых моделей решения практических СФЗ в нашей стране были разработаны методы выбора и обоснования структуры нейросети, настройки её параметров. Ведущие роли в этом принадлежат ученым: Красноярской группы «Нейрокомп» во главе с А.Н. Горбанем, лаборатории искусственных нейронных сетей NeurOK Software во главе с С.А. Тереховым; Алтайского Государственного Технического Университета во главе с О.И. Пятковским и др. В рамках существующих тенденций можно считать перспективным разработку и внедрение модифицированной нейросети, построенной с применением метода группового учета аргументов (МГУА). Ее реализация связана с поиском приемлемого решения СФЗ посредством обоснования выбора критерия оценки достижения приемлемого решения СФЗ, модификации алгоритмов предобработки данных и разработки методов достижения конечного результата.

Объект и предмет исследования. В качестве объекта исследования принята нейросетевая система решения слабо формализованных задач. Предмет исследования: структура многослойной нейросети и способы её интеграции в систему решения слабо формализованных задач.

Цель и задачи работы. Получение структуры нейросети, позволяющей эффективно решать слабо формализованные задачи с приемлемой точностью.

Цель достигается решением следующих задач:

1. Дать постановку слабо формализованной задаче, выработать критерий оценки достижения приемлемого решения слабо формализованной задачи;

2. В информационных системах обосновать выбор технологии применения нейросетевых моделей, представленных в унифицированном формате;

3. Адаптировать и дополнить вариант стандарта нейрокомпьютера, с целью модификации нейросети с применением метода группового учета аргументов;

4. Разработать алгоритм построения модифицированной нейросети, допускающей коррекцию части её настроенной структуры для решения слабо формализованных задач с приемлемой точностью;

5. Практически использовать модифицированную нейросеть для решения задач в следующих предметных областях: психология, энергетика.

Основная идея диссертации. Применить МГУА для построения модифицированной нейросети, решающей слабо формализованные задачи с приемлемой точностью.

Методы исследования. Основные теоретические и прикладные результаты работы получены на основе методологии системного анализа, информационного моделирования и использования систем искусственного интеллекта. В процессе конструирования модифицированной нейросети использовались МГУА, теория нейронных сетей, математическое программирование и методы принятия решений.

Основные результаты:

1. Обоснован выбор критерия оценки достижения приемлемого решения слабо формализованной задачи на основе сопоставления предъявленной точности с оценкой максимальной ошибки модели.

2. Модифицированы алгоритмы предобработки числовых признаков (оценки степени корректности задачи; ранжирования выборки; кластеризации данных) для снижения оценки максимальной ошибки нейросетевой модели.

3. Разработан алгоритм построения модифицированной нейросети с применением МГУА, позволяющий получать приемлемое решение слабо формализованной задачи. На базе предложенного алгоритма разработана коррекция выходного слоя модифицированной нейросети, позволяющая находить приемлемое решение в случае, когда настроенная модифицированная нейросеть решает задачу с точностью, ниже предъявленной.

Научная новизна работы:

1. Предложена модифицированная нейросеть, которая, в отличие от обычной слоистой нейросети, содержит блоки селекции и использует для достижения приемлемого решения слабо формализованной задачи меньшее количество настраиваемых параметров.

2. Разработан алгоритм настройки последнего блока селекции с применением МГУА, позволяющий находить приемлемое решение в случае, когда настроенная модифицированная нейросеть не решает задачу с требуемой точностью.

Значение для теории. Предложен метод построения модифицированной нейронной сети на основе простых обученных нейросетей, который имеет существенное значение для развития теории нейронных сетей и разработки методов интеллектуальной поддержки при решении слабо формализованных задач обработки информации.

Значение для практики. Разработанный алгоритм построения модифицированной нейросети позволяет решать слабо формализованные задачи в разных предметных областях.

Практическая значимость модифицированных нейросетей подтверждается решением следующих прикладных задач: диагностики уровня социальной адаптации первокурсников вузов; повышения уровня социальной адаптации студентов-первокурсников; прогноза поквартирного электропотребления многоэтажных застроек.

Коррекция выходного слоя модифицированной нейросети для получения приемлемого решения в случае, когда настроенная модифицированная нейросеть не решает задачу с требуемой точностью, проводится в режиме реального времени.

Обоснованность и достоверность результатов подтверждается сопоставлением результатов решения практических задач модифицированными нейросетями с фактическими данными. Результаты модифицированной нейросети при решении практических задач показали лучшее качество обработки информации по сравнению с другими методами: сетями Кохонена и МГУА не удалось достичь приемлемого решения практической слабо формализованной задачи; по сравнению с обычными слоистыми нейросетями оценки максимальных ошибок модифицированных нейросетей снизились при сокращении количества настраиваемых параметров и снижении оценок констант Липшица.

Использование результатов диссертации. Результаты исследований:

• внедрены на МП «Абаканские электрические сети» г. Абакана; необходимость использования материалов обусловлена решениями задач оценки тарифов за потребленную электроэнергию, прогнозирования потребностей в электроэнергии;

• внедрены на кафедре психологии медико-психолого-социального института ХГУ; необходимость решения задач диагностики и повышения уровня социальной адаптации первокурсников вузов вызвана сложностью традиционных психодиагностических методик для их решения;

• используются в учебном процессе Хакасского государственного университета при проведении дисциплины «Системы искусственного интеллекта».

Личный вклад автора заключается в следующем:

1. Автором разработана модифицированная нейросеть для решения слабо формализованной задачи с приемлемой точностью, которая в отличие от обычной слоистой нейросети содержит блоки селекции.

2. Модифицированная нейросеть использована автором при решении практических задач: диагностики и повышения уровня социальной адаптации первокурсников вузов, прогнозирования поквартирного электропотребления многоэтажных застроек.

Апробация работы. Результаты работы были представлены на научных семинарах «Катановские чтения» (г. Абакан) 1999-2004 годы, на 8, 11 и 12 семинарах «Нейроинформатика и ее приложения» (г. Красноярск) в 2001, 2003 и 2004 году.

Публикации. По материалам диссертации опубликовано 8 работ, из них: 1 -статья в изданиях по списку ВАК; 3 - статьи в сборниках; 3 — работы, опубликованные в материалах всероссийских конференций;. 1 - программный продукт, зарегистрированный в ОФАП.

Объем и структура работы. Диссертационная работа общим объемом 109 страниц состоит из введения, трех разделов, заключения, библиографического списка из 126 наименований, включает в себя 15 рисунков, 8 таблиц. В четырех

Основные результаты исследований заключаются в следующем:

1. Обоснован выбор критерия оценки достижения приемлемого решения слабо формализованной задачи на основе сопоставления предъявленной точности с оценкой максимальной ошибки модели.

2. Модифицированы алгоритмы предобработки признаков (оценки степени корректности задачи; ранжирования выборки; кластеризации данных) для снижения оценки максимальной ошибки нейросетевой модели.

3. Предложена модифицированная нейросеть, которая в отличие от обычной слоистой нейросети содержит блоки селекции и использует для достижения приемлемого решения слабо формализованной задачи меньшее количество настраиваемых параметров. На базе разработанного алгоритма построения модифицированной нейросети предложена коррекция ее выходного слоя, позволяющая находить приемлемое решение в случае, когда настроенная модифицированная нейросеть решает задачу с точностью ниже предъявленной.

4. Результаты модифицированной нейросети при решении двух практических задач показали лучшее качество обработки информации по сравнению с другими методами: сети Кохонена и МГУ А не дали приемлемых решений практических слабо формализованных задач; по сравнению с обычными слоистыми нейросетя-ми оценки максимальных ошибок модифицированных нейросетей снизились при сокращении количества настраиваемых параметров и снижении оценок констант Липшица.

5. Практическая значимость модифицированных нейросетей подтверждается решением следующих прикладных задач: диагностики уровня социальной адаптации первокурсников вузов; повышения уровня социальной адаптации студентов-первокурсников; прогноза поквартирного электропотребления многоэтажных застроек.

6. Результаты диссертационной работы отражены в восьми публикациях.

ЗАКЛЮЧЕНИЕ

1. Галанский Б.Л., Поляков В.И. Информационные системы Томск: Изд-во Том. ун-та, 1989 .- 154 с.

2. Айзерман М.А., Вольский В.И., Литваков Б.М. Элементы теории выбора. Псевдокритерии и псевдокритериальный выбор. Москва. 1994.

3. Искусственный интеллект; В 3 кн. Кн.2 Модели и методы; Справочник /Под ред. ДА. Поспелова. М.: Радио и связь, 1990. - 304 с.

4. Поспелов Д.А. Ситуационное управление: теория и практика. М.: Наука, 1986.288 с.

5. Попов Э. В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ.-М.: Наука, 1987.-288 с.

6. Сойер В., Фостер Д.Л. Программирование экспертных систем на Паскале; пер. с англ. М.: Финансы и статистика, 1990. - 191 с.

7. Таундсен К., Фохт Д. Проектирование и программная реализация экспертных систем на персональных ЭВМ: Пер. с англ.- М.: Финансы и статистика, 1990. -320 с.

8. Уотермен Д. Руководство по экспертным системам; пер. с англ. -М.: Мир, 1989. -389 с.

9. Представление и использование знаний: Пер. с япон./ Под ред. X. Уэно, М. Исидзука.-М.: Мир, 1989. -220 с.

10. Ю.Осуга С. Обработка знаний: Пер. с япон. М.: Мир, 1989. -293 с.

11. Приобретение знаний: Пер. с япон./ Под ред. С.Осуги, Ю. Саэки. М.: Мир, 1990.- 304 с.

12. Towell G. G., J. W. Shavlik .Knowledge-Based Artificial Neural Networks. Artificial Intelligence, 70,1994, pp. 119-16513.0rsier В., B.Amy, V.Rialle, A.Giacometti. A study of the hybrid system SYNHESYS. In Proc. of ECAI-94, Amsterdam, 1994, 10 p.

13. Искусственный интеллект; В 3 кн. Кн.1. Системы общения и экспертные системы; Справочник/ Под ред. Э.В. Попова. М.: Радио и связь, 1990. - 464с.

14. Айвазян С .А., Енюков И.С., Мешалкин Л. Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985.

15. Россиев Д.А. Медицинская нейроинформатика / Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

16. Kemsley, D.H., Т. R. Martinez. A Survey of Neural Network Research and Fielded Applications// International Journal of Neural Networks: Research and Applications, vol. 2, No. 2/3/4, 1992, pp.123-133

17. Sarle W. Frequent asked question on neural network. ftp://ftp.sas.com/pub/neural/FAQ.html

18. Горбань A.H., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука. Сибирская издательская фирма РАН, 1996.

19. Афанасьева (Энгель), Е.А. Исследование нейронных сетей для построения графиков электрической нагрузки / Е.А. Афанасьева, А.С. Дулесов // Изв. Вузов. Электромеханика. -1998. -№2-3.-С.Ю7.

20. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998. - 224 с.

21. Энгель Е.А. Использование экономической интуиции ИНС для прогноза процентной ставки // Нейроинформатика и ее приложения: материалы VIII Всероссийского семинара / Под ред. А.Н.Горбаня. КГТУ. Красноярск, 2000.

22. Hristev, R.M. The ANN Book. 1998, 395p. FTP://ftp.funet.fi/pub/sci/neural/books.

23. Миркес E.M. Нейрокомпьютер. Проект стандарта. Новосибирск: НАУКА, 1999.

24. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М. Наука. Физматлит.1996.

25. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. -М.:СИНТЕГ,1998.

26. Simonovic A., Slobodan P. Decision support for sustainable water resources development in water resources planning in a changing world. // Proceeding of International UNESCO symposium, Karlsruhe, Germany, p.III.3-13, 1994.

27. Ginsberg M.J., Stohr E.A. A decision support: Issues and Perspectives.// Proceesses and Tools for Decision Support. Amsterdam, North-Holland Publ.Co, 1983.

28. Simon H, Newell A. Heuristic problem solving: the next advance in operations research.// Operations research, v.6,1958.

29. Дородицин А.А. Информатика: предмет и задачи//Кибернетика. Становление информатики. М.: Наука, 1985. - С. 22-28.

30. Иванов Ю.А. Алгоритмы принятия решений и структурный синтез систем в информационных технологиях мониторинга, контроля и управления по энергетическим характеристикам акустических волновых полей. 1999.№ 10

31. Кузин Л.Т. Основы кибернетики: В 2х т. Т.2 Основы кибернетических моделей.-М.: Энергия, 1979.- 584 с.

32. Нильсон Н. Искусственный интеллект. М.: Мир, 1973. -270 с.

33. Хант Э. Искусственный интеллект. М.: Мир, 1978, -558 с.35.3агоруйко Н.Г. Методы распознавания и их применение. М.: Сов. радио, 1972.206 с.

34. Лбов Г.С. Методы обработки разнотипных экспериментальных данных.-Новосибирск: Наука, 1981.- 157 с.

35. Фор А. Восприятие и распознавание образов.- М.: Машиностроение, 1989.272с.

36. Вапник В.Н., Червоненкис А.Ф. Теория распознавания образов. М.: Наука, 1974.

37. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.- 512с.

38. Ларичев О.И. Объективные модели и субъективные решения М. Наука.1987.41 .Саати Т. Принятие решений. Метод анализа анархий. М. Радио и связь. 1993.

39. Бурков В.Н., Новиков В.А. Введение в теорию активных систем. М. ИПУ.1996.

40. Бурков В.Н., ЕналеевА.К., Новиков Д. А. Механизмы функционирования социально-экономических систем с сообщением информации // АиТ №3, 1996,с.З-25.

41. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. Статические и динамические экспертные системы. М. Финансы и статистика. 1996.

42. Макроум Б. Макетирование моделированием. PC Magazine. Russian edition.№9, C.120, 1996.

43. Макаров И.М., Виноградская Т.М., Рубчинский A.B., Соколов В.Б. Теория выбора и принятия решений. М.: Наука, 1982.

44. Трахтенгерц Э.А. Согласование решений в распределенных вычислительных системах поддержки принятия решений. // АиТ №3, с.145-160, 1996.

45. Крабб Д. Мощные рабочие станции // PC Magazine. Russian edition, Спец. выпуск. 1993-1994, с.14-39.

46. Трахтенгерц Э.А. Принятие решений на основе компьютерного анализа. М. Институт проблем управления .1996.

47. Zadeh L.A. Fuzzy sets/flnf. and Control № 8, 1965, p. 338-353.

48. Трахтенгерц Э.А. Генерация, оценка и выбор сценария в системах поддержки принятия решения. // АиТ, №3, 1997, с. 167-178.

49. Кини P.JL, Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М. Радио и связь. 1984.

50. Honavar V., L. Uhr. Integrating Symbol Processing and Connectionist Networks. -Invited chapter. In: Intelligent Hybrid Systems. 1995, pp. 177-208. Goonatilake, S. and Khebbal, S. (Ed.) London: Wiley.

51. Гаврилова Т.А., Червинская K.P. Извлечение и структурирование знаний для экспертных систем. М.:Радио и связь, 1992.- 200 с.

52. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989.

53. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия.- М.: Финансы и статистика, 1982.- 239 с.

54. Боровков А.А. Математическая статистика.- Новосибирск: Наука; Изд-во Ин-та математики, 1997.-772 с.

55. Sarle W. Neural networks and statistical models. In Proc. of 19th Annual SAS users group international conference, 1994, 13 p. ftp://ftp.sas.com/pub/neural/inter95.ps.

56. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ.-М. :Высш.шк., 1989. 376 с.

57. Клир Дж. Системология. Автоматизация решения системных задач: Пер. с англ-М.:Радио и связь, 1990.-544 с.

58. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП «ParaGraph», 1990. -160 с.

59. Горбань А.Н. Быстрое дифференцирование, двойственность и обратное распространение ошибки / Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. С. 73-100.

60. Гилева JI.B., Гилев С.Е., Горбань А.Н., Гордиенко П.В., Еремин Д.И., Коченов Д.А., Миркес Е.М., Россиев Д.А., Умнов H.A. Нейропрограммы. Учебное пособие: В 2 ч. // Красноярск, Красноярский государственный технический университет, 1994. 260 с.

61. Методы нейроинформатики. Сб.научн.трудов./ Под ред. А.Н. Горбаня. Красноярск: КГТУ. 1998. -204 с.

62. Нейроинформатика / А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин, Е.М.Миркес, А.Ю.Новоходько, Д.А.Россиев, С.А.Терехов, М.Ю.Сенашова,

63. B.Г.Царегородцев.-Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.-296 с.

64. Горбань А.Н. Нейрокомпьютер, или Аналоговый ренессанс. Мир ПК, 1994. № 10.1. C. 126-130.

65. Маккалок Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956.

66. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965.

67. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.

68. Дунин-Барковский В.Л. Информационные процессы в нейронных структурах. -М.: Наука, 1978.

69. Соколов E.H., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. -238 с.

70. Poggio T. and F. Girosi A Theory of Networks for Approximation and Learning. MIT AI memo 1140, 1989, 87 p.

71. Heht-Nielsen R. Theory of the backpropagation neural network. Neural Networks for Human and Mashine Perception. H.Wechsler (Ed.). Vol. 2. Boston, MA: Academic Press, 1992. PP. 65 -93.

72. Olmsted D. D. History and Principles of Neural Networks http://www.neurocomputing.org/history.htm

73. Люблинский P.H., Оскорбин H.M. Методы декомпозиции при оптимальном управлении непрерывными производствами. -Томск: Изд-во ТТУ, 1979.220 с.

74. Bishop С.М. Theoretical foundation of neural networks. Aston Univ., UK Tech.Rep.NCRG-96-024, Neural computing research group, 1996, 8p.

75. Lizhong Wu and John Moody. A Smoothing Regularizer for Feedforward and Recurrent Neural Networks Neural Computation 8:3, 1996.

76. Bishop C.M. Regularization and complexity control in feed-forward networks. Aston University, Tech.Rep.NCRG-95-022, Neural computing research group, 1995, 8p.aL

77. Sarle W. Stopped training and other remedies for overfitting. In Proc. of the 27 Symposium on the Interface, 1995,10 p.

78. Jondarr C.G. Back propagation family album. Technical report C/TR96-05, Macquarie University, 1996, 72 p.

79. Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981.-302 с.

80. Гилл Ф., Мюррей У., РайтМ. Практическая оптимизация. М.: Мир,1985. -509с.

81. Amari, S., N. Murata, K.-R. Muller, M. Finke, H. Yang. Asymptotic Statistical Theory of Overtraining and Cross-Validation. METR 95-06, Department of Mathematical Engineering and Information Physics, University of Tokyo, 1995

82. Lowe D., C. Zapart. Point-wise confidence interval estimation by neural networks: a comparative study based on automotive engine calibration- Neural Computing and Application. 1999, 8, pp 77-85, Springer-Verlag London.

83. Bishop C.M. Novelty Detection and Neural Network Validation. IEE Proceedings: Vision, Image and Signal Processing. 1995, pp 217—222.

84. Fiesler E. Neural network classification and formalization. Computer Standarts and interfaces, v. 16, Elseiver Science publishers, Amsterdam, 1994. 13p.

85. Neural Bench. Теория по нейронным сетям, http://www.neuralbench.ru/theory/

86. Царегородцев В.Г. Нейроимитатор NEUROPRO // Нейроинформатика и ее приложения: Тез. докл. VI Всероссийского семинара, 2-5 октября 1998 г. / Под ред. А.Н.Горбаня. КГТУ. Красноярск, 1998.

87. Гилева Л.В., Гилев С.Е., Горбань А.Н. Нейросетевой бинарный классификатор "CLAB" (описание пакета программ). Красноярск: Ин-т биофизики СО РАН, 1992. 25 с. Препринт № 194 Б.

88. Компания «Нейропроект». http://www.neuroproiect.ru/

89. Нейроимитатор «Neural bench», http://www.neuralbench.ru/.

90. Пакет программ «NeuroOffice». http://canopus.lpi.msk.su/neurolab/

91. Квичанский А.В., Терехов С.А. Методы нейросетевого информационного моделирования в комплексе NIMFA // Нейроинформатика и ее приложения: Тезисы докладов IV Всероссийского семинара / Под ред. А.Н.Горбаня. Красноярск: КГТУ. 1996 . С. 122

92. California Scientific Software, http://www.calsci.com/

93. Stuttgarter Neural Network Simulator. University of Tuebingen. Germany. http://www-ra.informatik.uni-tuebingen.de/SNNS.

94. MATLAB Neural Network Toolbox, http: //kalman. iau. dtu. dk/Proj ects/proj/nnsy sid.html

95. Smieja FJ. Multiple Network System (MINOS) modules: task division and moduletV»discrimination. In Proc. of 8 AISB conference on Artificial Intelligence, Leeds, 1991

96. Jabri M. A users guide to the MUME system. Technical report. Systems engineering and design automation laboratory. University of Sydney, 1992, 135 p.

97. M.de Francesco. Functional network. A new computational framework for specification, simulation and algebraic manipulation of modular neural systems. PhD Thesis, University of Geneva. 1994, 128 p.

98. Пятковский О.И., БутаковС.В., Рубцов Д.В. Методы построения интеллектуальных информационных систем анализа экономической деятельности предприятий. Барнаул: Изд-во АлтГТУ, 1999. 168 с.

99. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. Сб.научн.трудов / Под ред. А.Н. Горбаня. Красноярск: КГТУ. 1998. С. 176-197.

100. MacGarry К., S.Wermter, J.MacIntyre. Hybrid neural system: from simply coupling to fully integrated neural network//Neural computing surveys, 2,1999, pp. 6293.

101. Towell G. G., J. W. Shavlik. The Extraction of Refined Rules from Knowledge-Based Neural Networks. Machine Learning, 13,1993, pp. 71-101

102. Mahoney J. J. Combining Symbolic and Connectionist Learning Methods to Refine Certainty-Factor Rule-Bases. Ph.D. Thesis, Department of Computer Sciences, University of Texas at Austin, 1996.

103. T. Kohonen, "Self-organized formation of topologically correct feature maps", Biological Cybernetics, Vol. 43, pp.59-69, 1982.

104. T. Kohonen, Self-Organizing Maps, Springer, 1995.

105. R. Hecht-Nielsen, "Counterpropagation networks", Applied Optics, Vol. 23, No. 26, pp. 4979-4984, 1987.

106. R. Hecht-Nielsen, "Counterpropagation networks", Proc. First IEEE Int. Conf. on Neural Networks, eds. M.Candill, C.Butler, Vol. 2, pp.19-32, San Diego, CA: SOS Printing. 1987.

107. D. E. Rummelhart, G. E. Hinton, R. J. Williams, "Learning representations by back-propagating errors", Nature, Vol.323, pp.533-536, 1986.

108. Трахтенгерц Э.А. Принятие решений на основе компьютерного анализа. М. Институт проблем управления. 1996.

109. Т.М. Martinetz, S.G. Berkovich, K.J. Schulten. "Neural-gas network for vector quantization and its application to time-series prediction", IEEE Transactions on Neural Networks, Vol. 4, No. 4, p.558-569, 1993.

110. B.Fritzke. "A growing neural gas networks learns topologies", In Advances in Neural Information Processing Systems 7, eds. G.Tesauro, D.S.Touretzky, T.K.Leen, MIT Press, Cambridge MA, pp.625-632, 1995.

111. С. Бир. Мозг фирмы M.: Радио и связь,1993

112. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. 2 изд. М. Наука, 1979.

113. F.Girosi, M.Jones, and T.Poggio. "Regularization Theory and Neural Networks Architectures". Neural Computation, Vol.7, pp.219-269, 1995.

114. Энгель Е.А. Применение нейросетевых алгоритмов для моделирования системы принятия решений // Вестник ХГУ, выпуск 3, серия 1, математика и информатика, Абакан, 1999.

115. Энгель Е.А. Нейрокибернетические модели системы принятия решений// Вестник ХГУ, выпуск 3, серия 1, математика и информатика, Абакан, 1999.

116. Энгель Е.А. Нейросетевая модель системы поддержки принятия решений // Нейроинформатика и ее приложения: материалы XI Всероссийского семинара, Красноярск, 2003.

117. Энгель Е.А. Генерация решений нейрокомпьютером// Вестник ХГУ, выпуск 4, серия 1, информатика, Абакан, 2001.

118. Ивахненко А.Г., Зайченко Ю.П., Димитров В.Д. Принятие решений на основе самоорганизации. М.: Сов. радио. 1976. 280с.

119. Царегородцев В.Г. Взгляд на архитектуру и требования к нейроимитатору для решения современных индустриальных задач // Нейроинформатика и ее приложения: материалы XI Всероссийского семинара, Красноярск, 2003.

120. Энгель, Е.А. Программный продукт БМ для диагностики и повышения уровня социальной адаптации первокурсников вузов. Свидетельство об официальной регистрации программы для ЭВМ. Номер регистрации ОФАП 3972. Номер госрегистрации 50200401224.110