автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Моделирование технологии использования нейронных сетей с учителем для решения прикладных задач

На правах рукописи

РЕШЕТНИКОВА Наталья Владимировна

МОДЕЛИРОВАНИЕ ТЕХНОЛОГИИ ИСПОЛЬЗОВАНИЯ НЕЙРОННЫХ СЕТЕЙ С УЧИТЕЛЕМ ДЛЯ РЕШЕНИЯ ПРИКЛАДНЫХ ЗАДАЧ

Специальность: 05.13.17 - 'Теоретические основы информатики (технические науки)"

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Красноярск - 2005

Работа выполнена в Красноярском государственном техническом университете на кафедре "Системы искусственного интеллекта"

Научный руководитель:

кандидат технических наук, Жуков Леонид Александрович

Официальные оппоненты: доктор технических наук,

Миркес Евгений Моисеевич

кандидат физико-математических наук, Россиев Алексей Анатольевич

Ведущая организация:

Сибирский аэрокосмический университет имени академика М.Ф. Решетнева, г. Красноярск

Защита состоится " / 5"" ау^а^СГ«» 2005 г. в 14.00 часов на заседании диссертационного совета К 212.098.02 в Красноярском государственном техническом университете по адресу: 660074, г. Красноярск, ул. Киренского, 26, ауд. Г4-17, тел. 49-73-81, факс (3912) 4979-90.

С диссертацией можно ознакомиться в научной библиотеке Красноярского государственного технического университета.

Отзывы на автореферат в двух экземплярах, заверенные печатью учреждения, просим направлять по адресу: 660074, г. Красноярск, ул. Киренского, 26, КГТУ, Ученому секретарю диссертационного совета К 212.098.02; факс (3912) 49-79-90 (для кафедры СИИ); e-mail: sophya2002@mail.ru

Автореферат разослан " fi " 2005 г.

Ученый секретарь

диссертационного совета кандидат технических наук

too/;-* IZVIWö

3J Oí Cf ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В современной нейроинформатике можно выделить три основных направления исследований-, аппаратная реализация нейрокомпьютеров, математическое обеспечение нейронных сетей (разработка алгоритмов обучения, архитектур нейронных сетей и нейроимигаторов), приложения нейронных сетей (использование готовых нейросетевых инструментов для решения исследовательских задач). В нашей стране развиваются в основном последние два направления. Нейронные сети широко используются на практике, накоплено большое количество различных алгоритмов обучения и архитектур нейронных сетей, приемов использования нейронных сетей для решения прикладных задач.

Для решения задач требуется установить технологию (порядок, методику) использования соответствующих операций, последовательно выполняя которые пользователь получит какие-либо результаты. Научные центры, занимающиеся проблемами нейроивформатаки, определяют свои частные методы и предписания каким образом использовать нейросетевые инструменты (какие методы предобработки использовать, в каком порядке выполнять операции, как представлять и описывать результаты). Эти методики описывают различные подходы, предлагаются новые интерпретации.

Среди алгоритмов и архитектур нейронных сетей большое место занимают алгоритмы двойственных нейронных сетей или нейронных сетей обратного распространения. В данной работе эти алгоритмы и архитектуры предлагается называть нейронными сетями с учителем, так как кроме часто используемых методов обратного распространения ошибки (Back Propagation) (других направленных), применяют методы случайного поиска или обучения (ненаправленные).

Многие исследователи подходили к определению последовательности операций при обработке данных, но технологические особенности достаточно редко являлись центральным местом в них. Известные работы предлагают отдельные фрагменты описания самого общего уровня абстракции, касающееся конкретной реализации и работы нейронной сети. Общими проблемами нейроинформатики (в том числе и элементами технологии использования) занимались В. Л. Дуннн-Барковский, А. И. Галушкин, Б. Н. Оньпсий, Е. М. Куссуль, Дж. Хопфилд (J. J. Hopfield), Т. Кохонен (Т. Kohonen), Ф. Уоссермен (P. Wasserman), Р. Хехт-Нильсен (R. Hecht-Nielsen), Д. А. Руммельхарт (D.A. Rummerlhart), А.Н.Горбань, С.А.Терехов и многие др. Задачи формализации и стандартизации нейросетевой технологии (спецификации компонент и структур нейросетевого моделирования) рассматривали Е. Fiesler, Н. J. Caulfield, М. A. Atencia, G. Joya, F. Sandoval, А. Ю. Дорогое, E. M. Миркес, С. E. Гилев и др. Предложены несколько специализированных языков, предназначенных для описания нейросетевых моделей, например Aspirin (R. R. Leighton), PláNet v.5 (Y. Miyata), AXON (R. Hecht-Nilsen), CuPit (H. Hopp, L. Prechelt), EpsiloNN (A. Strey), CONNECT (G.Kock, N. В. Seibedája), Nspec (G. Dorñner, H. Wikücky, E. Prem). Подобные языки позволяют с относительной степенью детализации описать методы моделирования нейронной сети в терминах структур данных, классов, переменных и процедур (подход на основе языкоё wi) ■ Лл* .описания

i Б И БЛ ЙОТЕ2/W |

I Sbjb&l i

нейронных сетей PMML (The Data Mining Group) позволяет описывать только сети обратного распространения с фиксированным типом нейронов и заранее определенным набором из нескольких простейших правил предобработки и интерпретации Язык Neural Network Markup Language - NNML (C.B. Бутахов, Д.В. Рубцов) предназначен для разработки обменного формата нейроимитаторов. При этом объектом для описания являются полностью обученные нейронные сети. Назначение предлагаемого языка - запись всей информации, необходимой для однозначного и точного воспроизведения этой нейросетевой вычислительной модели нейроимитатором.

Тем не менее, до сих пор технология использования нейросетевых методов и ее результаты слабо систематизированы, хотя и существуют отдельные устоявшиеся рекомендации проведения экспериментов, которые носят в основном слишком частный или наоборот общий характер. Недостаточно внимания уделяется проблеме совместимости и систематизации данных методов, каким образом они соотносятся с уже существующими. Не существует единого взгляда на данный процесс. Зачастую используют упрощенную методику проведения экспериментов и описание, не учитывающие целые группы операций, или вообще не описывают методику. В настоящее время многие отдельные исследователи самостоятельно выбирают и применяют различные нейросетевые методы. Начинающие исследователи решают поставленную задачу методом проб и ошибок, сами определяют конкретную последовательность операций, при этом иногда не представляют последствия и полученные результаты. Существует большое число специализированных программ-нейроимитаторов, реализующих разные подходы и технологические особенности при обработке данных (проектирование алгоритмов н наличие или отсутствие тех или иных операций пользователя определяется разработчиком и обычно зависит от предпочтений и принадлежности автора к определенной группе). Поэтому на сегодняшний день является актуальной задача строгого описания технологической составляющей использования нейросетей для обработки данных, а именно формального представления или моделирования этой составляющей. Это может существенно облегчить трудозатраты и оказаться полезным как конкретным исследователям, особенно начинающим, так и разработчикам алгоритмов, методов, нейроимитаторов.

Цель работы: разработать формальную модель технологии использования нейронных сетей с учителем и частную методику для решения различных прикладных задач.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Разрабатывается обобщенная модель на основе диаграмм процессов группы IDEF для выявления функциональных составляющих технологии (групп, подгрупп и операций).

2. Разрабатывается модель описания технологических особенностей использования нейронных сетей с учителем на основе формальных языков и грамматик, что позволит определить варианты порядка выполнения операций и устранить некорректные последовательности операций.

3. Разрабатывается частная методика обработки данных с использованием нейросетей с учителем; использовать методику для исследования лингвистических данных и других задач.

4. Разрабатываются способы предобработки данных, в первую очередь - изменение структуры, для исследования динамики изменения этих данных (при наличии параметра или параметров, определяющего время или временной интервал для каждого измерения - строки таблицы данных).

Методы исследования. В работе использовались понятия и методы формальных языков и грамматик, диаграммы процессов группы ЮЕР, нейросетевые инструменты. Для программирования специализированных предобработчиков применялись объектно-ориентированного методы.

Научная новизна.

1. Предложен формальный язык описания технологии обработки данных с помощью нейронных сетей с учителем, позволяющий моделировать данный технологический процесс.

2. Сформулирована контекстно-свободная грамматика описания технологии использования нейронных сетей с учителем, приведены ее свойства, построены исходная и эквивалентные грамматики в нормальных формах Хомского и Грейбах.

3. Предложена формальная схема использования нейронных сетей для задачи разбиения слов естественного языка на лексико-грамматические классы (на примере английского языка) и других задач классификации.

4. Предложены способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов.

Практическая значимость. Предложенный язык формального описания технологии может быть реализован в виде компилятора либо нейроимитатора, который, в соответствии с данной грамматикой и языком, позволит проверить (подсказать) правильность порядка выполняемых операций и сигнализировать пользователю об ошибке. В соответствии с формально-языковой моделью и запросом пользователя (какие результаты он планирует получить) возможна реализация автоматического выполнения операций в виде системы макросов, подключаемых к конкретному нейроимитатору, что позволит значительно сократить затраты исследователя. Разработана программа - распознаватель слов соответствующего языка и грамматики описания технологии использования нейронных сетей с учителем. Построена обобщенная модель нейросетевой технологии на основе диаграмм процессов группы ШЕР. Практически реализованы методы предобработки данных для исследования динамики изменения параметров объектов. Предложена методика проведения экспериментов по обработке данных и представления результатов с помощью нейронных сетей с учителем для начинающих исследователей. Показаны результаты использования методики для лексико-грамматической классификации слов языка и других задач. Создана протрамма-предобработчик, которая позволяет реализовать основные операции по предварительной обработке данных, включая специализированные (для исследования динамики), для дальнейшего их предъявления в качестве исходных для нейросетевой обработки.

Положения выносимые на защиту:

1. Обобщенная модель технологии на основе диаграмм процессов группы ШЕР, позволяющая определить функции и взаимосвязь операций общей технологии. Методики исполь-

зования нейроимитаторов STAT1STICA Neural Networks, NeuroPro, являющихся частным случаем технологии и ее модели.

2. Способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов. Способы предобработки реализованы в программном комплексе "Jointer".

3. Формальный язык, описывающий технологию использования нейронных сетей с учителем для решения прикладных задач. Построены подмножества исходного языка, описывающие особенности технологии использования некоторых нейроимитаторов. Программа -распознаватель слов формального языка.

4. Грамматика соответствующей технологии использования нейронных сетей с учителем позволяет определить возможные варианты выполнения исследования и выявить некорректные последовательности операций. Для упрощения правил грамматики получены эквивалентные грамматики в нормальных формах Хомского и Грейбах. Приведены свойства грамматики, показано, что грамматика является контекстно-свободной.

Реализация результатов работы. Результаты работы внедрены в учебный процесс в Красноярском государственном техническом университете и Сибирском государственном технологическом университете, использованы в работе зимней политехнической школы по нейроинформатике по программе "Шаг в будущее". Формальное описание нейросетевой технологии и использование методик позволило повысить эффективность изучения предмета "Нейрокомпьютерных системы", читаемого в СибТТУ, качество усвоения материала. При выполнении итоговых и курсовых работ в соответствии с частной методикой, разработанной на основе общей технологии и ее формального описания, количество существенно некорректных вариантов использования нейросетевых инструментов заметно снизилось.

Апробация работы. Основные положения работы обсуждались на международных, всероссийских и региональных конференциях, семинарах.

Публикации.

Основные результаты диссертационной работы опубликованы в 13 работах автора (6 статей, 4 тезиса, 1 депонированная рукопись, 1 свидетельство о регистрации программы), список которых приведен в конце автореферата.

Объем работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложений. Общее число страниц 150, библиографический список - 171 источник.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы, ставятся основные цели и задачи исследования. Рассматривается эффективность и практическая значимость применения нейронных сетей для прикладных задач Термин "технология" используется в специальном смысле - как совокупность (корректная последовательность) операций, выполняемых в процессе решения исследовательской задачи, при использовании методов нейронных сетей с учителем.

В первой главе рассматриваются технологические особенности использования нейронных сетей для прикладных исследований и существующие формализации данных подходов. Приводятся модели и методологии, существующие для описания систем различного назначения. Дается оценка их недостатков и преимуществ. Показано, что аппарат формальных языков и грамматик может быть использован в качестве базового для моделирования нейросете-вой технологии обработки данных. Приводятся основные проблемы и особенности данного представления.

Во второй главе приведено краткое описание функциональных особенностей для пре-добработчиков, нейроимитаторов, статистических пакетов и интегрированных систем. Описываются методики, предназначенные для подсчета и проверки промежуточных результатов практических экспериментов (приложения А, Б). Приведено наглядное описание обобщенной модели с помощью диаграмм процессов группы ГОЕР.

Для построения цепочек (последовательностей) технологических операций рассмотрены три 1руппы операций, скомпонованные в соответствии с описанием технологии использования нейронных сетей с учителем:

1. Предварительные операции - считывание файлов данных, предобработка, представление данных,

1.1. Обязательные операции - считывание файлов данных, предобработка;

1.2. Необязательные операции - представление данных;

2. Основные - создание сети, чтение сети, обучение;

3. Вспомогательные - тестирование, упрощение структуры сети, определение значимо-стей входных параметров, вербализация сети (описание внутренней структуры сети), сохранение проекта (сети). (Название "вспомогательные" дано не по их степени важности, а по месту - порядку выполнения - в технологии по сравнению с основными. В ходе обработки данных обязательным является выполнение основных и не обязательным - любой из вспомогательных операций.)

В целом основные и некоторые из предварительных операций являются обязательными для выполнения, а вспомогательные являются необязательными (дополнительными) и могут не выполняться при обработке данных. В данной работе рассматриваются возможные последовательности действий при обработке данных, выполняемые для одной нейросети (одного проекта). В каком-то смысле здесь рассматривается жизненный цикл одной нейронной сети (проекта) и результаты обработки данных с ее помощью. Аналогичным образом можно рассматривать данное утверждение в терминах использования одного проекта, если операции над проектом подразумевать как операции, реализуемые над каждой нейронной сетью, содержащейся в проекте. При этом указанные операции и их порядок является одинаковым для всех сетей проекта.

Предварительные операции условно разделим на несколько подгрупп: операции представления данных (сбор данных, структура таблицы базы данных, предварительный выбор поля ответа), предобработка (преобразование символьных полей и полей типа дата, поиск и заполнение пробелов, нормирование), операции считывания файлов данных. Основные опе-

рации представляют создание/чтение (загрузка) и обучение нейронной сети. Вспомогательные операции - это тестирование, упрощение нейросетей, определение зяачимостей входных параметров, вербализация, загрузка сети (открытие файла) и сохранение сети в файл. Загрузка сети может входить как в группу основных операций, так и вспомогательных.

Построенная модель описания нейросетевой технологии с использованием диаграмм процессов группы IDEF рассматривает изучаемый процесс как систему на верхнем уровне абстракции, что позволяет систематизировать данные о входах, выходах и механизмах выполнения каждого из составных блоков нейросетевой технологии. Допустимо в данном случае использование иных методов, например, UML (методология RUP), сетей Петри, цепей Маркова и других. Использование каждого конкретного метода моделирования предполагает наличие специфического контекста рассмотрения предметной области. Попытки моделирования рассматриваемой технологии принципами сетей Петри и цепей Маркова показали сложность интерпретации модели и искусственного сужения контекста, данные методы следует использовать для описания уровня реализации операций системы (нижний уровень детализации, который не рассматривается в работе). Методология RUP предполагает наличие группы разработчиков (или исследователей) и моделирует их взаимодействие, описывает их роли. В данной работе рассматривается один исследователь или малая группа исследователей, что влечет за собой совмещение ролей. Использование указанной методологии для данного контекста рассмотрения технологии также нецелесообразно, требуется расширительная ее трактовка.

В третьей главе приведен язык формального описания технологии извлечения знаний для плохо структурированных задач на основе нейросетевых методов Построена соответствующая грамматика, описаны ее свойства. С помощью общепринятых алгоритмов (преобразования к каноническому виду, нормальным формам) в теории формальных языков и грамматик получены эквивалентные грамматики, правила которых имеют более простой вид.

Приведем сокращенный перечень элементов нетерминального алфавита:

О уровень

В Предваритель- Before main Операции сбора данных, создания таблицы, считыва-

ные операции ния, предобработки данных

м Основные опе- Main operations Создание / чтение сети и обучение сети

рации

А Вспомогатель- Auxiliary op- Тестирование, упрощение нейросетей, определение

ные операции erations значимостей входных и внутренних параметров, вер-

бализация, сохранение сети (проекта)

1 уровень

Р Предобработка Preprocessing Изменение структуры таблицы, преобразование сим-

вольных полей и полей типа дата и других нечисловых полей, поиск и заполнение пробелов, нормирование

L Обучение сети Learn Обучение сети

N Нормирование Normalization Преобразование данных для приведения значений к

определенному диапазону На уровне операций пользователя рассматриваются конкретные операции (предусмотренные в идеальных нейроимитаторах, операции рассматриваются без учета их реализации), входящие в состав подгрупп. Предполагается некоторая идеальная система (нейроимитатор или нейросистема), описываются операции, предоставленные конечному пользователю для использования по своему усмотрению. Операции представляют собой буквы терминального алфавита (сокращенный алфавит):

Гб Считывание файлов

данных <ц Контрастирование

входных параметров с8 Контрастирование

синапсов V Вербализация сети

reading data inputs contrast synapses contrast verbalization

Открытие файла данных

Удаление входных параметров с дообучением

Удаление синапсов с дообучением

bj Бинаризация сети binary

test

Описание внутренней структуры сети (текстовое или графическое) Приведение весов синапсов к значениям из множества {-1,1}

Тестирование при известном значении ноля ответа

Создание сети (выбор структуры, поля ответа, характеристик нейронов) linear normalization Нормирование на интервал [0,1 ] линейно

make

Возмущение весов синапсов

tt Тестирование сети по выборке

mk Создание сети

П| Нормирование линейное

1Ь Удар сети Bump

Примечание: основой для операций обучения послужили методы, используемые в нейроимитаторах STATISTICA Neural Networks, Neurogenesis. NeuroPro v. 0.25, MultiNeuron, пакете Deductor Studio и ряде других подобных программ, допустимо дополнение данного перечня (строго говоря, модификаций методов обучения может быть большое количество, поэтому здесь приведены некоторые основные, чаще используемые методы). Аналогичным образом можно дополнять операции тестирования, бинаризации и контрастирования (например, полезно ввести операцию контрастирования слоев нейронов). Дополнение операциями не влияет на сложность грамматики, увеличивается только число правил. Укажем правила исходной грамматики (сокращенный вариант):

S ВМАК|ВМК (1)

А АМА|АМАК|АМ (2)

К -> ВМК|ВМАК|ВАК|ВМ|ВМА|ВА|Х (3)

С с1С|с5С|с1,С|сиС|сеС|Ь,С|Ь2С|ЬзС|Ь4С (4)

С с, 1 Cs 1 Cn 1 Сц 1 Ce 1 bî 11>2 I Ъз 1 b4 1 Ä. (5)

А i А| С А| V А| s А| Т А (6)

А ¡|С|у|8|Т

Ь 1т Ь11р Ь11гЬ11„ Ь 111кЬ1Ь 11ь ь

ь ->• 1ш|1р|1г|1п!1Ии|1с|1ь

Т I ^ I ^ I

В г,1 Р11 г<| Р

Р -> щ £ Е N | пи Г N | Е N | N

М ->• Шк Ь | гр Ь | гр

N -> ХЪ | Пш | ХЭЛ ) Л,» ( П« | ХЪ XII

(7)

(8) (9)

(Ю) (И) (12)

(15)

(16)

Данная грамматика не предполагает использование циклов при выполнении последовательности операций, что подразумевает наличие условий или критериев возникновения данного события. Реализация входа и выхода из цикла представляет собой организацию соответствующего внутреннего алгоритма, который описывается на уровне реализации операций в самом нейроимитаторе и чаще всего не имеет средств для его корректировки пользователем. Грамматика разработана только до уровня операций пользователя, поэтому реализация цикличности здесь не учтена.

На данном уровне детализации возможно лишь описание критериев наличия таких циклов операций. Перечень таких критериев традиционен и общепринят дом данной предметной области (нейроинформатики): обучение происходит по заданной выборке до требуемого уровня точности (задается в настройках при создании сети), сокращение числа элементов -последовательно с дообучением (попытка обучить сеть без отдельного элемента, если требуемая точность не достигнута, элемент не вырезается, переход к следующему и т.д.).

Рисунок 1 - Пример дерева вывода для слова "гд П) т^ 15 и П] ^ га щ с5 у"

Приведем несколько примеров слов, принадлежащих данному языку (слово представляет собой последовательность операций, которые выполняет пользователь): тл П1 Шк 15 га П) ^ га П] с8 V Открыть файл данных, нормировать данные, создать сеть, обучить сеть, открыть другой файл данных, нормировать данные, протестировать по данным, открыть исходный файл данных, нормировать, выполнить контрастирование синапсов, получить вербальное описание сети и щ Ш|£ 15 з г<| гц I Перекрестно тестировать для одной сети (по одной выборке обу-

чить, по другой протестировать и наоборот) с первона-чальным чтением файла данных, нормированием, созданием сети и сохранением обученных сетей Гй Па гр Ь] 1V1Г V Открыть файл данных, нормировать, открыть сеть, бинаризовать

веса синапсов, определить значимости параметров, получить вербальное описание, обучить сеть мето-дом случайного поиска, бинаризовать веса синапсов, получить вербальное описание

Разрабатываемая грамматика принадлежит к типу контексгао-свободных (тип 2 по классификации Хомского), к классу укорачиваемых контекстно-свободных (УКС), т.к. в алфавит входит пустой символ.

Утверждение 1: Грамматика описания нейросетевой технологии обработки данных

принадлежит к типу контекстно-свободных. Утверждение 2: Грамматика описания нейросетевой технологии обработки данных

является укорачивающей (укорачиваемой - в литературе встречаются оба варианта).

Утверждение 3: Грамматика описания нейросетевой технологии обработки данных

не является однозначной.

Например, комбинацию В М А М А В А можно построить, используя различный набор правил (без учета ограничений на порядок вывода):

1)8=>ВМАК=>ВМД=>ВМАМАК=>ВМАМАВА

2)8=>ВМАК=>ВМАМАК=>ВМАМАВА

Ограничение 1: Для устранения неоднозначности данной грамматики и сокраще-

ния числа вариантов вывода потребуем наличие только левостороннего вывода (данное условие является необходимым, но в общем случае не является достаточным). Утверждение 4: Грамматика описания нейросетевой технологии обработки данных

является рекурсивной.

Утверждение 5: Грамматика описания нейросетевой технологии обработки данных

является самовставленной (с внутренней рекурсией).

Определение типа и свойств предложенной грамматики описания порядка выполнения операций нейросетевой технологии позволяет систематизировать и уточнить весь процесс применения нейронных сетей с учителем для решения прикладных задач. Левосторонний вы-

вод соответствует традиционному порядку выполнения операций слева-направо. Неоднозначность грамматики определяется неоднозначностью вариантов применения самой нейро-сетевой технологии и множественностью получаемых решений (алгоритмов решения прикладных задач).

Предложены модификации существующей контекстно-свободной грамматики описания технологии использования нейронных сетей с учителем на примере использования нейроими-таторов STATTSTICA Neural Networks, NeuroGenesis. Расширен алфавит терминальных символов и изменены некоторые правила. Приведены примеры слов для NeuroDeductor, NeuroPro, MultiNeuron.

Примеры слов для грамматики описания технологии с использованием STATISTICA Neural Networks:

г<| П) mt 1с t Тестировать сеть с первоначальным чтением файла данных, норми-

рованием, созданием сети и обучением га Ч nit lc V Получить графическое описание обученной сети

г<) гц nit 1С t V Тестировать сеть и получить ее графическое описание

гр mit k t Тестировать обученную сеть с первоначальным чтением проекта

гр ту Lc V Получить графическое описание обученной сети для сохраненного

проекта

Примеры последовательности операций, выполняемых пользователем для нейроимитато-ра Neuro Genesis:

Tdi ni mit ls rat ni t Тестировать сеть с первоначальным чтением файла данных, нормированием, созданием сети и обучением гл щ ink Is v Получить графическое описание обученной сети

Tai П) mit 15 г® ni t v Тестировать сеть и получить ее графическое описание гр г« ni t Тестировать сеть с первоначальным чтением проекта

Показано, что языки, описывающие особенности технологии использования нейронных сетей с учителем для большинства отдельных нейроимитаторов, являются подмножеством исходного языка.

Получены грамматики, эквивалентные исходной, с использованием общепринятых алгоритмов преобразования к каноническому виду, нормальной форме Хомского, устранением левой рекурсии, нормальной форме Грейбах.

Эквивалентная грамматика в нормальной форме Хомского (сокращенный вариант):

S -> BMD (1)

А -> AV (2)

А -» А3 А (4.4)

А Ci | с» I Со I Си I се | bi | Ьг | Ьз | b4 (5)

L -> LnL (8.6)

Ln 1„ (8.7)

L lm|lp|lr|l„|l,|lk|lc|lb (9)

А ~> tt | tv | ta | tp (10)

P j Ha | Dd | Dfl I Qs (16)

Эквивалентная грамматика в нормальной форме Грейбах (сокращенный вариант):

Ai d А30 А2 I ^ А32 А2 (1)

Az -> Шк А2о A3 I гр Аз (1.1)

Аз с, AiA71 Cs А« А71 с„ А« А71 Co А« А71 се AeAy | bi А« А7 (1.4)

Аб' -> Ik Аз А«'| 1с Аз Аб' 11ъ Аз А«' (2.3)

А2' 1т Аз 11Р Аз 11г A3 11„ A3! 1, А3 (2.6)

А«,' -> lm|lp|lr|l„|ls|lk|lc|lb (15.2)

А40' 1щ А201 lp А201 Ir А201 In А201 Is А201 lk А201 lc А201 lb A20 (15.3)

А32 -> П) | Па I П4 I Пл I n, (16)

На основе общей технологии и ее формального описания предложены частные методики использования нейросетевых инструментов. Применение методик для решения прикладных задач можно интерпретировать как последовательное выполнение операций. Данная последовательность является, в терминах формально-языковой модели, словом языка описания ней-росетевой технологии. В таком случае использование методик для решения задач представляет собой приложение формально-языковой модели описания соответствующей технологии.

Результаты данной работы могут быть использованы в методологическом плане исследователями, занимающимися обработкой данных с помощью искусственных нейронных сетей и разработчиками, реализующими протраммы-нейроимитаторы для определения их основных функций и недопустимых последовательностей операций Предложен список рекомендуемых последовательностей операций при обработке данных. Рассматривается модель реализации возможных операций, а точнее функций идеальной нейросистемы или нейроимитатора, па основе описанных уровней операций пользователя и системы. Язык, заданный формальной грамматикой технологии нейросетевой обработки данных может быть использован для построения компилятора - программы, которая на основе исходных данных пользователя (в виде запроса) выводит строгую технологическую цепочку операций, необходимую для достижения требуемого результата обработки. Данная модель позволяет найти и определить правильный порядок действий или последовательность операций, подсказать варианты выполнения операций, устранить неправильные последовательности.

В четвертой главе приводится описание основного набора функций для предобработки данных и их реализация в виде программного комплекса "Jointer". Сформулированы специализированные операции предобработки для исследования динамики изменения параметров объектов предметной области. Исходные данные должны содержать параметр или параметры, указывающие время или временной интервал для каждой записи или строки таблицы (например, имеется несколько записей с информацией о параметрах объекта и времени их измерения). Рассмотрены результаты обработки данных после применения этих способов для отдельной задачи.

Предложено несколько способов предобработки данных (изменения структуры исходной таблицы данных с последующим переносом записей) для исследования динамики изменения параметров. Корректировка структуры базы данных происходит путем дополнения полей (атрибутов) и уменьшения числа записей (строк).

Влияние этих способов на результаты были изучены на примере данных донорского иммунного плазмафереза (приложение Д). Применено "страивание" записей (выбор коэффициента переноса осуществлялся с учетом специфики задачи). По сравнению с результатами, полученными для статического случая (исходные данные без изменения структуры), при исследовании динамики выявлены дополнительные зависимости между параметрами.

Предложенные способы предобработки позволяют выявить скрытые закономерности, существующие между изучаемыми параметрами, которые изменяются во времени и в развитии.

В пятой главе рассмотрена формальная схема применения технологии использования нейронных сетей для задач лингвистики и прогнозирования духовно-творческого потенпдала личности. Формально-языковая модель и приложения (методики) использовались для задачи разбиения слов естественного языка на лексико-грамматические классы (на примере английского языка), а именно возможности определения принадлежности слова к определенной части речи.

Эксперименты по обучению сетей показали, что для данной задачи и выборки слов английского языка требуется структура большего размера, чем для других задач. Частично это связано со сложностью взаимных связей между входными параметрами, особенностями лексики английского языка и спецификой самой предметной области (лингвистики). В частности имеется ряд слов, которые являются исключениями из общего правила. Поэтому нейронной сети требуется увеличить количество элементов внутренней структуры для запоминания данных исключений. Дополнительное обучение нейронных сетей для модифицированной выборки показало удовлетворительное качество обученных сетей.

В заключении сформулированы основные результаты, полученные в данной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана модель описания технологии использования нейронных сетей с учителем для прикладных исследований на основе формальных языков и грамматик, что позволяет определить варианты выполнения исследования. Предложен язык. Разработана программа -распознаватель слов соответствующего языка. Построены подмножества исходного языка, описывающие особенности технологии использования STATIST1CA Neural Networks, Neuro-Genesis и др.

2. Разработана грамматика описания нейросетевой технологии. Грамматика предназначена для вывода вариантов корректного порядка следования операций для решения прикладных задач. Определено, что грамматика принадлежит к типу контекстно-свободных. Описаны свойства исходной грамматики. Приведено несколько эквивалентных грамматик, полученных на основе исходной, использующей общепринятые алгоритмы преобразований к каноническому виду и нормальным формам Хомского и Грейбах.

14

3. Разработана общая модель технологии на основе диаграмм процессов группы IDEF. Предложены частные методики обработки данных и промежуточных результатов, полученных при использовании нейросетей. Использована схема применения технологии для задачи определения принадлежности слов английского языка к части речи и других задач.

4. Разработаны способы предобработки данных (в части изменения структуры и данных) для исследования динамики изменения параметров объектов во времени и развитии. Реализована программа предобработки данных "Jointer". Показано сходство и различие результатов, полученных на конкретных данных, для следующих модификаций прикладной задачи: статический случай (исходные данные без каких-либо преобразований структуры и данных), динамический случай (преобразование структуры и данных таким образом, чтобы выявить особенности определения зависимости между параметрами объекта, изменяющимися во времени).

Основные положения диссертации отражены в следующих работах:

1. Решетникова, Н. В. Графическое представление формальной грамматики технологии обработки данных с помощью нейронных сетей с учителем / Н. В. Решетникова, JI. А. Жуков // Моделирование неравновесных систем: Материалы VII Всероссийского семинара; ИВМ СО РАН. Красноярск, 2004. С. 126-127.

2. Решетникова, Н. В. Формальное определение языка технологии обработки данных нейронных сетей с учителем / Н В. Решетникова, JI. А. Жуков // Нейроинформатика и ее приложения: Материалы ХП Всероссийского семинара; ИВМ СО РАН. Красноярск, 2004. С. 109— 111.

3. Жуков, Л. А. Особенности преподавания нейросетевых технологий в технических вузах ! Л. А. Жуков, Н. В. Решетникова II Высшее техническое образование: проблемы и пути развития: Материалы междунар. пауч.-метод. конф. Мн.: БГУИР, 2004. С. 176-177.

4. Решетникова, Н. В. Изучение комбинирования процедур упрощения нейронных сетей на примере иммунного плазмафереза / Н. В. Решетникова, Л. А. Жуков // Вестник Томского гос. ун-та. Вып. 9 (П). Томск, 2004. С. 61-65.

5. Соколовская, Л. Б. Прогнозирование оценок духовно-творческого потенциала личности молодого человека как фактора становления его психологического здоровья с помощью нейронных сетей / Л. Б. Соколовская, Н. В. Решетникова, Л. А. Жуков Н Мир человека: Научно-информационное издание. Вып. 1-2. Красноярск, СибГТУ, 2004. С. 149-156.

6. Жуков, Л. А. Использование нейросетевой технологии и ее формального описания для задачи изучения иммунного плазмафереза и динамического изменения его параметров: Научное издание / Л. А. Жуков, Н. В. Решетникова; КГТУ. Красноярск, 2004. 261 с. Деп. в ВИНИТИ 27.01.05, № 113-В2005.

7. Жуков, Л. А. О формализации нейросетевой технологии решения прикладных задач на примере сетей с учителем и сетей Хопфилда / Л. А. Жуков, Н. В. Решетникова, О. В. Корчевская // Научная сессия МИФИ-2005. VII Всероссийская научно-техническая конференция "Нейроинформатика-2005": Сборник научных трудов. В 2-х частях. 4.1. М.' МИФИ, 2005. С. 68-75.

8. Решетникова, H. В. Описание формализации характерных задач нейросетевой технологии / Н. В. Решетникова, JI. А. Жуков // Новые информационные технологии: материалы восьмого научно-практического семинара. Моск. гос. ин-т электроники и математики. М., 2005. С. 104-109.

9. Решетникова, Н. В. Особенности использования предобработки данных для изучения динамики их изменения с помощью нейросетей с учителем / Н. В. Решетникова, Л. А. Жуков // Новые информационные технологии: материалы восьмого научно-практического семинара. Моск. гос. ин-т электроники и математики. М., 2005. С. 96-103.

10. А. с. 2005610335 РФ. Программа для ЭВМ "Распознаватель слов формальной грамматики описания нейросетевой технологии обработки данных для прикладных исследований" / Л. А. Жуков, И. В. Моисеев, Н. В. Решетникова (РФ). К» 2005610335; Опубл. 24.02.2005.

11. Решетникова, Н. В. Использование программы-распознавателя слов языка описания нейросетевой технологии / Н. В. Решетникова, И. В. Моисеев // Материалы ХЫП Международной научной студенческой конференции "Студент и научно-технический прогресс": Информационные технологии. Новосибирск, 2005. С. 158-159.

12. Решетникова, Н. В. Особенности построения эквивалентных грамматик описания нейросетевой технологии / Н. В. Решетникова // ХЫП Международная научная студенческая конференция "Студент и научно-технический прогресс": Информационные технологии. Новосибирск, 2005. С. 159-160.

13. Решетникова, Н. В. Свойства формальной грамматики описания нейросетевой технологии / Н. В. Решетникова, Л. А. Жуков // Материалы 14-й международной конференции по нейрокибернетике. Ростов-на-Дону, 2005. С. 33-36.

Соискатель:

Тираж 120 экз. Заказ №

Отпечатано в типографии КГТУ

660074, г. Красноярск, ул. Киренского, 26.

* 19286

РНБ Русский фонд

2006-4 21564

Введение.

Глава 1 Обзор существующих методов моделирования прикладных систем и технологий.

1.1 Методы создания функциональных моделей.

1.2 Существующие языки описания неиросетевых моде- 18 лей.

1.3 Существующие элементы описания нейросетевой технологии.

Глава 2 Описание нейросетевой технологии использования нейронных сетей с учителем.

2.1 Описание технологии использования нейронных сетей с учителем.

2.2 Моделирование технологии нейронных сетей с учите- 37 лем на основе IDEF.

Глава 3 Формальный язык и грамматика описания нейросетевой технологии.

3.1 Уровень операций пользователя (2-й уровень).

3.2 Особенности построения грамматики.

3.3 Примеры вывода слов и построения деревьев.

3.4 Определение типа и свойств грамматики.

3.5 Преобразование к нормальным формам.

3.6 Приведение к каноническому виду.

3.6.1 Удаление бесплодных символов.

3.6.2 Удаление недостижимых символов.

3.6.3 Устранение А.-правил.

3.6.4 Устранение цепных правил.

3.7 Преобразование к нормальной форме Хомского.

3.8 Устранение левой рекурсии.

3.9 Преобразование к нормальной форме Грейбах.

3.10 Модификация грамматики на примере пакета 106 Statistica Neural Networks.

3.11 Модификация грамматики на примере нейроимитато- 110 pa Neurogenesis.

3.12 Описание задачи для распознавателя слов грамматики

Глава 4 Способы предобработки данных для исследования динамики параметров объектов.

4.1 Описание способов предобработки данных.

4.2 Формальное описание подходов к предобработке данных

4.3 Описание минимального набора функций предобра

J ботчика.

Глава 5 Использование формально-языковой модели и методик для исследования лингвистических и психологических данных.

5.1 Результаты анализа лингвистических данных.

5.2 Результаты анализа психологических данных. и*' 5.2.1 Обучение нейронных сетей с учителем.

5.2.2 Обучение нейронных сетей без учителя (выявление классификационной модели).

В современной нейроинформатике развиваются три основных направления исследований: аппаратная реализация нейрокомпьютеров, математическое обеспечение нейронных сетей (разработка алгоритмов обучения, архитектур нейронных сетей), приложения нейронных сетей (использование готовых нейросетевых инструментов для решения исследовательских задач). Первое направление активно разрабатывается за рубежом, т.к. связано с большими финансовыми затратами. В нашей стране и в г. Красноярске развиваются в основном последние два направления. Нейронные сети широко используются на практике, накоплено большое количество различных алгоритмов обучения и архитектур нейронных сетей, приемов использования нейронных сетей для решения прикладных задач.

Существуют отдельные виды нейронных сетей, среди которых выделяют: нейронные сети с учителем (двойственные сети, сети обратного распространения), без учителя (сети естественной классификации) и другие (некоторые авторы рассматривают отдельно сети Хопфилда). Это разделение связано со спецификой обработки данных: в первом случае известны некоторые входные параметры (атрибуты) и поле ответа, во втором - ответ не известен, объекты классифицируются в пространстве параметров (задача таксономии). В настоящей работе используется абстрактная методология использования нейронных сетей с учителем. Нейросетевые технологии применимы во многих предметных областях, для решения различных прикладных задач. Есть несколько признаков, которыми может или должна обладать задача, чтобы применение нейронных сетей было оправдано [17, 19]: отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточное число примеров; проблема характеризуется большими объемами входной информации; данные неполны или избыточны, зашумлены, частично противоречивы.

Основные типы задач, решаемых с помощью нейронных сетей с учителем:

1) предсказание (действительного) числа или предикция (иначе называемая нейросетевой регрессией);

2) оптимизация.

Дополнительные задачи:

5) прогноз ("что будет завтра?");

6) условный прогноз ("что будет завтра, если .?");

7) определение значимости входных параметров.

Для решения задач требуется установить технологию (порядок, методику) использования соответствующих операций, последовательно выполняя которые пользователь получит какие-либо результаты.

Среди алгоритмов и архитектур нейронных сетей большое место занимают алгоритмы двойственных нейронных сетей или нейронных сетей обратного распространения. В данной работе эти алгоритмы и архитектуры предлагается называть нейронными сетями с учителем, так как кроме часто используемых методов обратного распространения ошибки (Back Propagation) (других направленных), применяют методы случайного поиска или обучения (ненаправленные).

Многие исследователи подходили к определению последовательности технологических операций при обработке данных, но технологические особенности достаточно редко являлись центральным местом в них. Известные работы предлагают отдельные фрагменты описания самого общего уровня абстракции, касающиеся конкретной реализации и работы нейронной сети. Общими проблемами нейроинформатики занимались (в том числе и элементами технологии использования) В. JI. Дунин-Барковский, Л. И. Галушкин, Б. Н. Оныкий, Е. М. Куссуль, J. J. Hopfield, Т. Kohonen, P. Wasserman,

R. I lecht-Nielsen, D. Л. Rummerlhart, Л. I I. Горбань, С. Л. Терехов и многие др. Задачи формализации и стандартизации нейросетевой технологии (спецификации компонент и структур нейросетевого моделирования) рассматривали Е. Fiesler, Н. J. Caulfield, М. Л. Atencia, G. Joya, F. Sandoval, A. IO. Дорогов, E. M. Миркес, С. E. Гилев и др. Предложены несколько специализированных языков, предназначенных для описания нейросетевых моделей, например Aspirin (R. R. Leighton), PlaNet v.5 (Y. Miyata), AXON (R. Hecht-Nilsen), CuPit (H. Hopp, L. Prechelt), EpsiloNN (A. Strey), CONNECT (G. Kock, N. B. Serbedzija), Nspec (G. Dorffner, I I. Wiklicky, E. Prem). Подобные языки позволяют с относительной степенью детализации описать методы моделирования нейронной сети в терминах структур данных, классов, переменных и процедур (подход на основе языков высокого уровня). Язык описания нейронных сетей PMML (The Data Mining Group) позволяет описывать только сети обратного распространения ошибки с фиксированным типом нейронов и заранее определенным набором из нескольких простейших правил предобработки и интерпретации. Язык Neural Network Markup Language - NNML (С. В. Бутаков, Д. В. Рубцов) предназначен для разработки обменного формата нейроимитаторов. При этом объектом для описания являются полностью обученные нейронные сети. Назначение предлагаемого языка - запись всей информации, необходимой для однозначного и точного воспроизведения этой нейросетевой вычислительной модели нейроимитато-ром.

Тем не менее, до сих пор технология использования нейросетевых методов и ее результаты слабо систематизированы, хотя и существуют отдельные устоявшиеся рекомендации проведения экспериментов, которые носят в основном слишком частный характер. Научные центры, занимающиеся проблемами нейроинформатики (г. Москва, г. Санкт-Петербург, г. Ростов-на-Дону, г. Барнаул, г. Красноярск и др.), определяют свои частные методы и предписания каким образом использовать неиросетевые инструменты (какие методы предобработки использовать, в каком порядке выполнять операции, как представлять и описывать результаты). Эти методики описывают различные подходы, предлагаются новые интерпретации. Недостаточное внимание уделяется проблеме совместимости и систематизации данных методов, не существует единого взгляда на данный процесс как на систему. Зачастую используют упрощенную методику проведения экспериментов и описание, не учитывающие целые группы операций, или вообще не описывают методику. В частности, в зарубежных работах, посвященных прикладным исследованиям с помощью нейронных сетей, иногда не изучаются и не проводят операции контрастирования (сокращения числа внешних или внутренних элементов). В зарубежных нейроимитаторах эти операции часто не реализованы. В настоящее время многие отдельные исследователи самостоятельно выбирают и применяют различные нейросетевые методы. Начинающие исследователи решают поставленную задачу методом проб и ошибок, сами определяют конкретную последовательность операций, при этом иногда не представляют последствия и полученные результаты. Существует большое число специализированных программ-нейроимитаторов, реализующих разные подходы и технологические особенности при обработке данных (проектирование алгоритмов и наличие или отсутствие тех или иных операций пользователя определяется разработчиком и обычно зависит от предпочтений и принадлежности автора к определенной группе).

Поэтому пользователям иногда трудно понять и каким же образом использовать нейросетевые инструменты, какие функциональные возможности использовать и в каком порядке. Это обстоятельство существенно ограничивает круг пользователей и специалистов в своей области, желающих использовать для обработки своих данных нейронные сети. До сих пор специалисты, не разбирающиеся в нейроинформатике, предпочитают использовать другие инструменты и методы. Кроме того, проблемы возникают и у пользователей среднего уровня квалификации, для которых сложно выстроить одпозначный порядок выполнения операций и определить технологию (методику) обработки данных для конкретной задачи, чтобы получить прогнозируемый результат либо определить, что же явилось причиной неудовлетворительного качества обучения сетей и что делать дальше. Поэтому на сегодняшний день является актуальной задача разработки конкретных методик, описывающих строго определенные последовательности операций для решения различных классов задач. Это позволит несколько расширить круг пользователей и поможет систематизировать процесс использования различных нейроимитаторов в едином русле. Для решения подобных задач было предложено разработать формальную модель технологии использования нейронных сетей с учителем, что может существенно облегчить трудозатраты и оказаться полезным как конкретным исследователям, особенно начинающим, так и разработчикам алгоритмов, методов, нейроимитаторов.

Цель работы: разработать формальную модель технологии использования нейронных сетей с учителем и частную методику для решения различных прикладных задач.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Разрабатывается обобщенная модель на основе диаграмм процессов группы IDEF для выявления функциональных составляющих технологии (групп, подгрупп и операций).

2. Разрабатывается модель описания технологических особенностей использования нейронных сетей с учителем на основе формальных языков и грамматик, что позволит определить варианты порядка выполнения операций и устранить некорректные последовательности операций.

3. Разрабатывается частная методика обработки данных с использованием нейросетей с учителем; использовать методику для исследования лингвистических данных и других задач.

4. Разрабатываются способы предобработки данных, в первую очередь - изменение структуры, для исследования динамики изменения этих данных (при наличии параметра или параметров, определяющего время или временной интервал для каждого измерения — строки таблицы данных).

Методы исследования. В работе использовались понятия и методы формальных языков и грамматик, диаграммы процессов группы IDEF, ней-росетевые инструменты. Для программирования специализированных пре-добработчиков применялись объектно-ориентированного методы.

Научная новизна.

1. Предложен формальный язык описания технологии обработки данных с помощью нейронных сетей с учителем, позволяющий моделировать данный технологический процесс.

2. Сформулирована контекстно-свободная грамматика описания технологии использования нейронных сетей с учителем, приведены ее свойства, построены исходная и эквивалентные грамматики в нормальных формах Хомского и Грейбах.

3. Предложена формальная схема использования нейронных сетей для задачи разбиения слов естественного языка на лексико-грамматические классы (на примере английского языка) и других задач классификации.

4. Предложены способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов.

Практическая ценность. Приведенный язык формального описания технологии может быть реализован в виде компилятора либо нейроимитато-ра, который, в соответствии с данной грамматикой и языком, позволит проверить (подсказать) правильность порядка выполняемых операций и сигнализировать пользователю об ошибке. В соответствии с формально-языковой моделью и запросом пользователя (какие результаты он планирует получить) возможна реализация автоматического выполнения операций в виде системы макросов, подключаемых к конкретному нейроимитатору, что позволит значительно сократить затраты исследователя. Разработана программа - распознаватель слов соответствующего языка и грамматики описания технологии использования нейронных сетей с учителем. Построена обобщенная модель нейросетевой технологии на основе диаграмм процессов группы IDEF. Практически реализованы методы предобработки данных для исследования динамики изменения параметров объектов. Предложена методика проведения экспериментов по обработке данных и представления результатов с помощью нейронных сетей с учителем для начинающих исследователей. Показаны результаты использования методики для лексико-грамматической классификации слов языка и других задач. Создана программа-предобработчик, которая позволяет реализовать основные операции по предварительной обработке данных, включая специализированные (для исследования динамики), для дальнейшего их предъявления в качестве исходных для нейросетевой обработки.

Положения, выносимые на защиту:

1. Обобщенная модель технологии на основе диаграмм процессов группы IDEF, позволяющая определить функции и взаимосвязь операций общей технологии. Методики использования нейроимитаторов STATISTICA Neural Networks, NeuroPro, являющихся частным случаем технологии и ее модели.

2. Способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов. Способы предобработки реализованы в программном комплексе "Jointer".

3. Формальный язык, описывающий технологию использования нейронных сетей с учителем для решения прикладных задач. Построены подмножества исходного языка, описывающие особенности технологии использования некоторых нейроимитаторов. Программа - распознаватель слов формального языка.

4. Грамматика соответствующей технологии использования нейронных сетей с учителем позволяет определить возможные варианты выполнения исследования и выявить некорректные последовательности операций. Для упрощения правил грамматики получены эквивалентные грамматики в нормальных формах Хомского и Грейбах. Приведены свойства грамматики, показано, что грамматика является контекстно-свободной.

Реализация результатов работы. Результаты работы внедрены в учебный процесс в Красноярском государственном техническом университете и Сибирском государственном технологическом университете, использованы в работе зимней политехнической школы по нейроинформатике по программе "Шаг в будущее". Формальное описание нейросетевой технологии позволило повысить эффективность изучения предмета "Нейрокомпыо-терных системы", читаемого в СибГТУ, качество усвоения материала. При выполнении итоговых и курсовых работ в соответствии с частной методикой, разработанной на основе общей технологии и ее формального описания, количество существенно некорректных вариантов использования нейросетевых инструментов заметно снизилось. Это позволило обобщить опыт преподавания данных дисциплин, что отражено в статьях международной конференции "Высшее техническое образование: проблемы и пути развития" (г. Минск, Белоруссия, 2004) и региональной конференции "Управление образовательным процессом в современном вузе" (КГПУ, г. Красноярск, 2004).

Апробация работы.

Основные положения работы обсуждались на международных, всероссийских и региональных конференциях, семинарах. В том числе: на Всероссийской конференции "Нейроинформатика" (2003, 2004, 2005) г. Москва (МИФИ); семинаре "Новые информационные технологии" (2003, 2004, 2005) г. Москва (МГИЭМ); Международной научной студенческой конференции "Студент и научно-технический прогресс" (2003, 2004, 2005, г. Новосибирск); Всероссийской конференции "Теоретические и прикладные вопросы современных информационных технологий" (2004, г. Удан-Удэ); международной конференции "Высшее техническое образование: проблемы и пути развития" (2004, г. Минск, Белоруссия); Всероссийском семинаре "Нейро-информатка и ее приложения" (2003, 2004, г. Красноярск); Всероссийском семинаре "Моделирование неравновесных систем" (2003, 2004, г. Красноярск); Всероссийской конференции "Решетневские чтения" (2003, 2004, г. Красноярск); Всероссийской конференции "Лесной и химический комплексы — проблемы и решения (экологические аспекты)" (2004, 2005, г. Красноярск), на рабочих семинарах в КГТУ и СибГТУ в 2004-2005 гг.

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложений. Общее число страниц 150, библиографический список - 171 источник.

Выводы:

Схема выполненной технологической цепочки операций для задач классификации приведена на рисунке 5.1. Операции (создание и обучение сетей, тестирование, определение значимостей) и подгруппы операций (предобработка, упрощение сетей) представлены в виде прямоугольников, объединенных в соответствии с формальной моделью в группы операций (штрихпунктирные линии).

Этап "изменения классификационной модели" предполагает последовательность действий по модификации данных. Строго говоря, модификации могут быть различными в зависимости от решаемой задачи, данных и пользователя. Используемые при этом инструменты также определяет сам пользователь. В данном случае и для данной задачи применялись нейросетевые методы сетей без учителя (сети естественной классификации), с помощью которых удалось перейти от исходной оценочной классификации к более простой. В результате чего может быть создана новая классификационная модель.

Рисунок 5.1 - Схема применения технологии для задачи классификации

Цепочка выполненных операций представляет собой слово языка в формально-языковой модели, описывающей технологию использования нейронных сетей для данных задач. Слово может быть получено с помощью правил вывода контекстно-свободной грамматики описания данной технологии, которая также является частью предложенной модели.

Заключение

1. Разработана модель описания технологии использования нейронных сетей с учителем для прикладных исследований на основе формальных языков и грамматик, что позволяет определить варианты выполнения исследования. Предложен язык. Разработана программа - распознаватель слов соответствующего языка. Построены подмножества исходного языка, описывающие особенности технологии использования STATISTICA Neural Networks, NeuroGenesis и др.

2. Разработана грамматика описания нейросетевой технологии. Грамматика предназначена для вывода вариантов корректного порядка следования операций для решения прикладных задач. Определено, что грамматика принадлежит к типу контекстно-свободных. Описаны свойства исходной грамматики. Приведено несколько эквивалентных грамматик, полученных на основе исходной, использующей общепринятые алгоритмы преобразований к каноническому виду и нормальным формам Хомского и Грейбах.

3. Разработана общая модель технологии на основе диаграмм процессов группы IDEF. Предложены частные методики обработки данных и промежуточных результатов, полученных при использовании нейросетей. Использована схема применения технологии для задачи определения принадлежности слов английского языка к части речи и других задач.

4. Разработаны способы предобработки данных (в части изменения структуры и данных) для исследования динамики изменения параметров объектов во времени и развитии. Реализована программа предобработки данных "Jointer". Показано сходство и различие результатов, полученных на конкретных данных, для следующих модификаций прикладной задачи: статический случай (исходные данные без каких-либо преобразований структуры и данных), динамический случай (преобразование структуры и данных таким образом, чтобы выявить особенности определения зависимости между параметрами объекта, изменяющимися во времени).

1. Айвазян, С. А. Прикладная статистика / С. А. Айвазян и др. М.: Финансы и статистика, 1989. 607 с.

2. Айвазян, С.А. Классификация многомерных наблюдений / С. А. Айвазян, 3. И. Бежаева, О. В. Староверов М.: Статистика, 1974. 240 с.

3. Алгоритмы и программы восстановления зависимостей / Под ред.

4. B. I I. Вапника. М.: Наука, 1984. 816 с.

5. Ахо, А. Теория синтаксического анализа, перевода и компиляции: Синтаксический анализ. Т. 1 / А. Ахо, Дж. Ульман. М.: Мир, 1978.487 с.

6. Бауэр, Ф. JI. Информатика. Вводный курс: В 2 ч. / Ф. JI. Бауэр, Г. Го-оз. М.: Мир, 1990.423 с.

7. Брой, М. Информатика. Теоретическая информатика, алгоритмы и структуры данных, логическое программирование, объектная ориентация / М. Брой. 4.4. М.: Диалог-МИФИ, 1998. 224 с.

8. Бутакова, Е. А. Разработка специализированного предобработчика данных / Е. А. Бутакова // Химико-лесной комплекс проблемы и решения: Сб. статей студентов и мол. ученых. Т. 2. Красноярск: СибГТУ, 2001.1. C. 243-245

9. Вапник, В. II. Восстановление зависимостей но эмпирическим данным / В. Н. Вапник. М.: Наука, 1979. 447 с.

10. Вендров, Л. М. CASE-технологии. Современные методы и средства проектирования информационных систем / А. М. Вендров. М.: Финансы и статистика, 1998. 176 с.

11. Гилев, С. Е. Нейроконструктор NDES / С. Е. Гилев // Нейроинфор-матика и ее приложения: Материалы XI Всероссийского семинара; ИВМ СО РАН. Красноярск, 2003. С. 40^1.

12. Гилев, С. Е. Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, примеры приложения: Дис. канд. физ.-мат. наук / С. Е. Гилев. Красноярск, 1997. 187с.

13. Гилев, С. Е. Обучение нейронных сетей / С. Е. Гилев, Е. М. Миркес // Эволюционное моделирование и кинетика. Новосибирск: Наука, 1992. С. 9-23.

14. Гмурман, В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. М.: Высш. шк., 2003. 479 с.

15. Головенкин, С. Е. Прогнозирование некоторых осложнений и исхода инфаркта миокарда с использованием компьютерных нейронных сетей: Автореф. дисс. канд. мед. наук/С. Е. Головенкин. Красноярск, 1997. 24 с.

16. Горбань, А. Н. Обучение нейронных сетей / А. Н. Горбань. М.: СП "Paragraph", 1990. 160 с.

17. Горбань, А. Н. Логически прозрачные нейронные сети для производства знаний из данных / А. Н. Горбань, Е. М. Миркес; Вычислительный центр СО РАН в г.Красноярске. Красноярск, 1997. 12 с. Деп. в ВИНИТИ 17.07.97, №2434-В97.

18. Горбань, А. Н. Нейронные сети на персональных компьютерах / А. Н. Горбань, Д. А. Россиев. II.: Наука, 1996. 276 с.

19. Гордеев, Л. В. Системное программное обеспечение / Л. В. Гордеев, Л. Ю. Молчанов. СПб.: Питер, 2003. 736 с.

20. Гордиенко, П. В. Построение экономичных нейронных сетей: алгоритмы и их испытания / П. В. Гордиенко // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара. Красноярск: КГТУ, 1993. С. 31

21. Гордиенко, П. В. Стратегии контрастирования / П. В. Гордиенко // Нейроинформатика и ее приложения. Тезисы докладов 5 Всероссийского семинара. Красноярск: изд. КГТУ, 1997. С. 69.

22. Гравитационная хирургия крови // Под ред. O.K. Гаврилова; АМН СССР. М.: Медицина, 1984. 304 с.

23. Гросс, М. Теория формальных грамматик / М. Гросс, А. Лантен. М.: Мир, 1971.296 с.

24. Данилова, JI. А. Анализы крови и мочи / JI. А. Данилова. СПб.: ЗАО "Салит", 1999. 128 с.

25. Демидова, Н. В. Функциональные системы организма доноров гипериммунной плазмы / I I. В. Демидова. М.: Медицина, 1987. 160 с.

26. Дорогов, А. Ю. Быстрые нейронные сети / А. Ю. Дорогов. М.: Изд-во Санкт-Петербургского университета, 2002. 77 с.

27. Дорогов, А. Ю. Методы реконструкции регулярных многослойных нейронных сетей / А. Ю. Дорогов, Р. Г. Курбатов // Научная сессия МИФИ-2004: Сб. науч. тр. 4.2. М.: МИФИ, 2004. С. 30-38.

28. Дуда, Р. Распознавание образов и анализ сцен / Р. Дуда, П. Харт. М.: Мир, 1976.512 с.

29. Ежов, А. А. Нейрокомпыотинг и его применения в экономике и бизнесе / А. А. Ежов, С. А. Шумский. М.: МИФИ, 1998. 224 с.

30. Жуков, JI. А. Использование нейросетевых технологий для проведения учебно-исследовательских работ / Л. А. Жуков // Методы нейроин-форматики. Красноярск: Изд-во КГТУ, 1998. С. 164-175.

31. Жуков, Л. А. Контрастирование и определение значимости в нейронных сетях / Л. А. Жуков // Тез. докл. межвузовской научной конференции. Красноярск: КГТУ, 1999. С. 88-91.

32. Жуков, Л. А. Нейросетевые технологии для проведения студенческих исследовательских работ / Л. А. Жуков // Нейроинформатика: Всеросс. конференция. М.: МИФИ, 1999. С. 245-252.

33. Жуков, Л. А. Предобработчнк баз данных PREDMAKE / Л. А. Жуков // Материалы региональной студ.науч. конференции по программированию и новым информационным технологиям. Улан-Уде: ВСГТУ, 1998. С. 47-48.

34. А. с. 2003612163 РФ. Программа для ЭВМ "Предобработчнк данных PredMake" / Л. А. Жуков (РФ). № 2003612163; Опубл. 16.09.03.

35. А. с. 2003612163 РФ. Программа для ЭВМ "Нейроимитатор Monoton" / Л. А. Жуков (РФ).

36. А. с. 2004611089 РФ. Программа для ЭВМ "Нейроимитатор для работы с нейронными сетями без учителя модифицированным методом динамических ядер (MDN)" / Л. А. Жуков. № 2004611089; Опубл. 13.07.2004.

37. Жуков, Л. А. Технология классификации с помощью нейронных сетей без учителя / Л. А. Жуков // Теоретические и прикладные вопросы современных информационных технологий. Материалы всеросс.конф. Улан-Уде: ВСГТУ, 2001. С. 40-47.

38. Жуков, JI. Л. Технология нейросетевого решения прикладных классификационных задач для использования в экологии, биологии и медицине / Л. Л. Жуков; КГТУ. Красноярск, 2004. 148 с. Деп. в ВИНИТИ 13.05.2004, № 800-В2004.

39. Жуков, Л. А. Технология нейросетевого решения прикладных классификационных задач в экологии, биологии и медицине: Дис. канд. техн. наук / Л. А. Жуков. Красноярск, 2000. 187 с.

40. Жуков, Л. А. Технология нейросетевой классификации медицинских и экологических данных / Л. А. Жуков // Актуальные вопросы охраны здоровья населения: Сб. науч. тр. Красноярск: КГМА, 2000. С. 65-68.

41. Жуков, Л. А. Утилита предобработки баз данных для подготовки их к дальнейшему использованию нейроимитаторами / Л. А. Жуков // Нейроин-форматика и ее приложения: 6 Всероссийский семинар. Красноярск, 1998. С. 70.

42. Проект разработки нейросетевой системы для обработки онкологических данных / Сост. Л. А. Жуков, А. А. Капошилова, Д. В. Юленкова и др.; КГТУ. Красноярск, 2004. 108 с. Деп. в ВИНИТИ 22.06.2004, № 1049-В2004.

43. А. с. 2004620209 РФ. База данных "Анализы крови доноров и результаты нейросетевой обработки" / Л. А. Жуков, В. А. Петровская, Н. В. Решетникова (РФ). № 2004620209; Опубл. 24.08.2004.

44. Применение нейронных сетей для решения медицинских задач в условиях Сибири / Л. А. Жуков, Т. В. Петровская, В. А. Петровская, Н.В.Решетникова; КГТУ. Красноярск, 2003. 15 с. Деп. в ВИНИТИ 08.12.2003, №2132-В2003.

45. Жуков, JI. Л. Обсуждение эпистемиологических особенностей применения нейроинформатики к обработке медицинских данных /Л. А. Жуков, Н. В. Решетникова; КГТУ. Красноярск, 2003. 7 с. Деп. в ВИНИТИ 08.12.03, № 2128-В2003.

46. Жуков, JL А. Особенности преподавания нейросетевых технологий в технических вузах / JI. А. Жуков, Н. В. Решетникова // Высшее техническое образование: проблемы и пути развития: Материалы междунар. науч.-метод. конф. Мн.: БГУИР, 2004. С. 176-177.

47. А. с. 2005610335 РФ. Программа для ЭВМ "Распознаватель слов формальной грамматики описания нейросетевой технологии обработки данных для прикладных исследований" / JT. А. Жуков, И. В. Моисеев, I I. В. Решетникова (РФ). № 2005610335; Опубл. 24.02.2005.

48. Жуков, Л. А. Формализация технологии применения нейронных сетей с учителем и особенности их использования для решения прикладных задач / Л. А. Жуков, II. В. Решетникова. Красноярск: ИПЦ КГТУ, 2005. 168 с.

49. Заблоцкнй, С. Г. Адаптивное управление экстремальным объектом в условиях непараметрической неопределенности / С. Г. Заблоцкий // Решетневскис чтения: материалы VIII Всерос. науч. конф. с междунар. участием. Красноярск: СибГАУ, 2004. С. 178-180.

50. Игнатова, В. В. Педагогические факторы духовно-творческого становления личности в образовательном процессе / В. В. Игнатова. Красноярск: СибГТУ, 2000. 272 с.

51. Калянов, Г. Н. CASE: структурный системный анализ (автоматизация и применение)/Г. Н. Калянов. М.: Лори, 1996.

52. Каминский, Л. С. Статистическая обработка лабораторных и клинических данных/Л. С. Каминский. Л., 1964.

53. Клиническая иммунология: Руководство для практических врачей и врачей-интернов. Красноярск, 1998. 87 с.

54. Комаровских, Е. Н. Новые медицинские технологии ранней диагностики первичной глаукомы / Е. Н. Комаровских // Моделирование неравновесных систем // Материалы VII Всероссийского семинара; ИВМ СО РАН. Красноярск, 2004. С. 85-86.

55. Компьютерная биометрика / Под ред. В. Н. Носова. М.: МГУ, 1990.232 с.

56. Константинов, В. Н. Белковосинтетическая функция печени и факторы неспецифического иммунитета при плазмаферезе у доноров: Автореф. дис. канд. мед. наук/В. Н. Константинов. Актюбинск, 1971. 20 с.

57. Коченов, Д. А. Синтез управляющих воздействий / Д. А. Коченов, Е. М. Миркес // Нейроинформатика и ее приложения. Тезисы докладов 3 Всероссийского семинара. Красноярск: изд. КГТУ, 1995. С. 31.

58. Крачтен, Ф. Введение в Rational Unified Process / Ф. Крачтен. М.: Издательский дом "Вильяме", 2002. 240 с.

59. Куссуль, Е. М. Ассоциативные нейроподобные структуры / Е. М. Куссуль. Киев: Наук, думка, 1992. 140 с.

60. Ланкин, 10. П. Самоадаптирующиеся нейрошше сети: Препринт. Красноярск, 1997.21 с.

61. Лыоис, Ф. Теоретические основы проектирования компиляторов / Ф. Лыоис, Д. Розенкранц, Р. Стирнз. М.: Мир, 1979. 654 с.

62. Маклаков, С. В. BPWin и ERWin. CASE-средства разработки информационных систем / С. В. Маклаков. М.: Диалог-МИФИ, 2000. 256 с,

63. Марка, Д. А. Методология структурного анализа и проектирования / Д. А. Марка, К. МакГоуэн. М.:МетаТехнология, 1993. 224 с.

64. Мартыненко, Б. К. Языки и трансляции: Учеб. пособие / Б. К. Мар-тыненко. СПб.: Изд-во Санкт-Петербургского университета, 2003. 235 с.

65. Миркес, Е. М. Нейрокомпьютер. Проект стандарта / Е. М. Миркес. Новосибирск: Наука, 1999. 337 с.

66. Миркес, Е. М. Функциональные модели универсального нейрокомпьютера: Дисс. д-р техн. наук / Е. М. Миркес. Красноярск, 2001. 416 с.

67. Научная сессия МИФИ-2004. VI Всероссийская научно-техническая конференция "Нейроинформатика-2004": Сборник научных трудов. В 2-х частях. 4.1, 2. М.: МИФИ, 2004. 268 с.

68. Нейроинформатика / Сост. А. Н. Горбань, В. Л. Дунин-Барковский, А. I I. Кирдин и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998. 296 с.

69. Нейроинформатика и ее приложения: Материалы V Всероссийского семинара / Под ред. А. I I. Горбаня, Е. М. Миркеса; ИВМ СО РАН. Красноярск, 1997.210 с.

70. Нейроинформатика и ее приложения: Материалы XI Всероссийского семинара / Под ред. А. Н. Горбаня, Е. М. Миркеса; ИВМ СО РАН. Красноярск, 2003.215 с.

71. Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара / Под ред. Л. II. Горбаня, Е. М. Миркеса; ИВМ СО РАН. Красноярск, 2004. 196 с.

72. Новые информационные технологии: материалы седьмого научно-практического семинара; Моск. гос. ин-т электроники и математики. М., 2004. 180 с.

73. Новые информационные технологии: материалы шестого научно-практического семинара; Моск. гос. ин-т электроники и математики. М., 2003. 180 с.

74. Пентус, А. Е. Теория формальных языков: Учебное пособие / А. Е. Пентус, М. Р. Пентус. М.: Изд-во ЦПИ МГУ, 2004. 80 с.

75. Питенко, А. А. Использование нейросетевых технологий при решении аналитических задач в ГИС / А. А. Питенко // Методы нейроинформати-ки. Красноярск: КГТУ, 1998. С. 152-163.

76. Питенко, А. А. Нейросети для геоинформационных систем / А. А. Питенко // Всероссийская конференция "Нейроинформатика-99": Сб. науч. тр. В 3 частях. Ч.З. М.: МИФИ, 1999. С. 65-68.

77. Питенко, А. А. Электронный экологический атлас города Красноярска/А. А. Питенко, 10. Д. Иванова. Красноярск: ИВМ СО РАН, 1998. 16с.

78. Приказ Минздрава РФ от 23 сентября 2002 г. N 295 "Об утверждении "Инструкции по проведению донорского прерывистого плазмафереза".

79. Проблемы построения и обучения нейронных сетей / Сост.

80. A. И. Галушкин, В. А. Шахнов. // Библиотечка журнала Информационные технологии. М.: Машиностроение. 1999. № 1. 105 с.

81. Пугачева, К. В. Непараметрическое адаптивное управление статическим объектом / К. В. Пугачева // Решетневские чтения: материалы VIII Всерос. науч. конф. с междунар. участием. Красноярск: СибГАУ, 2004. С. 228-229.

82. Рейуорд-Смит, В. Дж. Теория формальных языков. Вводный курс /

83. B. Дж. Рейуорд-Смит. М.: Радио и связь, 1988. 128 с.

84. Решетникова, Н. В. Изучение комбинирования процедур упрощения нейронных сетей на примере иммунного плазмафереза / I I. В. Решетникова, JI. А. Жуков // Вестник Томского гос. ун-та. Вып. 9 (II). Томск, 2004.1. C. 61-65.

85. Решетникова, Н. В. Изучение упрощения нейросетей но медицинским данным / Н. В. Решетникова, JI. А. Жуков // Новые информационные технологии: Материалы седьмого семинара. М.: МГИЭМ, 2004. С. 12-17.

86. Решетникова, Н. В. Оценка влияния плазмафереза на параметры крови с помощью методов статистики и нейросетей / II. В. Решетникова, Л. А.Жуков; КГТУ. Красноярск, 2003. 33 с. Деп. в ВИНИТИ 29.09.2003, № 1737-В2003.

87. Решетникова, Н. В. Анализ влияния параметров крови на общее количество лейкоцитов с помощью нейросетей / I I. В. Решетникова, В. А. Петровская, Л. А. Жуков // 3 Всесибирский конгресс женщин математиков. Красноярск: КГУ, 2004. С. 100-101.

88. Решетникова, Н. В. Изучение влияния различных профессий алюминиевого производства с помощью нейросетей / Н. В. Решетникова, В. А. Петровская, Л. А. Жуков // 3 Всесибирский конгресс женщин математиков. Красноярск: КГУ, 2004. С. 102-103.

89. Решетникова, Н. В. Изучение значимостей параметров крови при иммунизации с помощью нейросетей / Н. В. Решетникова, В. Л. Петровская, JI. Л. Жуков // Новые информационные технологии: Материалы седьмого семинара. М.: МГИЭМ, 2004. С. 18-21.

90. Анализ влияния условий труда на параметры крови с помощью нейросетей / Н. В. Решетникова, В. Л. Петровская, Е. М. Товбис, J1. Л. Жуков // Актуальные вопросы здравоохранения и медицинской науки: Сб. науч. тр. Вып. III. Красноярск, 2003. С. 194-204.

91. Оценка влияния условий труда на параметры крови с помощью нейросетей / Сост. Н. В. Решетникова, В. А. Петровская, Е. М. Товбис и др. // Материалы шестого семинара "Новые информационные технологии". М.: МГИЭМ, 2003. С. 8-15.

92. Решетникова, Н. В. Изучение влияния плазмафереза на параметры крови с помощью статистики и нейросетей / Н. В. Решетникова // Информатика и информационные технологии: Межвузовский сб. науч. тр. Красноярск: КГТУ, 2003. С. 208-213.

93. Решетникова, I I. В. Особенности бинаризации нейросетей для задачи влияния плазмафереза на параметры крови / Н. В. Решетникова // Ре-шетневские чтения: Тез. докл. VII Всерос. науч. конф. Красноярск: СибГАУ, 2003. С. 222-223.

94. Россиев, A. A. FAMaster / А. А. Россиев // Нейроинформатика и ее приложения: Тезисы докладов 6 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1998. С. 155.

95. Россиев, Д. А. Медицинская нейроинформатика / Д. А. Россиев // Нейроинформатика. Новосибирск: Наука, 1998. С. 137-211.

96. Россиев, Д. Л. Самообучающиеся нейросетевые экспертные системы в медицине: теория, методология, инструментарий внедрение: Дис. докт. мед. наук / Д. Л. Россиев. Красноярск, 1995. 379 с.

97. Определение информативности медицинских параметров с помощью нейронной сети / Сост. Д. Л. Россиев, С. Е. Головенкин, Б. В. Назаров и др. // Диагностика, информатика и метрология 94: Тез. научно-технической конференции. СПб., 1994. С. 348.

98. Применение нейросетей для изучения и диагностики иммуноде-фицитных состояний / Д. А. Россиев, А. А. Савченко, С. Е. Гилев, Д. А. Коченов // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара. Красноярск: КГТУ, 1993. С. 32.

99. Рубцов, Д. В. Разработка технологии применения искусственных нейронных сетей в прикладных информационных системах: Автореф. канд. техн. наук / Д. В. Рубцов. Барнаул, 2000.

100. Рубцов, С. В. Опыт использования стандарта IDEF0 / С. В. Рубцов //Открытые системы. Вып. 1. М., 2003. С. 53-56.

101. Сахаров, П. Rational Rose, BPvvin и другие — аспект анализа бизнес-процессов / П. Сахаров // Директор ИС. Вып. 11. М., 2000.

102. Терехов, С. А. Вводные лекции по теории и приложениям искусственных нейронных сетей (рукопись). Красноярск, 2000. 69 с.

103. Терехов, С. А. Нейросетевые информационные модели сложных инженерных систем / С. А. Терехов // Нейроинформатика. Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. С. 101-136.

104. Товбис, Е. М. Обзор медицинских приложений по материалам вашингтонской конференции IJCNN / Е. М. Товбис, Л. А. Жуков // Информатика и информационные технологии: Тез. докл. межвузовской научной конференции. Красноярск: КГТУ, 2001. С. 159-161.

105. Трофимов, С. CASE-технологии: Практическая работа в Rational Rose / С. Трофимов. М.: Бином-Пресс, 2002. 288 с.

106. Тюрин, 10. П. Статистический анализ данных на компьютере / Ю. И. Тюрин, А. А. Макаров. М.:ИНФРА, 1998. 528 с.

107. Уоссермен, Ф. Нейрокомпыотерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. 237с.

108. Фор, А. Восприятие и распознавание образов / А. Фор. М.: Машиностроение, 1989.272 с.

109. Харрингтон, Дж. J1. Проектирование реляционных БД / Дж. JI. Харрингтон. М.:ЛОРИ, 2000. 230 с.

110. Хехт-Нильсен, Р. Нейрокомпыотинг: история, состояние, перспективы / Р. Хехт-Нильсен // Открытые системы. 1998. № 4.

111. Химмельблау, Д. Прикладное нелинейное программирование / Д. Химмельблау. М.: Мир, 1975. 534 с.

112. Хомич, А. В. Метод эволюционной оптимизации и его приложение к задаче синтеза искусственных нейронных сетей / А. В. Хомич, Л. А. Жуков // Нейрокомпьютеры: разработка, применение. М., 2004. № 12. С. 315.

113. Хопкрофт, Дж. Введение в теорию автоматов, языков и вычислений / Дж. Хопкрофт, Р. Мотвани, Дж. Ульман. М.: Издательский дом «Вильяме», 2002. 528 с.

114. Царегородцев, В. Г. Взгляд на архитектуру и требования к ней-роимитатору для решения современных индустриальных задач / В. Г. Царегородцев // Научная сессия МИФИ-2004: Сб. науч. тр. 4.2. М.: МИФИ, 2004. С. 160-167.

115. Царегородцев, В. Г. Извлечение знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей: Дис. канд. техн. наук / В. Г. Царегородцев. Красноярск, 2000. 196 с.

116. Царсгородцев, В. Г. К определению информативности независимых переменных для нейронной сети / В. Г. Царсгородцев // Материалы XI Всероссийского семинара "Нейроинформатика и ее приложения". Красноярск, 2003. С. 176-177.

117. Царегородцев, В. Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей / В. Г. Царегородцев // Методы нейроинформатики. Красноярск: Издательство КГТУ, 1998. С. 176-197.

118. Царегородцев, В. Г. Редукция размеров нейросети не приводит к повышению обобщающих способностей / В. Г. Царегородцев // Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара; ИВМ СО РАН. Красноярск, 2004. С. 163-165.

119. Царегородцев, В. Г. Упрощение нейронных сетей: цели, идеи, методы / В. Г. Царегородцев // Нейрокомпьютеры: разработка, применение. Вып. 4. М., 2002. С. 5-13.

120. Четвериков, В. Н. Базы и банки данных: Учебник для вузов / В. Н. Четвериков, Г. И. Ревунков, Э. Н. Самохвалов. М.: Высшая школа, 1987. 248 с.

121. Шаров, К. С. Идентификация моделей непрерывных технологических процессов с применением нейросетевых структур / К. С. Шаров, М. Ю. Шестопалов // Научная сессия МИФИ-2003: Сб. науч. тр. 4.1. М.: МИФИ, 2003. С. 151-156.

122. Шеер, А. В. Моделирование бизнес-процессов / А. В. Шеер. М.: ООО "Изд-во "Серебряные нити", 2000. 207 с.

123. Шумков, Е. А. Система поддержки принятия решений предприятия на основе нейросетевых технологий: Автореф. дис. канд. техн. наук / Е. А. Шумков. Краснодар, 2004. 23 с.

124. Юрасов, В. Л. Идентификация параметров моделей бизнес-процессов на основе функционирования АСУ: Автореф. дис. канд. техн. наук / В. А. Юрасов. Красноярск, 2004. 21 с.

125. Якобсон, А. Унифицированный процесс разработки программного обеспечения / А. Якобсон, Г. Буч, Дж. Рамбо. Спб.: Питер, 2002. 496 с.

126. Atencia М. A., Joya G., Sandoval F. A formal model for definition and simulation of generic neural networks // Neural Processing Letters, Kluwer Academic Publishers, vol. 11, 2000, pp. 87-105

127. Fiesler E., Caulfield H.J. Neural network formalization // Computer Standards and Interfaces, 1994 vol. 16(3), pp. 231-239

128. Gordienko P. Construction of efficient neural networks // Advances in Modelling & Analysis, A, AMSE Press, 1995, V. 24, N 4. P.51-59

129. Gordienko P. Construction of efficient neural networks: Algorithms and tests // Proceedings International joint Conference on Neural Networks IJCNN'93, Nagoya, Japan, 1993. P.313-316

130. Grau M.A., Molinero H.L. A fast method for rule extraction in neural networks // Proc. IEEE World Congress on Computational Intelligence, Ancorage, 1998: WCCI'98 Ancorage 1998, P.2334-2339157. http://www.neurok.ru

131. Molnar В., Szentirmay Z., Bodo M. et al. Application of multivariate, fuzzy set and neural network analysis in quantitative cytological examinations // Anal. Cell Pathol. 1993. V.5, N.3. P.161-175.

132. Pol De A., Thimm G., Fiesler E. Sparse initial topologies for high order perceptrons // Proc. of the Int. Conf. on Neural Networks. Washington, DC. June 2-6. 1996: ICNN-96. P.84-89

133. Proc. IEEE World Congress on Computational Intelligence, Ancorage, 1998.: WCCI'98 Ancorage 1998

134. Neural Network Markup Language Home Page, www.nnml.alt.ru

135. The Data Mining Group, PMML 1.1 Neural Network www.dmg.org/html/neuralnetwork.html

136. G. Kock and N.B. Serbedzija, "Simulation of Artificial Neural Networks", Systems Analysis Modelling - Simulation (SAMS), vol. 27(1), 1996, pp. 15-59.

137. R.R. Leighton, The Aspirin/MIGRANES neural network software. Users manual, MITRE Corp., 1992

138. A. Strey, "EpsiloNN A Tool for the Abstract Specification and Parallel Simulation of Neural Networks ", Systems Analysis - Modelling - Simulation (SAMS), Gordon&Breach, vol.34, n.4, 1999

139. G. Kock and N.B. Serbedzija, "Artificial neural networks: from compact descriptions to С++", In M. Marinaro and P.G. Morasso, editors, Proc. of the International Conference on Artificial Neural Networks, Springer-Verlag, 1994, pp. 1372-1375

140. G. Dorffner, H. Wiklicky, and E. Prem, Formal neural network specification and its implications on standardization, Technical Report OFAI TR-93-24, Austrian Research Institute for Artificial Intelligence, 1993

141. E. Fiesler and H.J. Caulfield, "Neural network formalization", Computer Standards and Interfaces, 1994 vol. 16(3), pp. 231-239

142. M. A. Atencia, G. Joya and F. Sandoval, "A formal model for definition and simulation of generic neural networks", Neural Processing Letters, Klu-wer Academic Publishers, vol. 11, 2000, pp. 87-105