автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Разработка технологии применения искусственных нейронных сетей в прикладных информационных системах

ВВЕДЕНИЕ.

Глава 1. АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ ПОСТРОЕНИЯ НЕЙРОСЕТЕВЫХ КОМПОНЕНТ ИНФОРМАЦИОННЫХ СИСТЕМ.

1.1 Применение искусственных нейронных сетей для решения слабо формализованных задач в составе информационных систем.

1.2 Предпосылки разработки технологии применения нейросетевых блоков в прикладных информационных системах.

1.3 Задачи повышения эффективности применения нейросетевых блоков в прикладных информационных системах.

Глава 2. РАЗРАБОТКА МЕТОДОВ ПОСТРОЕНИЯ И ИСПОЛЬЗОВАНИЯ НЕЙРОСЕТЕВЫХ КОМПОНЕНТ В СОСТАВЕ ПРИКЛАДНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ.

2.1 Применение нейросетевых компонент в прикладных информационных системах на основе унифицированного формата представления нейросетевой модели.

2.2 Разработка концептуальной модели унифицированного формата представления нейросетевых моделей.

2.3 Технология построения нейросетевых компонент в составе информационной системы.

2.4 Методы исследования свойств нейросетевых моделей.

Выводы.

Глава 3. РЕАЛИЗАЦИЯ МЕТОДОВ ПОСТРОЕНИЯ НЕЙРОСЕТЕВЫХ КОМПОНЕНТ В СОСТАВЕ ПРИКЛАДНЫХ ИНФОРМАЦИОЕНЫХ СИСТЕМ.

3.1 Унифицированный формат описания нейросетевых моделей на основе средств языка XML.

3.2 Реализация программного комплекса моделирования искусственных нейронных сетей.

3.3 Экспериментальное применение разработанных методов для решения прикладных задач.

Выводы.

Актуальность проблемы. В связи с интенсивным развитием вычислительной техники и возросшими требованиями к эффективности процессов обработки информации актуальной задачей является разработка средств автоматизированного анализа зависимостей в составе прикладных информационных систем (ИС). Задача автоматизированного анализа зависимостей особенно актуальна для слабоструктурированных и слабо формализованных проблем, которые возникают в процессе использования прикладных информационных систем.

Построение традиционных математических моделей для решения таких проблем затруднено или сопряжено со значительными затратами, превышающими ожидаемый от модели эффект. Это связано с невозможностью полного исследования внутренних взаимодействий в системе, большим числом влияющих факторов, неполнотой или неточностью описания объектов, динамикой или малой изученностью предметной области. Примером подобной задачи может служить оценка финансового состояния предприятия или постановка медицинского диагноза. Традиционно такие задачи решаются на неформальном уровне экспертами - специалистами в предметной области. В современных условиях для решения подобных задач широко используются искусственные нейронные сети, показавшие свою эффективность в различных прикладных областях. Однако, их применение в составе прикладных информационных систем носит эпизодический характер, отсутствует единая технология интеграции нейросетевых моделей в информационные системы, нет унифицированных стандартов для представления и передачи нейросетевых моделей и т.д.

Внедрение средств решения слабо формализованных задач, основанных на нейросетевых технологиях, в информационные системы позволит существенно повысить качество и скорость обработки информации, расширить их возможности в прикладных, исследовательских, учебных и других задачах.

Степень научной разработанности темы. Основы методов анализа зависимостей на основе эмпирических данных были заложены в математической и прикладной статистике. Значительный вклад в теорию и практику построения автоматизированных систем анализа данных был сделан в рамках теории распознавания образов такими отечественными учеными, как М.М. Бонгард, Э.М. Браверман, Я.З. Цыпкин, Ю.И. Журавлев, В.Н. Вапцик, А.Л. Горелик, А.Г. Ивахненко, Н.Г. Загоруйко, Г.С. Лбов и др. Среди зарубежных исследователей можно отметить таких авторов, как Ф. Розенблатт, М. Минский, Э. Хант, Р. Дуда, П. Харт, К. Фу, К. Фукунага, У. Гренадер и др. В рамках теории распознавания образов были выработаны основы методологии решения задач классификации данных с помощью вычислительной техники, разработан математический аппарат, получены фундаментальные результаты и предложены методы решения задач классификации на ЭВМ.

В последнее десятилетие активно развивается подход к построению экспертных систем, основанный на принципах искусственных нейронных сетей (ИНС). Основные вопросы, связанные с теорией ИНС и практикой их применения были представлены в работах отечественных исследователей А.Н. Горбаня, А.И. Галушкина, B.JL Дунина-Барковского, E.H. Соколова, В.А. Охонина, С.Е. Гилева, Б.Н. Оныкого, Н.П. Абовского Е.М. Миркеса, Д.А. Россиева, также зарубежных, таких, как D.E. Rumelhart, G.E. Hinton, Т. Cohonen, R. Hecht-Nielsen, S. Grossberg, JJ. Hopfield, C.M. Bishop и других. В настоящее время основные усилия исследователей и разработчиков сосредоточены на изучении и развитии теоретических и прикладных аспектов нейроинформатики, при этом обычно нейросетевые средства рассматриваются изолировано, вне связи с существующими информационными системами, средствами обработки и передачи информации. Примеры комплексного рассмотрения проблемы применения нейросетевых технологий в составе прикладных информационных систем достаточно редки. Доступное отечественное и зарубежное программное обеспечение также ориентировано на самостоятельное использование. Такой подход сужает область применения современных методов нейроинформатики. В области информационных систем препятствием для непосредственного использования существующих методов ИНС является отсутствие единого стандартного формата представления нейронных сетей, слабая разработанность методов интеграции нейросетевых элементов и информационных систем, сложность исследования и верификации полученной нейросетевой модели. С другой стороны, постоянно расширяется круг задач, для решения которых применяются искусственные нейронные сети, появляется необходимость в организации обмена знаниями, заложенными в нейросетевых моделях, в том числе в режиме межмашинного информационного обмена.

Одним из возможных путей преодоления этих ограничений может быть разработка технологии построения и использования нейросетевых компонент в составе прикладных информационных систем на основе унифицированного формата представления и описания нейросетевых моделей. По-видимому, в указанном аспекте проблема развития прикладных информационных систем рассматривается впервые.

Объект исследования. Прикладные информационные системы, использующие реляционное представление данных.

Предмет исследования. Разработка информационной технологии интеграции нейронных сетей и информационных систем.

Цель работы. Целью диссертационной работы является разработка методов и средств представления, построения и применения нейросетевых моделей в составе прикладной информационной системы.

Основные задачи исследования.

1. Анализ возможностей и технологий применения нейросетевых моделей в составе прикладных информационных систем.

2. Разработка состава и структуры унифицированного описания нейросетевых моделей.

3. Разработка технологии и методов построения и использования нейросетевых компонент в составе прикладных информационных систем.

4. Разработка языка унифицированного описания нейросетевых моделей, а также программной системы поддержки нейросетевых моделей для использования в прикладных информационных системах.

5. Экспериментальное исследование разработанных информационных технологий с использованием модельных и реальных данных.

Методы исследования. Для выполнения работы используются: методы проектирования информационных систем, методы математического, численного моделирования и оптимизации, методы нейроинформатики.

Научная новизна работы. Научная новизна работы определяется тем, что впервые предложены и реализованы методы построения и использования нейросетевых компонент в составе прикладных информационных систем на основе унифицированного формата описания нейросетевых моделей. Основные научные результаты заключаются в следующем:

1. предложен вариант унифицированного формата представления нейросетевых моделей на основе технологии XML;

2. предложен комплекс проектных решений по разработке системы поддержки нейросетевых моделей в составе информационных систем, включая использование унифицированного формата представления нейронных сетей, алгоритм формирования структуры многослойной нейронной сети, алгоритмы решения задач исследования нейросетевой модели;

3. на основе разработанных проектных решений реализована программная система для поддержки нейросетевых моделей в прикладных ИС.

Реализация результатов. Разработанные в диссертации методы использованы в составе информационной системе диагностики хозяйственной деятельности предприятия «Аналитик», разработанной в АГТУ им. И.И. Ползунова. На основе проведенных исследований разработан программный комплекс «НейроАнализ», обеспечивающий создание нейросетевых моделей и их интеграцию в функционирующие ИС. Получены свидетельства об официальной регистрации Роспатентом системы «НейроАнализ» (свидетельство № 20061094 от 4.02.2000 г.), интеллектуальной системы диагностики хозяйственной деятельности предприятия «Аналитик» (свидетельство № 990031 от 26.01.1999 г.), информационно-советующей системы производственного менеджмента (свидетельство № 990941 от 22.12.1999 г.).

Практическая ценность. Разработанные в диссертации методы ориентированы на следующие применения:

• автоматизированное построение нейросетевых блоков решения задач оценки, диагностики и прогнозирования на основе эмпирических данных в составе существующих информационных систем;

• построение и исследование нейросетевых моделей решения задач анализа зависимостей в различных предметных областях.

Реализованная программная система используется в учебном процессе каф. ИСЭ АГТУ им. И.И. Ползунова, каф. экономики и автоматизированных систем управления Томского политехнического института (филиал в г. Юрга), городской поликлинике №4 г. Барнаула, производственном процессе птицефабрики «Молодежная» Алтайского края.

Ряд исследований выполнен в рамках госбюджетных научно-исследовательских работ по единому заказу-наряду по теме «Исследование и разработка автоматизированных систем управления предприятиями и организациями в переходный период».

На защиту выносится:

1. Вариант унифицированного формата представления нейросетевых моделей.

2. Комплекс проектных решений по разработке системы поддержки нейросетевых моделей в составе информационных систем, в том числе использование нейросетевых моделей в унифицированном формате, алгоритм формирования структуры нейросетевой модели, алгоритмы решения информационных задач исследования нейросетевых моделей.

3. Комплекс технических решений по реализации программной системы моделирования нейронных сетей и блока поддержки нейросетевых моделей в прикладных информационных системах.

Апробация работы. Основные положения работы докладывались на: первой, второй, третьей Математической Алтайской Конференции (Барнаул, 1998, 1999, 2000 гг); четвертом, пятом, шестом и седьмом всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 1996, 1997,

1998 и 1999 гг), международной конференции «Нечеткая логика, интеллектуальные системы и технологии», (Владимир, 1997 г), третьем Сибирском Конгрессе по прикладной и индустриальной математике ИНПРИМ-98 (Новосибирск, 1998 г), 3-ем рабочем семинаре «Нейронные сети в информационных технологиях» (Снежинск, 1998 г), международной научно-технической конференции «Нейронные, реляторные и непрерывнологические сети и модели», (Ульяновск, 1998 г), всероссийских научно-технических конференциях «Нейроинформатика» в рамках научных сессий МИФИ (Москва,

1999 и 2000 гг), третьем российско-корейском научно-технологическом симпозиуме КОРУС-99 (Новосибирск, 1999 г), 3-ей международной научно8 технической конференции «Интерактивные системы: проблемы человеко-компьютерного взаимодействия», (Ульяновск, 1999 г), на научных семинарах кафедры теоретической кибернетики и прикладной математики в Алтайском государственном университете (1997, 1998 и 1999 гг). Разработанные в рамках диссертации программы демонстрировались на седьмом всероссийском семинаре «Нейроинформатика и ее приложения» (Красноярск, 1999г).

Публикации. По теме диссертационной работы автором опубликовано 10 печатных работ и 16 тезисов докладов.

Объем работы. Диссертация состоит из введения, трех глав и заключения, изложенных на 140 страницах, а также приложений. Список литературы содержит 143 ссылки на отечественных и зарубежных авторов.

Выводы

Третья глава работы посвящена описанию реализации моделей, методов и технологических решений, приведенных во второй главе.

В первом параграфе приводится описание языка представления нейронных сетей, разработанного на основе концептуальной модели описания нейросетевой модели (п. 2.2.) с использованием средств языка XML, затрагиваются вопросы расширения состава элементов описания нейросети и обеспечения его открытости, приводится схема обработки файлов унифицированного формата. Разработанный язык представления позволяет формировать унифицированное описание нейросетевой модели, независимое от средств ее построения. Использование средств XML обеспечивает высокую структурированность, гибкость и прозрачность описания, переносимость файлов формата, позволяет использовать универсальные средства анализа XML-документов для работы с описаниями нейронных сетей. Разработанный формат выполняет следующие основные функции: 1) функцию обменного формата, обеспечивающего передачу нейросетевых знаний между приложениями, в том числе в режиме межмашинного обмена; 2) функцию документирования нейросетевых моделей для организации эффективного хранения и поиска моделей в архивах. Унифицированный формат может стать основой для

129 разработки компонент информационных систем, использующих нейронные сети для решения прикладных задач.

Второй параграф посвящен описанию структуры и функций программного комплекса моделирования нейронных сетей, который включает в себя нейроимитатор общего назначения NNET и нейросетевой блок NNFUN, предназначенный для использования в составе прикладных информационных систем. Программы реализованы средствами Borland Delphi для ОС MS Windows 95/98/NT. Разработана технология интеграции компоненты NNFUN и прикладной информационной системы, поддерживающей реляционное представление данных, основанная на использовании управляющих файлов специального формата, которая позволяет применять нейросетевой блок в составе широкого круга существующих информационных систем, в частности, в системах анализа хозяйственной деятельности предприятия [131—140].

В третьем параграфе приводится описание вычислительных экспериментов, проведенных с использованием модельных и реальных данных. Результаты экспериментов подтверждают достоверность выдвинутых положений и позволяют сделать вывод о работоспособности разработанных методов и средств применения нейронных сетей в составе прикладных информационных систем.

ЗАКЛЮЧЕНИЕ

В диссертационной работе разработана технология применения блоков моделирования искусственных нейронных сетей в составе прикладных информационных систем на основе унифицированного формата представления нейросетевых моделей, которая направлена на решение важной народнохозяйственной задачи повышения эффективности применения прикладных информационных систем, использующих реляционное представление данных. Основные результаты работы заключаются в ;ледующем:

1. Проведен анализ возможностей и методов применения нейросетевых моделей в составе прикладных информационных систем, выявлены проблемы, возникающие при интеграции нейросетевых компонент и информационных :истем, сформулированы предпосылки их решения.

2. Разработана технология применения нейросетевых компонент в составе прикладных информационных систем, включающая использование /инфицированного формата представления нейронных сетей, методы интеграции нейросетевых компонент в ИС, методы автоматизации формирования структуры нейронных сетей, а также методы исследования свойств нейросетевой модели и решения дополнительных задач с помощью нейронных сетей.

3. Разработан алгоритм автоматизированного формирования структуры многослойной нейронной сети прямого распространения, предложены методы исследования свойств обученной многослойной нейронной сети с дифференцируемыми функциями активации нейронов.

4. Сформулированы требования к унифицированному формату описания нейросетевых моделей, разработаны информационный состав и структура /инфицированного описания нейросетевых моделей.

5. Разработан язык описания нейросетевых моделей на основе средств КМЬ, реализующий функции обменного формата и документирования нейросетевых моделей, предложена технология его использования.

6. Разработан программный комплекс моделирования нейронных сетей, жлючающий полнофункциональный нейроимитатор общего назначения а также программный блок, предназначенный для применения в составе трикладных информационных систем, разработаны средства и технология штеграции нейросетевого блока и информационной системы.

7. Проведено экспериментальное исследование разработанных методов и средств на модельных и реальных данных, которое подтвердило защищаемые юложения.

8. Разработанные подходы, методы и средства использовались при юстроении нейросетевых компонент информационной системы анализа

1. Информационные системы в экономике: Учебник /Под ред. В.В. Дика. -М.: Финансы и статистика, 1986. -272 с.

2. Советов Б.Я. Информационная технология: Учеб. для вузов по спец. «Ав-томатизир. системы обработки информ. и упр.» М.: Высш. шк., 1994. -368 с.

3. Калиниченко Л.А., Рыбкин В.М. Машины баз данных и знаний М.: Наука, 1990.- 296 с.

4. Пупков К.А. Интеллектуальные системы: проблемы теории и практики. Изв. вузов. Приборостроение. 1994, т.37, № 9-10 ). Галанский Б.Л., Поляков В.И. Информационные системы. Томск: Изд-во Том. ун-та, 1989 .- 154 с.

5. Эндрю А. Искусственный интеллект. М.: Мир, 1985, - 264 с. Î. Искусственный интеллект; В 3 кн. Кн.1. Системы общения и экспертные системы; Справочник/ Под ред. Э.В. Попова. - М.: Радио и связь, 1990.-464с.

6. Дородицин A.A. Информатика: предмет и задачи //Кибернетика. Становление информатики. -М.: Наука, 1985. С. 22-28.

7. Искусственный интеллект; В 3 кн. Кн.2 Модели и методы; Справочник /Под ред. Д.А. Поспелова. М.: Радио и связь, 1990. - 304 с. Поспелов Д.А. Ситуационное управление: теория и практика. - М.: Наука, 1986.-288 с.

8. Попов Э. В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. М.: Наука, 1987.-288 с.

9. Кузин Л.Т. Основы кибернетики: В 2х т. Т.2 Основы кибернетических моделей. М.: Энергия, 1979,- 584 с.

10. Нильсон Н. Искусственный интеллект. М.: Мир, 1973. - 270 с. Хант Э. Искусственный интеллект. - М.: Мир, 1978. - 558 с. Загоруйко Н.Г. Методы распознавания и их применение. М.: Сов. радио, 1972.-206 с.

11. Лбов Г.С. Методы обработки разнотипных экспериментальных данных.-Новосибирск: Наука, 1981.- 157 с.

12. Фор А Восприятие и распознавание образов-М: Машиностроение, 1989.- 272 с.133

13. Вапник В.Н., Червоненкис А.Ф. Теория распознавания образов. М.: Наука, 1974.

14. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.512 с.

15. Honavar V., L. Uhr. Integrating Symbol Processing and Connectionist Networks. Invited chapter. In: Intelligent Hybrid Systems. 1995, pp. 177-208. Goonatilake, S. and Khebbal, S. (Ed.) London: Wiley.

16. Гаврилова T.A., Червинская K.P. Извлечение и структурирование знаний для экспертных систем. М.:Радио и связь, 1992. - 200 с.

17. Сойер В., Фостер Д.Л. Программирование экспертных систем на Паскале; пер. с англ. М.: Финансы и статистика, 1990. - 191 с.

18. Таундсен К., Фохт Д. Проектирование и программная реализация экспертных систем на персональных ЭВМ: Пер. с англ.- М.: Финансы и статистика, 1990.-320 с.

19. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.- 389 с.

20. Представление и использование знаний: Пер. с япон./ Под ред. X. Уэно, М. Исидзука.-М.: Мир, 1989. 220 с.

21. Осуга С. Обработка знаний: Пер. с япон. М.: Мир, 1989. -293 с.

22. Приобретение знаний: Пер. с япон./ Под ред. С.Осуги, Ю. Саэки. М.: Мир, 1990.-304 с.

23. Towell G. G., J. W. Shavlik. Knowledge-Based Artificial Neural Networks. Artificial Intelligence, 70, 1994, pp. 119-165

24. Orsier В., B.Amy, V.Rialle, A.Giacometti. A study of the hybrid system SYNHESYS. In Proc. of ECAI-94, Amsterdam, 1994, 10 p.

25. Айвазян C.A., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985.

26. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989.

27. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия.- М.: Финансы и статистика, 1982.- 239 с.

28. Боровков А.А. Математическая статистика.- Новосибирск: Наука; Изд-во Ин-та математики, 1997.- 772 с.

29. Kemsley, D.H., Т. R. Martinez. A Survey of Neural Network Research and Fielded Applications // International Journal of Neural Networks: Research and Applications, vol. 2, No. 2/3/4, 1992, pp. 123-133

30. Sarle W. Frequent asked question on neural network. ftp://ftp.sas.com/pub/neural/FAQ.html.

31. Россиев Д.А. Медицинская нейроинформатика / Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

32. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск.: Наука, 1996.- 276 с

33. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998. - 224 с.134

34. Hristev R.M. The ANN Book. 1998, 395p. ftp://ftp.funet.fi/pub/sci/neural/ books.

35. Sarle W. Neural networks and statistical models. In Proc. of 19 Annual SAS users group international conference, 1994, 13 p. ftp://ftp.sas.com/pub/neural/ inter95.ps.

36. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ.-М.:Высш.шк., 1989. 376 с.

37. Клир Дж. Системология. Автоматизация решения системных задач: Пер. с англ. М.:Радио и связь, 1990. - 544 с.

38. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП «ParaGraph», 1990. 160 с.

39. Горбань А.Н. Быстрое дифференцирование, двойственность и обратное распространение ошибки / Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. С. 73-100.

40. Гилева JI.B., Гилев С.Е., Горбань А.Н., Гордиенко П.В., Еремин Д.И., Ко-ченов Д.А., Миркес Е.М., Россиев Д.А., Умнов Н.А. Нейропрограммы. Учебное пособие: В 2 ч. // Красноярск, Красноярский государственный технический университет, 1994. 260 с.

41. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск.: Наука, 1998.- 188 с.

42. Методы нейроинформатики. Сб.научн.трудов / Под ред. А.Н. Горбаня. Красноярск: КГТУ. 1998. -204 с.

43. Нейроинформатика / А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин, Е.М.Миркес, А.Ю.Новоходько, Д.А.Россиев, С.А.Терехов, М.Ю.Сенашова, В.Г.Царегородцев.-Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.-296 с.

44. Горбань А.Н. Нейрокомпьютер, или Аналоговый ренессанс. Мир ПК, 1994. № 10. С. 126-130.

45. Маккалок Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956.

46. РозенблаттФ. Принципы нейродинамики. М.: Мир, 1965.

47. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.

48. Дунин-Барковский В.Л. Информационные процессы в нейронных структурах. М.: Наука, 1978.

49. Соколов Е.Н., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. -238 с.

50. Poggio Т., F. Girosi. A Theory of Networks for Approximation and Learning. MIT AI memo 1140, 1989.- 87 p.

51. Heht-Nielsen R. Theory of the backpropagation neural network/ Neural Networks for Human and Machine Perception. H.Wechsler (Ed.). Vol. 2. Boston, MA: Academic Press, 1992. pp. 65 -93.

52. Olmsted D.D. History and Principles of Neural Networks.http://www.neurocom puting.org/history.htm

53. Люблинский P.H., Оскорбин H.M. Методы декомпозиции при оптимальном управлении непрерывными производствами. -Томск: Изд-во ТГУ, -1979.-220 с.

54. Bishop С.М. Theoretical foundation of neural networks. Aston Univ., UK Tech.Rep.NCRG-96-024, Neural computing research group, 1996, 8p.

55. Lizhong Wu and John Moody. A Smoothing Regularizer for Feedforward and Recurrent Neural Networks // Neural Computation 8:3, 1996.

56. Bishop C.M. Regularization and complexity control in feed-forward networks. Aston University, Tech.Rep.NCRG-95-022, Neural computing research group, 1995.- 8p.

57. Sarle W. Stopped training and other remedies for overfitting. In Proc. of the 27th Symposium on the Interface, 1995. 10 p.

58. Jondarr C.G. Back propagation family album. Technical report C/TR96-05, Macquarie University, 1996. 72 p.

59. Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981.-302 с.

60. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985. -509 с.

61. Amari, S., N. Murata, K.-R. Muller, M. Finke, H. Yang. Asymptotic Statistical Theory of Overtraining and Cross-Validation. METR 95-06, Department of Mathematical Engineering and Information Physics, University of Tokyo, 1995.

62. Lowe D., C. Zapart. Point-wise confidence interval estimation by neural networks: a comparative study based on automotive engine calibration Neural Computing and Application. 1999, 8. - pp 77-85.

63. Bishop C.M. Novelty Detection and Neural Network Validation. IEE Proceedings: Vision, Image and Signal Processing. 1995. - pp 217-222.

64. Bieler К., H. Glavitsch. Evaluation of different AI methods for fault diagnosis in power systems. ABB Technical report CHCRC 93-05, Switzerland, 1992. 8 p.

65. Balakrishnan K., V.Honavar. Intelligent Diagnosis Systems. Journal of Intelligent Systems. 1998. -37 p.

66. Fiesler E. Neural network classification and formalization. Computer Stan-darts and interfaces, v. 16, Elseiver Science publishers, Amsterdam, 1994. 13p.

67. Neural Bench. Теория по нейронным сетям, http://www.neuralbench.ru/ theory/.

68. Hassibi, В., Stork, D.G. Second order derivatives for network pruning: Optimal Brain Surgeon / in Hanson, S.J., Cowan, J.D. and Giles, C.L., eds., Advances in Neural Information Processing Systems 5, 1993, pp.164-171, San Mateo, CA: Morgan-Kaufmann.

69. Tin-Yau Kwok, Dit-Yan Yeung. Constructive feedforward neural networks for regression problems: a survey. Tech. Rep. HKUST-CS95-43, University of Hong Kong, 1995. 30 p.

70. Honavar V., L. Uhr. Generative Learning structures for Generalized ConnectionistNetworks-Information Sciences 70 (1-2): 1993. pp. 75-108

71. Parekh, R., Yang, J., Honavar, V. Constructive neural network learning algorithms for multi-category real-valued pattern classification. Tech. rep. ISU CS-TR 97-06. 1997.

72. Fahlman S., C. Lebiere. The cascade-correlation learning architecture. Tech.rep. CMU-CS-90-100, Carnegie Mellon University, 1990.

73. Treatgold N., T. Gedeon. A cascade network algorithm employing progressive RPROP. Gedeon, 1997. http://www.cse.unsw.edu.au.

74. Mohraz K., P.Protzel. FlexNet a flexible neural network construction algorithm. 1996. http://www.physik.uni-marburg.de/bio/mitarbei/karim

75. Доррер М.Г. Аппроксимация многомерных функций полутораслойным предиктором с произвольными преобразователями // Методы нейроинформатики. Сб.научн.трудов./ Под ред. А.Н. Горбаня. Красноярск. КГТУ. 1998. С. 130-151.

76. Ash Т. Dynamic node creation in back-propagation networks. Technical report 8901. Institute for Cognitive Science, San-Diego, 1989.

77. Терехов C.A. Нейросетевые информационные модели сложных инженерных систем/сб. Нейроинформатика под ред. B.JI. Дунина-Барковского и А.Н. Горбаня Новосибирск.: Наука, 1998. - С.101-137.

78. Винер Н. Кибернетика, или Управление и связь в животном и машине: Пер. с англ., 2-е изд., М, 1968.

79. MacGarry К., S.Wermter, J.MacIntyre. Hybrid neural system: from simply coupling to fully integrated neural network// Neural computing surveys, 2, 1999. -pp. 62-93.

80. Towell G. G., J. W. Shavlik. The Extraction of Refined Rules from Knowledge-Based Neural Networks. Machine Learning, 13, 1993.- pp. 71-101.

81. Mahoney J. J. Combining Symbolic and Connectionist Learning Methods to Refine Certainty-Factor Rule-Bases. Ph.D. Thesis, Department of Computer Sciences, University of Texas at Austin, 1996.

82. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. Сб.научн.трудов / Под ред. А.Н. Горбаня. Красноярск: КГТУ. 1998. С. 176-197.

83. Sarle W. How to measure importance of inputs? SAS Institute Inc. 1998. ftp ://ftp. sas. com/pub/neural/.

84. Thgoh F.W. Semantic extraction using neural network modeling and sensitivity analysis. Institute of system science. Singapore. 1991. ftp://archive.cis.ohio-state. edu/pub/neuroprose.

85. Терехов C.A. Прямые, обратные и смешанные задачи в нейросетевом моделировании сложных инженерных систем // Нейроинформатика и ее приложения: Тезисы докладов IV Всероссийского семинара / Под ред. А.Н.Горбаня. Красноярск: КГТУ. 1996.

86. Коченов Д.А., Миркес Е.М., Россиев Д.А. Метод подстройки параметров примера для получения требуемого ответа нейросети // Нейро-информатика и ее приложения. Тез. докл. Всероссийского рабочего семинара, 1994 г. Красноярск.- 1994.- С.39.

87. Kindermann, J., Linden, A. Inversion of Neural Networks by Gradient Descent // Parallel Computing, 14, 1990. pp. 277-286.

88. Царегородцев В.Г. Нейроимитатор NEUROPRO // Нейроинформатика и ее приложения: Тез. докл. VI Всероссийского семинара, 2-5 октября 1998 г. / Под ред. А.Н.Горбаня. КГТУ. Красноярск, 1998.

89. Гилева JI.B., Гилев С.Е., Горбань А.Н. Нейросетевой бинарный классификатор "CLAB" (описание пакета программ). Красноярск: Ин-т биофизики СО РАН, 1992. 25 с. Препринт № 194 Б.

90. Компания «Нейропроект». http://www.neuroproject.ru/.

91. Нейроимитатор «Neural bench», http://www.neuralbench.ru/.

92. Пакет программ «NeuroOffice». http://canopus.lpi.msk.su/neurolab/.

93. Квичанский А.В., Терехов С.А. Методы нейросетевого информационного моделирования в комплексе NIMFA // Нейроинформатика и ее приложения: Тезисы докладов IV Всероссийского семинара / Под ред. А.Н. Горбаня. Красноярск: КГТУ. 1996 . С. 122.

94. California Scientific Software, http://www.calsci.com/.

95. Stuttgarter Neural Network Simulator. University of Tuebingen. Germany, http://www-ra. informatik.uni-tuebingen.de/SNNS.

96. MATLAB Neural Network Toolbox. http://kalman.iau.dtu.dk/Projects/proj/ nnsysid.html.

97. Smieja F.J. Multiple Network System (MINOS) modules: task division and module discrimination. In Proc. of 8th AISB conference on Artificial Intelligence, Leeds, 1991.

98. Jabri M. A users guide to the MUME system. Technical report. Systems engineering and design automation laboratory. University of Sydney, 1992, 135 p.

99. Francesco M. Functional network. A new computational framework for specification, simulation and algebraic manipulation of modular neural systems. PhD Thesis, University of Geneva. 1994. 128 p.

100. Пятковский О.И., Бутаков C.B., Рубцов Д.В. Методы построения интеллектуальных информационных систем анализа экономической деятельности предприятий. Барнаул: Изд-во АлтГТУ, 1999. 168 с.

101. Рубцов Д.В. Программное моделирование нейронных сетей // Материалы второй краевой конференции по математике / под ред. Ю.Г.Решетняка. -Барнаул: Изд-во АГУ, 1999. С. 55.

102. Рубцов Д.В. Нейросетевые компоненты в гибридных моделях решения слабо формализованных задач // Нейроинформатика и ее приложения: Тезисы докладов VII Всероссийского семинара / Под. ред. А.Н.Горбаня, Красноярск: КГТУ, 1999. С. 122.

103. Wilson D.R., T.R. Martinez. Improved heterogeneous distance functions. Journal of Artificial Intelligent Research No. 6, 1997. 32 p.

104. Extensible Markup Language (XML) 1.0. W3C Recommendation. http://www.w3 .org/TR/1998/REC-xml-19980210.

105. Mathematical Markup Language (MathML) Version 2.0.W3C Working Draft. http://www.w3.org/TR/2000/WD-MathML2-20000211.

106. The SGML/XML Web Page Extensible Markup Language (XML). http://www.oasis-open.org/cover/xml.html.

107. MSDN XML Developer Center, http://msdn.microsoft.com/xml/default.asp.

108. Печерский А. Язык XML. Практическое введение, http://www.citforum.ru.

109. Печерский А. Язык XML. Практическое введение: Часть 2. http://www.citforum.ru.

110. Simple API for XML. http://www.megginson.com/SAX/index.html.

111. Document Object Model. http://www.w3.org/DOM/.

112. XML and SGML tools including parsers. http://www.xml.com/xml/pub/Tools.

113. Рубцов Д.В. Разработка стандартизованного формата описания нейросете-вых моделей на основе средств XML // Материалы третьей краевой конференции по математике Барнаул: Изд-во АГУ, 2000. - С. 43-45.

114. XML Parser. ICOM Datenverarbeitungs GmbH, http://www.icom-dv.de/xml/.

115. Миллер Т., Пауэл Д. и др. Использование Delphi 3. Киев: Диалектика, 1997.- 768 с.

116. Пятковский О.И., Рубцов Д.В., Бутаков С.В. Система анализа финансово -хозяйственных показателей деятельности предприятия // Информационные технологии. 1999.- № 8. С. 31-34.

117. Пятковский О.И., Рубцов Д.В., Бутаков С.В. Построение интеллектуальных аналитических блоков с использованием продукционных и нейросете-вых методов. / Алт. гос. техн. ун-т им. И.И. Ползунова. Барнаул, 1998, 13 с. Деп. в ВИНИТИ.ОЗ.02.99, № 341 - В99.

118. Пятковский О.И., Рубцов Д.В., Бутаков С.В., Левин К.А. Информационная система анализа экономического состояния предприятия // Известия Алтайского государственного университета. 1998. - № 4(9). С. 58-62.

119. Евстигнеев В.В. Пятковский О.И., Рубцов Д.В., Бутаков С.В. Методы искусственного интеллекта в аналитической информационной системе // Ползуновский альманах 1999. - №1. С. 21-26.

120. Pyatkovskiy О, Rubtsov D., Butakov S. The Building of Information System with the Usage of "If-Then" Rules and Neural Networks // Interactive systems:139

121. The Problems of Human Computer interaction: Proceedings of the 3d International Conference. - Ulianovsk: U1STU, 1999.- P. 76.

122. Пятковский О.И., Рубцов Д.В., Бутаков C.B., Левин К.А. Интеллектуальные компоненты информационных систем диагностики хозяйственной деятельности предприятия // Вестник СО АН BILL-1999.- № 2 (6). С. 13 -20.

123. Рубцов Д.В. Автоматизация решения экспертных задач // Материалы первой краевой конференции по математике / под ред. Ю.Г.Решетняка -Барнаул: Изд-во АГУ, 1998. С. 23.

124. Канторович Л.В. О некоторых новых подходах к вычислительным методам и обработке наблюдений // Сиб. мат.журнал.- 1962.- Т.З, № 5. - С. 701.

125. Оскорбин Н.М.,'Максимов А.В., Жилин С.И. Построение и анализ эмпирических зависимостей методом центра неопределенности // Изв. Алт. Гос. Ун-та. 1998.-№ 1.-С. 37-40.

126. Оскорбин Н.М., Жилин С.И., Дронов С.В. Сравнение статистической и нестатистической оценок параметров эмпирической зависимости // Изв. Алт. Гос. Ун-та. 1998. - № 4. - С. 22-27.

127. Баканов М.И., Шеремет А.Д. Теория экономического анализа: Учебник. -3-е изд., перераб. М.: Финансы и статистика, 1996. - 288 с.