автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Интеллектуальная система анализа данных на основе нейронных сетей

ВВЕДЕНИЕ

ГЛАВА I. Системы интеллектуального анализа данных f

§1.1. Требования к интеллектуальным системам анализа данных и их 11 классификация

§ 1.2. Обоснование выбора подхода для разработки интеллектуальной системы анализа данных Выводы

ГЛАВА II. Методика интеллектуальной обработки эмпирических данных

§2.1. Общая методика анализа данных

§ 2.2. Основные характеристики и классификация искусственных нейронных сетей

§2.3. Схема анализа данных с использованием искусственных нейронных сетей

§2.4. Формулировка проблемы

§ 2.5. Подготовка данных к интеллектуальному анализу

§ 2.6. Формирование структуры нейронной сети

§ 2.7. Обучение нейронной сети

§2.8. Упрощение нейронной сети

§ 2.9. Извлечение правил из нейронной сети

Выводы

ГЛАВА III. Программная система интеллектуального анализа данных на основе нейросетевых технологий

§3.1. Функциональное назначение программной системы и описание 85 работы

§ 3.2. Техническое описание программной системы

ГЛАВА IV. Практическая реализация системы интеллектуального анализа данных

§4.1. Сравнение эффективности систем интеллектуального анализа 99 данных на задаче нахождения логических закономерностей

§ 4.2. Сравнение эффективности систем интеллектуального анализа 120 данных на задаче об ирисах Фишера

§4.3. Сравнение эффективности систем интеллектуального анализа 133 данных на задаче прогнозирования продолжительности жизни пациентов, перенесших сердечный приступ, по данным эхокардиограммы

§ 4.4. Сравнение эффективности систем интеллектуального анализа 140 данных на задаче прогнозирования результатов выборов президента США

§ 4.5. Решение задачи выявления различия антропометрических при- 149 знаков у больных остеоартрозом тазобедренных и коленных суставов

Выводы

Обоснование актуальности темы

На текущий момент времени накоплены базы данных значительных объемов, в которых хранится информация из различных проблемных областей. Для работы с ними разработаны специализированные технологии, решающие задачи накопления, хранения, статистической обработки, администрирования. Однако наблюдается отставание в разработке методов и программ, предназначенных для анализа данных, способных обнаружить потенциально полезную, но неявную информацию. Извлечение этой информации может дать критический толчок в научных исследованиях и других областях. Такое нетривиальное извлечение неявной, прежде неизвестной и потенциально полезной информации из больших баз данных называется разработкой данных или открытием знаний. Извлечение знаний использует концепции, разработанные в таких областях как машинное обучение, технология баз данных, статистика и других.

В настоящее время для интеллектуального анализа данных широко используются предметно-ориентированные аналитические системы и статистические пакеты.

1. Предметно-ориентированные аналитические системы предназначены для решения конкретных задач из строго определенной проблемной области. Такие системы очень разнообразны с точки зрения используемых в них методов, например, системы анализа финансовых рынков построены на основе методов технического анализа. Технический анализ представляет собой совокупность ряда методов прогноза динамики цен и выбора оптимальной структуры инвестиционного портфеля, основанных на различных эмпирических моделях поведения рынка. Поскольку, как правило, вся логика содержится внутри системы, а не выводится на основании истории рынка, то требования статистической значимости получаемых моделей и возможность интерпретации этих моделей, не имеют смысла [29].

2. Статистические пакеты основное внимание уделяют классическим методам математической статистики - корреляционному, регрессионному, факторному анализу и другим [23]. Главный недостаток систем этого класса - их невозможно эффективно применять для анализа данных, не имея глубоких знаний в области статистики. Кроме того, системы, основанные на статистической обработке информации, требуют от аналитиков априорных допущений о моделях. Обычно необходима специальная подготовка исходных данных (например, формирование выборок), определенный выбор моделей из совокупности допущенных (для проверки адекватности описания данных) и, наконец, профессиональная интерпретация результатов. Методы традиционной математической статистики, лежащие в основе статистических пакетов, полезны главным образом для проверки заранее сформулированных гипотез и для предварительного разведочного анализа, составляющего основу оперативной аналитической обработки данных (OLAP) [27].

Дополнением, а во многих случаях и альтернативой приведенным методам служит стратегия обнаружения знаний в базах данных.

Одними из требований, предъявляемыми к интеллектуальным системам извлечения знаний, являются эффективность и масштабируемость. Работа с очень большими базами данных требует эффективности алгоритмов, а неточность и, зачастую, неполнота данных порождают дополнительные проблемы для извлечения скрытых закономерностей.

Нейронные сети имеют здесь преимущество, поскольку они являются эффективным средством работы с зашумленными данными. Однако, главной претензией к нейронным сетям всегда было отсутствие представления обнаруженных правил в явном виде [21, 34, 39, 42, 47, 55, 61, 77, 80, 101].

Обучаемые нейронные сети способны производить из данных скрытые знания: создается навык прогноза, классификации, распознавания образов, но его логическая структура, при традиционном подходе, остается скрытой от пользователя.

В этой связи, в настоящее время нейросети рассматриваются лишь как инструмент предсказания, но не понимания. Классический нейросетевой подход — метод «черного ящика» — предполагает создание имитационной модели, без явной формулировки правил принятия решений нейросетью. Эти правила содержатся в весах обученной нейросети, но понять их, транслировав на язык правил "если . - то .", не представлялось возможным. В этой связи развитие методик, позволяющих строить подобные правила, объясняющие нейросетевые решения, является актуальной задачей. Нейросети, таким образом, можно использовать не только для предсказаний, но и для извлечения знаний из баз данных.

Традиционно построение правил вывода и баз знаний считается прерогативой экспертных систем. Экспертные системы были ориентированы именно на обработку данных с помощью некоторых правил вывода, которые предполагалось извлекать у экспертов в той или иной области знаний. Экспертные системы были призваны реализовывать цепочки рассуждений, имитирующих анализ ситуации экспертом данной проблемной области. В 70-е годы термин "искусственный интеллект" ассоциировался с разработкой экспертных систем [55].

Это направление столкнулось с рядом принципиальных трудностей. В частности, аналитики должны были извлекать их у квалифицированных экспертов, которые, не всегда стремятся делиться информацией. Но и при наличии соответствующего желания, эксперт не всегда способен верно сформулировать те правила, которыми он пользуется при подготовке экспертного заключения. Очень многое в его работе связано с интуитивными, качественными оценками, распознаванием ситуации в целом, то есть с не формализуемыми процедурами. Часть обозначенной проблемы, в части необходимости работы с нечеткими оценками эксперта, решаются с помощью методов теории нечеткой логики. Но даже если все трудности оказывались преодоленными, достоинства построенной экспертной системы оказывались не абсолютными, поскольку именно явная формализация правил вывода, а не компьютерная система сама по себе представляла основную ценность. В этом смысле показателен опыт создания в

70-е годы в Стэндфордском университете экспертной системы MYCIN, с помощью которой врачи повысили надежность диагностики септического шока. Септический шок, дававший в случае развития 50% летальных исходов у прооперированных больных, вовремя диагностировался врачами лишь в половине случаев. Экспертная система MYCIN позволила повысить качество диагностики почти до 100%. После того, как врачи познакомились с ее работой, они сами научились правильно ставить соответствующий диагноз. Необходимость в MYCIN отпала, и она превратилась в учебную систему. Таким образом, основная польза проекта состояла именно в извлечении знаний в явном, понятном для эксперта виде [55].

Нейронные сети выглядят предпочтительнее экспертных систем, позволяя одновременно анализировать множество в общем случае неточных и неполных параметров, не требуя при этом явной формализации правил вывода. Однако, объяснение тех или иных рекомендаций, полученных с помощью ней-росетевого анализа, является требованием, которое обычно предъявляют специалисты, желающие использовать нейросетевые технологии. Здесь и находится слабое место интеллектуальных систем анализа данных на основе нейронных сетей. Поэтому задача разработки и дальнейшего совершенствования методов проявления этой скрытой логической структуры представляется актуальной.

Обработка накопленной информации из различных предметных областей, возможно, позволит экспертам в данных областях формализовать имеющиеся знания. Необходимо изменить наблюдаемую ситуацию с отставанием в разработке систем интеллектуального анализа данных, предназначенных для обнаружения потенциально полезной, но не явной информации.

Получение такой практически полезной и доступной для интерпретации информации необходимо для принятия решений в различных сферах человеческой деятельности [2, 3, 8, 14, 21, 23, 27, 28, 35, 41, 47, 52, 55, 68, 70, 77, 83, 84, 89, 99, 111]. При этом для многих задач применимость традиционно используемых методов ограничена, поэтому создание методов автоматизированного извлечения знаний из баз данных является актуальной научно-технической проблемой.

Целью настоящей диссертационной работы является совершенствование процедуры интеллектуального анализа эмпирических данных, направленное на решение задачи выявления скрытых закономерностей, содержащихся в базах данных.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Определить требования к современным аналитическим системам, на основе предъявленных требований обосновать выбор математического аппарата для ядра аналитической системы.

2. Разработать методы и алгоритмы предобработки анализируемых данных.

3. Построить формальную схему анализа данных с использованием выбранной технологии.

4. Осуществить обоснованный выбор структуры и параметров выбранной технологии.

5. Разработать методику извлечения знаний в явном виде.

6. Программно реализовать и проверить работоспособность построенных алгоритмов на тестовых и реальных задачах.

Методы исследования. Результаты проведенных и представленных в диссертации исследований получены с использованием методов системного анализа, теории информации, теории вероятностей, нейросетевого моделирования, комбинаторики, оптимизации.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан новый способ нелинейной нормировки данных, отличающийся от известных последовательным выполнением преобразований с изменяемым видом нелинейности.

2. Разработан новый алгоритм обучения нейронной сети, отличающейся от известных методом настройки адаптивных параметров.

3. Разработан новый подход для выявления правил функционирования исследуемой системы по обученной нейронной сети, отличающейся кластеризацией входных параметров и активностей нейронов сети.

Практическая ценность работы состоит в разработке формальной методики, обеспечивающей возможность ее использования широким кругом организаций. В диссертации приведены конкретные практические рекомендации по использованию методики и предложенных в ее рамках приемов в различных прикладных областях. Созданная в рамках диссертационной работы программная реализация аналитической системы может быть использована для автоматизации аналитической работы.

Реализация результатов работы. Разработанная интеллектуальная система анализа данных зарегистрирована в отраслевом фонде алгоритмов и программ, номер государственной регистрации 50200400996, номер свидетельства об отраслевой регистрации разработки 3764. Система передана городской клинической больнице №20 им. Берзона (г. Красноярск), где используется в качестве инструмента поддержки принятия решения.

Разработанная система используется в учебном процессе при проведении практических занятий и лабораторных работ, а так же при выполнении бакалаврских и магистерских диссертаций в красноярском филиале Московского университета экономики, статистики и информатики (МЭСИ, г. Красноярск) и Сибирском государственном аэрокосмическом университете (СибГАУ, г. Красноярск).

Основные защищаемые положения:

1. Разработанный способ нелинейной нормировки данных позволяет повысить качество предобработки.

2. Разработанный алгоритм обучения нейронной сети обеспечивает повышение точности предсказания прогнозируемой величины и увеличение скорости обучения по сравнению с традиционными методами.

3. Разработанный подход для выявления правил функционирования исследуемой системы по обученной нейронной сети обеспечивает получение правил в логически ясном виде.

Публикации. По теме диссертации опубликовано двенадцать работ, список которых приведен в конце диссертации.

Апробация работы. Основные положения диссертационной работы докладывались и получили одобрение на заседаниях кафедры САИО СибГАУ им. ак. М.Ф.Решетнева, на Всероссийских научных конференциях с международным участием «Решетневские чтения» (2002, 2004 гг.), на межвузовской конференции «Информатика и информационные технологии» (2003 г.), на региональной научной конференции «Наука. Техника. Инновации.» (2002-2004 гг.), на международной многопрофильной конференции «Актуальные проблемы современной науки» (2004 г.), на международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (2004 г.).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и трех приложений.

Основные выводы и результаты работы:

Сформулированы требования к современным системам интеллектуального анализа данных.

Выявлен класс задач, при решении которых нейронные сети имеют преимущество перед традиционными методами математической статистики и технического анализа.

Выполнена формальная постановка задачи анализа данных, предполагающая нахождения правил функционирования изучаемого объекта в явном виде на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

Разработан новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними преобразований с изменяемым видом нелинейности.

Построена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание прогнозируемой величины, а также использующий ее новый алгоритм обучения сети, обеспечивающий увеличение скорости обучения сети на 20 - 70 % в зависимости от решаемой задачи, по сравнению с традиционным методом.

Разработан новый подход к получению правил в явном виде из обученной нейронной сети, заключающийся в кластеризации входных параметров и активностей нейронов.

Программно реализована интеллектуальная система анализа данных, включающая в себя программные средства предобработки данных, моделирования работы нейронной сети и получения из обученной сети явных правил функционирования задачи.

Решены тестовые и реальные задачи, что подтверждает обоснованность применения приемов и процедур, разработанных в диссертации, а также эффективность подхода в целом.

Таким образом, в диссертационной работе содержится решение задачи автоматического извлечения знаний из баз данных, полученные научные результаты имеют существенное значение для теории и практики разработки интеллектуальных аналитических систем обработки информации.

ЗАКЛЮЧЕНИЕ

1. Аджиев В. Mineset - визуальный инструмент аналитика. - Открытые системы, 1997, N3, С. 72-77.

2. Арсеньев С. Извлечение знаний из медицинских баз данных. http://www.megaputer.com

3. Асеев М.Г., Баллюзек М.Ф., Дюк В.А. Разработка медицинских экспертных систем средствами технологий Data Mining. http://www.datadiver.nw.ru

4. Барцев С.И. Принцип двойственности в организации адаптивных систем обработки информации / Барцев С.И., Гилев С.Е., Охонин В.А. // Динамика химических и биологических систем. — Новосибирск: Наука, 1989. — С. 6-55.

5. Беллман Р. Принятие решений в расплывчатых условиях / Беллман Р., Заде JI. // Вопросы анализа и процедуры принятия решений: Сб. статей / Пер. с англ.; Под ред. И.Ф. Шахнова. М., 1976. - С. 172-215.

6. Большакова Т.Ю. Остеоартроз / Большакова Т.Ю., Чупахина В.А. // Учебное пособие для внеаудиторной самостоятельной работы студентов VI курса лечебного факультета. Красноярск: КрасГМА, 2003. — 36 С.

7. Бонгард М. М. Проблема узнавания. — М.: Физматгиз, 1967.

8. Буч Г. Объектно-ориентированное проектирование с примерами применения: пер. с англ. М.: Конкорд, 1992. — 519 С.

9. Ю.Винер Н. Кибернетика, или Управление и связь в животном и машине, пер. с англ., 2-е изд., М.: Наука, 1968.

10. П.Гилев С.Е. Пакет программ имитации различных нейронных сетей / Ги-лев С.Е., Горбань А.Н., Миркес Е.М., Новоходько А.Ю. // тезисы докладов рабочего семинара «Нейроинформатика и нейрокомпьютеры». — Красноярск: Институт биофизики СО РАН, 1993. — С. 7.

11. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990. - 160 С. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, pp. 1-134).

12. Горбань А.Н. Нейронные сети на персональном компьютере / Горбань

13. A.Н., Россиев Д.А. — Новосибирск: Наука, 1996. — 276 С.

14. Горбань А.Н. Нейроинформатика. / Горбань А.Н., Дунин-Барковский

15. B.Л., Кирдин А.Н. и др. Новосибирск: Наука, 1998. - 296 С.

16. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сиб. журн. вычисл. математики / РАН. Сиб. отд-ние. Новосибирск, 1998. - Т. 1, №1. - С. 11-24.

17. Горбань А.Н. Быстрое дифференцирование, двойственность и обратное распространение ошибки / Нейроинформатика — Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

18. Горбань А.Н. Этот дивный новый компьютерный мир. Заметки о нейрокомпьютерах и новой технической революции // Материалы научно-технической конференции "Проблемы техники и технологий XXI века", -Красноярск: КГТУ, 1994. С. 42-49.

19. Горбань А.Н. Логически прозрачные нейронные сети для производства знаний из данных / Горбань А.Н., Миркес Е.М. — Красноярск: Вычислительный центр СО РАН, 1997. 12 С. (Рукопись деп. в ВИНИТИ 17.07.97, № 2434-В97)

20. Дунин-Барковский В.Л. Нейрокибернетика, нейроинформатика, нейрокомпьютеры // Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

21. Дюк В. Data Minimg интеллектуальный анализ данных. — Byte, 1999, №4.

22. Дюк В.А. Обработка данных на ПК в примерах. СПб: "Питер", 1997. -240 С.

23. Дюк В.А. Формирование знаний в системах искусственного интеллекта: геометрический подход // Вестник академии технического творчества. -СПб.: СПбГТУ, 1996, № 2. С. 46-67.

24. Дюк В.А. Формирование знаний в системах искусственного интеллекта: геометрический подход (ч. 4, глава 2) // В кн. Телемедицина. Новые информационные технологии на пороге XXI века. СПб: "Анатолия", 1998. -С. 367-389.

25. Дюк В.А. Data Mining обнаружение знаний в базах данных (в печати) -СПб: "БСК", 15 п.л.

26. Дюк В.А. Осколки знаний Экспресс-Электроника, 2002, № 6, С. 60-65.

27. Дюк В.А. Data Mining: учебный курс / Дюк В.А., Самойленко А.П. -СПб: «Питер», 2001. 368 С.

28. О.Еремин Д.И. Контрастирование // Нейропрограммы. Красноярск: КГТУ, 1994.-С. 88-108

29. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. — М.: Радио и связь, 1987. — 118 С.

30. Ильин Е.С. Автоматизация формирования базы правил для нечеткого контроллера // Диссертация на соискание ученой степени магистра техники и технологии. Красноярск: САА, 2001. - 101 С.

31. Ильин Е.С. Методы упрощения нейронной сети // Вестник НИИ СУВПТ. Сборник научных трудов. Красноярск: НИИСУВПТ, 2004. - С. 25-35.

32. Ильин Е.С. Подход для извлечения знаний из баз данных // VI Всероссийская научная конференция с международным участием «Решетневские чтения». Красноярск: СибГАУ, 2002. - С. 135-136.

33. Ильин Е.С. О решении одной задачи классификации с помощью нейронной сети // Межвузовская конференция «Информатика и информационные технологии». Красноярск: ИПЦ КГТУ, 2003. - С. 123-125.

34. Ильин Е.С. Об одном подходе к извлечению знаний из баз данных // Региональная научная конференция «Наука. Техника. Инновации.». Новосибирск: НГТУ, 2002. Часть 1. - С. 218-220.

35. Ильин Е.С. Курс лекций по предмету «нечеткие множества» / Ильин Е.С., Семенкин Е.С. Красноярск: МЭСИ, 2003. - 55 С.

36. Ильин Е.С. Архитектура гибридной сети для решения задачи классификации // Региональная научная конференция «Наука. Техника. Инновации.». Новосибирск: НГТУ, 2003. - С. 105-107.

37. Ильин Е.С. Выбор топологии, как этап упрощения нейросети // Международная многопрофильная конференция «Актуальные проблемы современной науки». Самара: СГТУ, 2004. - С. 55-57.

38. Ильин Е.С. Новая функция ошибки нейрона // VIII Всероссийская научная конференция с международным участием «Решетневские чтения»: Тез. докл. Красноярск: СибГАУ, 2004. - С.87-90.

39. Ильин Е.С. Получение логических правил решения задачи обученной нейронной сетью // Международная многопрофильная конференция «Актуальные проблемы современной науки». Самара: СГТУ, 2004. - С. 5759.

40. Ильин Е.С. Подход к решению проблемы ускорения обучения нейронной сети // Международная многопрофильная конференция «Актуальные проблемы современной науки». Самара: СГТУ, 2004. - С.59-61.

41. Ильин Е.С. Интеллектуальная система анализа данных на основе нейронных сетей / Ильин Е.С., Семенкин Е.С. М.: ВНТИЦ, 2004. - № гос. per. 50200400996,-18 С.

42. Искусственный интеллект: В 3-х кн. Кн. 2. Модели и методы: Справочник / под ред. Д.А. Поспелова. М.: Радио и связь, 1990. — 304 С.

43. Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М.: ВИНИТИ, 1990.

44. Киселев М. Средства добычи знаний в бизнесе и финансах / Киселев М., Соломатин Е. — Открытые системы, 1997, №4.

45. Корнеев В.В. Базы данных: интеллектуальная обработка информации / Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. М.: Нолидж, 2000. -352 С.

46. Короткий С. Нейронные сети: основные положения, http://www.neurok.ru

47. Кохонен Т. Ассоциативные запоминающие устройства. М.: Мир, 1982.51 .Кречетов Н. Продукты для интеллектуального анализа данных. Рынок программных средств, 1997, № 14-15, - С. 32-39.

48. Кривда Ш. Раскопки сокрытых данных. Lan Magazine, 1996, том 2, №4.

49. Кузнецов С. Введение в информационные системы. Системы управления базами данных, 1997, №2, - С. 83-96.

50. Курс лекций по предмету "Основы проектирования систем с искусственным интеллектом" / под ред. Сотник C.JI. http://www.neuropower.de

51. Курс лекций МИФИ // IV Всероссийская научно-техническая конференция «Нейроинформатика 2002». М.: МИФИ, 2002. - 172 С.

52. Куссуль Э.М. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении / Куссуль Э.М., Байдык Т.Н. // Автоматика. -1990, № 5, С. 56-61.

53. Мазуров В.И. Остеоартроз / Мазуров В.И., Онущенко И.А. // Руководство для ревматологов, терапевтов, врачей общей практики, семейной медицины и других специальностей. Санкт-Петербург: СПбМАПО, 2000.

54. Марчук Г.И. Методы вычислительной математики. 3-е изд., М.: Наука, 1989.

55. Масалович А.И. От нейрона к нейрокомпьютеру — Журнал доктора Доб-ба. 1992, №1, - С.20-24.

56. Медведев А.В. Непараметрические методы в кибернетике. Известия ВУЗов. Физика, 1995, №9 - С. 46-54.

57. Миркес Е.М. Логически прозрачные нейронные сети и производство явных знаний из данных // Нейроинформатика / А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кир дин и др. Новосибирск: Наука, 1998. - 296 С.

58. Миркес Е.М. Нейрокомпьютер. Проект стандарта. — Новосибирск: Наука. 1999.-337 С.

59. Монахова Е. "Нейрохирурги" с Ордынки — PC Week/RE, №9, 1995.

60. Некипелов Николай, Арустамов Алексей. Методика анализа данных. BaseGroup Labs, www.basegroup.ru

61. Продукты для интеллектуального анализа данных. — Рынок программных средств, 1997, №14-15,-С.32-39.

62. Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга. М.: Мир, 1965. - 480 С.

63. Россиев Д.А. Медицинская нейроинформатика / Нейроинформатика — Новосибирск: Наука, 1998. 86 С.

64. Рузайкин Г.И. Орудие Data Mining: успех в анализе данных. — Мир ПК, 1997, №1.

65. Сахаров А.А. Концепции построения и реализации информационных систем, ориентированных на анализ данных. — Системы управления базами данных, 1996, №4, С. 55-70.

66. Саймон А. Склады данных. Системы управления базами данных, 1997, №3, - С. 87-96.

67. Семенкин Е.С., Вишневская С.Р. Системы искусственного интеллекта на нечеткой логике / Методическое пособие. Красноярск: САА, 1998. — 65 С.

68. Семенкин Е.С., Семенкина О.Э., Коробейников С.П. Адаптивные поисковые методы оптимизации сложных систем. — Красноярск: Изд-во СИБУП, 1996,-275 С.

69. Семенкин Е.С., Семенкина О.Э., Коробейников С.П. Оптимизация технических систем. Красноярск: СИБУП, 1996, - 285 С.

70. Сенашова М.Ю. Метод обратного распространения точности. // Нейроинформатика и ее приложения. Тез. докл. IV Всероссийского семинара. — Красноярск: КГТУ, 1996, С.47

71. Терехов С.А. / Нейросетевые информационные модели сложных инженерных систем. Нейроинформатика / А.Н.Горбань, В.Л.Дунин

72. Барковский, А.Н.Кирдин и др. Новосибирск: Наука, 1998. - 296 С. www.ch70.chel.su

73. Уоссермен Ф. Нейрокомпьютерная техника. -М.: Мир, 1992.

74. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Сборник научных трудов "Методы нейроинформатики". Красноярск: КГТУ, 1998. - С.176-197.

75. Хартман Г. Современный факторный анализ. — М.: Статистика, 1972. -486 С.

76. Чесноков С.В. Вычисление точности D-силлогизмов в статистике таблиц сопряженности. — Известия АН СССР, серия Техническая кибернетика, 1985, №1, -С.141-144.

77. Шапот М. Интеллектуальный анализ данных в системах поддержки принятия решений. Открытые системы, 1998, №1, - С. 30-35.

78. Шумский С.А., Яровой А.В., Лукьяница А.А. Нейросетевое предсказание финансовых временных рядов // Тезисы III рабочего семинара совещания "Теория и приложения искусственных нейронных сетей". - Сне-жинск: РФЯЦ - ВНИИТФ, 1998.

79. Щавелев Л. В. Системы управления базами данных. — Открытые системы, 1998, № 04-05.

80. Allen J., Murray A. Development of a neural network screening aid for diagnosing lower limb peripheral vascular disease from photoelectric plethysmography pulse waveforms // Physiol. Meas.- 1993.- V.14, N.I.- P. 13-22.

81. Anil K. Jain, Jianchang Мао, K.M. Mohiuddin Artificial Neural Networks: A Tutorial, Computer, Vol.29, No.3, March/1996, pp. 31-44.

82. Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.

83. Baxt W.G. A neural network trained to identify the presence of myocardial infarction bases some decisions on clinical associations that differ from accepted clinical teaching // Med. Decis. Making.- 1994.- V.14, N.3.- P.217-222.

84. Bishop C.M. Neural Networks and Pattern Recognition. Oxford Press, 1995.

85. C.Couvrer and P.Couvrer. "Neural Networks and Statistics: A Naive Comparison". Belgian Journal of Operations Research, Statistics and Computer Sciences. 36, No 4, 1997

86. Craven, M.,W., & Shavlik, J.,W. "Extracting tree-structured representations of trained networks". In Touretzky, D., Mozer, M. and Hasselmo, M., eds. Advances in Neural Information Processing Systems (volume 8). MIT Press, Cambridge MA

87. Fu H.C., Shann J.J. A fuzzy neural network for knowledge learning // Int. J. Neural Syst.- 1994.- V.5, N.l.- P. 13-22.

88. Gislen,L., Soderberg, В., and Peterson, C. (1989) "Teachers and classes with neural networks", International Journal of Neural Systems, 1, 167.

89. Gorban A.N., Waxman С. How many neurons are sufficient to elect the U.S.A. President? // AMSE Transaction, Scientific Siberian, A, 1993. Vol. 6. Neuro-computing. PP. 168-188

90. Gorban A.N., Waxman C. Neural networks for political forecast. Proceedings of the WCNN'95 (World Congress on Neural Networks'95, Washington DC, July 1995). PP. 179-184.

91. Grossberg S. Nonlinear Neural Networks: Principles, Mechanism and Architectures // Neural Networks, 1988. V.l. N1. P. 17-62.

92. Iluin E.S. The approach for extraction of knowledge with use of engineering neural net // Международная научно-практическая конференция «Актуальные проблемы информатики и информационных технологий». -Тамбов: ТГУ, 2004. С.97.

93. Klepikov V.B., Sergeew S.A., Mahotilo K.V., Voronovsky G.K. ANN+GA-based intelligent Control System // Proc. Of 1st int. conf. on Evolutionary Computation and its Applications "EvCA'96" Moscow (Russia).-1996.- P-330-334.

94. Prechelt L. Comparing Adaptive and Non-Adaptive Connection Pruning With Pure Early Stopping // Progress in Neural Information Processing (Hong Kong, September 24-27, 1996), Springer, Vol. 1 pp. 46-52.

95. Heht-Nielsen R. Theory of the backpropagation neural network. Neural Networks for Human and Mashine Perception. H.Wechsler (Ed.). Vol. 2. Boston, MA: Academic Press, 1992. PP. 65-93.

96. Hopfield, J.J. (1984). "Neurons with graded response have collective computational properties like those of two-state neurons", Proc. Natl. Acad. Sci., 81,3088-3092.

97. Hoher M., Kestler H.A., Palm G. et al. Neural network based QRS classification of the signal averaged electrocardiogram // Eur. Heart J.- 1994.-V. 15.- Abstr. Supplement Xll-th World Congress Cardiology (734).- P. 114.

98. Lee H.-L., Suzuki S., Adachi Y. et al. Fuzzy Theory in Traditional Chinese Pulse Diagnosis // Proceedings of 1993 International Joint Conference on

99. Neural Networks, Nagoya, Japan, October 25-29, 1993.- Nagoya, 1993.- V.I.-P.774-777.

100. Rozenbojm J., Palladino E., Azevedo A.C. An expert clinical diagnosis system for the support of the primary consultation // Salud. Publica Mex.-1993.- V.35, N.3.- P.321-325.

101. The Adaptive Brain / S. Grossberg (Ed.). North-Holland, 1987. V.l. Cognition, Learning, Reforcement, and Rhythm. 498 p. V.2. Vision, Speech, Language, and Motor Control. 514 p.

102. Waxman C. Neurocomputers in the human sciences: program: predictions of US presidential elections // Modelling, Measurement & Control, D, Vol.5, No.l, 1992, pp.41-53

103. Weigend, A.,S. and Zimmerman H.,G. "The observer-observation dilemma in Neuro-Forecasting: Reliable models from unreliable data through CLEARNING". http://www.cs.colorado.edu/~andreas/Home.html

104. Weigend, A.,S., Zimmermann, H.,G., and Neuneier, R. (1996) "Clearn-ing. In Neural Networks in Financial Engineering", World Scientific, Singapore.

105. W.S.Sarle. "Neural Networks and Statistical Models". Proceedings of the Nineteenth Annual SAS Users Group International Conference, Cary, NC, SAS Institute, April 3-4, 1994, 1538-1550.

106. Yang T.-F., Devine В., Macfarlane P.W. Combination of artificial neural networks and deterministic logic in the electrocardiogram diagnosis of inferior myocardial infarction // Eur. Heart J.- 1994.- V.l5.- Abstr. Supplement Xll-th

107. World Congress Cardiology (2408).- P.449.116. www.basegroup.ru117. www.megaputer.com118. www.rulequest.com119. www.wizsoft.com