автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Извлечение знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей

ВВЕДЕНИЕ.

Глава 1. ПРОБЛЕМА ИЗВЛЕЧЕНИЯ ЗНАНИЙ И ОБЗОР МЕТОДОВ ИЗВЛЕЧЕНИЯ ЗНАНИЙ.И

1.1 .Знание и приобретение знаний.

1.1.1. Определение понятия "знание".

1.1.2. Приобретение знаний.

1.2. Методы извлечения и приобретения знаний.

1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем.

1.2.2. Методы извлечения знаний из таблиц данных.

1.3. Требования к технологии извлечения знаний.

Глава 2. ИСКУССТВЕННЫЕ ОБУЧАЕМЫЕ НЕЙРОННЫЕ СЕТИ.

2.1. Искусственные нейронные сети.

2.1.1. Элементы нейронных сетей.

2.1.2. Архитектура нейронных сетей.

2.2. Решение задач нейронными сетями.

2.2.1. Подача входных сигналов сети

2.2.2. Обучение нейронной сети.

2.2.3. Вычисление градиента функции оценки по адаптивным параметрам нейронной сети.

I 2.2.4. Обучение нейронной сети как градиентная оптимизация 2.2.5. Факторы, влияющие на успешность обучения нейросети.

2.2.6. Упрощение нейронной сети

2.3. Нейронная сеть как объект, формирующий неявное знание о процессе решения задачи, и извлечение знаний из нейронной сети.

Глава 3. УПРОЩЕНИЕ НЕЙРОННЫХ СЕТЕЙ.

3.1. Методы упрощения нейронных сетей.

3.1.1. Контрастирование синапсов нейросети.

3.1.2. Контрастирование нейронов нейросети.

3.1.3. Контрастирование входных сигналов нейросети

3.1.4. Бинаризация синапсов.

3.1.5. Упрощение нелинейных преобразователей нейронов.

3.1.6. Дополнительные модификации алгоритмов контрастирования

3.1.7. Методы модификации структуры обученной сети

3.2. Требования к процессу упрощения сети для извлечения знаний

3.3. Упрощающие операции над нейронной сетью.

3.4. Процедура комплексного упрощения нейронной сети

Глава 4. МЕТОДЫ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ

ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ.

4.1. Существующие методы извлечения знаний из обученной нейросети

4.1.1. Методы на основе квантования сигналов нейронной сети.

4.1.2. Методы извлечения знаний параллельно с обучением сети

4.1.3. Методы извлечения знаний из обученной нейросети.

4.1.4. Эффективность методов при решении практических задач.

4.2. Методы извлечения знаний: требования к методам

4.3. Методология извлечения явных знаний, использующая технологию комплексного упрощения нейросети.

4.4. Приемы повышения вербализуемости нейронной сети

4.4.1. Добавление синдрома в набор входных симптомов.

4.4.2. Построение иерархии продукционных правил.

4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей.

4.5. Примеры использования технологии извлечения явных знаний.

4.5.1. Прогнозирование результатов выборов президентов США.

4.5.2. Изучение современных связей между климатом и растительностью.

Актуальность проблемы. Рассматривается задача автоматизированного и полуавтоматизированного порождения явных знаний - алгоритмов решения ранее неформализованных задач в различных проблемных областях.

При развитии теории экспертных систем (ЭС) алгоритмы решения, наборы продукционных правил - новые знания - появлялись в ходе совместной работы эксперта в проблемной области и специалиста-когнитолога. Было разработано множество моделей представления знаний и стратегий интервьюирования эксперта, схем логического вывода в базе знаний и проверок знаний на полноту и непротиворечивость, построены эффективно работающие ЭС, включающие тысячи правил. Однако, построение ЭС не под силу конечному пользователю и требует индустриальной технологии; из заложенных в систему фактов и аксиом автоматизированно можно выводить только новые факты для дальнейшего анализа их достоверности экспертом, но автоматизированно получать новые алгоритмы решения невозможно.

Задача извлечения явных знаний решается также и в ходе построения математических и статистических моделей и идентификации систем. При этом накладываются определенные ограничения на свойства таблицы данных; чаще всего используются линейные модели и квадратичный критерий качества, что не всегда приемлемо. Введение нелинейных моделей возможно только на основе эмпирических соображений пользователя, от которого требуется формализация модели с точностью до параметров. Однако, моделирующий подход позволяет быстро получать результат и доступен неспециалисту, поскольку требует от последнего только представления таблицы данных (обучающей выборки) в заданном формате. Для решения неформализованной задачи стало возможным отказаться от привлечения человека-эксперта.

В настоящей работе рассматривается порождение явных знаний в эмпирической или полуэмпирической форме по таблицам экспериментальных данных при помощи искусственных нейронных сетей. Под явным знанием понимается алгоритм решения неформализованной эмпирической задачи прогнозирования и/или классификации, построенный по обучающей выборке, включающей набор независимых признаков (переменных) разной природы (непрерывные, дискретные,.), измеренных в разных шкалах, и один или несколько зависимых, целевых признаков. Алгоритм представлен в виде набора продукционных правил логического вывода, семантическая интерпретация которых далее выполняется пользователем.

Искусственные нейронные сети как универсальная параллельная вычислительная модель появились еще до традиционных фон-Неймановских компьютеров - с работы У.Мак-Каллока и В.Питтса 1943г. Одна из нейросетевых парадигм - обучаемые по методу двойственности нейронные сети - позволила отказаться при моделировании от линейных моделей и обязательного задания пользователем вида нелинейной модели. Построение нелинейных нейросетевых регрессоров, авторегрессоров и разделяющих поверхностей стало простым делом. При обучении нейросеть формирует некоторое "скрытое" знание - алгоритм решения неформализованной задачи. Целью настоящей работы является построение гибкой технологии извлечения скрытых знаний из нейросети и представления их в виде, максимальным образом облегчающем дальнейший семантический анализ - содержательную интерпретацию алгоритма в терминах прикладной проблемной области.

Степень научной разработанности темы. Активное исследование и применение нейронных сетей, обучающихся по методу двойственности, начинается в 1986г. Автррами метода двойственности в обучении нейросетей (известного также зарубежной литературе в виде алгоритма back-propagation) были В.А.Охонин и D.E.Rummelhart, G.E.Hinton, R.J.Williams. Затем в теорию и практику нейронных сетей внесли существенный вклад такие ученые, как А.Н.Горбань, Е.М.Миркес, С.Е.Гилев, В.Л.Дунин-Барковский, R.Hecht-Nielsen, У. Le Cun, C.L.Giles, J.M.Zurada, J.W.Shaviik и другие.

Исследование механизмов извлечения явных знаний из обучаемых нейронных сетей ведется уже десятилетие - первые работы можно датировать

1988-1989гг. Первоначально были предложены методы, которые формируют набор правил, описывающий поведение нейронной сети на обучающей выборке, либо формируют набор правил путем рассмотрения в структуре сети наиболее значимых для принятия решения элементов и сигналов. Затем было предложено проводить предварительное упрощение нейронной сети с целью исключения из нее избыточных элементов для получения более простого и адекватного набора правил логического вывода.

Однако практически все предложенные алгоритмы извлечения знаний достаточно специализированы и не учитывают требования и предпочтения пользователя к виду извлекаемых знаний, а также не позволяют извлекать и комбинировать в едином наборе правила нескольких видов. Вдобавок, несмотря на предложение проводить предварительное упрощение нейросети, для алгоритмов извлечения знаний не были уточнены предпочтительные требования к результирующему виду сети. Более того, теория и практика упрощения продолжала развиваться без учета необходимости достижения в ходе упрощения требований, сформированных алгоритмом извлечения знаний.

Как отмечает проф. J.W.Shavlik из Висконсинского университета США, руководитель одной из наиболее активно работающих в мире групп по проблеме извлечения знаний с помощью нейронных сетей, решение проблемы далеко от желаемого и необходимой гибкости подхода достичь еще не удалось [Craven M.W., Shavlik J.W. Rule extraction: where do we go from here? Department of Computer Sciences, University of Wisconsin, Machine Learning Research Group. Working Paper 99-1. 1999]. Настоящая диссертационная работа ставит целью достижение необходимой гибкости путем систематизации и детализации механизмов упрощения и извлечения знаний и построения на их основе гибкой настраиваемой технологии решения задачи извлечения знаний из нейросети.

Объект исследования. Нейронные сети, решающие неформализованные прикладные задачи прогнозирования, классификации, диагностики и формирующие при своем обучении некоторый внутренний, скрытый, неявный алгоритм решения задачи - неявное знание.

Предмет исследования. Разработка методов и алгоритмов извлечения явных знаний из нейронных сетей.

Цель работы. Целью диссертационной работы является разработка гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя. Разработка методологических указаний для решения задачи извлечения знаний. Разработка программных средств, реализующих предлагаемую технологию.

Основные задачи исследования.

1. Анализ разработанных методов упрощения нейронных сетей как средства получения более компактного и адекватного набора правил логического вывода при последующем извлечении явных знаний.

2. Анализ разработанных методов извлечения явных знаний из нейронных сетей с указанием их ограничений и областей применимости.

3. Формирование требований к технологии извлечения знаний, обсуждение применимости разработанных методов упрощения сети и извлечения знаний с учетом этих требований.

4. Разработка гибкой, настраиваемой на основе предпочтений пользователя, технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с учетом сформированных пользователем требований к результирующему виду извлекаемых знаний.

5. Разработка программных средств, поддерживающих предлагаемую технологию, и экспериментальная проверка щэи решении реальных неформализованных задач.

Научная новизна работы.

1. Впервые предложена гибкая технология комплексного упрощения нейросети, позволяющая проводить упрощение на основе ранжированного набора требований пользователя к виду результирующей нейросети и конструировать пользовательские стратегии упрощения нейросети.

2. Впервые предложено перед извлечением знаний из нейросети выполнять именно такое комплексное упрощение сети, которое приводит к получению требуемого пользователем вида результирующих решающих правил и учитывает особенности используемого метода извлечения знаний и его предпочтения к виду сети. 3. Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа - осмысления в терминах проблемной области) извлеченного из сети набора правил: a) На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов других сетей, решающих ту же задачу. b) Предложено добавление выходного сигнала некоторого фрагмента сети (содержательно интерпретируемого и правдоподобного с точки зрения пользователя) в качестве нового интегрального признака в число независимых признаков таблицы данных, и решение задачи извлечения знаний на основе полученного расширенного набора признаков. c) Предложен механизм построения иерархической структуры правил вывода, от наиболее доминантных правил до уточняющих и корректирующих, путем последовательного усиления требований к точности решения задачи нейронной сетью.

Реализация результатов. Разработанные в диссертации методы реализованы в программе-нейроимитаторе NeuroPro. Программа реализует полный набор стандартных операций над нейронными сетями и позволяет выполнять весь цикл нейроанализа данных без привлечения других программных продуктов. Имеется большое число актов о внедрении программы в пробную эксплуатацию.

Практическая значимость. Разработанные в диссертации методы ориентированы на следующие применения:

- Автоматизированное построение алгоритмов решения неформализованных задач предсказания и классификации в различных проблемных областях на основе нейронных сетей. - Предоставление пользователю инструментов, облегчающих этап интерпретации извлеченных из нейросети знаний.

На защиту выносится: 1. Номенклатура элементарных операций по упрощению нейронной сети, вводимые на основе элементарных операций высокоуровневые критерии простоты нейронной сети, способы конструирования критериев.

4 2. Гибкая настраиваемая технология комплексного упрощения нейронной сети, опирающаяся на представленную номенклатуру элементарных операций, на требования пользователя (критерии простоты нейросети) к виду результирующей нейросети, на особенности и требования применяемого далее метода извлечения знаний из нейросети и вида, в котором знания должны быть представлены пользователю.

3. Номенклатура извлекаемых элементарных правил, соответствующие им огрубляющие операции и виды высокоуровневых правил.

4. Способ повышения интерпретируемости окончательного полуэмпирического алгоритма путем компоновки его из отдельных, наиболее просто интерпретируемых фрагментов других алгоритмов других нейронных сетей, решающих данную задачу. Способ построения иерархии правил путем последовательного усиления требований к точности решения задачи. Предложение добавлять содержательно интерпретируемые синдромы (промежуточные рассуждения) к базе данных. \

5. Программа-нейроимитатор, реализующая предложенные технологии.

6. Результаты практического применения нейроимитатора для решения прикладных задач.

Апробация работы. Основные положения работы докладывались на конференциях молодых ученых ИВМ СО РАН (Красноярск, 1998, 1999г), Международной научно-технической конференции "Нейронные, реляторные и непрерывнологические сети и модели" (1998г, Ульяновск), III Сибирском конгрессе по прикладной и индустриальной математике "ИНПРИМ-98" (Новосибирск, 1998г), VI, VII Всероссийских семинарах "Нейроинформатика и ее приложения", (Красноярск, 1998, 1999гг), I, II Всероссийских научно-технических конференциях "Нейроинформатика" (Москва, МИФИ, 1999, 2000гг), XII Международной конференции по нейрокибернетике (Ростов-на-Дон у, 1999г), II научно-практическом семинаре "Новые информационные технологии" (1999г, Москва, МГИЭМ), VI Международной конференции "Математика. Компьютер. Образование" (1999г, Пущино), International Joint Conference on Neural Networks (1999r, Washington, DC, USA). Разработанная программа-нейроимитатор NeuroPro демонстрировалась на этих конференциях.

Публикации. По теме диссертации автором опубликовано 13 печатных работ и 3 тезиса докладов.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, и списка литературы, изложенных на 134 страницах. Список литературы по теме диссертации содержит 153 ссылки на отечественных и зарубежных авторов. В работе содержится два приложения. Общий объем - 158 страниц.

ЗАКЛЮЧЕНИЕ

В диссертационной работе рассмотрено современное состояние ■проблемы извлечения явных знаний при решении разнообразных неформализованных прикладных задач прогнозирования, диагностики и классификации. Основное внимание уделено обучаемым с учителем искусственным нейронным сетям как новой, но уже доказавшей свою перспективность и гибкость технологии решения неформализованных прикладных задач в разнообразных проблемных областях.

Рассмотрена возможность извлечения из обученной нейронной сети явных знаний в виде полуэмпирического алгоритма решения задачи, представленного через набор продукционных правил логического вывода. Исследованы методы упрощения нейронной сети как способы сокращения числа извлекаемых продукционных правил. Разработана технология целенаправленного упрощения нейронной сети для возможности учета предпочтений пользователя и применяемого метода извлечения знаний к форме извлекаемых правил. Технология опирается на введенную номенклатуру элементарны?: упрощающих операций над нейронной сетью и набор спецификаций, на основе которых конструируются высокоуровневые критерии простоты и логической прозрачности нейронной сети. Предложено 2 алгоритма достижения набора выбранных и упорядоченных критериев простоты нейронной сети. Достоинством введенной технологии является независимость от метода определения избыточных элементов и входных сигналов сети, что дает дополнительную гибкость.

Проведен анализ существующих алгоритмов извлечения знаний из нейронных сетей. Сформирован набор требований к методу извлечения знаний и виду извлекаемых знаний. В качестве метода, удовлетворяющего введенным требованиям, принята схема понейронного рассмотрения нейросети и описания каждого нейрона при помощи одного или нескольких продукционных правил. Показано, что вид извлекаемых продукционных правил зависит, в первую очередь, от вида нелинейной функции нейрона и вида приходящих на нейрон сигналов (непрерывных или дискретных), что однозначно определяет необходимость предварительного выполнения тех или иных упрощающих операций над нейросетью. Рассмотрены схемы сокращения числа извлеченных правил при сохранении точности решения задач обучающей выборки.

Предложен ряд методологических приемов, направленных на повышение гибкости процесса извлечения знаний. Рассмотрена итерационная схема усиления требований к качеству решения задач обучающей выборки и извлечения знаний, приводящая к формированию нескольких уровней иерархии правил - от основных, доминирующих правил до корректирующих и уточняющих правил. Предложено конструирование новой нейронной сети и алгоритма решения, более просто интерпретируемого семантически, из фрагментов других нейросетей, решающих ту же задачу. Рассмотрена схема расширения пространства независимых признаков задачи интегральными, семантически интерпретируемыми признаками, соответствующими некоторым внутренним сигналам построенной нейронной сети (промежуточным рассуждениям при помощи извлеченного из сети набора правил).

Для апробации предложенных технологий упрощения нейросети и извлечения знаний разработана программа-нейроимитатор. Нейроимитатор позволяет проводить полный цикл нейроанализа данных без привлечения других программных продуктов, имеет развитые средства работы с таблицами данных, средства визуализации данных и результатов экспериментов, реализует отдельные классические методы статистического анализа данных для возможности сравнения результатов нейросетевого моделирования с результатами классических методов.

При помощи разработанного нейроимитатора решались разнообразные прикладные задачи в различных проблемных областях. Полученные результаты подтвердили эффективность нейросетевой обработки данных и разработанных методов. В работе подробно рассмотрена задача построения зависимостей между параметрами современного климата и свойствами лесорастительного покрова на территории Сибири. Решен ряд задач идентификации границ между секторами континентальности, ландшафтными зонами Сибири, областями произрастания и доминирования основных хвойных лесообразователей в пространстве климатических параметров. Для каждой задачи идентификации исследована точность нейросетевого прогноза в режиме скользящего экзамена, определен минимально требуемое число наиболее информативных климатических параметров, показано, что при решении задачи идентификации на основе только наиболее информативных параметров снижения точности не происходит. Далее произведено упрощение нейросетевых моделей и извлечение наборов продукционных правил, описывающих разделяющие поверхности между классами. Решен ряд прямых и обратных задач определения нового, потенциального состояния лесорастительного покрова при заданных сценариях глобального изменения климата и определения величин изменений значений отдельных климатических параметров, необходимых для компенсации заданных изменений в других параметрах. Результаты экспериментоЕ; показывают достаточное правдоподобие и согласие с существующими экспертными оценками.

Разработанные в диссертации методы и программа-нейроимитатор могут быть применены для решения разнообразных задач в различных проблемных областях - политологии, медицине, экологии, экономике, идентификации систем. Также возможно очень широкое применение отдельных методов например, применение технологии целенаправленного упрощения нейронной сети для решения задачи получения ее последующей наиболее дешевой и технологичной аппаратной реализации в заданной электронной схемотехнике. Также возможно применение нейроимитатора и для простого решения задач прогноза и классификации с учителем, не переходя далее к задаче извлечения явных знаний - в тех случаях, когда от нейронной сети требуется только построение нелинейной модели (когда классические линейные методы не обладают требуемой точностью).

121

1. Лорьер Ж.-Л. Системы искусственного интеллекта. М.: Мир, 1991. - 568с.

2. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А.Поспелова. М.: Радио и связь, 1990. 304с.

3. Хафман И. Активная память. М.: Прогресс. 1986. 309с.

4. Бонгард М.М. Проблема узнавания. М.: Наука, 1967. 320с.

5. Загоруйко Н.Г. Методы обнаружения закономерностей. М.: Наука, 1981. -115с.

6. Гаек П., Г'авранек Т. Автоматическое образование гипотез. М.: Наука, 1984. -278с.

7. Гуревич Ю.В., Журавлев Ю.И. Минимизация булевых функций и и эффективные алгоритмы распознавания // Кибернетика. 1974, №3. - с. 16-20.

8. Искусственный интеллект. В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В.Попова. М.: Радио и связь, 1990. 464с.

9. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983.-471 с.

10. Загоруйко Н.Г. Гипотезы компактности и Х-компактности в алгоритмах анализа данных // Сибирский журнал индустриальной математики. Январь-июнь, 1998. Т.1,№1.-с.114-126.

11. П.Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983. 464с.

12. Айвазян С.Д., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985. 488с.

13. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448с.

14. Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963.

15. Вапник В.Н., Глазова Т.Г., Кощеев В.А., Михальский А.И., Червоненкис А.Я. Алгоритмы и программы восстановления зависимостей. М.: Наука,1984. 816с.

16. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. 755с.

17. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973. 900с.

18. Рао С.Р. Линейные статистические методы и их применение. М.: Наука,1968.

19. Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа. М.: Финансы и статистика, 1983. 302с.

20. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. М.: Финансы и статистика, 1986. -232с.

21. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989. 607с.

22. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976. 512с.

23. Дорофеюк А.А. Алгоритмы автоматической классификации (обзор). -Автоматика и телемеханика, 1971, №12. с.78-113.

24. Хан Г., Шапиро С. Статистические модели в инженерных задачах. М.: Мир,1969.

25. Кендалл М.Дж., Стьюарт А. Теория распределений. М.: Наука, 1966.

26. Бендат Д., Пирсол А. Прикладной анализ случайных данных. М.: Мир, 1989. 540с.

27. Отнес Р., Эноксон Л. Прикладной анализ временных рядов: основные методы. М.: Мир, 1982! 428с.

28. Цыпкин Я.З. Информационная теория идентификации. М.: Наука, 1995. -336с.

29. Айзерман М.А., Браверман Э.М., Розоноер Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. - 240с.

30. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ. М.: Наука, 1976.

31. Журавлев Ю.И. Математические модели в задачах распознавания и классификации. М.: Наука, 1978.

32. Рао С.Р. Линейные статистические методы и их применение. М.: Наука, 1968.

33. Россиев Д.А. Самообучающиеся нейросетевые экспертные системы в медицине: теория, методология, инструментарий, внедрение. Автореф. дисс. . доктора биол. наук. Красноярск, 1996.

34. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990. 160с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, pp. 1-134).

35. Горбань A.H., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. 276с.

36. Нейроинформатика / А.Н. Горбань, B.JI. Дунин-Барковский, А.Н. Кирдин и др. Новосибирск: Наука, 1998. 296с.

37. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в финансах и бизнесе. М.: МИФИ, 1998.

38. Миркес Е.М. Нейрокомпьютер: проект стандарта. Новосибирск, Наука, 1998.

39. Горбань А.Н., Миркес Е.М. Оценки и интерпретаторы ответа для сетей двойственного функционирования. Вычислительный центр СО РАН в г. Красноярске. Красноярск, 1997. 24с. (Рукопись деп. в ВИНИТИ 25.07.97, № 2511-В97).

40. Kwon O.J., Bang S.Y. A Design Method of Fault Tolerant Neural Networks / Proc. ICNN 1994, Seoul, Korea. Vol.1. - pp. 396-400.

41. Царегородцев В.Г. Технология производства явных знаний из таблиц данных при помощи нейронных сетей // Нейроинформатика и ее приложения : Тезисы докладов VI Всероссийского семинара, 1998 / Под ред.

42. А.Н.Горбаня. Красноярск. КГТУ. 1998. 207с. - С. 186-188.

43. Царегородцев В.Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей / Материалы II научно-практического семинара "Новые информационные технологии". М.: МГИЭМ, 1999, 175с. С.40-50.

44. Горбань А.Н., Царегородцев В.Г. Производство явных знаний из таблиц данных с помощью обучаемых разреживаемых нейронных сетей // Всеросс. научно-техн. конф. Нейроинформатика-99. Сборник научных трудов. В 3 частях. Ч.:. М.: МИФИ. 1999. 276с. - С.32-39.

45. Царегородцев В.Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей // Материалы XII Международной конференции по нейрокибернетике. Ростов-на-Дону. Изд-во СКНЦВШ. 1999.- 323с. - С.245-249.

46. Reed R. Pruning Algorithms a Survey / IEEE Trans, on Neural Networks, 1993, Vol.4, №5. -pp.740-747.

47. Depenau J., Moller M. Aspects of Generalization and Pruning / Proc. WCNN'94, 1994, Vol.3, -pp.504-509.

48. Proc. IJCNN, Washington, DC, USA, 1989. Vol.2. p.626. 51.1shikawa M. A Structural Connectionist Algorithm with Forgetting / Journal Of

49. Seoul, Korea. Vol.1. pp.45-52. 54.1shikawa M. Structural Learning with Forgetting / Neural Networks, 1996, №.9. -pp.509-521.

50. Weigend A.S., Rumelhart D.E., Huberman B.A. Generalization by Weights-elimination with Application to Forecasting / Advances in Neural Information Processing Systems. Morgan Kaufmann, 1991. Vol.3. pp. 875-882.

51. Weigend A.S., Rumelhart D.E., Huberman B.A. Back-propagation, Weight Elimination and Time-series prediction / Proc. 1990 Connectionist Summer School. Morgan Kaufmann, 1990. pp.65-80.

52. Miller D.A., Zurada J.M., Lilly J.H. Pruning via Dynamic Adaptation of the Forgetting Rate in Structural Learning / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.1.-pp.448-452.

53. Yasui S. Convergence Suppression and Divergence Facilitation for Pruning Multi-Output Backpropagation Networks / Proc. 3rd Int. Conf. on Fuzzy Logic, Neural Nets and Soft Computing, Iizuka, Japan, 1994. pp. 137-139.

54. Yasui S. A New Method to Remove Redundant Connections in Backpropagation Neural Networks: Inproduction of 'Parametric Lateral Inhibition Fields' / Proc. IEEE INNS Int. Joint Conf. on Neural Networks, Beijing, Vol.2. pp.360-367.

55. Yasui S., Malinowski A., Zurada J.M. Convergence Suppression and Divergence

56. Facilitation: New Approach to Prune Hidden Layer and Weights in Feedforward

57. Neural Networks / Proc. IEEE Int. Symposium on Circuits and Systems 1995, Seattle, WA, USA. Vol.1. pp. 121-124.

58. Malinowski A., Miller D.A., Zurada J.M. Reconciling Training and Weight Suppression: New Guidelines for Pruning-efficient Training / Proc. WCNN 1995, Washington, DC, USA. Vol.1. pp.724-728.

59. Krogh A., Hertz J. A Simple Weight Decay can Improve Generalization / Advances in Neural Infromation Processing Systems 4, 1992. pp. 950-957.

60. Kamimura R., Nakanishi S. Weight-decay as a Process of Redundancy Reduction / Proc. WCNN, 1994, Vol.3. pp.486-489.

61. Bebis G., Georgiopoulos M., Kasparis T. Coupling Weight Elimination and

62. Genetic Algorithms / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.2.pp.1115-1120.

63. Karnin E.D. A Simple Procedure for Pruning Back-propagation Trained Network / IEEE Trans, on Neural Networks, June 1990. Vol. 1, No.2. pp.239-242.

64. Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2. Morgan Kaufmann, 1990. - pp.598-605.

65. Hassibi В., Stork D.G. Second Order Derivatives for Network Pruning: Optimal Brain Surgeon / Advances in Neural Information Processing Systems 5, 1993. -pp.164-171.

66. Hassibi В., Stork D.G., Wolff G. Optimal Brain Surgeon: Extensions and Performance Comparisions / Advances in Neural Information Processing Systems 6, 1994. pp.263-270.

67. Гилев C.E. Алгоритм сокращения нейронных сетей, основанный на разностной оценке вторых производных целевой функции // Нейроинформатика и ее приложения : Тезисы докладов V Всеросс. семинара, 1997. Красноярск. КГТУ. 1997. 190с. - С.45-46.

68. Tanpraset С., Tanpraset Т., Lursinsap С. Neuron and Dendrite Pruning by Synaptic Weight Shifting in Polynomial Time / Proc. IEEE ICNN 1996, Washington. DC, USA. Vol.2. pp.822-827.

69. Kamimura K. Principal Hidden Unit Analysis: Generation of Simple Networks by Minimum Entropy Method / Proc. IJCNN 1993, Nagoya, Japan. Vol.l. - pp.317320.

70. Mozer M.C., Smolensky P. Using Relevance to Reduce Network Size Automatically / Connection Science. 1989. Vol. 1. pp.3-16.

71. Mozer M.C., Smolensky P. Skeletonization: A Technique for Trimming the Fat from a Network via Relevance Assessment / Advances in Neural Network Information Processing Systems 1, Morgan Kaufmann, 1989. pp. 107-115.

72. Watanabe E., Shimizu H. Algorithm for Pruning Hidden Units in Multi Layered Neural Network for Binary Pattern Classification Problem / Proc. IJCNN 1993, Nagoya, Japan. Vol.1. - pp.327-330.

73. Yoshimura A., Nagano T. A New Measure for the Estimation of the Effectiveness of Hidden Units / Proc. Annual Conf. JNNS, 1992. pp.82-83.

74. Murase K., Matsunaga Y., Nakade Y. A Back-propagation Algorithm which Automatically Determines the Number of Association Units / Proc. IJCNN, Singapore, 1991. Vol.1. - pp.783-788.

75. Matsunaga Y., Nakade Y., Yamakawa O., Murase K, A Back-propagation Algorithm with Automatic Reduction of Association Units in Multi-layered Neural Network / Trans, on IEICE, 1991. Vol. J74-DII, №8. pp.1118-1121.

76. Hagiwara M. Removal of Hidden Units and Weights for Back Propagation Networks / Proc. IJCNN 1993, Nagoya, Japan. Vol.1. - pp.351-354.

77. Majima N., Watanabe A., Yoshimura A., Nagano T. A New Criterion "Effectiveness Factor" for Pruning Hidden Units / Proc. ICNN 1994, Seoul, Korea.-Vol.1.-pp. 382-385.

78. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. Красноярск: Изд-во КГТУ, 1998. - 205с. - С. 176-198.

79. Engelbrecht А.Р., Cloete I. A Sensitivity Analisys Algorithm for Pruning Feedforward Neural Networks / Proc. IEEE ICNN 1996, Washington, DC, USA, Vol.2, -pp.1274-1278.

80. Sietsma J., Dow R.J.F. Neural Net Pruning Why and How / Proc. IEEE IJCNN 1988, San Diego, CA. Vol.1. - pp. 325-333.

81. Sietsma J., Dow R.J.F. Creating Artificial Neural Network that Generalize / Neural Networks, 1991. Vol.4, No. 1. pp.67-79.

82. Yamamoto S., Oshino Т., Mori Т., Hashizume A., Motoike J. Gradual Reduction of Hidden Units in the Back Propagation Algorithm, and its Application to Blood Cell Classification / Proc. IJCNN 1993, Nagoya, Japan. Vol.3. - pp.2085-2088.

83. SarIe W.S. How to measure importance of inputs? SAS Institute Inc., Cary, NC,

84. USA, 1999. ftp://ftp.sas.com/pub/neural/importance.html

85. Zurada J.M., Malinowski A., Cloete I. Sensitivity Analisys for Minimization of Input Data Dimension for Feedforward Neural Network / IEEE Int. Symposium on Circuits and Systems'94, London, England, 1994.

86. Goh T.-H. Semantic Extraction Using Neural Network Modelling and Sensitivity Analisys / Proc. IJCNN 1993,Nagoya, Japan. Vol.1. - pp. 1031-1034.

87. Howlan S.J., Hinton G.E. Simplifying Neural Network by Soft Weight Sharing / Neural Computations, 1992. Vol.4. №4. pp.473-493.

88. Keegstra H., Jansen W.J., Nijhuis J.A.G., Spaanenburg L., Stevens H., Udding J.T. Exploiting Network Redundancy for Low-Cost Neural Network Realizations / Proc. IEEE ICNN 1996, Washington, DC, USA. Vol.2. pp.951-955.

89. Chen A.M. Lu H.-M., Hecht-Nielsen R. On the Geometry of Feedforward Neural Network Error Surfaces // Neural Computations, 1993. 5. pp. 910-927.

90. Гордиенко П. Стратегии контрастирования // Нейроинформатика и ее приложения : Тезисы докладов V Всероссийского семинара, 1997 / Под ред. А.Н.Горбаня. Красноярск. КГТУ. 1997. 190с. - С.69.

91. Engelbrecht A.P., Cloete I. Feature Extraction from Feedforward Neural Networks using Sensitivity Analysis / Proc. Int. Conf. on Systems, Signals, Control, Computers. Durban, South Africa, 1998, Vol.2. pp.221-225.

92. Engelbrecht A.P. Sensitivity Analysis for Decision Boundaries / Neural Processing Letters, 1999.

93. Engelbrecht A.P., Victor H.L. Rule Improvement through Decision Boundary Detection using Sensitivity Analysis / Proc. IWANN, Alicante, Spain, 1999.

94. Lozowsk: A., Cholewo T.J., Zurada J.M. Crisp Rule Extraction from Perceptron Network Classifiers / Proc. 1996 IEEE ICNN, Washington, DC, USA. Plenary, Panel and Special Sessions Volume. pp.94-99.

95. Matthews C., Jagielska I. Fuzzy Rules Extraction from a Trained Multilayered Neural Network / Proc. ICNN, 1995, Perth, Australia. pp.744-748.

96. Mitra S., Pal S.K. Fuzzy Multi-Layer Perceptron, Inferencing and Rule Generation / IEEE Trans, on Neural Networks, 1995. Vol.6, №1. pp.51-63.

97. Lu H., Setiono R., Liu H. Effective Data Mining Using Neural Networks / IEEE Trans, on Knowledge and Data Engineering, 1996, Vol.8, №6. pp.957-961.

98. Duch W., Adamczak R., Grabczewski K. Optimization of Logical Rules Derivedлby Neural Procedures / Proc. 1999 IJCNN, Washington, DC, USA, 1999.

99. Sun R., Peterson T. Learning in Reactive Sequential Decision Tasks: the CLARION Model / Proc. 1996 IEEE ICNN, Washington, DC, USA. Plenary,

100. Fu L.M. Rule Learning by Searching on Adapted Nets / Proc. AAAI, 1991. -pp.590-595.

101. Fu L.M. Rule Generation From Neural Networks / IEEE Trans, on Systems, Man. and Cybernetics, 1994. Vol.24, №8. pp.1114-1124.

102. Yi L., Hongbao S. The N-R Method of Acquiring Multi-step Reasoning Production Rules Based on NN / Proc. 1996 IEEE ICNN, Washington, DC, USA. Vol.2.-pp.1150-1155.

103. Towell G. Shavlik J.W., Noodewier M.O. Refinement of Approximately Correct Domain Theories by Knowledge-based Neural Networks / Proc. AAAI'90, Boston, MA, USA, 1990. pp.861-866.

104. Towell G., Shavlik J.W. Extracting Refined Rules from Knowledge-based Neural Networks / Machine Learning, 1993. Vol. 13.-pp.71-101.

105. Craven M., Shavlik J. Learning Symbolic Rules Using Artificial Neural

106. Networks / Proc. 10 Int. Conf. on Machine Learning, Amherst, MA, USA. Morgan Kaufmann, 1993. pp.73-80.

107. Craven M., Shavlik J. Using Sampling and Queries to Extract Rules from Trained Neural Networks / Proc. 11 Int. Conf. on Machine Learning, New Brunswick, NJ, USA, 1994. pp.37-45.

108. Craven M., Shavlik J. Extracting Tree-structured Representations of Trained Networks / Advances in Neural Information Processing Systems 8, 1996.

109. Medler D.A., McCaughan D.B., Dawson M.R.W., Willson L. When Local int't Enough: Extracting Distributed Rules from Networks / Proc. 1999 IJCNN, Washington, DC, USA, 1999.

110. Craven M.W., Shavlik J. W. Extracting Comprehensible Concept Representations from Trained Neural Networks / IJCAI Workshop on Comprehensibility in Machine Learning, Montreal, Quebec, Canada, 1995.

111. Kowalczyk A., Ferra H.L., Gardiner K. Discovering Production Rules with Higher Order Neural Networks: a Case Study / Proc. on Machine Learning, 1991. pp.158-162.

112. Giles C.L., Miller C., Chen D., Chen H., Sun G., Lee Y. Learning and Extracting Finite State Automata with Second-order Recurrent Neural Networks / Neural Computation, 1992, №4. -pp.393-405.

113. Fu L.M. Integration of Neural Geuristics into Knowledge-based Inference / Connection Science, 1989, № 1. pp.325-340.

114. Mahoney J.J., Mooney R.J. Combining Neural and Symbolic Learning to Revise Probabilistic Rule Bases / Advances in Neural Information Processing Systems Morgan Kaufmann, 1993.

115. Berenji H.R. Refinement of Approximate Reasoning-based Controllers by Reinforcement Learning / Proc. IIX Int. Machine Learning Workshop, Evanston, IL, USA, 1991. Morgan Kaufmann, 1991. pp.475-479.

116. Masuoka R., Watanabe N., Kawamura A., Owada Y., Asakawa K. Neurofuzzy Systems Fuzzy Inference using a Structured Neural Network / Proc. Int. Conf. on Fuzzy Logic & Neural Netwoks, Iizuka, Japan, 1990. - pp. 173-177.

117. McMillan С., Mozer M.C., Smolensky P. Rule Induction through Integrated Symbolic and Subsymbolic Processing / Advances in Neural Information Processing Systems 4, Morgan Kaufmann, 1992.

118. Scott G., Shavlik J., Ray W. Refining PID Controllers Using Neural Networks / Neural Computation, 1992, Vol. 4. pp. 746-757.

119. Wang F., Zhang Q.J. Incorporating Functional Knowledge into Neural Networks / Proc. Intl. Conf. on Neural Networks, Houston TX, USA, 1997. pp.266-269.

120. Roscheisen M., Hofmann R., Tresp V. Neural Control for Rolling Mills: Incorporatind Domain Theories to Overcome Data Deficiency / Advances in Neural Information Processing Systems 4, Morgan Kaufmann, 1992.

121. Maclin R. Shavlik J. Using Knowledge-based Neural Networks to Improve Algorithms: Refining the Chou-Fasman Algorithm for Protein Folding / Machine Learning, 1993. Vol. 11, №2,3. pp. 195-215.

122. Scott G., Shavlik J., Ray W. Refining PID Controllers Using Neural Networks / Neural Computations, 1992. Vol.5, №4. pp.746-757.

123. Craven M.W., Shavlik J. W. Understanding Time-Series Networks: A Case Study in Rule Extraction / International Journal of Neural Systems, 1997.

124. Andrews R., Diederich J., Tickle A.B. A Survey and Critique of Techniques for Extracting Rules from Trained Artificial Neural Networks / Knowledge Based Systems, 1995, №8. pp.373-389.

125. Craven M.W., Shavlik J.W. Using Neural Networks for Data Mining / Future Generation Computer Systems, 1997.

126. Craven M.W., Shavlik J.W. Rule Extraction: Where Do We Go From Here? Department of Computer Sciences, University of Wisconsin, Machine Learning

127. Research Group Working Paper 99-1. 1999.

128. Michalski R.S. A Theory and Methodology of Inductive Learning / Artificial Intelligence, 1983, Vol.20. pp.111-161.

129. McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. XIII Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.

130. Царегородцев В.Г., Погребная H.A. Нейросетевые методы обработки информации в задачах прогноза климатических характеристик и лесорастительных свойств ландшафтных зон // Методы нейроинформатики. Красноярск. 1998.

131. Назимопа Д.И., Царегородцев В.Г. Нейросетевая идентификация зональных групп лесных формаций Сибири // Всеросс. научно-техн. конф. "Нейроинформатика-2000". Сборник научных трудов. В 2-х частях. 4.2. М.: МИФИ, 2000. 236с. - С. 112-119.

132. Keller J.M., Tahani Н. Implementation of Conjunctive and Disjunctive Fuzzy Logic Rules with Neural Networks / Int. Journal of Approximate Reasoning, 1992. Vol.6, pp.221-240.

133. Nazimova D.I., Andreyeva N.M., Gorozhankina S.M., Polikarpov N.P., Stepanov

134. N.V., Tsaregorodtsev V.G. Conceptual and Informational Modelling of Siberian

135. Zonal Ecosystems / Proc. Int. Symposium "Biodiversity and Dynamics of Ecosystems in North Eurasia", Novosibirsk, Aug. 2000. Vol.4. Part 1. pp.21-23.

136. Царегородцев В.Г. Конструирование стратегий целенаправленногоупрощения обучаемых нейронных сетей // Нейроинформатика и ее приложения: Материалы VIII Всероссийского семинара. Красноярск: КГТУ, 2000. - 204с. - С. 179-181