автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Технология нейросетевого решения прикладных классификационных задач в экологии, биологии, медицине

На правах рукописи

РГБ ОД

~ ^ ¿.у

Жуков Леонид Александрович

ТЕХНОЛОГИЯ НЕЙРОСЕТЕВОГО РЕШЕНИЯ ПРИКЛАДНЫХ КЛ/ ССИФИКАЦИОННЫХ ЗАДАЧ В ЭКОЛОГИИ, БИОЛОГИИ,

МЕДИЦИНЕ

05.13.16 - применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

(в экологии)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Красноярск - 2000

Работа выполнена в Сибирском государственном технологическом университете.

Научный руководитель

Официальные оппоненты

доктор физико-математических

наук, профессор Горбань А.Н.

доктор физико-математических

наук, профессор Хлебопрос Р.Г.

кандидат технических наук,

профессор Вейсов Е.А.

Ведущая организация Красноярская государственная

медицинская академия

Защита состоится м-л^т* 2000 года в 14 часов на заседании диссертационного совета К-064.54.01 при Красноярском государственном техническом университете по адресу: 6600074, г. Красноярск, ул. Киренского, 26.

С диссертацией можно ознакомиться в научной библиотеке Красноярского государственного технического университета.

Отзывы на автореферат в 2-х экземплярах с подписью составителя, заверенные печатью организации, просим направлять в адрес диссертационного совета.

Автореферат разослан «_22_» ^^¡¡^х. 2000 г.

Ученый секретарь диссертационного совета к.т.н., доцент

Н.Г. Кузьменко

Е9Э13ь, 0

Р с, 0

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Интерес к нейронным сетям переживает в настоящее время очередной всплеск. Это вызвано тем, что они являются удобным и достаточно простым инструментом для создания различных экспертных систем, решения задзчи классификации и извлечения знаний из данных и. кроме того, дают возможность высокопараллельных реализаций.

Рассматривая нейронную сеть как набор элементов, производящих некоторые вычисления над приходящими к ним данными, можно изучать решение главной и вспомогательных задач. К главной относятся функции генерации, обучения и тестирования нейронных сетей. Генерация - задание начальных значений всех параметров нейронной сети; обучение - изменение всех или части параметров нейронной сети так, чтобы нейронная сеть по обучающей выборке давала требуемые ответы; тестирование - сравнение ответов обученной нейронной сети с известными ответами по тестовой выборке - набору примеров, не использовавшихся для обучения. Вспомогательные задачи: определение значимости входны.. сигналов, контрастирование нейронных сетей, определение минимального решающего набора входных параметров, получение логически прозрачной нейронной сети и, в конечном счете, знаний из данных. Вспомогательные задачи сформулированы в процессе развития и практического использования нейронных сетей, как новые потребности пользователей и направления развития. Именно вспомогательные задачи есть основной элемент технологии решения прикладных задач пользователя.

Для решения этих задач разработан и используется математический аппарат искусственных нейронных сетей, в частности, из сигмоидных нейронов. Архитектуры и алгоритмы позволяют обучать и тестировать нейронные сети, решать различные задачи обработки данных.

Среди указанных выше задач больший интерес представляет задачи определения значимостей параметров и контрастирования. Значимость входного сигнала или параметра -относительная оценка важности данного сигнала или параметра сети для получения заданных выходных сигналов сети в сравнении с анаюгичными показателями значимости для других сигналов, полученных одновременно или в сходной серии экспериментов. Контрастирование - процесс минимизации числа связей нейронной сети, удаление избыточных связей, без которых решаемая задача продолжает решаться так же верно. Частный случай контрастирования - минимизация числа входных сигналов. Минимизация числа входных сигналов это сокращение их числа до минимального набора, по которому можно получить ответ на данной обучающей выборке.

Решение задачи контрастирование позволяет получить разреженную, логически прозрачную нейронную сеть, со структурой, понятной пользователю. Далее можно перейти к получению знаний из данных - построить полуэмпирическую теорию или набор полуэмпирических теорий изучаемого явления. Однако для решения этой задачи с помощью сигмоидных нейронных сетей требуется выполнить дополнительные вычисления, даже более трудоемкие, чем обучение неГфонной сети.

У контрастированных сетей есть и другие преимущества. Контрастирование ускоряет срабатывание обученной нейросети в любых нейросистемах. Кроме того, очень важен вопрос технической реализации обученной нейросети - контрастировать система реализуется проще из-за меньшего числа синапсов и нейронов, то есть может быть меньше размером и дешевле.

В работах [Горбань 1490 и 1996] предложены архитектуры нейронных сетей специального вида - монотонных. Монотонные нейронные сети позволяют получить знак значимости каждой синаптической связи по ее положению в структуре сети независимо от

обучения. Кроме того, слоистые монотонные нейронные сети после однократного обучения позволяют получить частично коптрастированные нейронные сети без дополнительных вычислительных операций. Одновременно получается и минимизация количества входных сигналов.

Данные с известным ответом можно обрабатывать с помощью нейронных сетей с учителем. Учитель - блок, который обучает нейронную сеть давать правильный ответ по обучающей выборке. Однако, если номер класса заранее неизвестен (часто бывает неизвестно и число классов), то такие данные без известного ответа с помощью нейронных сетей с учителем обработать сложно или невозможно. Для обработки таких данных используют нейронные сети без учителя (unsupervised по зарубежной классификации), более простой инструмент. Они работают в случае отсутствия классификационной модели, что часто бывает на начальном этапе любого исследования. Нейронные сети без учителя также позволяют определять значимости и минимизировать количество входных сигналов.

Для практического использования нейронных сетей существует большое число предметных областей. Среди них техника и технические науки характерны наличием большого количества явных расчетных формул, по которым можно получать требуемые результаты, а также большим количеством известных приложений нейронных сетей [Кохонен Т., Хехт-Нильсен Р., Дунин-Барковский B.JI., Фролов А.А., Куссуль Э.М., Оныкий Б.Н., Горбань А.Н., Абовский Н.П. и др.]. Гуманитарные науки, напротив, в настоящее время почти не имеют готовых расчетных формул в явном виде и число приложений нейронных сетей и других математических методов невелико, хотя количество приложений в медицине растет [Россиев Д.А., Baxt W.G., Shufflebarger С.М. и др.] В силу вышесказанного, в данной работе основными областями приложения выбраны гуманитарные науки - экология, медицина.

В настоящее время экологические проблемы стали предметом большого числа научных исследований. Экологии стали придавать значение, выходящее далеко за формальные рамки раздела биологии. Причины этого: ухудшение экологической ситуации, нерациональное использование природных ресурсов, техногенное воздействие человека на окружающую среду. Экология сегодня связывает между собой различные раздрлы естественных наук, она также связана с некоторыми точными и гуманитарными отраслями знаний. Поэтому для решения экологических задач требуется использовать математические модели и методы.

В данной работе решались следующие эколого-биологические и медико-экологические задачи:

-систематика растений и животных разных биологических групп по анатомическим и экологическим признакам, в том числе таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата;

- классификация гастроэнтерологических данных в устойчивые группы; и другие.

Цель работы

Цель работы - исследование, разработка и практическое использование в экологии и биологии моделей монотонных нейронных сетей и нейронных сетей без учителя, обучаемых по методу динамических ядер. Для этого в работе решаются следующие задачи:

- анализ реализуемости и аппроксимационных возможностей монотонных сетей разных типов:

- разработка комплекса программ, реализующего функции обработки данных и состоящего из имитатора монотонных нейронных сетей, имитатора для нейронных сетей без учителя, а также предобработчнка данных;

- выполнение с помощью нейроимитаторов исследования в различных предметных областях, в том числе в экологии, биологии, медицине;

- разработка методики обучения основам нейроинформатики и использование нейросетевых технологий и нейроимитаторов для проведения учебно-исследовательских работ в экологии, биологии и медицине.

Научная новизна Результаты диссертации являются новыми, в частности:

- исследованы основные свойства монотонных нейронных сетей;

- реализован алгоритм обучения монотонных нейронных сетей;

- предложены и реализованы новые алгоритмы определения значимости входных параметров, устойчивости классификации и минимизации числа входных параметров для нейронных сетей без учителя;

- с помощью разработанных методов, инструментов и технологий решены следующие задачи

- таксономии растений разных биологических групп по структурным признакам фотосинтетического аппарата, классификация гастроэнтерологических больных.

Практическая значимость Выполненная работа позволяет:

- использовать новые подходы для определения экологической приуроченности видов,

- более эффективно использовать результаты желудочного зондирования для диагностики гастроэнтерологических заболеваний, особенно в условиях Сибири и Севера,

- определять влияние на здоровье доноров различных факторов, в том числе интервала сдачи крови, подтвердить и выработать рекомендации о минимальном интервале между сдачами крови.

Программы, созданные в ходе выполнения работы, внедрены и используются для управления работой факультетской отборочной комиссии, в учебном процессе в СибГТУ и для обработки данных, а также на I. 2 и 3 Зимних Политехнических Школах по Нейроннформатике (Красноярск, СибГТУ, 1997, 1998 и 1999). Разработана технология использования нейроимитаторов для проведения исследовании, и методика обучения использованию нейроимитаторов для проведения исследований. Ведется обучение нейроннформатике начинающих исследователей. Выполнена серия студенческих работ на экологические темы.

Работа поддержана грантом Федеральной Целевой Программы "Интеграция". Апробация работы

Основные результаты работы докладывались и обсуждались на VI и VII Всероссийских семинарах "Нейроинформатика и ее приложения" проходивших в г. Красноярске в 1998 и 1999 годах, на 3 Сибирском конгрессе по прикладной и индустриальной математике, посвященном памяти C.J1. Соболева (INPRIM-98), на 4 и 5 Всероссийских конференциях "Проблемы информатизации региона" проходивших в г. Красноярске в 1998 и 1999 годах, на региональной конференции "Информационные технологии в школьном образовании", проходившей в г. Красноярске в 1998 году, на 36 Международной научной студенческой конференции "Студент и научно-технический прогресс" проходившей в г. Новосибирске в 1998 году, на 1 и 2 Всероссийских семинарах "Моделирование неравновесных систем" (Красноярск, 1998 и 1999), на 2-й Всероссийской конференции "Рещетневские чтения" проходившей в г. Красноярске в 1998 году, на 6-й Международной конференции "Математика, Компьютер, Образование" проходившей в г. Москве в 1998 году, на Всероссийской конференции ' Неироинформатика и ее приложения" проходившей в г. Москве в 1999 году (МИФИ), на Всероссийской конференции ЛКПР, проходившей в СибГТУ в 1999 году, на XII Международной конференции по нейрокибернетике. проходившей в Ростове-на-Дону в 1999 году, на Международном Симпозиуме "information

retrieval systems in biodiversity researches", проходившем в Санкт-Петербурге в 1999 году, на семинарах в ИВМ СОАН и Осенней экологической школы (Новосибирск, 1998 год).

Публикации По материалам исследований опубликовано 13 работ.

Структура диссертации Диссертация состоит из введения, пяти глав, заключения и приложений. Работа без приложений содержит 150 страниц машинописного текста, 20 рисунков и 17 таблиц. Список литературы содержит 292 наименования.

СОДЕРЖАНИЕ РАБОТЫ

В первой главе выполнен краткий обзор развития нейросетевых технологий, архитектур искусственных нейронных сетей, их методов обучения, особенностей контрастирования. Показаны задачи, связанные с аппроксимацией функций с помощью нейронных сетей разных видов, в том числе монотонных нейронных сетей. Указаны решения задач приближения для других типов нейронных сетей [Cybenko G., Funahashi К., Hecht-Nielsen R., Homik К., Kurkova V.]

В этой главе также определены основные элементы нейронных сетей, приведена классификация нейронных сетей и основные теоремы об аппроксимации функций нейронными сетями. Эти теоремы являются частью теоретического основания для аппроксимации с помощью нейронных сетей и позволяют говорить о возможности применения нейронных сетей для решения прикладных задач.

Также приведен обзор использования и возможностей нейросетевых технологий для решения биолого-экологических и медико-экологических задач, рассмотрены примеры решения таких задач.

Во второй главе вводятся определения и классификация монотонных нейронных сетей. Основная задача данной главы - выяснение свойств монотонных нейронных сетей.

Для решения практических задач с помощью обучаемых нейронных сетей чаще всего используются так называемые сигмоидные нейронные сети. Сигмоидные и большинство других нейронных сетей, использующих для обучения метод обратного распространения ошибки и его модификации, например - нейронные сети на основе аппроксимации Паде, обычно не имеют специальных ограничений весов связей, поэтому их часто называют нейронными сетями безусловной оптимизации (unconstrained optimization), хотя для них также может быть использован аппарат условной оптимизации. Сигмоидные нейронные сети для контрастирования и получения логически прозрачной структуры требуют обучения и многократного дообучения после каждой операции контрастирования.

Для получения дополнительных преимуществ при использовании искусственных нейронных сетей в работах [Горбань, 1990 и 1996] предложена архитектура монотонных нейронных сетей. Монотонные нейронные сети позволяют контрастировать их в ходе первоначального обучения. Выполнение этого требует наложить ограничения на значения весовых коэффициентов связей. Поэтому монотонные нейронные сети обязательно есть нейронные сети условной оптимизации (constrained optimization) и для их обучения требуется использовать методы условной оптимизации.

Основное свойство монотонных нейронных сетей - монотонность выходных функций от входных и внутренних синаптических весов и от внутренних сигналов. Это свойство обеспечивается по определению - так сеть строится. Не обеспечена монотонность от входных сигналов, т.к. они поступают на монотонные возбуждающие и тормозящие нейроны первого слоя. Ясно, что аппроксимируемые функции далеко не всегда монотонны, поэтому монотонность от входных сигналов не нужна в общем случае.

В работах [Горбань 1996. 1998 и других] сформулирован ряд свойств нейронных сетей и доказана Обобщенная теорема о возможности аппроксимации. Следует изучить особенности монотонных нейронных сетей, проверить допустимость применения к ним Обобщенной теоремы, затем изучить специальные свойства монотонных нейронных сетей, сформулировать ряд утверждений о свойствах и доказать их.

Сигмондный нейрон

Монотонная нейронная сеть (классическая) из 3 слоев и 6 нейронов. В - возбуждающий нейрон, Т - тормозящий нейрон.

1

Х2 X,

О

2 ° (

из \

<2>

1 СЛОЙ

2 слой

Рис.1.

Рис.2.

Классические монотонные нейронные сети есть слоистые нейронные сети без циклов, каждый слой которых разделен на два блока нейронов - возбуждающие нейроны и тормозящие нейроны. Отличие - последний или выходной слой, на котором только один блок возбуждающих нейронов. Все внутренние (межслойные) синаптические связи монотонной нейронной сети имеют ограничения на весовые или синаптические коэффициенты. Коэффициенты связей нейронов одного типа положительны, разных типов -отрицательны. Иначе говоря, вес синапса, ведущего от возбуждающего нейрона первого слоя к возбуждающему нейрону второго слоя - положителен (неотрицателен), вес синапса от возбуждающего нейрона первого слоя к тормозящему нейрону второго слоя - отрицателен (неположителен). Веса входных синапсов могут иметь разные знаки, но чаше для удобства выбираются положительными в диапазоне [0, 1]. Наиболее общие свойства монотонных нейронных сетей, связаны со способом их конструирования. Кроме того, возможна реализация монотонных нейронных сетей в виде однослойной полносвязной архитектуры.

Монотонные нейронные сети (классические) не образуют полугруппу относительно операции суперпозиции, поскольку при суперпозиции Р(в) двух монотонных нейронных сетей Г и в не выполняется правило построения монотонных нейронных сетей в силу того, что выходные сигналы сети й поступают на вход сети Р со знаками весовых коэффициентов синапссз, зависящими от начальной генерации и/или обучения сети Р, но, по правилу построения монотонных нейронных сетей, выходной сигнал сети есть выходной сигнал возбуждающего блока и должен идти по положительно нагруженному синапсу к возбуждающему блоку сети Р и по отрицательно нагруженному синапсу к тормозящему блоку сети Р. Следовательно, результат выполнения суперпозиции не принадлежит исходному множеству М.

Для выяснения и обоснования аппроксимационных возможностей монотонных нейронных сетей предложены следующие варианты архитектур монотонных нейронных сетей:

1) слабо монотонные (классические) нейронные сети (рис.2);

2) неполнослойные монотонные нейронные сети - без нелинейных элементов на последнем или выходном слое, т.е. имеющие на этом слое только сумматоры;

3) полутораслойные монотонные нейронные сети - двухслойные сети, на втором слое которых только сумматор или сумматоры; простейшая полутораслойная монотонная нейронная сеть состоит из монотонного тормозящего, монотонного возбуждающего нейронов и автономного сумматора (рнс.З).

Обозначим множество полутораслойных монотонных нейронных сетей М1.5.

Полутораслойная монотонная нейронная сеть

Рис.3.

Требуется определить возможности аппроксимации непрерывных действительных функций с ограниченной вариацией заданных на множестве действительных чисел R с помощью множества полутораслойных монотонных нейронных сетей M15.

Введем на множестве M 1.5 операцию умножения элемента множества на действительное число из R и ассоциативную и коммутативную операцию сложения (взвешенного сложения): {V F, G е Mi.s} => {F + G б М,.5} (сумма)

{V F, G е Mi V 5i.5ï s RJ => ¡ôj * F 1- S2 * G e Mi s} (взвешенная сумма).

Класс, состоящий из простых полутораслойных монотонных нейронных сетей из двух нейронов с нулевыми весами автономного сумматора либо с равными по модулю весами разных знаков автономного сумматора и равными весами соответствующих входов сумматоров 1-го слоя можно принять за "единичный" элемент операции. Таким образом, имеем множество M15 с ассоциативной и коммутативной операцией сложение и единицей для этой операции. Следовательно. М1.5 есть абелева полугруппа. Для каждого элемента множества можно построить "обратный" - с соответственно одинаковыми модулями весов тормозящих с возбуждающими нейронами и наоборот. Из построения обратного или

противоположного элемента можно определить обратную операцию - вычитание. Получаем, что множество Ми есть абелева группа.

Лемма. Множество Ми плотно в С[0,1]. Здесь С[0,1] есть пространство непрерывных функций с вещественными значениями.

Введем Мп.з - множество (пространство) незаконченных монотонных нейронных сетей, где n s N, п > 0.

Лемма. Множество Mn.s плотно в С[0,1].

Теорема об аппроксимации с помощью монотонных нейронных сетей. Монотонные нейронные сети позволяют равномерно приблизить любую непрерывную функцию.

В третьей главе рассматриваются основные алгоритмы и описание программ для сбора, предварительной обработки данных и обучения по этим данным нейронных сетей разных архитектур. Пакет программ для решения нейросетевых задач состоит из нейроимитатора для монотонных нейронных сетей MONOTON, нейроимитатора для обучения нейронных сетей без учителя MDN и программы предобработки PREDMAKE. Все программы реализованы в системе программирования Delphi, на языке программирования Object tascal. Также здесь рассматриваются методика использования программных средств для проведения исследований в области гуманитарных наук и методика обучения практическому использованию методов и средств нейроинформатики.

В параграфе 3.1 описан нейроимитатор для монотонных нейронных сетей MONOTON. Программа предназначена для генерации и обучения слоистых монотонных нейронных сетей, с количеством слоев от 2 до 5. Цель разработки - создание инструментария и системы для имитации монотонных нейронных сетей.

Требования к нейроимитатору и обученной нейронной сети:

- простой пользовательский интерфейс программы, не требующий большого количества специальных знаний для решения простой задачи;

- организация режима постраничного обучения;

- возможность сохранять и считывать обученную нейронная сеть;

- возможность создания нейронных сетей слоистой структуры, с разделением входного, выходного и скрытых слоев, с общим количеством слоев от 2 до 5;

- нейроимитатор должен быть способен создавать, обучать, сохранять, контрастировать, тестировать нейронные сети.

Для достижения данной цели в соответствии с предъявленными требованиями были выполнены следующие задачи:

1) проведен анализ архитектур нейронных сетей,

2) проведен анализ известных моделей нейроимитаторов,

3) выбрана программная структура нейронной сети и способ ее сохранения,

4) разработана структура оперативного хранения обучающей выборки и выходных данных.

5) разработан интерфейс вывода на экран результатов работы нейронной сети, а также необходимых промежуточных результатов,

6) создан инструментарий для построения и сопровождения нейроимитатора.

Хранение параметров сипапсов реализовано в виде списка, что позволяет экономить память при работе со слоистыми нейронными сетями.

В ходе решения поставленных задач был разработан следующий набор модулей нейрокомпьютера:

1) основной модуль нейрокомпьютера: назначение - управление работой всех модулей программы:

2) конструктор нейронной сети, предназначенный для создания архитектуры сети, генерации параметров сети, просмотра и редактирования всех параметров нейронной сети;

3) нейронная сеть:

4) задачник; назначение: управление входными данными, получаемыми из обучающей выборки, передача входных данных по запросу, нормирование входных данных;

5) обучающая выборка - файл базы данных (таблицы) в формате dBase либо Paradox; основное назначение - долговременное хранение данных;

6) редактор обучающей выборки;

7) предобработчик обучающей выборки; назначение - предобработка данных для обеспечения восприятия их нейронной сетью;

8) .модуль оценки; назначение - получение оценки примера;

9) интерпретатор ответов нейронной сети; назначение - интерпретировать ответ нейронной сети;

10)учитель; назначение - обучение нейронной сети; основным методом обучения нейронной сети выбран градиентный метод проекции, модифицированный для предотвращения излишне быстрого вырезания нужных связей, вызванного "овражистостью" целевой функции; в результате модификации алгоритм проверяет необходимость вырезания связи несколько раз, причем по другим осям скорость обучения не меняется.

Алгоритм обучения монотонной нейронной сети есть модифицированный метод проекции градиента - один из распространенных методов условной оптимизации.

В параграфе 3.2. описан нейроимитатор для нейронных сетей без учителя MDN, который использует один из классических алгоритмов классификации без учителя - метод динамических ядер и его модификации. Программа предназначена для генерации и обучения нейронных сетей без учителя для решения задач классификации.

Среди задач обработки данных задача классификации или таксономии есть одна из важнейших. Классификация есть разделение множества примеров исходных данных на подмножества в каком-то смысле подобных классов, выполняемое по этим формальным правилам по совокупности признаков. Все примеры содержат некоторое одинаковое количество параметров или признаков. Для хранения и визуализации каждого параметра или признака обычно используют отдельное поле или колонку. Для хранения отдельного примера - строку в таблице.

Сеть такого типа обычно состоит из двух слоев нейронов, причем второй слой состоит из одного специального нейрона выбора максимума (или минимума) и часто называется не нейроном, а просто блоком. Этот нейрон обычно не учитывается при указании общего количества нейронов в сети. Число входов каждого нейрона равно размерности примера данных. Количество нейронов определяется количеством классов, на которые нужно разбить обучающую выборку.

Нейронные сети без учителя, подобные карте Кохонена, обучаются на основе самоорганизации [Кохонен; Фор]. Обучение начинается с задания требуемого числа классов и случайных значений всем ядрам классов, то есть всем весам или параметрам нейронов. В процессе обучения нейронная сеть без учителя самостоятельно устанавливает классы, на которые разделяется исходное множество; вектора весов нейронов стремятся к центрам классов - групп векторов обучающей выборки. Для каждого нейрона можно определить его расстояние до очередного примера. Выбирается нейрон, для которого это расстояние минимально, примеру назначается его класс, т.е. выполняется распознавание примера. Каждый нейрон накапливает сумму значений принятых в класс примеров. После исчерпания обучающей выборки нейроны модифицируют свои ядра. Далее снова следует новое распознавание примеров или разделение их по классам с пересчитанными ядрами. Критерий остановки - стабилизация разделения на классы и неизменная оценка качества, определяемая по выбранной заранее формуле.

Задачи, поставленные перед программой MDN: - классификация.

и

- тестирование.

- определение ядер и радиусов классов.

- определение значимости параметров,

- рисование проекций данных на плоскость любых.двух координат,

- создание отчета,

- служебные и другие.

Для решения этих задач разработаны модули:

1) Главный модуль - для управления работой всей программы, в нем же реализованы функции обучения и тестирования нейронных сетей.

2) Настройки;

3) Задачник - для работы с исходными данными - для чтения и подготовки исходных данных, настройки обучающей и тестовой выборок;

4) Просмотра и сохранения результатов.

Используемый для оптимизации основной тип расстояния - сумма квадратов. Используется нормирование данных на диапазон [0..1] или на сферу. Входными данными для работы служат файлы данных структуры dBase или Paradox. Допустимо использование до 300 полей (признаков) и до 10000 записей (примеров). Входные данные могут быть модифицированы: заполнены пробелы в данных, удалены нечисловые или ненужные поля, удалены лишние примеры, введены новые поля - комбинации от уже существующих. Тестовая выборка может быть создана из части записей файла данных.

В работе приведены алгоритмы определения значимости параметров для нейронных сетей без учителя. Для решенной задачи классификации без учителя требуется выделить наиболее значимые параметры. Исходные данные для алгоритмов - ядра классов и радиусы классов. Используются следующие варианты определения значимости:

1) Zi = max{ I Ají- Aki | },Vj,keN: 1 <j,k<K, где Zi - значимость ¡-го параметра,

i = 1..П,

n - размерность пространства данных, Ají - ¡-я координата j-ro ядра (нейрона), Aki - i-я координата к-го ядра (нейрона), К - количество классов.

2) Zi = max{ | Aji - Aki | -Rji - Rki, 0}, Vj,k sN: l<j,kSK,i где Zi - значимость i-го параметра.

К - количество классов, Aji - i-я координата j-ro ядра (нейрона), Aki - i-я координата k-ro ядра (нейрона), Rji - радиус j-ro класса по i-й координате, Rki - радиус k-ro класса но i-й координате,

I Aji - Aki I - Rji - Rki - расстояние между классами j и k по i-й координате, К - количество классов.

Также разработаны и реализованы алгоритм контрастирования для нейронных сетей без учителя и алгоритм определения устойчивости разделения на классы и силы примеров для нейронных сетей без учителя.

В параграфе 3.3. описана программа предобработки файлов данных или предобработчик Predmake. Программа предобработки - программное средство, предназначенное для создания, редактирования и других специальных операций подготовки данных для дальнейшего использования ненроимитаторами. Программа работает с файлами данных в одном из распространенных форматов (db. dbf или текстовый). Допустимы

следующие типы входных полей: символьное, целочисленное, с плавающей точкой, дата, логическое. Выходные поля: целочисленное, с плавающей точкой (можно оставить идентификационные символьные поля).

Функции, реализованные в предобработчике:

- определение максимального, минимального, среднего значений и среднего квадратичного отклонения входных данных по каждому числовому полю всей обучающей выборки,

- определение полноты таблицы данных, как для таблицы в целом, так и отдельно для каждого поля или записи,

- оцифровка символьных полей,

- определение матрицы корреляции для всех полей, и другие.

Минимальные требования к аппаратному и программному обеспечению для комплекса программ:

- компьютер с процессором 486 или лучше, ОЗУ не менее 8Мб,

- операционная система MS DOS версии 6.22 и операционная среда Windows 3.1,

- интерфейса ID API (BDE) версии 1.

В параграфе 3.4. приведена краткая методика проведения исследований с использованием нейронных сетей.

Применение нейронных сетей было оправдано, если:

- отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточное число примеров;

- проблема характеризуется большими объемами входной информации;

- данные неполны или избыточны, зашумлены, частично противоречивы.

О.сновные типы задач, решаемых с помощью нейронных сетей:

1) разделение на классы, классификация (таксономия или кластеризация - если без учителя),

2) предсказание (действительного) числа,

3) распознавание образов,

4) оптимизация,

5) прогнозирование,

6) моделирование.

Из всех типов задач, решаемых на основе накопленного ранее опыта, значительную группу составляют задачи классификации. Ответом для них является указание класса - выбор одного из нескольких возможных вариантов решения. Цель обучения нейронной сети для задачи классификации - приобрести опыт, проработав с данной обучающей выборкой. Обученная сеть по входным данным, аналогичным по структуре обучающей выборке, должна быть способна делать определенный вывод - ответ (класс). Дополнительные задачи:

7) прогноз (что будет завтра),

8) условный прогноз (что будет завтра, если ...),

9) определение значимости входных параметров.

Явное знание - то. чго может быть передано от знающего субъекта к познающему в ходе обычного акта общения (коммуникации) между субъектами. Явное знание зависит от социально-культурной среды, традиций, контекста общения.

Нейронная сеть делится с нами знаниями, только если мы ее этому научили. Основные способы получения явного знания от нейронной сети:

1) определение значимости входных параметров,

2) контрастирование нейронной сети или получение логически прозрачной нейронной сети,

3) обучение примера.

Выполнение исследования с помощью нейронных сетей можно разделить на несколько групп операций, до некоторой степени независимых друг от друга:

1) подготовительные,

2) обучение нейронных сетей и другие работы с нейронными сетями,

3) поиск смыслов в полученных результатов.

Ниже приведено краткое содержание групп операций, название и назначение операций и комментарии к ним.

1. Подготовительные операции (методика подготовки данных)

В соотв:тствии с постановкой задачи составить список параметров. Определить примерный диапазон значений по каждому параметру, уточнить единицы измерения. Собрать "сырые" данные, если они еще не собраны, представить данные в виде плоской таблицы, разработать структуру таблицы базы данных. Разработать классификаторы. Создать базу данных, заполнить ее как можно полней и точней. Выбрать поле ответа для нейронных сетей с учителем.

2. Обучение нейронных сетей (работа с нейросетями)

2.1. Обучить нейронную сеть по полной выборке.

2.2. Обучить нейронную сеть по обучающей выборке - подмножеству полной выборки, тестировать нейронную сеть по тестовой выборке - другому подмножеству полной выборки. Для малых выборок применяется "скользящий контроль" - обучение по всем без одного, тестирование по одному, где тестовыми примерами служат все примеры выборки, по очереди.

2.3. Определение значимости входных параметров.

2.4. Контрастирование, минимизация числа входных параметров.

2.5. Построение логически прозрачной сети, с использованием контрастирования как метода. Прозрачная сеть может быть построена из слоистой. Процесс вербализации сети [Царегородцев, 1998].

2.6. Бинаризация нейронной сети.

2.7. Построение множества минимальных безубыточных наборов (дублирование 1-го рода).

2.8. По каждому параметру строим набор параметров, который его однозначно определяет (дублирование 2-го рода). _

2.9. Обучение по этой же выборке на предсказание одного из входных параметров или решение одной из обратных задач (т.е. выбор другого поля ответа).

2.10. Обучение примера.

3. В технологии отдельно выделены и сформулированы особенности использования нейронных сетей без учителя. Классификация без учителя есть решение задачи построения отношения на множестве объектов. Задан набор объектов, каждому объекту сопоставлен вектор значений признаков (строка таблицы). Требуется разбить эти объекты на классы эквивалентности. После решения задачи таксономии требуется определить параметры, наиболее важные для решения задачи. Затем определяется устойчивость разделения на классы, как отдельных примеров, так и выборки в целом. Основные элементы технологии использования нейронных сетей без учителя:

3.1. Разделение на 2 класса, определение классификации примеров, определение ядер классов и значимостей параметров.

3.2. Определение качества класса.

3.3. Выделение неустойчивых (слабых) примеров, попадающих при классификации с разными начальными ядрами в разные классы.

3.4. Обучение серии нейронных сетей.

3.5. Многократное возмущение обученной нейронной сети.

3.6. Определение устойчивости классификации примеров.

3.7. Определение устойчивости (частости) классификации выборки.

3.8. Минимизация числа входных сигналов.

Разработана методика построения иерархической классификации. 4. Поиск смыслов.

Поиск в результатах устойчивых, повторяющихся сочетаний, возникающих в сходных условиях. Именование устойчивых, повторяющихся сочетаний в данных термином. Проверка - общее, особенное или единичное (частное) данное (проверка - знание ли это?). Сравнение смысла термина с близкими ему подобиями (выяснение - новое ли это знание или оно уже существует, т.е. известно ранее).

Схема взаимосвязи программ комплекса

Рис.4.

В параграфе 3.5. приведена методика обучения основам нейроинформатики и проведению исследований с использованием нейронных сетей. Методика и последовательность обучения ориентированы на начинающих исследователей. Главное в использовании этой методики - подбор интересующей исследователя задачи и постоянная работа ним до получения некоторого решения. С использованием методики обучения основам нейроинформатики и методики классификации с помощью нейроимитаторов были проведены занятия с несколькими группами. В ходе занятий решены следующие задачи: П психологическая оценка больных раком молочной железы, перенесших радикальную мастэктомию и расширенную секторальную резекцию;

2) систематика грибов, растений и животных (несколько работ);

3) прогнозирование уровня и температуры воды в реках (несколько работ);

4) определение социальной опасности подростков с отклонениями в поведении;

5) социология семьи;

6) нейросетевая классификация элементов;

7) нейросетевая классификация органических веществ;

8) прогнозирование плотности органических веществ;

9) классификация кандидатов в законодательное собрание края и прогноз результатов выборов;

10)классификация почв по анализам на содержание тяжелых металлов;

11)класгификация правителей страны и определение исхода правления;

12)классификация птиц по полу и параметрам вида и другие.

В четвертой главе рассматриваются экологические и биологические задачи и их решение с помощью нейронных сетей. В этой главе излагаются результаты, полученные с помощью программ, описанных в третьей главе. Подробно обсуждается задача таксономин растений разных биологических групп по структурным признакам фотосинтетического аппарата.

Систематика растений занимается описанием разнообразия представителей растительного мира, изучением отличительных признаков и классификацией растений, т.е. объединением растений в группы на основании сходных признаков и родственных взаимоотношений. Развитием этих задач является выяснение эволюции растительных организмов.

Различают две основные группы систем растений: искусственную и естественно-филогенетическую. Искусственная система классифицирует растения по какому-либо одному или двум признакам, например: травы, кустарники, деревья. При этом в одну группу входят существенно далекие растения, в разные группы входят родственные растения, более того, одно и то же растение при разных условиях произрастания может попасть в разные группы.

Современные естественные систематики основаны на объединении растений в систематические группы по комплексу признаков. Учитываются одновременно данные сравнительной морфологии, анатомии, физиологии, биологии, биохимии, экологии, географии растений, палеоботаники и филогении. По этим данным разработаны несколько детальных систематик растений. Однако пока не выделена лучшая из этих систематик.

Учение о принципах систематики растений связано с установлением таксономических (систематических), т.е. соподчиненных групп растений, отличающихся различной степенью родства. В ботанике обычно используются следующие таксономические (систематические) единицы: вид, род, семейство, порядок, класс, тип и отдел или категория. Внутри вида иногда различают более мелкие внутривидовые таксономические единицы - подвид, разновидность, форма. Хотя вид есть реально существующая систематическая единица, до сих пор не существует общепризнанного определения понятия вида. Это вызывает определенные трудности при систематизации я сравнении систематик.

Задача - проверить возможности систематизации видов с помощью нейронных сетей. Все работы, выполненные по систематике растений, состоят из нескольких разделов: выбор групп растений, выбор набора признаков-описателей, составление таблицы с признаками для каждого растения, классификация с помощью нейронных сетей.

Выполнена серия работ по систематике растений различными способами:

1) классификация растений по способности к цветению,

2) систематика грибов на родо-видовые группы,

3) систематика семейств покрытосеменных,

4) таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата

и другие.

Для выполнения таксономии растений разных биологических групп по структурным признакам фотосинтетического аппарата были использованы данные Ивановой Л.А. и Пьянкова В.И. (Уральский Государственный Университет). Постановка задачи выполнена Ивановой Л.А.

Особенносгн строения листа растения определяются его основной функцией -фотосинтезом. Поэтому важнейшая часть листа - мезофилл, хлоропласты и происходит фотосинтез. Хлоропласты - пластиды зеленого цвета, содержащие хлорофилл. Количественные параметры мезофилла листа характеризуют функциональную активность листа и его специфику у разных эколого-биологических групп. Но в естественных условиях эти закономерности не всегда однозначно просматриваются, вследствие взаимодействия разных экологических факторов, особенностей жизненной формы растения, видоспецифическнх особенностей и т.д. Анализ большого числа видов любой ботанико-географической зоны по комплексу этих показателей представляет большую сложность в силу природной гетерогенности объектов (разные жизненные формы, экологические группы.

типы строения мезофилла и т.д.) Требуется разделить изученные растения на группы по признакам строения фотосинтетического аппарата.

В базе данных представлено 195 видов растений Среднего Урала.

Для решения задачи использованы нейронные сети без учителя. Обучено 17000 сетей для разделения на 2 класса. 1300 - на 3, 330 - на 4, по 200 - для 5..12 классов, по 100 - для 13..22 классов. Результаты снижения суммарной оценки выборки при увеличении числа классов показаны на следующем рисунке. В результате использования нейроимитатора для нейронных сетей без учителя и разработанной технологии получена иерархическая классификация растений.

По показателям значимости входных данных был автоматически выделен набор наиболее важных параметров: количество клеток и хлоропластов на единицу площади листа, размеры клеток мезофилла, толщина и площадь листа. Предшествующими работами соавторов [Пьянков; Иванова Л.А.] показано, что именно эти признаки имеют наибольшее функциональное значение с точки зрения биологии. Полученные результаты позволяют говорить о возможности использования нейроимитаторов для идентификации экологических групп растений. Предполагается использовать данный подход для идентификации функциональных типов растений, представляющих комбинацию морфологических и экологических признаков.

Зависимость оценки выборки от количества классов (для задачи таксономии растений по структурным признакам фотосинтстического аппарата)

4 6.8 10 12 14 16 18 20 22

Классы

Рис.5.

Таблица 1

Зависимость оценок выборки от числа классов для задачи таксономии растений

Классов минимальная Оценка (Н) максимальная средняя DH Обучено Нейронных сетей Средн. квадр. откл.

2 92.60 120,27 93,26 11.50 18915 3,03

3 80,04 100,13 81,76 8,10 1288 ' 2,3

4 70.01 82.57 73.66 6,75 289 2,06

5 63.89 76,64 66,91 4,86 229 2.44

6 59.08 73,35 62,05 4,23 205 2,4

7 55.18 67,63 57,82 3,47 201 1,82

8 51,91 63,86 54,35 3.02 200 1,84

9 48.33 56.64 51.33 2,84 200 1,73

10 45.36 56,61 48,49 1,83 200 1,47

11 42,84 54,42 46.66 1,89 200 1,74

12 40.84 50,68 44,77 1,64 200 1,54

13 38,30 49.84 43,13 1,38 200 1,65

14 37,11 45,76 41.75 1,64 200 1,73

15 36,59 44,13 40,11 1,07 200 1,54

16 35,22 44,67 39,04 1.15 200 1,72

17 34,15 42,50 37,89 0,93 200 1,57

18 32,70 42,38 36,96 1,13 200 1,76

19 31,63 40.37 35,83 0,77 200 1,7

20 30,53 40.98 35,06 0,76 200 1,68

21 29,87 39.32 34,30 0,70 200 1.8

22 29.66 38.53 33,60 1,08 200 1.77

23 28.86 37.05 32.52 200 1,62

В пятой главе рассматриваются медицинские задачи и их решение с помощью нейронных сетей. В этой главе излагаются результаты, полученные с помощью программ, описанных в третьей главе. Подробно рассмотрена работа "Изучение состояния секреторной функции желудка у детей с гасгродуоденитачи и язвенной болезнью в условиях Сибири и Севера", выполненная по данным Петровской Т.В.

Одна из актуальных проблем современной медицины - проблема гастродуоденальной патологии в детском возрасте, особенно в Сибири и на Севере. Сложность разрешения этой проблемы вызывает необходимость проведения разносторонних клинических, лабораторных, инструментальных исследований, комплексного изучения связанных с этой проблемой вопросов адаптации, экологии, промышленной токсикологии (родителей и детей), генетики и т.п.

Цель работы; изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью в экологических условиях Сибири и Крайнего Севера. Требуется определить возможность использования показателей функционального состояния гастродуоденальной системы для ранней диагностики развития гастродуоденитов и язвенной болезни, установить значимость этих тестов в комплексе клннико-лабораторных и инструментальных исследований для оценки эффективности лечения, течения заболевания, осложнений и постановки прогноза. Исследовалась секреторная кислотообразующая и протеолчтическая (или ферментативная) функции желудка у детей с гастродуоденальной

патологией, разделенных на 3 группы: 1) гастродуодениты. 2) язвенная болезнь желудка и двенадцатиперстной кишки и 3) эрозивные гастриты. В процессе комплексных клинико-лабораторных исследований обследовались дети от 5 до 15 лет с гастроэнтерологическими жалобами. В данной работе исследуются 29 показателей: тощаковая, базальная, стимулированная гистамином и ферментативная пробы (по 4 порции большинства проб). Для обучения нейронных сетей использовано 475 примеров - анализов фракционного желудочного зондирования [Петровская Т.В., 1986].

Для обработки данных был использован нейроимитатор МОЫ для классификации без учителя. Обучено 39039 нейронных сетей для классификации на 2 класса, 1601 нейронная сеть для классификации на 3 класса и по 236 нейронных сетей для классификации на 4 и большее число классов. В обучающей выборке были использованы все примеры исходных данных. Для обученных нейронных сетей определена сила-слабость примеров: "сильные" примеры всегда классифицируются в группу "своих", "слабые" иногда меняют группу. Кроме того, определены показатели значимости данных.

Из 475 примеров выявлено 20 "слабых" примеров при классификации 2 класса; при сопоставлении всех клинико-лабораторных и инструментальных методов они соответствовали слабо выраженной форме гастрита, функционального расстройства желудка при первичных обследованиях; и у больных в динамике наблюдаемых с положительным лечебным эффектом. При классификации на 3 класса "слабых" примеров также немного -всего 13 из 475. Таким образом, выявлена устойчивость классификации данных при делении на 2 и 3 класса.

?7 процентов вариантов классификации на 2 класса - 2 различных разделения, 77 процентов вариантов классификации на 3 класса - 4 различных разделения. Это также говорит об устойчивости классификации.

Показатели значимости параметров для классификации на 2 класса. Таблица

Поле 18509 сетей 15929 сетей Параметр Средн. Ранг

VI 0 0 объем тощаковой порции 0

V2 0,18 0,17 общая HCl тощаковой порции 0,17

V3 0,21 0.20 свободная HCl тощаковой порции 1 порция 0,20

V4 0 0,01 объем базальной секреции 1 порция 0

V5 0.22 0,22 общая HCl базальной секреции 1 порция 0,22

V6 0.21 0.21 свободная HCl базальной секреции 1 порция 0,21

V7 0,01 0,02 объем базальной секреции 2 порция 0,01

V8 0.23 0,22 общая HCl базальной секреции 2 порция 0.22

V9 0,25 0,25 свободная HCl базальной секреции 2 порция 0,25

V10 0 0,01 объем базальной секреции 3 порция 0.01

VII 0.26 0.24 общая HCl базхчьной секреции 3 порция 0.25

V12 0.26 0,24 свободная HCl базальной секреции 3 порция 0.25

V13 0.01 0.02 объем базальной секреции 4 порция 0,01

V14 0.24 0,23 общая HCl базальной секреции 4 порция 0,24

V15 0.28 0.27 свободная HCl базальной секреции 4 порция 0.27 5

V16 0.02 0.02 объем стимулированной секреции 1 порция 0.02

V17 0.21 0,21 общая HCl стимул, секреции 1 порция 0.21

V18 0.23 0.23 свободная HCl стимул, секреции 1 порция 0,23

V19 0.05 0.05 объем стимулированной секреции 2 порция 0.05

V20 0.27 0.27 общая HCl стимул, секреции 2 порция 0.27 6

1 !оле 18509 сетей 15929 сетей Параметр Средн. Ранг

V21 0,28 0,28 свободная HCl стимул, секреции 2 порция 0.28 4

V22 0,02 0,02 объем стимулированной секреции 3 порция 0,02

V23 0,30 0.31 общая HCl стимул, секреции 3 порций 0,31 3

V24 0,33 0,35 свободная HCl стимул, секреции 3 порция 0,34 1

V25 0,01 0.02 объем стимулированной секреции 4 порция 0,02

V26 3,23 0,23 общая HCl стимул, секреции 4 порция 0,23

V27 0.33 0.34 свободная HCl стимул, секреции 4 порция 0,33 2

PI 0.04 0.04 пепсин базальной секреции 0,04

1'2 0,18 0,15 пепсин стимулированной секреции 0,16

Также с помощью программ и технологии, представленных в 3 главе, выполнена работа "Влияние условий работы на функциональное состояние организма доноров в условиях Сибири и Севера" (по данным Петровской В.А.)

В заключении суммированы основные результаты работы и сделаны выводы:

1. В работе построена классификация типов монотонных нейронных сетей, с целью выявления свойств и различий аппроксимационных возможностей.

2. В работе построена формальная модель монотонных нейронных сетей и полутораслойных монотонных нейронных сетей, реализован алгоритм обучения монотонных нейронных сетей.

3. Разработаны метод определения значимости входных сигналов для нейронных сетей без учителя, алгоритм контрастирования таких сетей, методы определения устойчивости классификации примеров.

4. Разработан комплекс программ, состоящий из двух нейроимитаторов и предобработчика данных.

5. Решен ряд прикладных задач в экологии, биологии, медицине, в том числе:

• классификация растений разных экологических групп по структурным признакам фогосинтетического аппарата;

- классификация данных анализов желудочного зондирования, при этом получена устойчивая классификация на две группы.

СПИСОК ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ РАБОТ

1. Жуков Л.А., Ярош Т.Ю. Разработка нейроимитатора Монотон // Материалы 36 Международной научной студенческой конференции "Студент и научно-технический прогресс": Информационные технологии. Новосибирск, 1998. С.82-83

2. Жуков Л.А. Утилита предобработки баз данных для подготовки их к дальнейшему использованию нейроимитаторамн // Нейроинформатика и ее приложения: 6 Всероссийский семинар, Красноярск, 1998, С.70

3. Жуков Л.А. Использование нейросегевых технологий для проведения учебно-нсследовательских работ// Методы нейроинформатики. Красноярск: Изд-во КГТУ, 1998. С. 164-175

4. Жуков Л.А. Нейросетевыетехнологии для проведения студенческих исследовательских работ// Нейроинформатика: Всеросс.конференция. Москва, 1999, С.245-252

5. Zhukov L.A. Neural networks techniques in humanitarian researches // 6 международная конференция "Математика, Компьютер, Образование" Пущино, 1998. С.328

6. Жуков Л.А., Щерба Н.П. Осенняя экологическая школа 1998 // Вестник СибГТУ,- 1999.-N1. C.211-213

7. Ivanova L.A.. Zhukov L.A.. Pyanko\ V.I. Use of the computer neural network for the identification of plants from different biological groups based on structural characteristics of photosynthetic apparatus // Information retrieval systems in biodiversity researches: Proc. of the Zoological Institute, SPB, 1999. Vol.278.- P.77-78

8. Жуков Л.А., Гарманов Д.В.. Бегизардов P.H. Нейронные сети для прогноза результатов выборов в Законодательное собрание края // Проблемы нейрокибернетики: Материалы XII Международной конференции по нейрокибернетике: Ростов-на-Дону. 1999,- С.211-212

9. Петровская В.А., Оводова А.А., Жуков Л.А. Влияние условий работы на функциональное состояние организма доноров // Нейроинформатика и ее приложения: 7 Всероссийский семинар, Красноярск, 1999. С.113

Ю.Жуков Л.А., Иванова Л.А. Нейросетевая таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата// Нейроинформатика и ее приложения: 7 Всероссийский семинар, Красноярск, 1999.-167с„ С.54-55

11 .Петровская Т.В., Жуков Л.А. Изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью с использованием нейросетей // Моделирование неравновесных систем: 2 Всероссийский семинар, Красноярск, 1999,- 207с. С.194-195

12.Петровская Т.В., Жуков Л.А. Нейросетевая обработка данных желудочного зондирования детей с гастродуоденитами // Проблемы информатизации региона: 5 Всероссийская конференция. Красноярск: КГТУ, 1999. С.87-88

13.Жуков Л.А. Определение значимости в нейронных сетях без учителя // Проблемы информатизации региона: 5 Всероссийская конференция. Красноярск: КГТУ, 1999. С.78-79

Под. в печать 18.02.00 г. Формат 60x84/16. Бумага тип. №2. Усл. печ. л. 1.25. Тираж 100 жз. Заказ 354 Отпечатано в типографии КГТУ 660074. Красноярск. ул.Киренского. 26

ВВЕДЕНИЕ.

1. ОБЗОР ИССЛЕДОВАНИЙ ПО НЕЙРОННЫМ СЕТЯМ

1.1. История вопроса.

1.2. Основные элементы нейронных сетей и терминология.

1.3. Классификация нейронных сетей.

1.4. Обзор источников

1.4.1. Основные работы по аппроксимации нейронными сетями.

1.4.2. Технологии решения задач с помощью нейронных сетей

1.4.3. Использование нейронных сетей в экологии, биологии, медицине и других гуманитарных науках

1.5. Выводы.

2. СВОЙСТВА МОНОТОННЫХ НЕЙРОННЫХ СЕТЕЙ

2.1. Введение.

2.2. Свойства классических монотонных нейронных сетей.

2.3. Свойства полутораслойных монотонных нейронных сетей.

2.4. Выводы.

3. АЛГОРИТМЫ И ПРОГРАММЫ.

3.1. Введение.

3.2. Имитатор для монотонных нейронных сетей.

3.3. Нейроимитатор МГ)Ы для обучения нейронных сетей без учителя.

3.4. Утилита предобработки баз данных Ргеёшаке.

3.5. Технология проведения исследований с использованием нейронных сетей

3.6. Методика обучения основам нейроинформатики.

3.7. Выводы.

4. ЭКОЛОГИЧЕСКИЕ ПРИЛОЖЕНИЯ.

4.1. Систематика и изучение биоразнообразия.

4.2. Систематика ирисов.

4.3. Таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата.

4.4. Классификация без учителя.

4.5. Выводы.

5. МЕДИЦИНСКИЕ ПРИЛОЖЕНИЯ.

5.1. Введение.

5.2. Изучение состояния секреторной функции желудка у детей с гастродуоденитами и язвенной болезнью в условиях Сибири и Севера.

5.3. Влияние условий работы на функциональное состояние организма доноров в условиях Сибири и Севера.

5.4. Выводы.

Актуальность темы

Интерес к нейронным сетям переживает в настоящее время очередной всплеск. Это объясняется тем, что нейронные сети являются удобным и достаточно простым инструментом для создания различных экспертных систем, решения задачи классификации и извлечения знаний из данных и, помимо того, дают возможность высокопараллельных реализаций.

Рассматривая нейронную сеть как набор элементов, производящих некоторые вычисления над приходящими к ним данными, можно изучать решение главной и вспомогательных задач. В главной задаче выделяют функции или подзадачи: генерации, обучения и тестирования нейронных сетей. Генерация - задание начальных значений всех параметров нейронной сети; обучение - изменение всех или части параметров нейронной сети с учителем так, чтобы нейронная сеть по обучающей выборке давала требуемые ответы; тестирование - сравнение ответов обученной нейронной сети с известными ответами по тестовой выборке - набору примеров, не использовавшихся для обучения. Вспомогательные задачи: определение значимости входных сигналов, контрастирование нейронных сетей, обучение примера, определение минимального решающего набора входных параметров, получение логически прозрачной нейронной сети и, в конечном счете, знаний из данных. Обучение примера - такое изменение параметров примера, чтобы обученная нейронная сеть при тестировании давала требуемый ответ. Вспомогательные задачи сформулированы в процессе развития и практического использования нейронных сетей, как новые потребности пользователей и направления развития. Именно вспомогательные задачи часто есть основной элемент технологии решения прикладных задач пользователя.

Для решения указанных задач разработан и используется математический аппарат искусственных нейронных сетей, в частности, из сигмоидных 5 нейронов. Архитектуры и алгоритмы позволяют обучать и тестировать нейронные сети, решать различные задачи обработки данных.

Среди указанных выше задач большой интерес представляет задачи определения значимостей параметров и контрастирования. Значимость входного сигнала или параметра - относительная оценка важности данного сигнала или параметра сети для получения заданных выходных сигналов сети в сравнении с аналогичными показателями значимости для других сигналов, полученных одновременно или в сходной серии экспериментов. Контрастирование - процесс минимизации числа связей нейронной сети, удаление избыточных связей, без которых решаемая задача продолжает решаться так же верно (с той же точностью). Частный случай контрастирования - минимизация числа входных сигналов. Минимизация числа входных сигналов это сокращение их числа до минимального набора, по которому можно получить ответ на данной обучающей выборке.

Решение задачи контрастирование позволяет получить разреженную, логически прозрачную нейронную сеть, с более простой структурой, понятной пользователю. Далее можно перейти к получению знаний из данных -построить полуэмпирическую теорию или набор полуэмпирических теорий изучаемого явления. Однако для решения этой задачи с помощью сигмоидных нейронных сетей требуется выполнить дополнительные вычисления, даже более трудоемкие, чем обучение нейронной сети. Для большинства используемых архитектур и методов обучения нейронных сетей определение значимости и контрастирование - специальные операции, которые выполняют после обучения сети, причем контрастирование обычно требует многократного дообучения и определения значимости входных параметров и синаптических связей.

У контрастированных сетей есть и другие преимущества. Контрастирование ускоряет срабатывание обученной нейронной сети в любых нейронных системах. Кроме того, очень важен вопрос технической реализации 6 обученной нейронной сети, т.к. контрастированная система реализуется существенно проще, что связано с меньшим числом синапсов и нейронов, т.е. может быть меньше размером и дешевле.

Существуют алгоритмы и методы обучения, которые выполняют контрастирование в ходе первоначального обучения. Это означает использование двух целевых функций или специальной целевой функции, которая усложнена требованием контрастирования. Однако - трудно соблюсти баланс двух процедур минимизации, поэтому такие алгоритмы и методы существенно более сложны, но менее эффективны.

В работах /41, 47/ предложены архитектуры монотонных нейронных сетей. Для обучения монотонных нейронных сетей требуется использовать методы условной оптимизации, несколько более сложные, чем методы, используемые для обучения сигмоидных нейронных сетей. Монотонные нейронные сети позволяют получить знак значимости каждой синаптической связи по ее положению в структуре сети независимо от обучения. Кроме того, слоистые монотонные нейронные сети после однократного обучения позволяют получить частично контрастированные нейронные сети без дополнительных вычислительных операций. Одновременно может быть получена и минимизация входных сигналов.

Данные с известным ответом можно обрабатывать с помощью нейронных сетей с учителем. Учитель - блок, который обучает нейронную сеть давать правильный ответ по обучающей выборке. Классификация нейронными сетями с учителем обычно выполняется эффективней, т.к. при этом для обучения используется дополнительная информация - номер класса. Однако, если номер класса заранее неизвестен (часто бывает неизвестно и число классов), то такие данные без известного ответа с помощью нейронных сетей с учителем обработать сложно или невозможно. Для обработки таких данных используют нейронные сети без учителя (unsupervised по зарубежной классификации нейронных сетей), также называемые самоорганизующиеся 7 сети, более простой инструмент. Они работают в случае отсутствия классификационной модели, что часто бывает на начальном этапе любого исследования. Нейронные сети без учителя предназначены для построения классификационной модели, а также позволяют определять значимости входных сигналов и минимизировать их количество.

Для практического использования нейронных сетей существует большое число предметных областей. Среди них техника и технические науки характерны наличием большого количества явных расчетных формул, по которым можно получать требуемые результаты, а также большим количеством известных приложений нейронных сетей [Кохонен Т., Хехт-Нильсен Р., Дунин-Барковский B.JL, Фролов A.A., Куссуль Э.М., Оныкий Б.Н., Горбань А.Н., Абовский Н.П. и другие]. Гуманитарные науки, напротив, в настоящее время почти не имеют готовых расчетных формул в явном виде и число приложений нейронных сетей и других математических методов невелико, хотя количество приложений в медицине растет [Россиев Д.А., Baxt W.G., Shufflebarger С.М. и другие]. В силу вышесказанного, в данной работе основными областями приложения выбраны гуманитарные науки - экология, биология, медицина.

В настоящее время экологические проблемы стали предметом большого числа научных исследований. Причины этого: ухудшение экологической ситуации, нерациональное использование природных ресурсов, техногенное воздействие человека на окружающую среду. Экологии стали придавать значение, выходящее далеко за формальные рамки раздела биологии. Экология сегодня связывает между собой различные разделы естественных наук, она также связана с некоторыми точными и гуманитарными отраслями знаний. Поэтому для решения экологических задач требуется использовать математические модели и методы. В настоящее время одна из актуальных эколого-биологических задач - изучение и сохранение биологического разнообразия живых организмов. 8

В данной работе решались следующие эколого-биологические и медико-экологические задачи:

- систематика растений и животных разных биологических групп по анатомическим и экологическим признакам, в том числе таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата (изучение биоразнообразия);

- классификация гастроэнтерологических данных в устойчивые группы;

- изучение влияния плазмофереза на функциональное состояние организма доноров; и другие задачи.

Цель работы

Целью работы является исследование, разработка и практическое использование в экологии и биологии моделей монотонных нейронных сетей и нейронных сетей без учителя, обучаемых по методу динамических ядер. Для этого в работе решаются следующие задачи:

- анализ реализуемости и аппроксимационных возможностей монотонных сетей разных типов;

- разработка комплекса программ, реализующего функции обработки данных и состоящего из имитатора монотонных нейронных сетей, имитатора для нейронных сетей без учителя, а также предобработчика данных;

- разработка технологии применения нейронных сетей для решения экологических, биологических, медицинских и гуманитарных задач;

- выполнение с помощью нейроимитаторов исследований в различных предметных областях, в том числе в экологии, биологии и медицине;

- разработка методики обучения основам нейроинформатики и использованию нейроимитаторов для проведения исследований и проведение учебно-исследовательских работ в экологии, биологии и медицине. 9

Научная новизна

Результаты диссертации являются новыми, в частности:

- исследованы основные свойства монотонных нейронных сетей;

- реализован алгоритм обучения монотонных нейронных сетей;

- предложены и реализованы новые алгоритмы определения значимости входных параметров, определения устойчивости классификации и минимизации числа входных параметров для нейронных сетей без учителя;

- с помощью разработанных методов, инструментов и технологий решены следующие задачи - таксономия растений разных биологических групп по структурным признакам фотосинтетического аппарата, классификация гастроэнтерологических больных.

Практическая значимость

Выполненная работа позволяет:

- использовать новые подходы для определения экологической приуроченности видов;

- более эффективно использовать результаты желудочного зондирования для диагностики гастроэнтерологических заболеваний, особенно в условиях Сибири и Севера;

- определять влияние на здоровье доноров различных факторов, в том числе интервала сдачи крови, подтвердить и выработать рекомендации о минимальном интервале между сдачами крови.

Создан комплекс программ, состоящий из программы предобработки и двух программ - имитаторов нейронных сетей - для монотонных нейронных сетей и нейронных сетей без учителя. Программы внедрены и используются: для управления работой факультетской отборочной комиссии, в учебном процессе и для обработки данных, а также на 1-4 Зимних Политехнических Школах по Нейроинформатике (Красноярск, СибГТУ, 1997, 1998, 1999 и 2000). Ведется

10 обучение нейроинформатике начинающих пользователей. Разработана технология использования нейроимитаторов для проведения исследований, и методика обучения использованию нейроимитаторов для проведения исследований. Выполнена серия работ на экологические темы. Работа поддержана грантом Федеральной Целевой Программы "Интеграция".

Апробация работы

Основные результаты работы докладывались и обсуждались на IV, V, VI и VII Всероссийских семинарах "Нейроинформатика и ее приложения" проходивших в г. Красноярске в 1996, 1997, 1998 и 1999 годах, на Третьем Сибирском конгрессе по прикладной и индустриальной математике, посвященном памяти C.JI. Соболева (INPRIM-98), на 2 межрегиональной и 3, 4 и 5 Всероссийских конференциях "Проблемы информатизации региона" проходивших в Красноярске в 1996, 1997, 1998 и 1999 годах, на 36 Международной научной студенческой конференции "Студент и научно-технический прогресс" проходившей в Новосибирске в 1998 году, на 1 и 2 Всероссийских семинарах "Моделирование неравновесных систем" (Красноярск, 1998 и 1999), на 2-й Всероссийской конференции "Решетневские чтения" проходившей в Красноярске в 1998 году, на 6-й Международной конференции "Математика, Компьютер, Образование" проходившей в Москве в 1998 году, на Всероссийских конференциях "Нейроинформатика и ее приложения" проходивших в Москве в 1999 и 2000 году (МИФИ), на 2-м межрегиональном семинаре "Новые информационные технологии", проходившем в Москве в 1999 году, на секции "Информационные технологии" Всероссийской конференции ЛКПР, проходившей в СибГТУ в 1999 году, на XII Международной конференции по нейрокибернетике, проходившей в Ростове-на-Дону в 1999 году, на Международном Симпозиуме "Information retrieval systems in biodiversity researches", проходившем в Санкт-Петербурге в 1999 году, на семинарах в ИВМ СОАН, в СибГТУ и в Осенней экологической

11 школы (Новосибирск, 1998 год). Структура диссертации

Диссертация состоит из введения, пяти разделов, заключения, списка цитируемой литературы из 292 наименований, содержит 20 рисунков и 17 таблиц. Общий объем диссертации (с учетом иллюстраций) составляет 150 страниц.

Основные результаты работы:

1. В работе построена классификация типов монотонных нейронных сетей, с целью выявления свойств и различий аппроксимационных возможностей.

2. В работе построена формальная модель монотонных нейронных сетей и полутораслойных монотонных нейронных сетей, реализован алгоритм обучения монотонных нейронных сетей.

3. Разработаны метод определения значимости входных сигналов для нейронных сетей без учителя, алгоритм контрастирования таких сетей, методы определения устойчивости классификации примеров.

4. Разработан комплекс программ, состоящий из двух нейроимитаторов и предобработчика данных.

5. Решен ряд прикладных задач в экологии, биологии, медицине, в том числе:

- классификация растений разных экологических групп по структурным признакам фотосинтетического аппарата;

- классификация данных анализов желудочного зондирования, получена устойчивая классификация на две группы.

151

ЗАКЛЮЧЕНИЕ

1. Алгоритмы и программы восстановления зависимостей / Под редакцией В.Н.Вапника.- М.: Наука, 1984,- 816с.

2. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений.- М.: Статистика, 1974,- 240 с.

3. Айвазян С.А. и др. Прикладная статистика,- М.: Финансы и статистика, 1989.- 607с.

4. Александрян P.A., Мирзаханян Э.А. Общая топология.- М.: Выш.шк., 1979.-336с.

5. Ахиезер Н.И. Лекции по теории аппроксимации. М.: Наука, 1965.- 408с.

6. Банах С. Дифференциальное и интегральное исчисление. М. 1958.- 404с.

7. Барцев С.И. Некоторые свойства адаптивных сетей. Препринт ИФ СО АН СССР, Красноярск, 1986, №71 Б,- 18 с.

8. Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных сетей обработки информации // Динамика химических и биологических систем. Новосибирск: Наука, 1989. С.6-55.

9. Барцев С.И., Машихина Н.Ю., Суров C.B. Нейронные сети: подходы к аппаратной реализации. Препринт ИФ СО АН СССР, Красноярск, 1990, №122Б- 14 с.

10. Ю.Барцев С.И., Охонин В.А. Адаптивные сети обработки информации. Препринт ИФ СО АН СССР, Красноярск, 1986, №59Б 20 с.11 .Белоусова P.A. Особенности гастродуоденальной патологии у детей в условиях Сибири: Автореферат дисс. докт.мед.наук. М., 1991, 42с.

11. Беляшов Д.Н., Емельянова И.В., Комаров И.И. Нейронные сети, аттракторы и динамика Каспия // Нейроинформатика и ее приложения: Тезисы докладов 5 Всеросс. семинара, Красноярск: КГТУ, 1997, С. 16

12. Беляшов Д.Н., Емельянова И.В., Тищенко A.B., Макаренко Н.Г., Каримова Л.М. Опыт применения нейросетевого имитатора MultiNeuron в reo- и гелиофизике // Всероссийская конференция «Нейроинформатика-99».

13. Сборник научных трудов. В 3 частях. Ч.З. М.: МИФИ, 1999,- 300с. С.31-38

14. М.Биркгоф Г., Барти Т. Современная прикладная алгебра. М.: Мир, 1976.- 400с.

15. Ботаника. Анатомия и физиология растений / А.Е. Василевский и др. М.: Просвещение, 1978.- 478с.

16. Будилова Е.В., Дрогалина Ж.А., Терехин А.Т. Основные направления современной экологии и ее математический аппарат: анализ публикаций // Журнал общей биологии,- 1995,- Т.56.- N2. С. 179-189

17. Бурбаки Н. Общая топология. Основные структуры. М.: Наука, 1968,- 272с.

18. Вавилов Е.И. и др. Синтез схем на пороговых элементах. М.: Сов. радио, 1970.

19. Вайнберг М.М. Функциональный анализ. М.: Просвещение, 1979.- 128с.

20. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979,-447с.

21. Веденов A.A. Моделирование элементов мышления. М.: Наука, 1988.

22. Векторные решетки и интегральные операторы / А.В.Бухвалов и др. Новосибирск: Наука, 1992,- 215с.

23. Всероссийская конференция «Нейроинформатика-99». Сборник научных трудов. В 3 частях. М.: МИФИ, 1999

24. Вулих Б.З. Введение в функциональный анализ. М.: Наука, 1967.- 416с.

25. Гравитационная хирургия крови // Под ред. O.K. Гаврилова; АМН СССР. -М.: Медицина, 1984,- 304 с.

26. Галушкин А.И. Синтез многослойных схем распознавания образов. М.: Энергия, 1974.

27. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. М.: Изд-во МАИ, 1991 - 254 с.

28. Гилев С.Е. Нейросеть с квадратичными сумматорами // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, Красноярск: КГТУ, 1993. С.11

29. Гилев С.Е. Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, примеры приложения: Дисс.канд.физ.-мат.наук. Красноярск,1531997,- 187с.

30. Гилев С.Е., Горбань А.Н. Плотность полугрупп непрерывных функций // 4 Всероссийский семинар «Нейроинформатика и ее приложения», 5-7 октября 1996 г., Тезисы докладов / Красноярск: изд. КГТУ, 1996, С.7-9

31. Гилев С.Е., Горбань П.Н., Миркес Е.М., Коченов Д.А., Россиев Д.А. Нейросетевая программа МиШпеигоп // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, Красноярск: КГТУ, 1993. С.9

32. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.-509с.

33. Глазман И.М., Любич Ю.И. Конечномерный линейный анализ. М.: Наука, 1969,- 476с.

34. Головенкин С.Е. Прогнозирование некоторых осложнений и исхода инфаркта миокарда с использованием компьютерных нейронных сетей: Автореферат дисс. канд.мед.наук. Красноярск, 1997.- 24с.

35. Головкин Б.А. Параллельные вычислительные системы. М.: Наука, 1980.154520с.

36. Горбань А.Н. Обобщение аппроксимационной теоремы Стоуна // Нейроинформатика и ее приложения: Тезисы докладов 5 Всеросс. семинара, Красноярск: КГТУ, 1997, С.59-62

37. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сиб. журн. вычисл. математики / РАН. Сиб. отд-ние. Новосибирск, 1998. - Т.1, № 1. - С. 11-24.

38. Горбань А.Н. Обучение нейронных сетей. М.: ПараГраф, 1990.- 159 с.

39. Горбань А.Н. Решение задач нейронными сетями // Нейроинформатика. Красноярск, 1998.

40. Горбань А.Н., Миркес Е.М. Кодирование качественных признаков для нейросетей // Нейроинформатика и ее приложения: Программа и тезисы докладов Всероссийского семинара, Красноярск: КГТУ, 1994,- 55с. С.29

41. Гзрбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети // Нейроинформатика и ее приложения: Тезисы докладов 3 Всероссийского семинара, Красноярск: КГТУ,1995.- 93с. С.32

42. Горбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети для производства знаний из данных. Вычислительный центр СО РАН в г.Красноярске. Красноярск, 1997.- 12с. (Рукопись депонирована в ВИНИТИ 17.07.97, №2434-В97)

43. Горбань А.Н., Россиев A.A. Самоорганизующиеся кривые и нейросетевой итерационный метод главных кривых для данных с пробелами // Нейроинформатика и ее приложения: Тезисы докладов 7 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1999. С.32-33

44. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука, 1996.- 276с.

45. Горбань А.Н., Россиев Д.А., Коченов Д.А. Применение самообучающихся нейросетевых программ. Раздел 1. Введение в нейропрограммы. Учебно-методическое пособие для студентов специальностей 22.04 и 5528.00 всех форм обучения. Красноярск: СТИ, 1994. 24с.155

46. Горбань А.Н., Царегородцев В.Г. Производство явных знаний из таблиц данных с помощью обучаемых разреживаемых нейронных сетей // Всероссийская конференция «Нейроинформатика-99». Сборник научных трудов. В 3 частях. 4.1. М.: МИФИ, 1999,- 276с. С.32-39

47. Грейг-Смит П. Количественная экология растений. М.: Мир, 1967.- 358с.

48. Григорьев П.Я., Яковенко А.В. Справочное руководство по гастроэнтерологии. М.: МИА, 1997

49. Гутчин И.Б., Кузичев А.С. Бионика и надежность. М.: Наука, 1967.

50. Дертоузос М. Пороговая логика. М.: Мир, 1967.- 344с.

51. Дидерич Дж., Фортюнер Р., Мильтон Дж. Концепции и подход к общей идентификационной системе // International Congress "Information retrieval systems in biodiversity researches", Санкт-Петербург, 1999

52. Дискусия о нейрокомпьютерах /Под ред. В.И.Крюкова. Пущино, 1988.

53. Долгих П.М., Ланкин Ю.П. Применение нейронных сетей для исследования и прогнозирования динамики численности промысловых видов рыб // Нейроинформатика и ее приложения: Тезисы докладов 7 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1999, С.43

54. Доррер М.Г. Психологическая интуиция искусственных нейронных сетей: Автореферат дисс. канд.техн.наук. Красноярск, 1998.- 19с.

55. Дуда Р., Харт П. Распознавание образов и анализ сцен.- М.: Мир, 1976.- 512с.

56. Дунин-Барковский В. Л. Информационные процессы в нейронных структурах. М.: Наука, 1978.- 167с.

57. Дьедонне Ж. Основы современного анализа. М.: Мир, 1964.- 431с.

58. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономикеи бизнесе. M.: МИФИ, 1998,- 224 с.

59. Зуев В.В. К развитию теоретической таксонологии // Успехи современной биологии, 1998, Том 118, Вып.2, С.133-147

60. Иванова J1.A. Количественная характеристика структуры фотосинтетического аппарата растений с разными типами строения мезофилла // Вертикаль: вестник молодой науки Урала. T.II, N 1Оренбург, АМУиС, 1997.- 145с. С.78-85

61. Ивахненко А.Г. Персептроны. Киев: Наукова думка, 1974.- 246 с.

62. Исаев C.B. Инструментальные средства проектирования интегрированных систем поддержки принятия решений по ликвидации химических аварий: Автореферат дисс. канд.техн.наук. Красноярск, 1999.- 19с.

63. Исаева JI.A. Детские болезни. М.: Медицина, 1994

64. Искусственный интеллект: Справ.: В 3-х кн. М.: Радио и связь. - Кн.2: Модели и методы / Под ред. Д.А.Поспелова.-1990.- 304с.у

65. Итоги науки и техники. Сер. "Физические и математические модели нейронных сетей" /Под ред. А.А.Веденова. Т. 1-5. М.: ВНИИТИ, 1990-92

66. Канторович J1.B., Акилов Г.П. Функциональный анализ. М.: Наука, 1977,157744с.

67. Кендалл M. Стьюарт А. Статистические выводы и связи. М.: Наука, 1973.-900с.

68. Кендалл М. Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976,- 736с.

69. Князев П.Н. Функциональный анализ. Мн.: Выш.шк., 1985.- 206с.

70. Колмогоров А.Н., Фомин C.B. Элементы теории функций и функционального анализа. М. 1981.- 544с.

71. Компьютерная биометрика / Под ред. В.Н. Носова.- М.: МГУ, 1990.- 232с.

72. Кохонен Т. Ассоциативная память. М.: Мир, 1980.

73. Кохонен Т. Ассоциативные запоминающие устройства. М.: Мир, 1982.

74. Коченов Д.А., Миркес Е.М., Россиев Д.А. Метод подстройки параметров примера для получения требуемого ответа нейросети // Нейроинформатика и ее приложения: Программа и тезисы докладов Всероссийского рабочего семинара, Красноярск: КГТУД994. С.39

75. Коченов Д.А., Миркес Е.М. Синтез управляющих воздействий // Нейроинформатика и ее приложения: Тезисы докладов 3 Всероссийского семинара, Красноярск: КГТУД995.- 93с. С.31

76. Коченов Д.А., Россиев Д.А. Аппроксимация функций класса Са,Ь. нейросетевыми предикторами // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, Красноярск: КГТУ, 1993. С.10

77. Крайзмер Л.П. и др. Память кибернетических систем. М.: Сов. радио, 1971.

78. Курош А.Г. Общая алгебра (лекции 1969-1970 учебного года). М.: Наука, 1974,- 160с.

79. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наукова думка, 1990

80. Куффлер С., Николе Д. От нейрона к мозгу. М.: Мир, 1979.- 439 с.

81. Лакин Г.Ф. Биометрия. М.1990.- 351с.91 .Ланкин Ю.П. Реализация нейросетей с фиксированной структурой на аналоговой элементной базе: Дисс.канд.техн.наук,- Красноярск, 1994.- 128с.158

82. Львовский E.H. Статистические методы построения эмпирических формул. -М.: Высш.шк., 1988,- 239с.

83. Люстерник Л.А., Соболев В.И. Элементы функционального анализа. М.: Наука, 1965,- 520с.

84. Математические методы в биологии. М.: МГУ, 1972.- 136 с.

85. Мезоструктура и функциональная активность фотосинтетического аппарата // Под ред. А.Т. Мокроносова. Свердловск: Уральский универститет , 1978

86. Методы нейроинформатики: Сб.научн. трудов / Под ред. А.Н.Горбаня. Красноярск: КГТУ, 1998,- 204с.

87. Минский М., ПайпертС. Персептроны. М.: Мир, 1971.-269 с.

88. Миркес Е.М. Логически прозрачные нейронные сети и производство явных знаний из данных // Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др. Новосибирск: Наука, 1998.- 296с. С.283-292

89. Миркес Е.М. Нейроинформатика и другие науки // Красноярск: Вестник КГТУ, вып. 6. 1996. - С.5-33.

90. ЮО.Миркес Е.М. Нейрокомпьютер. Проект стандарта. Н.: Наука, 1999.- 337с.

91. Мкртчян С.О. Проектирование логических устройств ЭВМ на нейронных элементах. М.: Энергия, 1977.

92. Моделирование неравновесных систем: 2 Всероссийский семинар, Красноярск: КГТУ, 1999,- 207с.

93. Моделирование неравновесных систем: Всероссийский семинар, Красноярск: КГТУ, 1998,- 200с.

94. Мокроносов А.Т. Онтогенетический аспект фотосинтеза. М.: Наука, 1981.-196с.

95. Мокроносов А.Т., Борзенкова P.A. Методика количественной оценки структуры и функциональной активности фотосинтезирующих тканей и органов // Труды по прикладной ботанике, генетике и селекции, 1978, т.61, вып.З, С.119-133.

96. Юб.Мэйндоналд Дж. Вычислительные алгоритмы в прикладной статистике. -М.: Финансы и статискика, 1988.- 350с.

97. Назимова Д.И., Новоходько А.Ю., Царегородцев В.Г. Нейросетевые методы обработки информации в задачах восстановления климатических данных // Нейроинформатика и ее приложения: Тезисы докладов 5 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1997, С. 124

98. Назимова Д.И., Ноженкова Л.Ф., Погребная H.A. Классификация ландшафтных зон Сибири по признакам климата // Нейроинформатика и ее приложения: Тезисы докладов 5 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1997, С.125

99. Ю9.Назимова Д.И., Ноженкова Л.Ф., Погребная H.A. Опыт прогнозирования зональных классов растительности с использованием нейросетей // Нейроинформатика и ее приложения: Тезисы докладов 5 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1997, С. 126

100. Ю.Недорезов JI.B. Лекции по математической экологии. Н.: Сибирский хронограф, 1997.- 161с.

101. Недорезов Л.В., Семенов Д.А. Использование нейросети для проверки классификации насекомых по типам динамики численности // Нейроинформатика и ее приложения: Тезисы докладов 7 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1999, С. 104

102. Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др. Новосибирск: Наука, 1998,- 296с.

103. Нейроинформатика и ее приложения: Материалы 3 Всероссийского семинара, 6-8 октября 1995г./Под ред. А.Н.Горбаня. КГТУ. Красноярск, 1995.-229с.

104. М.Нейроинформатика и ее приложения: Программа и тезисы докладов Всероссийского рабочего семинара, 7-10 октября 1994г./Под ред. А.Н.Горбаня. Красноярск: КГТУ, 1994,- 55с.

105. Нейроинформатика и ее приложения: Тезисы докладов 3 Всероссийского семинара, 6-8 октября 1995г./Под ред. А.Н.Горбаня. Красноярск: КГТУ, 1995.-93с.

106. Нейроинформатика и ее приложения: Тезисы докладов 4 Всероссийского160семинара, 5-7 октября 1996г./Под ред. А.Н.Горбаня. Красноярск: КГТУ,1996,- 122с.

107. Нейроинформатика и ее приложения: Тезисы докладов 5 Всероссийского семинара, 3-5 октября 1997г./Под ред. А.Н.Горбаня. Красноярск: КГТУ,1997,- 139с.

108. Нейроинформатика и ее приложения: Тезисы докладов 6 Всероссийского семинара, 2-5 октября 1998г./Под ред. А.Н.Горбаня. Красноярск: КГТУ,1998,- 207с.

109. Нейроинформатика и ее приложения: Тезисы докладов 7 Всероссийского семинара, 1-3 октября 1999г./Под ред. А.Н.Горбаня. Красноярск: КГТУ,1999,- 167с.,

110. Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, 8-11 октября 1993г. Красноярск: КГТУ, 1993.- 45с.

111. Нейрокомпьютеры и интеллектуальные роботы. Под ред. академика Н.М.Амосова, К.: Наукова Думка, 1991.

112. Нейрокомпьютеры и их применение: 5 Всеросс. конф. М.1999.- 484с.

113. Нейропрограммы. Учебное пособие: В двух частях / Под. ред. А.Н.Горбаня. Красноярск: изд. КГТУ, 1994. Часть 1,- 137 с. Часть 2.- 123с.

114. Некрасова Г.Ф., Ронжина Д. А., Коробицына Е.Б. Формирование фотосинтетического аппарата в период роста погруженного, плавающего и надводного листа гидрофитов // Физиология растений, 1998, т.45, №4, С.539-548

115. Нильсен Н. Обучающиеся машины. М.: Мир, 1967.

116. Новикова Л.А., Иванов Л.А. Использование метода мезоструктуры для анализа экобиологических групп растений Среднего Урала // Проблемы общей и прикладной экологии: Материалы конференции. Екатеринбург: "Екатеринбург", 1996,- С.158-168

117. Ноженкова Л.Ф., Родионова О.С. Построение нечеткой модели для прогнозирования пожарной опасности лесов // Нейроинформатика и ее приложения: Тезисы докладов 6 Всеросс. семинара, Красноярск: Изд-во ,1611. КГТУ, 1998, С.130-131

118. Общая алгебра. В 2-х тт: Т.2 / Под общ.ред. J1.A. Скорнякова. М.: Наука, 1991129.0хонин В.А. Вариационный принцип в теории адаптивных сетей. Препринт ИФ СО АН СССР, Красноярск, 1987, №61 Б,- 18 с.

119. Петровская Т.В. Некоторые особенности клинического течения гастродуоденитов и язвенной болезни у детей Крайнего Севера и Сибири // Проблемы здоровья населения региона Крайнего Севера, Сибири и Дальнего Востока. Красноярск, 1986

120. Петровская Т.В., Белоусова P.A. Влияние экстремальных факторов Крайнего Севера и Сибири на клинику гастродуоденитов и язвенной болезни у детей // Проблемы здоровья населения региона Крайнего Севера, Сибири и Дальнего Востока. Красноярск, 1985

121. Питенко A.A. Использование нейросетевых технологий при решении аналитических задач в ГИС // Методы нейроинформатики. Красноярск: КГТУ, 1998,- 204с. С. 152-163

122. ИЗ.Питенко A.A. Нейросети для геоинформационных систем // Всероссийская конференция «Нейроинформатика-99». Сборник научных трудов. В 3 частях. Ч.З. М.: МИФИ, 1999.- 300с. С.65-68

123. Питенко A.A., Иванова Ю.Д. Электронный экологический атлас города Красноярска. Красноярск: ИВМ СО РАН, 1998.- 16с.

124. Позин И.В. Моделирование нейронных структур. М.: Наука, 1970.- 264с.

125. Поливанова Т.В. Клинико-функциональная характеристика хронического гастрита у детей в экологических условиях Севера и центральной Сибири: Автореферат дисс. канд.мед.наук. М., 1990, 23с.

126. Полякова С.Ю. Некоторые вопросы математического моделирования общественных процессов // Мат. структуры и моделирование: Сб. трудов, Омск, 1998, Вып. 1, С.86-97

127. Проблемы нейрокибернетики: Материалы XII Международной конференции по нейрокибернетике: Ростов-на-Дону, 1999.- 323с.162

128. Пьянков В.И., Кондрачук A.B. Мезоструктура фотосинтетического аппарата древесных растений Восточного Памира различных экологических и высотных групп // Физиология растений, 1998, т.45, № 4, С.567-577

129. Рисс Ф., Сёкефальви-Надь Б. Лекции по функциональному анализу. М.: Мир, 1979.- 587с,

130. МЗ.Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга. М.: Мир, 1965 - 480 с.

131. Россиев A.A. FAMaster // Нейроинформатика и ее приложения: Тезисы докладов 6 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1998. С. 155

132. Россиев Д.А. Медицинская нейроинформатика // Нейроинформатика. Новосибирск: Наука, 1998.- 296с. С. 137-211

133. Россиев Д.А. Самообучающиеся нейросетевые экспертные системы в медицине: теория, методология, инструментарий внедрение: Дисс.докт.мед.наук.- Красноярск, 1995.- 379с.

134. Россиев Д.А., Савченко A.A., Гилев С.Е., Коченов Д.А. Применение нейросетей для изучения и диагностики иммунодефицитных состояний // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, Красноярск: КГТУ, 1993. С.32

135. Россиев Д.А., Догадин С.А., Масленников Е.В. и др. Обучение нейросетей выявлению накопленной дозы радиоактивного облучения // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, Красноярск: КГТУ, 1993. С.34

136. Сенашова М.Ю. Погрешности в нейронных сетях: Автореферат дисс. канд.физ.-мат.наук. Красноярск, 1998.- 22с.

137. Сергеев А.Г. и др. Прогнозирование экологических и чрезвычайных ситуаций // Экол. и пром-сть России. 1997. - март. - С. 26-29.151 .Скорняков JI.A. Элементы алгебры. М.: Наука, 1980.- 240с.

138. Смолянинова Л.Г. Нейросетевое управление напряженно-деформированным состоянием конструкций: Автореферат дисс. канд.техн.наук. Красноярск, 1999

139. Соколов E.H., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989 - 237с.

140. Степанян A.A., Архангельский C.B. Построение логических схем на пороговых элементах. Куйбышевское книжное изд-во, 1967.

141. СуперЭВМ. Аппаратная и программная организация./ Под ред. С.Фернбаха. Пер. с англ. М.: Радио и связь, 1991.

142. Теория и приложения искусственных нейронных сетей: Тезисы докладов 3 ежегодного рабочего семинара, Снежинск, РФЯЦ-ВНИИТФ, 1-3 апреля 1998г.- 47с.

143. Терехин А.Т., Будилова Е.В. Нейросетевые схемы эволюционно оптимального управления суточной вертикальной миграцией зоопланктона // Нейроинформатика и ее приложения: Программа и тезисы докладов Всероссийского семинара, Красноярск: КГТУД994.- 55с. С. 12

144. Терехов С.А. Нейросетевые информационные модели сложных инженерных систем // Нейроинформатика. Новосибирск: Наука, 1998.- 296с. С.101-136

145. Транспьютерные и нейронные ЭВМ. /Под ред. В.К.Левина и А.И.Галушкина М.: Российский Дом знаний, 1992.

146. Транспьютеры. Архитектура и ПО. Пер. с англ./ Под ред. Г. Харпа.- М.: Радио и связь, 1993.- 304с.

147. Третий Сибирский конгресс по прикладной и индустриальной математике. Новосибирск, 1998

148. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Радио и связь, 1989,-440с.1 бЗ.Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. М.: Мир, 1992,-237с.

149. Урбах В.Ю. Биометрические методы. М., 1964,- 415с.

150. Фор А. Восприятие и распознавание образов. М., 1989.- 272с.

151. Фрид Э. Элементарное введение в абстрактную алгебру. М.: Мир, 1979.-260с.

152. Фролов A.A. , Муравьев И.П. Нейронные модели ассоциативной памяти. -М.: Наука, 1987,- 160 с.

153. Фролов A.A., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 1988.-273 с.

154. Фути К., Судзуки Н. Языки программирования и схемотехника СБИС: Пер. сяпон. М.: Мир, 1988,- 224с.

155. Царегородцев В.Г. Нейроимитатор NeuroPro // Нейроинформатика и ее приложения: Тезисы докладов 6 Всероссийского семинара. Красноярск: КГТУ, 1998,- 207с. С. 189

156. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики: Сб.научн. трудов / Под ред. А.Н.Горбаня. Красноярск: КГТУ, 1998,- 204с. С.176-198

157. Царегородцев В.Г. Технология производства явных знаний из таблиц данных при помощи нейронных сетей // Нейроинформатика и ее