автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка нейросетевых алгоритмов для автоматизации медико-биологических исследований

На правах рукописи

ШЕОЖЕВ

Альберт Мухамедович

РАЗРАБОТКА НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ ДЛЯ АВТОМАТИЗАЦИИ МЕДИКО-БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ

Специальность 05.13.18 - «Математическое моделирование, численные методы и комплексы программ»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2004

Диссертация выполнена в Научно-исследовательском институте прикладной математики и автоматизации Кабардино-Балкарского научного центра Российской академии наук (НИИ ПМА КБНЦ РАН)

Научный руководитель: Заслуженный деятель науки РФ,

доктор технических наук, профессор Тимофеев Адиль Васильевич

Официальные оппоненты: Заслуженный деятель науки и техники РФ,

Ведущая организация:

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Защита состоится «18» января 2005 г. в 14 часов на заседании диссертационного совета Д.002.199.01 при Санкт-Петербургском институте информатики и автоматизации РАН по адресу: 199178, Санкт-Петербург, В.О., 14-я линия, 39.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского института информатики и автоматизации РАН.

Автореферат разослан «30 » иЛХЗСс)^ & 2004 г. Ученый секретарь

диссертационного совета Д.002.199.01,

кандидат технических наук Ронжин Андрей Леонидович

доктор технических наук, профессор Ахутин Владимир Михайлович доктор технических наук, профессор

Александров Виктор Васильевич

Общая характеристика работы

Актуальность темы. Среди многочисленных приложений теории распознавания образов медицинская диагностика занимает особое положение. Это связано с большими объемами и разнородностью обрабатываемых данных, существеным влиянием субъективных факторов, а также сложностью моделируемых медико-биологических процессов.

Проблемами автоматизации процесса медицинской диагностики занимались И.М.Гельфанд, М.М.Бонгард, В.П.Карп, В.В.Александров, Ю.И.Неймарк, Л.Б. Штейн, Е.В.Гублер, Г.Г. Автандилов, Н.Бейли, Р. Беллман, К. Оуэнс и др. Значительный интерес представляют работы О.К.Хмельницкого, в которых предложены принципы алгоритмизации медицинского исследования, на протяжении многих лет использующиеся для формализации и стандартизации действий врача в процессе постановки диагноза.

Несмотря на обилие публикаций в рассматриваемой области, вопросы повышения качества принимаемых диагностических решений и сокращения времени их получения продолжают оставаться актуальными.

В настоящее время особую значимость приобрела теория нейронных сетей и ее применение для автоматизации научных исследований и решения прикладных задач, в частности, задач медицинской диагностики. В основе этой теории лежит новый подход к обработке информации, базирующийся па принципах работы нервной системы животных и человека.

Применению нейронных сетей (НС) в медико-биологических исследованиях посвящено большое количество работ, среди которых следует отметить работы D. Antony (1991), W.Baxt (1990,1992), Т. Conde (1994), C.Floyd, A.Yun (1994), D. Turner (1994), A.H. Горбаня, Д.А. Россиева (1996, 1998), А.А.Ежова(1997), Т.И.Субботиной(1998), В.Г.Щетинина(1998) и др. В 2000 г. в Гетеборге состоялась конференция, целиком посвященная вопромам применения нейронных сетей в медицине и биологии - "Artificial Neural Networks in Medicine and Biology".

Анализ публикаций этой области позволяет сделать вывод, что для обучения НС в основном используется алгоритм обратного распространения ошибки (Back Propagation), либо его модификации. Однако данный алгоритм обладает рядом недостатков (необходимость преодоления локальных минимумов целевой функции, медленная скорость процесса обучения и т.д.).

Перечисленных недостатков лишены алгоритмы обучения порогово-полиномиальных и диофантовых НС (ППНС и ДНС), предложенные в работах А.В. Тимофеева и обобщенные на случай многозначных признаков-предикатов в работах А.В. Тимофеева и

Тем не менее для математического моделирования и автоматизации медико-биологических исследований данные методы и алгоритмы использовались редко, хотя для некоторых задач (дифференциальная диагностика рака печени и гепатита, диагностика артритов, прогнозирование последствий черепно-мозговых травм) они продемонстрировали высокую эффективность. В настоящее время не существует единой формализованной схемы и информационной технологии решения подобных задач с помощью ППНС и ДНС.

Цель работы. Целью настоящей диссертационной работы является разработка математических моделей и совершенствование методов и алгоритмов синтеза и обучения нейронных сетей порогово-полиномиального и диофантового типов, предназначенных для решения задач медицинской диагностики и автоматизации медико-биологических исследований.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Анализ существующих методов математического моделирования синтеза и обучения нейронных сетей и их применения для решения зачач медицинской диагностики и прогнозирования.

2. Разработка методов целочисленного кодирования входной информации для нейронных сетей полиномиального типа.

3. Модификация конструктивных методов синтеза и обучения полиномиальных нейронных сетей для решения медико-биологических задач.

4. Разработка методов повышения качества и устойчивости функционирования нейронных сетей полиномиального типа.

5. Разработка методов преобразования уже имеющихся знаний (в логическом, древовидном и др. представлениях) в "нейрознания".

6. Применение разработанных моделей и нейросетевых алгоритмов для решения задачи развернутой диагностики хронических гастритов по материалам гастробиопсий.

Методы исследования. В диссертации используются методы математического моделирования, теории нейронных сетей, теории распознавания образов, искусственного интеллекта, теории чисел, теории графов, средства моделирования на ЭВМ и объектно-ориентированного программирования.

Обоснованность и достоверность. Обоснованность научных положений и выводов обеспечена за счет строгих выводов алгоритмов, доказательств утверждений, проведением компьютерного моделирования и вычислительных экспериментов.

Положения, выносимые на защиту:

1. Метод многозначного целочисленного кодирования признаков в

задаче развернутой медицинской диагностики.

2. Методы построения "коллективов" пейросетевых алгоритмов полиномиального типа, принимающих решение на основе процедур голосования.

3. Методы и алгоритмы синтеза нейросетевых моделей (архитектур) полиномиального типа по многозначному дереву решений.

4. Программно-алгоритмический комплекс для нейросетевой развернутой диагностики хронических гастритов.

Научная новизна. В диссертации получены следующие новые результаты:

1. Рассмотрена новая постановка задачи медицинской диагностики как задачи развернутой медицинской диагностики и предложена общая схема построения диагностических решающих правил полиномиального типа.

2. Предложен метод многозначного целочисленного кодирования признаков в задаче развернутой медицинской диагностики.

3. Разработаны новые методы построения "коллективов" нейросете-вых алгоритмов, принимающих решение методом голосования.

4. Разработаны методы и алгоритмы синтеза нейросетевых моделей (архитектур) полиномиального типа по многозначному дереву решений.

Практическая ценность. Методы и алгоритмы, разработанные в диссертационной работе, использовались и могут найти применение для построения высокоэффективных нейросетевых решающих правил в задачах медицинской диагностики и смежных областях. Методы построения "коллективов" нейросетевых алгоритмов позволяют повысить качество принимаемых диагностических решений.

Реализация результатов работы. Разработанные в диссертационной работе методы и алгоритмы легли в основу программного комплекса "GastDiag", предназначенного для развернутой автоматизированной диагностики хронических гастритов на основе данных гистологического исследования биоптатов слизистой оболочки желудка. Программный комплекс внедрен в научно-исследовательскую и учебную деятельность Международного центра астрономических и медико-экологических исследований Российской академии наук и в учебную деятельность кафедры нормальной и патологической анатомии медицинского факультет Кабардино-Балкарского государственного университета.

Исследования по теме диссертации были поддержаны грантами РФФИ № 01-01-00142 "Конструктивное обучение сигма-пи нейронных сетей и мультисетей распознавания и классификации" и № 04-01-00259а "Корректные и квази-корректные алгебраические сигма-пи расширения

некорректных распознающих алгоритмов"; часть результатов диссертации была получена в рамках проекта № 111 "Конструктивные алгоритмы адаптивного синтеза и оптимизации иерархических сигма-пи нейронных сетей и их применение" 6-го конкурса-экспертизы молодых ученых РАН и Государственного контракта № 10002-251/ОМН-2/024-115/120503-062 "Исследование моделей логико-алгебраических сигма-ни сетей и дискретных эволюционных процессов" (программа фундаментальных исследований Отделения математических наук РАН "Алгебраические и комбинаторные методы математической кибернетики").

Апробация работы. Результаты диссертации по мере их получения докладывались и обсуждались на заседаниях семинара но современному анализу, информатике и физике НИИ прикладной математики и автоматизации КБНЦ РАН, ежегодной Всероссийской научно-технической конференции "Нейроинформатика" (Москтва, МИФИ, 1999, 2000, 2003, 2004гг.), 6-ом Санкт-Петербургском симпозиуме по теории адаптивных систем "SPAS'99" (Санкт-Петербург, 1999 г.), IV Всероссийском симпозиуме "Математическое моделирование и компьютерные технологии" (Кисловодск, 2000 г.), Первой международной конференции по мехатронике и робототехнике "МиР'2000" (Санкт-Петербург, 2000 г.), Международном симпозиуме "Электроника в медицине. Мониторинг, диагностика, терапия" (Санкт-Петербург, 2000 г.), Международной научной конференции "Интеллектуализация обработки информации" (Алушта, 2000 г.), Международной конференции "Нелокальные краевые задачи и родственные проблемы математической биологии, информатики и физики" (Нальчик, 2001 г.), Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-7-2004, Санкт-Петербург, 2004 г.).

Публикации. Основные результаты по материалам диссертационной работы опубликованы в 12 печатных работах.

Структура и объем работы. Диссертационная работа состоит из введения, 5 глав, заключения, списка литературы (98 наименований) и 2 приложений. Общий объем работы составляет 137 страниц.

Содержание работы

Во введении обоснована актуальность темы диссертации, сформулирована цель диссертационной работы и решаемые задачи, описана ее структура, приведены основные научные результаты.

В первой главе проведен анализ основных публикаций в области нейронных сетей и их приложений для автоматизации медико-биологических исследований.

Рассмотрены различные математические модели нейронов (формальный нейрон Маккалоха-Питтса, полиномиальные, ЕП-нейроны и т.д.) и классы нейронных сетей (порогово-линейные, Е-НС, ЕП-НС и т.д.), различные алгоритмы их обучения (алгоритм обратного распространения ошибки и его модификации, конструктивные алгоритмы обучения НС).

Во второй главе введены основные понятия, сформулирована задача развернутой медицинской диагностики и разработана общая схема построения решающих правил для ее решения.

Медицинская постановка многих диагностических задач предполагает нахождение развернутого диагноза, т.е. самого диагноза и его "расшифровки" - набора уточняющих и детализирующих характеристик. Формально этот диагноз можно представить в виде {К +1) -мерного вектора г — (г>2/1>• • • >Ук)> где г - главный диагностический признак (диагноз), - вектор характеристик, детализирующих диагноз ("расшифровка"). Многозначный признак диагноза г принимает целочисленные значения в интервале [0, в], многозначные характеристики диагноза У2 (1 5: 3 К) принимают целочисленные значения в интервале [0, ф].

Пусть задано множество объектов {о;} = !Л! и каждый объект ш описывается вектором наблюдаемых признаков принимающих целочисленные значения в интервалах Кроме того, каждому объекту ш ставится в соответствие вектор диагноза

Таким образом, по классообразующему признаку г на множестве задается разбиение:

Множества объединяют в себе пациентов с одним и тем же диагно-

зом »"(ш) = I. В свою очередь для каждого из этих множеств задается К разбиений по классообразующим признакам

где При рассмотрении задачи в такой постановке требуется восстановить скрытые диагностические закономерности, т.е. определить неизвестные

решающие правила (РП) вида

= И), уМ = ^(гИ.хН), \<з<к,

по информации, заключенной в обучающей выборке (ОВ) данных вида {х/,,гЛ,ул,} — 1 < Л < N, где N - объем ОВ.

Общую схему построения решающих правил (1) в задаче развернутой медицинской диагностики можно описать следующим образом:

1. Строится РП г(ш) — Р(х.(ш)).

2. Для каждого из конкретных значений диагностического признака

строятся решающие правила по той части ОВ, где г(ш) принимает данное значение.

3. Производится проверка совокупности РП на контрольной выборке.

Для реализации нейросетевого представления описанных РП предложена архитектура нейросетевой диагностической системы, которая включает в себя базу данных (БД), базу знаний (БЗ), систему обучения, интеллектуальный интерфейс и решатель. Сформулированы основные требования, предъявляемые к алгоритмам и программным модулям нейросетевой диагностической системы, такие как обоснованность, полнота и непротиворечивость БД; полнота, безошибочность на ОВ, хорошая экстраполи-руемость па объектах, не входящих в ОВ, и минимальная сложность БЗ.

Третья глава посвящена вопросам построения исходного пространства признаков. На основе методов алгоритмизации медицинского исследования разработан способ многозначного кодирования признаков в задаче развернутой медицинской диагностики и показана его взаимосвязь с НС полиномиального типа.

Определение 1. Диагностическим алгоритмом I порядка назовем алгоритм А\ (1 < г < п) , результатом применения которого к любому и £ П является симптом Х%{и>), т.е. Хг(ш) = А![(ш) .

Обозначив совокупность алгоритмов I порядка через А1, получим вектор симптомов

Определение 2. Диагностическим алгоритмом II порядка назовем алгоритм А™ (1 < у < IV), реализующий некоторую функцию аф) от х(ш), т.е. а^(и>) — Ау(х(о»)).

Обозначив совокупность алгоритмов II порядка через получим вектор синдромов

После построения алгоритмов II порядка должен существовать механизм выбора на их основе окончательного диагноза, который мы назовем алгоритмом Ш порядка.

Определение 3. Диагностическим алгоритмом IIIпорядка назовем алгоритм

который на основе результатов работы алгоритмов IIпорядка вычисляет значение диагноза г(ш).

Таким образом, процесс нахождения диагноза описывает суперпозиция алгоритмов

ф) = Аш(Ап(А\ш))У

В соотвествии с (1) в задаче развернутой медицинской диагностики необходимо выделить алгоритмы IV порядка, осуществляющие поиск целевых признаков детализирующих диагноз, на основе уже построенных алгоритмов более низких порядков:

у = А1У (аш(Ап (А»)), Ап (АV))).

Введенные определения диагностических алгоритмов I, II и более высоких порядков однозначно интерпретируются в терминах НС. При этом, каждому диагностическому алгоритму соответствует один слой НС.

Первый слой НС состоит из п нейроподобных элементов (НЭ), соответствующих элементам А!-{\ < I < п) алгоритма I п о р я д к^К а ж д ы й из НЭ находится в одном из возможных состояний, что означаете наличие или отсутствие у пациента соответствующего симптома.

Сигналы с первого слоя НС поступают на входы каждого НЭ а3(и>) второго слоя, соответствующие элементам 1 < < М) алгоритма А"

и реализующие некоторые функции от х(о»).

Третий слой описываемой НС состоит из решающих НЭ Гк, каждый из которых "отвечает" за свой диагноз и находится в одном из двух

состояний ("0" или "1"): состояние "1" означает выбор к-го диагноза из М возможных, состояние "0" - его отклонение. Совокупность решающих ИЭ Гк (1 < к < М) соответствует алгоритму III порядка А111, вычисляющему значение диагноза на основе результатов работы алгоритмов II порядка.

Если в задаче развернутой медицинской диагностики правила (1) реализуются в виде одной нейронной сети (мультисети), то в структуре такой НС присутствует дополнительный четвертый слой, состоящий из решающих НЭ (1 < $ < К). Если же эти правила реализуются в виде нескольких НС, то структура каждой из них будет включать в себя 3 слоя: кодирующий, ассоциативный и решающий.

Результат, получаемый на выходе алгоритмов III и IV порядков, представляет собой целочисленный вектор - закодированный развернутый диагноз. Декодирование этого вектора и представление диагноза в виде предложения естественного языка а (с использованием соответствующей медицинской терминологии) представляет собой задачу построения функции

сг = Со и Д(у) и С1 и • • • и сК-1 и /к(у) и ск,

1'ДС Л(у), • • •, /к(у) ' - некоторые функции^,... ,ск - строки-константы, а знак означает конкатенацию строк.

Рассматриваются различные способы оценки качества получаемых Р11. Часть объектов исходной БД используется в качестве ОВ, оставшиеся в качестве контрольной выборки (КВ) и (при необходимости) валида-ционной выборки (ВВ). Обучение НС осуществляется на ОВ, проверка -па КВ. ВВ применяют для контроля процесса обучения и выбора параметров НС.

Четвертая глава посвящена разработке нейросетевых моделей и алгоритмов для решения задач медицинской диагностики. Рассмотрены математические модели нейроэлементов, сформулирована постановка задачи алгоритмического синтеза нейронной сети и описан в общем виде конструктивный рекуррентный алгоритм обучения НС.

Для построения НС используются следующие типы нейроэлементов (НЭ):

1. Аддитивные элементы (Е-элементы), осуществляющие линейные

преобразования вида

п

«>) = №0 + (2) 3=1

где и = («1,..., ип) - вектор входных сигналов аддитивного НЭ, но ~ (то, и)1,..и!п) - вектор весовых коэффициентов.

2. Мультипликативные элементы (П-элементы), вычисляющие произведения входных сигналов:

где и — (щ,... ,и„) - вектор входных сигналов НЭ.

(3)

3. Функциональные элементы, реализующие некоторое скалярное преобразование /(и) входного сигнала и, например, пороговую функцию

Более сложные НЭ и нейроны являются комбинациями данных НЭ. Например, £П-элемент - это комбинация аддитивного НЭ и мультипликативного НЭ:

5Т(и, го) = №0 + Wj Д щ,

Будем считать, что ОВ представляет собой последовательность векторов X = {хх,..., X;/}. Каждому из векторов ^ соответствует некоторое значение целевого признака у^, 1 < 2 < N. Обозначим последовательность целевых признаков, соответствующую последовательности векторов X, через "У = {у\,..., ум} ■ Пусть также задана некоторая последовательность функций

Неизвестную зависимость будем искать в виде

у = / ^о + •

(4)

Архитектура НС, реализующая эту зависимость, будет включать 3 слоя: кодирующий слой - осуществляет предварительную обработку входного вектора х; ассоциативный слой - ставит в соответствие рассматриваемому объекту его ассоциативный образ Ф(х); решающий слой - фор-

мирует на своем выходе решение о принадлежности объекта к одному из классов.

Задача синтеза и обучения НС в общем случае состоит в выборе функций Ф&(х) и нахождении весовых параметров и)к, обеспечивающих выполнение требований безошибочности НС на ОВ {X, У), высокой экстраполяции на объектах, не входящих в ОВ, а также требования минимальной сложности НС.

Предположим, что последовательность функций Ф = {Фй(х)} удовлетворяет следующему условию

У7, к : 1 < з < к < N | Фк(ъ) = 0, Фк(щ) ф 0.

(5)

Тогда весовые параметры И)к можно однозначно определить из рекуррентного соотношения

где Хк - любое целое число из промежутка / 1(ук) (прообраз ук), а есть функция

(7)

¿=1

В качестве можно выбрать некоторую константу или произвольную функцию (например, функцию вида (7)).

Таким образом, задача построения НС, реализующей зависимость (4), сводится к выбору последовательности базисных функций удовлетворяющей на X условию (5) и вычислению весовых параметров 1ик по формулам (6). Обученная таким способом НС обеспечивает безошибочное разделение объектов из ОВ.

Рассматривается модель НС, описываемой алгебраическими полиномами, представляющая особенный интерес для задач медицинской диагностики. В качестве функций Ф*(х) выбираются функции вида

Ф)ь(х) = Д ч>(хьйы),

где 1р(х,<1) - некоторая скалярная ф у н к ц ис^,-, - параметр, принимающий тс же значения, что и

Алгоритмы синтеза таких НС рассматривались в работах А.В. Тимо-

феева и З.М. Шибзухова. Если предположить, что для функций 1р(х,(Т) выполняется условие:

(р(х, с1) = 0 при х <йп <р(с1, (1) ф 0.

и упорядочить обучающую последовательность X, например, по возрастанию величины (с, х), где с = (сх, ...,Сп), с^ > 0 для в с е}^ а[оу н к -

ции в требуемом виде можно построить по обучающей последова-

тельности X, при этом в качестве йы выбирается Хы - г-ый элемент А;-го вектора обучающей последовательности, а Д •- подмножество множества {1....,п} такое, что выполняется условие (5).

В целях повышения корректности и стабильности описанных нейро-сетевых алгоритмов были разработаны методы построения "коллективов" НС. Рассматривались два вида "коллективов": комитеты НС и семейства НС.

На основе свойств описанных алгоритмов обучения НС строился комитет пейросетевых алгоритмов таких, что каждый объект ОВ распознается правильно более половиной комитета. Для этого выбирается некоторое покрытие ОВ такое, что каждый объект ОВ входит не менее чем в половину подмножеств из этого покрытия. Поскольку конструктивный алгоритм обучения позволяет строить НС, корректно функционирующую на всем обучающем материале, то НС, построенные по каждому из подмножеств будут корректными на них, следовательно, более половины этих НС будут корректно распознавать каждый из объектов ОВ.

Дальнейшим обобщением комитета служат семейства пейросетевых алгоритмов, функционирующих на основе мажоритарных принципов.

Пусть задана некоторая обучающая последовательность описаний объектов и некоторое ее покрытие

Пусть задано вещественное число 0,5 < а < 1 . Для каждого X 6 X определим множество J(x) = {; : X 6 . Покрыт [{Ху}в л я е т с я «-мажоритарным, если |7(х)| > ат для всех х 6 X.

Предположим, что построен набор алгоритмов где Aj : X. V, такой, что алгорит^орректно функционирует па Тогда для любого не менее алгоритмов

дают на выходе правильный результат. Такой набор алгоритмов также будем называть а-мажоритарным.

Пусть задано некоторое решающее правило инвариант-

нос относительно перестановок аргументов, которое выбирает решение на основе а-мажоритарного поднабора алгоритмов. Такое решающее правило будем называть а-решающим правилом.

Тогда исходную задачу построения алгоритма А но X можно свести к задаче построения т алгоритмов такого же типа по обучающим множествам, содержащим а|Х| элементов.

Для построения «-мажоритарных покрытий предложено несколько методой. Обозначим |Х| = N. Выберем I к а такие, что 0,5ЛГ < I < N и I - аИ. Пусть {Х^} - покрытие множества X такое, что = Ь для всех з, т.е. мощности всех подмножеств покрытия равны Ь.

Утверждение 2. Для того чтобы покрытие {Х^} являлось а-мажоритарным, достаточно чтобы выполнялось неравенство:

Далее предложены методы синтеза нейросетевых архитектур по многозначному дереву решений (ДР). Пусть задано ДР Т. Требуется построить НС полиномиального типа по ДР Т, удовлетворяющую следующему требованию эквивалентности:

где гдг(х) • функция преобразования НС, гт(х) - решающее правило, соответствующее ДР Т.

Архитектура НС М будет включать два специальных слоя. Первый • слойЬ -олементов, который состоит из элементов вида

где Х{ (1 < г < п) - входной признак, 6 X* - его значение; ¿(х) = 1, если х ~ 0; иначе ¿(ж) = 0.

Второй специальный слой, который условно назовем else-слой, состоит из Я-элементов. Они строятся для каждой селекторной вершины, правило которой содержит ске-часть (т.е. правило х {хх,... —> рк+1). Соответствующий такой вершине имеет вид:

т > 2Сдг_х + 1.

Ух 6 Б г^(х) = гг(х)

(8)

кз = НХ>~

где г - индекс переменной x¡, с которой ассоциирована селекторная вершина, Зр - множество индексов, нумерующих те значения этой переменной, с которыми ассоциированы поддеревья дерева решений.

Третий слой - ассоциативный - состоит из П-элементов, которые строятся для каждой ветви, начинающейся в корне дерева решений и заканчивающейся в решающей вершине. Соответствующие П-элементы имеют вид:

П П ер'

где ¡3 - ветвь дерева, - множество пар индексов (»,.?), которые соответствуют дугам, выходящим из селекторных вершин ветви -множество меток правил, которые описывают селекторные вершины с е18&-дугами, лежащими на ветви.

Последний слой - решающий - состоит из т Е-элементов, к-ый элемент, вычисляющий значение имеет вид:

где Р пробегает ветви дерева, в окончании которых в решающей вершине есть решение вида

Построенная данным способом НС является эквивалентной исходному ДР в смысле (8).

В пятой главе описывается компьютерная реализация алгоритмов и экспериментальные результаты.

Проводился ряд экспериментов по построению нейронных сетей для диагностики хронического гастрита. Материалом для построения обучающей выборки послужили результаты гистологического исследования га-стробиопсий 120 пациентов, проводившегося в 2000-2001 гг. в Государственном учреждении здравоохранения Патологоанатомическое бюро Министерства здравоохранения Кабардино-Балкарской республики.

В ходе экспериментов исходная выборка случайным образом разбивалась на 2 части: обучающую и контрольную. Затем по ОВ осуществлялось построение НС с различными типами функциональных элементов на выходе сети. На рис. 1 приводится средняя зависимость точности распознавания объектов ^ от объема ОВ. При соотношении объемов ОВ и ^ примерно 2 к 1 достигается достаточно высокая точность распознавания (до 93%).

Также были построены НС для нахождения признаков, детализиру-

ющих диагноз, продемонстрировавшие высокую точность распознавания (более 85-90%).

Далее были проведены эксперименты по построению семейств мажоритарно корректных алгоритмов. Качество их работы было выше в среднем на 4,9%, чем для "одиночных" алгоритмов, построенных по всему множеству.

Описана библиотека функций для работы с полиномиальными нейронными сетями, реализованная средствами языка Python, включающая в себя функции для предварительной обработки данных, построения ОВ и KB, визуализации построенных НС в виде полиномов (в нотации Ш^Х), построения коллективов НС и т.д.

Описан программный комплекс GastDiag, предназначенный для автоматизации развернутой диагностики хронических гастритов при исследовании материала биопсий.

Заключение

В диссертационной работе получены следующие новые результаты:

1. Рассмотрена новая постановка задачи медицинской диагностики как задачи развернутой медицинской диагностики и предложена общая схема построения нейросетевых решающих правил для решения этой задачи.

2. Предложены методы многозначного кодирования признаков в задаче развернутой медицинской диагностики, в основе которых лежат методы алгоритмизации медицинского исследования. Введены формальные определения алгоритмов I и II порядков, показана их взаимосвязь с полиномиальными нейронными сетями.

3. Предложена модификация рекуррентного конструктивного алгоритма обучения нейронной сети для решения задачи развернутой медицинской диагностики.

4. Предложены методы построения "коллективов" нейросетевых алгоритмов, принимающих решение методом голосования и корректно функционирующих на обучающем материале. При этом получаемые "коллективы" алгоритмов являются более устойчивыми и робастны-ми.

5. Предложены методы синтеза нейросетевых моделей (архитектур) полиномиального типа по многозначному дереву решений.

6. Разработай программный комплекс для автоматизированной развернутой диагностики хронических гастритов.

Список публикаций по теме диссертации

1. Тимофеев A.D., Шеожев A.M. Порогово-полиномиальные и дио-фантовые нейронные сети в задачах медицинской диагностики. //В сб. научных трудов конференции "Нейроинформатика-99". - М.: МИФИ, 1999.

Часть 2. С. 81-86.

2. Тимофеев А.В., Шеожев A.M., Шибзухов З.М. Применение дио-фантовых нейронных сетей для генетического анализа и диагностики. //Сб. трудов 6-го Санкт-Петербургского симпозиума но теории адаптивных систем "SPAS'99".-C-n6: Изд-во"НПО Омега", 1999 г.-Т. 2.-С. 169-171.

3. Шеожев A.M., Шеооюев М.А., Губжокова Е.Б. Применение нейронных сетей в морфологической диагностике хронических гастритов. //В сб. Актуальные вопросы биологии и медицины. - Нальчик, 1999. -С. 320-121.

4. Шибзухов З.М., Шеооюев A.M. О преобразовании деревьев решений в многослойные нейронные сети полиномиального типа. / /В сб. научных трудов конференции "Нейроинформатика-2000". - М.: МИФИ, 2000. Часть 1. С. 135-137.

5. Тимофеев А.В., Шибзухов З.М., Шеооюев A.M. Проектирование и обучение мультиагентных диагностических систем//Сб. трудов Первой международной конференции по мехатронике и робототехнике "МиР'2000".

С-Пб., 2000. -- Т. 2. - С. 342-345.

6. Тимофеев А.В., Шеожев A.M. Методы построения обучающих выборок для развернутой медицинской диагностики на основе нейросетевых техпологий.//Доклады АМАН. - 2000. - Т. 5, № 1. - С. 69-71.

7. Тимофеев А.В., Шибзухов З.М., Шеооюев A.M. О создании Интернет и Иптрапет ориентированных систем медицинской диагностики// Труды Международного симпозиума "Электроника в медицине. Мониторинг, диагностика, терапия". - Санкт-Петербург, 2000 г. - С.173-175.

8. Шибзухов З.М., Шеооюев A.M. О преобразовании деревьев решений в многослойные нейронные сети//Искусственный интеллект. - 2000, №2,- С. 251-254.

9. Тимофеев А.В., Шеооюев A.M., Шибзухов З.М. Синтез нейросете-вых архитектур но многозначному дереву решений //Нейрокомпьютеры: разработка, применение. - 2002. - №5/6. - С. 44-49.

10. Шеооюев A.M. Применение сигма-пи нейронных сетей для диагностики хронических гастритов//Труды V Всероссийской конференции "Иейроинформатика-2003". - Москва, 2003. - Часть 2. - С. 73-77.

11. Шеооюев A.M. Об одном методе построения комитета пейросете-вых алгоритмов полиномиального типа//Труды VI Всероссийской конференции "Нсйроинформатика-2004". - Москва, 2004. - Часть 1. - С. 46-50.

12. Shautsoukova L.Z., Sheozhev A.M., Shibzoukhov Z.M. On A Constructive Method Of Synthesis Of Majoritaly Correct Algorithm Families// Proceedings of 7th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (РША-7-2004). St.Petersburg, 2004. -Vol.I.- Pp. 113-115.

ПДЛ № 69 - 462 от 30.12.99 Формат бумаги 60 х 90 1/16. Печ. л.1 Печать офсетная. Тираж 100 экз. Заказ № 91 Типография ООО «Анатолия». 199187, Санкт-Петербург, В.О., 14 линия 39

»262 82

Введение

1 Аналитический обзор

§ 1.1 Устройство и принципы работы нейронной сети.

§ 1.2 Обучение нейронной сети.

§ 1.3 Применение нейронных сетей в задачах медицинской диагностики

§ 1.4 Выводы.

2 Основные понятия и общая постановка задачи

§2.1 Основные понятия и определения

§ 2.2 Постановка задачи медицинской диагностики.

§ 2.3 Модель развернутой медицинской диагностики.

§2.3.1 Исходные данные.

§ 2.3.2 Постановка задачи.

§2.3.3 Общая схема построения решающих правил

§ 2.4 Архитектура нейросетевой диагностической системы

§ 2.5 Требования к алгоритмам и программным модулям нейросетевой диагностической системы.

§ 2.6 Этапы построения нейросетевой диагностической системы

§2.7 Выводы.

3 Методы построения обучающих и контрольных выборок

§ 3.1 Методы кодирования признаков.

§ 3.2 Метод алгоритмизации медицинского исследования и его использование для многозначного кодирования признаков

§3.2.1 Алгоритмизация медицинского исследования.

§ 3.2.2 Интерпретация метода алгоритмизации медицинского исследования в терминах нейронных сетей.

§3.3 Представление информации на естественном языке и в терминах бинарных и многозначных предикатов-признаков

§3.4 Эвристические методы построения обучающих и контрольных выборок.

§3.5 Выводы.

4 Нейросетевые модели и алгоритмы для решения задач медицинской диагностики

§4.1 Методы синтеза многозначных нейронных сетей полиномиального типа.

§4.1.1 Математические модели нейроэлементов

§ 4.1.2 Постановка задачи алгоритмического синтеза нейронной сети.

§ 4.1.3 Конструктивный метод синтеза и обучения нейронной

§4.1.4 Математические модели нейронных сетей, описываемых алгебраическими полиномами.

§4.1.5 Модификация метода синтеза и обучения нейронной сети.

§ 4.2 Методы построения коллективов нейронных сетей.

§4.2.1 Методы построения комитета нейросетевых алгоритмов

§ 4.2.2 Конструктивный метод построения семейств мажоритарно корректных алгоритмов.

§4.3 Синтез нейросетевых архитектур по многозначному дереву решений.

§4.3.1 Исходные данные.

§4.3.2 Логическая структура дерева решений.

§4.3.3 Постановка задачи синтеза нейронной сети по многозначному дереву решений.

§4.3.4 Синтез нейронной сети по дереву решений.

§4.3.5 Сложность нейронной сети.

§ 4.3.6 Реализация нейронной сети на стандартных элементах

§4.3.7 Алгоритм синтеза нейронной сети по многозначному дереву решений.

§4.4 Выводы.

5 Компьютерное моделирование и экспериментальные резуль-«

§ 5.1 Нейросетевая диагностика хронических гастритов.

§5.1.1 Постановка задачи диагностики хронических гастритов

§ 5.1.2 Использование методов алгоритмизации медицинского исследования для выделения и кодирования признаков в задаче диагностики хронических гастритов

§5.1.3 Эксперименты по построению нейронных сетей для диагностики хронического гастрита.

§ 5.2 Компьютерная реализация.

§ 5.2.1 Библиотека функций для работы с полиномиальными нейронными сетями

§ 5.2.2 Программный комплекс GastDiag

§ 5.3 Выводы.

Актуальность темы. Среди многочисленных приложений теории распознавания образов медицинская диагностика занимает особое положение. Это связано с большими объемами и разнородностью обрабатываемых данных, существеным влиянием субъективных факторов, а также сложностью моделируемых процессов.

Проблемами автоматизации процесса медицинской диагностики занимались И.М.Гельфанд, М.М.Бонгард, В.П.Карп, В.В.Александров, Ю.И.Неймарк, Л.Б.Штейн, Е.В.Гублер, Г.Г.Автандилов, Н.Бейли, Р.Беллман, К.Оуэне и др. Значительный интерес представляют работы О.К.Хмельницкого, в которых предложены принципы алгоритмизации медицинского исследования, на протяжении многих лет использующиеся для стандартизации действий врача в процессе постановки диагноза.

Но, несмотря на обилие публикаций в рассматриваемой области, вопросы повышения качества принимаемых диагностических решений и сокращения времени их получения продолжают оставаться актуальными.

В настоящее время особенную значимость приобрела теория нейронных сетей и ее применение для автоматизации научных исследований и решения прикладных задач, в частности, для решения задач медицинской диагностики. В основе этой теории лежит новый подход к обработке информации, базирующийся на принципах работы нервной системы животных и человека.

Применению нейронных сетей (НС) в медико-биологических исследованиях посвящено большое количество работ, среди которых следует отметить работы D. Antony (1991), W.Baxt (1990,1992), Т. Conde (1994), C.Floyd, A.Yun(1994), D.Turner (1994), A.H. Горбаня, Д.А. Россиева(1996, 1998), A.A. Ежова (1997), Т.И. Субботиной (1998), В.Г. Щетинина (1998) и др. В 2000 г. в Гетеборге состоялась конференция, целиком посвященная вопро-мам применения нейронных сетей в медицине и биологии - "Artificial Neural Networks in Medicine and Biology".

Анализ публикаций в рассматриваемой области позволяет сделать вывод, что для обучения НС в основном используется алгоритм обратного распространения ошибки (Back Propagation), либо его модификации. Однако данный алгоритм обладает рядом недостатков (необходимость преодоления локальных минимумов целевой функции, медленная скорость процесса обучения и т.д.).

Перечисленных недостатков лишены алгоритмы обучения порогово-полиномиальных и диофантовых НС (ППНС и ДНС), предложенные в работах A.B. Тимофеева и обобщенные на случай многозначных признаков в работах A.B. Тимофеева и З.М. Шибзухова.

Тем не менее, для автоматизации медико-биологических исследований данные методы и алгоритмы использовались крайне редко, хотя для некоторых задач (дифференциальная диагностика рака печени и гепатита, диагностика артритов) они продемонстрировали высокую эффективность. Не существует также и единой схемы решения подобных задач с помощью ППНС и ДНС.

Цель работы. Целью настоящей диссертационной работы является разработка и совершенствование методов и алгоритмов синтеза и обучения нейронных сетей порогово-полиномиального и диофантового типов, предназначенных для решения задач медицинской диагностики.

Для реализации поставленной цели в работе решаются следующие задачи:

1. Анализ существующих методов синтеза и обучения нейронных сетей и их применения для решения зачач медицинской диагностики и прогнозирования.

2. Разработка методов целочисленного кодирования входной информации для нейронных сетей полиномиального типа.

3. Модификация конструктивных методов синтеза и обучения нейронных сетей для решения медико-биологических задач.

4. Разработка методов повышения качества и устойчивости функционирования нейронных сетей полиномиального типа.

5. Разработка методов преобразования уже имеющихся знаний (в логическом, древовидном и др. представлениях) в "нейрознания".

6. Применение разработанных методов для решения задачи диагностики хронических гастритов по материалам гастробиопсий.

Методы исследования. В диссертации используются методы теории нейронных сетей, теории распознавания образов, искусственного интеллекта, теории чисел, теории графов, средства моделирования на ЭВМ и объектно-ориентированного программирования.

Научная новизна. В диссертации получены следующие новые результаты:

1. Рассмотрена новая постановка задачи медицинской диагностики - задача развернутой медицинской диагностики и предложена общая схема построения решающих правил.

2. Предложен метод многозначного кодирования признаков в задаче развернутой медицинской диагностики.

3. Разработаны новые методы построения коллективов нейросетевых алгоритмов, принимающих решение методом голосования.

4. Разработаны методы и алгоритмы синтеза нейросетевых архитектур полиномиального типа по многозначному дереву решений.

5. Разработан программный комплекс для автоматизированной диагностики хронических гастритов.

Практическая и теоретическая ценность. Методы и алгоритмы, разработанные в диссертационной работе, успешно использовались и могут найти применение для построения высокоэффективных нейросетевых решающих правил в задачах медицинской диагностики и смежных областях. Методы построения коллективов нейросетевых алгоритмов позволяют повысить качество принимаемых диагностических решений.

Практическая ценность подтверждается тем, что исследования по теме диссертации были поддержаны грантами РФФИ Яй 01-01-00142 "Конструктивное обучение сигма-пи нейронных сетей и мультисетей распознавания и классификации" и Xй 04-01-00259а "Корректные и квази-коррект-ные алгебраические сигма-пи расширения некорректных распознающих алгоритмов"; часть результатов диссертации была получена в рамках проекта № 111 "Конструктивные алгоритмы адаптивного синтеза и оптимизации иерархических сигма-пи нейронных сетей и их применение" б-го конкурса-экспертизы молодых ученых РАН и Государственного контракта № Ю002-251/ОМН-2/024-115/120503-062 "Исследование моделей логико-алгебраических сигма-пи сетей и дискретных эволюционных процессов" (программа фундаментальных исследований Отделения математических наук РАН "Алгебраические и комбинаторные методы математической кибернетики").

Реализация результатов работы. Разработанные в диссертационной работе методы и алгоритмы легли в основу программного комплекса "GastDiag", предназначенного для автоматизированной диагностики хронически х гастритов на основе данных гистологического исследования биопта-тов слизистой оболочки желудка. Программный комплекс внедрен в научно-исследовательскую и учебную деятельность Международного центра астрономических и медико-экологических исследований Российской академии наук.

Апробация работы. Результаты диссертации по мере их получения докладывались и обсуждались на заседаниях семинара по современному анализу, информатике и физике НИИ прикладной математики и автоматизации КБНЦ РАН, ежегодной Всероссийской научно-технической конференции "Нейроинформатика" (Москтва, МИФИ, 1999, 2000, 2003, 2004гг.), 6-ом Санкт-Петербургском симпозиуме по теории адаптивных систем "SPAS'99" (Санкт-Петербург, 1999 г.), IV Всероссийском симпозиуме "Математическое моделирование и компьютерные технологии" (Кисловодск,

2000 г.), Первой международной конференции по мехатронике и робототехнике "МиР'2000" (Санкт-Петербург, 2000 г.), Международном симпозиуме "Электроника в медицине. Мониторинг, диагностика, терапия" (Санкт-Петербург, 2000 г.), Международной научной конференции "Интеллектуализация обработки информации" (Алушта, 2000 г.), Международной конференции "Нелокальные краевые задачи и родственные проблемы математической биологии, информатики и физики" (Нальчик, 2001г.), Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-7-2004, Санкт-Петербург, 2004 г.).

Публикации. Основные результаты работы опубликованы в работах [49]-[55].

Основные результаты, полученные в этой главе:

1. На основе задачи развернутой медицинской диагностики сформулирована постановка задачи диагностики хронических гастритов, и проведены эксперименты по построению нейронных сетей для ее решения. Точность распознавания, достигнутая в результате экспериментов составила в среднем 85-90% (для семейств алгоритмов она была выше в среднем на 4,9% выше, чем для одиночных алгоритмов).

2. На языке ОПП Python реализована библиотека функций для работы с полиномиальными нейронными сетями.

3. Создан работающий прототип программного комплекса GastDiag, предназначенного для автоматизации диагностики хронических гастритов при исследовании материала биопсий слизистой оболочки желудка (реализован в среде Delphi).

Заключение

В диссертационной работе получены следующие новые результаты:

1. Рассмотрена новая постановка задачи медицинской диагностики - задача развернутой медицинской диагностики. В ее рамках предложена общая схема построения нейросетевых решающих правил.

2. Предложены методы многозначного кодирования признаков в задаче развернутой медицинской диагностики, в основе которых лежат методы алгоритмизации медицинского исследования. Введены формальные определения алгоритмов I и II порядков, показана их взаимосвязь с полиномиальными нейронными сетями.

3. Предложена модификация рекуррентного конструктивного алгоритма обучения нейронной сети для решения задачи развернутой медицинской диагностики.

4. Предложены методы построения коллективов нейросетевых алгоритмов, принимающих решение методом голосования и корректно функционирующих на обучающем материале. При этом получаемые коллективы алгоритмов являются более устойчивыми и стабильными.

5. Предложены методы синтеза нейросетевых архитектур полиномиального типа по многозначному дереву решений.

6. Разработан программный комплекс для автоматизированной диагностики хронических гастритов.

1. Александров В.В., Шнейдеров B.C. Обработка медико-биологических данных на ЭВМ. - J1.: Медицина, 1984. - 160 с.

2. Аникин A.B., Субботина Т.И., Чапкин В В.и др. Диагностическая значимость входных параметров нейросети в приложении к желчнокаменным заболеваниям// Вестник новых медицинских технологий. -1998. Т.5, № 1.

3. Аруин Л.И., Капуллер JI.JL, Исаков В.А. Морфологическая диагностика болезней желудка и кишечника. М.: Триада-Х, 1998. - 496 с.

4. Аруин Л.И. Новая международная классификация гастрита//Архив патологии. 1991. - Т. 53, №8. - С. 48-53.

5. Бейли Н. Математика в биологии и медицине. М.: Мир, 1970.

6. Бонгард М.М. Проблема узнавания. Москва: Наука, 1967. - 320 с.

7. Воронков Б.Н., Горнакова E.H., Раков С.А. Нейросетевая технология прогнозирования и распознавания осложнений инфаркта миокарда//Нейроинформатика и ее приложения: Материалы VIII Всероссийского семинара. Красноярск: ИПЦ КГТУ. 2000. - С. 37.

8. Гельфанд И.М., Розенфельд Б.И., Шифрин М.А. Очерки о совместной работе математиков и врачей. Москва: Наука, 1989. 272 с.

9. Головенкин С.Е., Горбань А.Н., Шульман В.А. и др. База данных для апробации систем распознавания и прогноза: осложнения инфаркта миокарда//Нейроинформатика и ее приложения: Материалы V Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1997. - С. 47.

10. Головенкин С.Е., Росиев Д.А., Шульман В.А. и др. Использование компьютерных нейронных сетей для прогнозирования рецидива инфаркта миокарда// Нейроинформатика и ее приложения: Материалы VII Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1999. -С. 30.

11. Горбань А.Н. Обучение нейронных сетей. М.: СП "ПараГраф", 1990. - 159 с.

12. Горбань А.Н., Дунин-Барковский B.JI., Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука, 1998. - 296 с.

13. Гублер Е.В. Информатика в патологии, клинической медицине и педиатрии. JI.: Медицина, 1990. - 176 с.

14. Гуревич И.Б., Журавлев Ю.И. Распознавание образов и обработка изображений. Искусственный интеллект. Т.2. Кн.2. М.: Радио и связь. 1990.

15. Долматова И.А., Югай И.С. Применение нейронных сетей к дифференциальной диагностике опухолей орбиты//Нейроинформатика и ее приложения: Материалы VIII Всероссийского семинара. Красноярск: ИПЦ КГТУ. 2000. - С. 57-58.

16. Ежов А., Чечеткин В. Нейронные сети в медицине//Открытые системы. 1997. - №4. - С. 34-37.

17. Журавлев Ю.И. Проблемы кибернетики. М.: Наука, 1978. Вып. 33. - С.5-68.

18. Журавлев Ю.И. Избранные научные труды. М.: Магистр. 1998 -420 с.

19. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. Новосибирск: Изд-во Ин-та математики, 1999. - 270 с.

20. Каляев A.B., Тимофеев A.B. Методы обучения и минимизации сложности когнитивных нейромодулей супер-макро-нейрокомпьютера с программируемой архитектурой//Доклады АН. 1994. - Т. 337, № 2. -С. 180-183.

21. Комаровских E.H., Ланин С.Н. К вопросу ранней диагностики первичной глаукомы с помощью нейросетевых экспертных си-стем//Нейроинформатика и ее приложения: Материалы VI Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1998. - С. 94.

22. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. Новосибирск: Наука, 1981. - 157 с.

23. Лбов Г.С., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. Новосибирск, 1999. - 212 с.

24. Новожилов В.К., Поликарпов Л.С. Влияние экологических факторов г.Красноярска на осложнения сердечно-сосудистых заболеваний и ихпрогноз// Нейроинформатика и ее приложения: Материалы V Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1997. - С. 129-130.

25. Ноздрачев Г.К., Россиев Д.А. Значимость факторов риска при нейросетевой диагностике ишемической болезни серд-ца//Нейроинформатика и ее приложения: Материалы V Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1997. - С. 131-132.

26. Очерки о совместной работе математиков и врачей/И.М. Гельфанд, Б.И. Розенфельд, М.А. Шифрин. М.: Наука, 1989. - 272 с.

27. Прижизненная морфологическая диагностика гинекологических заболеваний. Ленинград, 1984. - 93 с.

28. Пшибихов В.Х., Тимофеев A.B. Алгоритмы обучения и минимизации сложности полиномиальной опознающей системы// Изв. АН СССР: Техн. кибернетика. 1974. - № 5. - С. 214-217.

29. Россиев Д.А., Бутакова Е.В. Нейросетевая диагностика и дифференциальная диагностика злокачественных опухолей сосудистой оболочки глаза// Нейроинформатика и ее приложения: Материалы III Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1995. - С. 167-194.

30. Россиев Д.А., Ноздрачев Г.К. Нейросетевая диагностика ишемической болезни сердца по факторам риска//Нейроинформатика и ее приложения: Материалы V Всероссийского семинара. Красноярск: ИПЦ КГТУ. 1997. - С. 152-153.

31. Rotshtein A. Design and Tuning of Fuzzy Rule-Based Systems for Medical Diagnosis. /In N.-H. Teodorescu (ed.): Fuzzy and Neuro-Fuzzy Systems in Medicine. CRC Press. - 1998. - P. 243-289.

32. Ротштейн А.П., Митюшкин Ю.И. Нейролингвистическая идентификация нелинейных зависимостей//Кибернетика и системный анализ. 2000. - № 2. - С. 37-44.

33. Распознавание образов и медицинская диагностика/Под ред. Ю.М. Неймарка. М.: Наука, 1972. - 328 с.

34. Субботина Т.И., Яшин A.A. Нейросетевое прогнозирование развития желчнокаменной болезни//В сб. научных трудов конференции "Нейроинформатика-2001". М.: МИФИ, 2001. Часть 2. - С. 177-184.

35. Тимофеев A.B. Об одном классе полиномиальных разделяющих функций в задачах опознания и диагностики//В сб. Методы вычислений. Л.: Изд-во ЛГУ. - 1971. - Вып. 7. - С. 106-121.

36. Тимофеев A.B. Методы синтеза диофантовых нейросетей минимальной сложности// Доклады АН. 1995. - Т. 345, № 1. - С. 32-35.

37. Тимофеев A.B., Шибзухов З.М. Методы синтеза и оптимизации баз знаний по базам данных на основе локально-оптимальных логико-вероятностных алгоритмов//^, journal "Information theories and applications". 1995. - Vol. 3. № 2. - Pp. 12-19.

38. Тимофеев A.B., Шибзухов З.М. Методы синтеза и оптимизации баз знаний по базам данных на основе локально-оптимальных алгоритмов// Proc. XXII International conference CAD-95 (Grimea, Gurzuff, may, 1995). Part I. - Pp. 28.

39. Тимофеев A.B., Шибзухов З.М. Методы синтеза и минимизации сложности диофантовых нейронных сетей над конечным полем// Автоматика и телемеханика. 1997. - . 4. - С. 204-212.

40. Тимофеев A.B., Шибзухов З.М. Методы синтеза и оптимизации диофантовых нейронных сетей//Доклады АМАН. 1996. - Т. 2., № 1. -С. 56-60.

41. Тимофеев A.B., Шибзухов З.М. Адаптивные рекурсивные алгоритмы синтеза и оптимизации многозначных порогово-полиномиальных моделей нейронных сетей//Доклады АМАН. 1997. - Т. 2., № 2. -С. 42-46.

42. Тимофеев A.B., Именитова Ж.М. Полиномиальные диагностические функции в задачах дифференциальной диагностики//Труды Всесоюзного симпозиума по распространению, диагностике и прогнозированию. М., 1970.

43. Тимофеев A.B., Шауцукова JI.3., Шауцукова JI.3. Оценка эффективности бальнеолечения и дифференциальная диагностика ревматоидного и ревматического полиартритов//Вестник АМН СССР. 1973. -№ 5.

44. Тимофеев A.B., Шеожев A.M. Порогово-полиномиальные и диофан-товые нейронные сети в задачах медицинской диагностики//В сб. научных трудов конференции "Нейроинформатика-99". М.: МИФИ, 1999. Часть 2. - С. 81-86.

45. Тимофеев A.B., Шеожев A.M., Шибзухов З.М. Применение дио-фантовых нейронных сетей для генетического анализа и диагности-ки//Сб. трудов 6-го Санкт-Петербургского симпозиума по теории адаптивных систем "SPAS'99". С-Пб, 1999 г.

46. Тимофеев A.B., Шеожев A.M. Методы построения обучающих выборок для развернутой медицинской диагностики на основе нейросете-вых технологий//Доклады АМАН. 2000. - Т. 5, № 1. - С. 69-71.

47. Тимофеев A.B., Шибзухов З.М., Шеожев A.M. Проектирование и обучение мультиагентных диагностических систем//Сб. трудов Первой международной конференции по мехатронике и робототехнике "МиР'2000". С-Пб., 2000. - Т. 2. - С. 342-345.

48. Тимофеев A.B., Шибзухов З.М., Шеожев A.M. О создании Интернет и Интранет ориентированных систем медицинской диагности-ки//Труды Международного симпозиума "Электроника в медицине. Мониторинг, диагностика, терапия". Санкт-Петербург, 2000 г.

49. Тимофеев A.B., Шеожев A.M., Шибзухов З.М. Синтез нейросетевых архитектур по многозначному дереву решений//Нейрокрмпьютеры: разработка, применение. 2002. - №5/6. - С. 44-49.

50. Шеожев A.M. О построении обучающей выборки при решении задач медицинской диагностики с помощью нейронных сетей//Тезисы доклада Международной научной конференции "INPRIM-2000". Новосибирск, 2000.

51. Шеожев A.M. Принципы создания нейросетевых систем медицинской диагностики// В сб. Интеллектуальные многопроцессорные системы. Таганрог, 1999. - С. 104-105.

52. Шеожев A.M., Шеожев М.А., Губжокова Е.Б. Применение нейронных сетей в морфологической диагностике хронических гастритов//В сб. Актуальные вопросы биологии и медицины. Нальчик, 1999. - С. 120121.

53. Шеожев A.M. Применение сигма-пи нейронных сетей для диагностики хронических гастритов//Труды V Всероссийской конференции "Нейроинформатика-2003". Москва, 2003. - Часть 2. - С. 73-77.

54. Шеожев A.M. Об одном методе построения комитета нейросетевых алгоритмов полиномиального типа//Труды VI Всероссийской конференции "Нейроинформатика-2004". Москва, 2004. - Часть 1. - С. 4650.

55. Шибзухов З.М., Шеожев A.M. О преобразовании деревьев решений в многослойные нейронные сети полиномиального типа//В сб. научных трудов конференции "Нейроинформатика-2000". М.: МИФИ, 2000. Часть 1. - С. 135-137.

56. Шибзухов З.М., Шеожев A.M. Преобразование деревьев решений в многослойные нейронные сети полиномиального типа// Тезисы IV Всероссийского симпозиума "Математическое моделирование и компьютерные технологии". Кисловодск. - 2000. - С. 79-81.

57. Шибзухов З.М., Шеожев A.M. О преобразовании деревьев решений в многослойные нейронные сети//Труды Международной научной конференции "Интеллектуализация обработки информации", Алушта, 2000.

58. Шибзухов З.М., Шеожев A.M. О преобразовании деревьев решений в многослойные нейронные сети//Искусственный интеллект. 2000, №2.

59. Шибзухов З.М. Рекуррентные алгоритмы конструктивного обучения алгебраических ЕП-нейронов//Сб. трудов конференции, посвященной 90-летию А.А.Ляпунова. Новосибирск. - 2001. -http://www.ict.nsc.ru/ws/Lyap2001/2270/

60. Шибзухов З.М. Рекуррентный метод конструктивного обучения алгебраических ЕП -нейронов и ЕП-нейромодулей// Доклады РАН. -2003. Т.388, №2. - С. 174-176.

61. Шибзухов З.М. Рекуррентный метод конструктивного обучения некоторых сетей из алгебраических ЕП-нейронов и ЕП-нейромодулей// Журнал ВМиМФ. 2003. - Т.43. - С. 1260-1272.

62. Шибзухов З.М. Рекуррентные методы для конструктивного обучения нейронных сетей из логико-арифметических сигма-пи нейронов// Нейрокомпьютеры: разработка и применение. 2002. - К2 5-6. - С. 5057.

63. Энциклопедический словарь медицинских терминов: В 3-х томах. -М.: Советская энциклопедия. 1982-1984.

64. Acciani G., Bellomo A., Chiarantoni Е., Paradiso A. Validation of neural network analysis to predict prognosis in breast cancer patients//Proceedings of the 36th Midwest Symposium on Circuits and Systems. 1993. - Vol. 1. - P. 453-456.

65. Anthony D. The Use of Artificial Neural Networks in Medicine. Department of Engineering Warwick University, 1991.

66. Balakrishnan K., Honavar V. Evolutionary design of neural architectures//CS TR #95-01. Iowa State University, January 1995.

67. Baxt W.G. Use of an Artificial Neural Network for Data Analysis in Clinical Decision-Making: The Diagnosis of Acute Coronary Occlusion//Neural Computation. 1990. - Vol. 2. - P. 480-489.

68. Baxt W.G. Use of an artificial neural network for the diagnosis of myocardial infarction//Annals of Internal Medicine. 1991. - Vol. 115. -P. 843-848.

69. Baxt W.G. Analysis of the clinical variables driving decision in an artificial neural network trained to identify the presence of myocardial infarction//Ann. Emerg. Med. 1992. - Vol. 21, №12. - P. 1439-1444.

70. Dar Ren Chen, Ruey Feng Chang, Yu Len Huang. Breast cancer diagnosis using self-organizing map for sonography//Ultrasound in Medicine and Biology. 2000. - Vol. 26. - P. 405-411.

71. Cios K.J., Goodenday L.S., Merhi M., Langenderfer R.A. Neural networks in detection of coronary artery disease//Proc. Computers in Cardiology. -1990. P. 33-37.

72. Conde T. Automatic Neural Detection of anomalies in Electrocardiogram ECG Signals. //Proc. ICNN'94, International Conference on Neural Networks. 1994. - P. 3552-3558.

73. Dixon M., Genta R. Yardley J. et al. Classification and grading of gastritis. Am. J. Surg. Pathol. - 1996; 20:1161-81 (цитируется no 3]).

74. Ercal F., Chawla A., Stoeker W.V. et al. Neural network diagnosis of malignant melanoma from color images//IEEE Trans. Biomed. Eng. -1994. Vol. 41, №9, pp. 837-845.

75. Fahlman S.E. Faster learning variations of back-propagation: An empirical study//Proceedings of the 1988 Connectionist Models Summer School. -1988, P.38-51.

76. Feldman J.A., Ballard D.H. Connectionist models and their properties//Cognitive Science 1982. - №6. - P. 205-254.

77. Floyd C.E.Jr., Lo J.Y., Yun A.J. et al. Prediction of breast cancer malignancy using an artificial neural network//Cancer. 1994. - Vol. 74. - № 11, pp. 2944-2948.

78. Ghosh J., Shin Y. Efficient Higher Order Neural Networks for Classification and Function Approximation//Int'l Journal of Neural Systems, Vol. 3, №4, 1992, pp. 323-350.

79. Jin Y., Sendhoff B. Knowledge Incorporation into Neural Networks From Fuzzy Rules//Neural Processing Letters, 10(3), pp. 231-242, 1999.

80. Kitano H. Designing Neural Networks Using Genetic Algorithms with Graph Generation System, Complex Systems 4: 461-476, 1990.

81. Korver M., Lucas P.J. Converting a rule-based expert system into a belief network//Med. Inf. Lond. 1993. - Vol. 18, №3, pp. 219-241.

82. McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 5, pp. 115-133.

83. Montana D.J., Davis L.D. Training feedforward networks using genetic algorithms. In Proc. 11th Int. Joint Conf. on Artificial Intelligence. Palo Alto, CA: Morgan Kaufmann, 1989,

84. Quinlan J.R. Induction of Decision Trees//Machine Learning. 1986. -Vol. 1 -№1. - Pp. 81-106.

85. Riedmiller M., Braun H. A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm//Proc. of the IEEE Intl. Conf. on Neural Networks. 1993, pp.586-591.

86. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by backpropagating errors//Nature. 1986. - №323. - P.533-536.

87. Shin Y., Ghosh J. The Pi-sigma Network: An Efficient Higher-order Neural Network for Pattern Classification and Function Approximation. Proceedings of International Joint Conference on Neural Networks, Vol. I, pp. 13-18, Seatle, July 1991.

88. Turner D.D. Diagnosing Coronary Artery Disease with a Backpropagation Network. Master Thesis. Eastern Washington University. - Spring, 1994.

89. Waugh S. Dynamic Learning Algorithms. Department of Computer Science, University of Tasmania. 1994.

90. Werbos P.J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Ph.D. thesis, Narvard University. 1974.