автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Параметрический метод обучения нейронной сети при решении задач прогнозирования

На правах рукописи

АЮПОВ Ильнур Рашидович

ПАРАМЕТРИЧЕСКИЙ МЕТОД ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ ПРИ РЕШЕНИИ ЗАДАЧ ПРОГНОЗИРОВАНИЯ

Специальность 05.13.01. Системный анализ, управление и обработка информации (в приборостроении)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 АПР 2015

Москва —2015

005566501

005566501

Работа выполнена на кафедре Высшей математики № 1 Национального исследовательского университета «МИЭТ»

Научный руководитель: доктор физико-математических наук, доцент ГОНЧАРОВ Виктор Анатольевич

Официальные оппонепты: доктор технических наук, профессор профессор МГТУ МИРЭА, КАРП Виктория Павловна

кандидат физ.-мат. наук, доцент зав. кафедрой Прикладной информатики ИМПЭ им. А.С.Грибоедова БОРИСОВ Николай Андреевич

Ведущая организация: Национальный исследовательский ядерный университет «МИФИ», г. Москва

Защита состоится 21 апреля 2015 года в 11-00 часов на заседании диссертационного совета Д 212.134.02 при Национальном исследовательском университете «МИЭТ» по адресу: 124498, Москва, Зеленоград, проезд 4806, дом 5.

С диссертацией можно ознакомиться в библиотеке МИЭТ по адресу: 124498, Москва, Зеленоград, проезд 4806, дом 5.

Автореферат разослан «_»_ 2015 года

Ученый секретарь диссертационного совета доктор технических наук, доцент

Гуреев А.В.

Актуальность темы исследования. Поиск и исследование зависимостей между определенным набором параметров, описывающих объект и возможное его состояние в будущем, спрогнозированное на основе этих характеристик или параметров, является одной из актуальных задач, встающих перед специалистами различных направлений исследования. Это могут быть исследования в таких областях, как приборостроение, управление качеством, синергетика, теория управления, математика и физика, экономика, медицина, социология и другие.

Эту зависимость иногда можно вывести на основе теоретических данных, но чаще всего ее получают на основании экспериментальных исследований. При построении математической модели прогнозирования важно, чтобы сведения, собранные об исследуемом объекте, позволяли построить адекватное и достаточно точное описание объекта моделью.

Исследованием систем прогнозирования занимались такие ученые, как Колмогоров А.Н., Кандалл Дж., Бэбингтон С., Капица С.П. и др. Использование в данных системах нейронных сетей (Мак-Каллок У.С., Хайкин С.) требовало использования исследований искусственного интеллекта (Шеннон К.Э., Маккарти Дж.). Для разработки эффективных практических алгоритмов необходимо привлечение численных методов (Калиткин H.H., Альшин А.Б., Тихонов А.Н.). Исследованием достоверности в моделях прогнозирования занимались Шеннон Р., Коваленко И.Н., Клейнен Дж., Балчи О., Зайглер Б. и др. Их работы являлись основополагающими при решении многих научно-технических проблем.

Представляемая диссертационная работа посвящена вопросу создания системы прогнозирования. В качестве предметной области выбрана онкоурология, где чрезвычайно важным является предсказание состояния здоровья пациента и определение оптимального вида лечения. Актуальность задачи прогнозирования для онкологического пациента обусловлена несколькими причинами: во-первых, это позволяет выявлять заболевание на ранних стадиях, во-вторых, это необходимо для выбора программы лечения

3

(особенно из-за возможных побочных эффектов, связанных с применением высокотоксичных схем лечения). В-третьих, при диагностике раннего заболевания, возможно оптимизировать расходы, связанные с лечением и, наконец, использование системы прогнозирования полезно и эффективно при обучении начинающих специалистов.

В мире используются несколько систем сопровождения пациентов с заболеванием простаты - медицинские базы знаний, которые включают систему прогнозирования. Самая распространенная - американская система прогнозирования в Memorial Sloan-Kettering Cancer Center, которая построена на основе нейронных сетей и нечеткой логики. К сожалению, данная система не пригодна для использования в российской действительности, т.к. для построения прогноза необходим полный спектр анализов, что для рядового пациента в России не представляется возможным. Поэтому ощущается острая нехватка прогностической системы, которая учитывала бы специфику работы врача в Российской Федерации. Существует несколько российских баз знаний в онкоурологии (ВИНИТИ, СТРОМ, и др.), основанных на экспертных системах, которые позволяют проводить автоматические умозаключения по вводимой информации о здоровье пациента. Но, к сожалению, такие системы не могут оперативно подстраиваться под меняющуюся динамику параметров лабораторных исследований и требуют привлечения знаний экспертов в этой области.

Российские медики, в том числе специалисты больницы им. Боткина, нуждаются в системе, которая была бы создана на основе данных, собранных в российских реалиях и учитывающая динамику изменения показателей. Данная модель должна включать в себя опыт и знания ведущих врачей российской практики, учитывать результаты проведенных операций. Привлечение к решению данной задачи широкого круга специалистов и разнообразных методов поиска и анализа зависимостей между набором параметров объекта подчеркивает нерешенность проблемы и позволяет утверждать об актуальности выбранной темы диссертации.

4

Объект и предмет исследований. Объектом исследований являются системы прогнозирования, деятельность которых состоит в поиске и исследовании возможных зависимостей между данными.

Предметом исследований являются методы и алгоритмы исследования возможных путей развития таких систем.

Проблемная ситуация определяется недостаточной

функциональностью известных методов, алгоритмов и программных средств обработки информации для прогнозирования данных, что, в свою очередь, необходимо для принятия решения.

Цель II задачи исследования. Целью диссертационной работы является создание параметрического метода обучения нейронной сети в системе прогнозирования и сопровождения больных. Это соответствует областям исследований, определенных в паспорте специальности 05.13.01 «Системный анализ, управление и обработка информации». Создается математическая модель оценки состояния здоровья пациента в онкоурологической практике (п.4, п.5 и п. 10). (в части п.4 - Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации., п.5 - Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации, п.10 - Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, экономических, биологических, медицинских и социальных системах).

Для достижения поставленной цели было необходимо решить следующие задачи:

• провести формализацию постановки задачи, а также подготовку собранной информации к использованию в математическом моделировании;

• создать модель прогнозирования на основе нейронной сети, адаптированную под специфику рассматриваемой задачи в онкоурологии;

• провести параметрическую коррекцию нейронной сети с использованием генетического алгоритма обучения;

• программная реализация параметрического метода и алгоритмов обучения нейронной сети в виде программного комплекса;

• практическое использование разработанных метода, алгоритмов и сравнение созданного программного комплекса с существующими программными продуктами.

На основе адаптивного и генетического алгоритмов обучения нейронной сети создать параметрический метод обучения нейронной сети.

Научная новизна. На основе проведенных исследований предложен новый параметрический метод обучения нейронной сети.

• Предложен метод поэтапной адаптации информации для математического моделирования.

• Предложено формализованное представление задачи поиска оптимальных межнейронных связей для определения минимума глобальной функции ошибки.

• Построен адаптивный алгоритм обучения нейронной сети, предложена функция активации, позволяющая наиболее эффективно учитывать специфику задачи в условиях ограниченного набора данных.

• Предложен алгоритм уменьшения размерности нейронной сети, необходимый для успешного обобщения полученных знаний при небольшом количестве обучающих данных.

• Предложен метод использования генетического алгоритма для выхода из возможного предполагаемого локального минимума функции ошибок.

Практическая значимость и результаты внедрения. Построенная математическая модель прогнозирования дает возможность формировать основные управленческие решения врачей, учитывая особенности состояния здоровья каждого пациента. Это увеличивает эффективность оперативного лечения и снижает процент осложнений (улучшение прогнозных результатов модели может достигать 10%). (Это соответствует Паспорту специальности 05.13.01 в части решения вопросов, связанных с «целенаправленным воздействием человека на объекты исследования, включая вопросы анализа, моделирования, оптимизации, совершенствования управления и принятия решений, с целью повышения эффективности функционирования объектов исследования»).

Разработанная математическая модель на основе параметрического метода обучения нейронной сети позволяет вырабатывать специалисту-онкоурологу стратегию и тактику лечения пациента.

На основе математической модели разработан программный продукт, который позволяет:

• оценить основные онкоурологические показатели: безрецидивную пятилетнюю выживаемость (вероятность возникновения опухолевых участков в течение 5 лет), поражение опухолью лимфоузлов и семенных пузырьков, выход опухоли за пределы капсулы.

• проводить врачами мониторинг высокого уровня за больными после оперативного вмешательства.

• учитывать динамику результатов лабораторных исследований, а также подготавливать варианты решений по видам лечения.

Таким образом, построенная база знаний является одновременно как интеллектуальной системой поддержки принятия решений, так и средством автоматизации работы специалистов. ■

Методы исследования. При решении поставленных задач были использованы методы общей теории систем, теории принятия решений и интеллектуального анализа данных.

Проверка адекватности математической модели проводилась на основе собранных данных о пациентах (статистика собиралась более 4 лет), которым была проведена операция и которые находились под наблюдением продолжительное время после операции. Точность предложенной модели связана с теоретическими оценками в условиях ограниченной выборки. Использовались модели Партина [Partin, 1987, USA] и Каттана [Kattan, 1999, USA], Эти две модели построены на основе небольшого количества факторов, однако широко используются для обучения молодых врачей, а также для консультирования пациентов.

В предложенной модели учитывается большое количество внешних и внутренних факторов (с выявлением определяющих характеристик здоровья, а также вспомогательных, которые уточняют данные для конкретного пациента). Это позволяет уточнить постановку диагноза и расширяет возможности врача по всему комплексу видов лечения.

Результаты исследования апробированы на кафедре урологии и хирургической андрологии в Российской Медицинской Академии Последипломного Образования (РМАПО РОСЗДРАВА) и внедрены в отделении урологии больницы им. Боткина.

Основным результатом работы является разработка и внедрение постоянно действующей системы прогнозирования и мониторинга состояния здоровья пациента, которая имеет возможность пополняться новыми данными о состоянии здоровья пациентов и знаниями врачей.

Параметрический метод обучения нейронной сети позволяет сформулировать основные положения, выносимые на защиту:

8

• формализованное представление задачи прогнозирования, основанное на поиске оптимальных межнейронных связей нейронной сети;

• метод подготовки собранной информации для математического моделирования;

• адаптивный алгоритм прогнозирования на базе нейронной сети с предложенной функцией активации (арктангенс) и функцией ошибки (логарифмическое правдоподобие);

• метод параметризации адаптивного и генетического алгоритмов в задаче прогнозирования;

• верификация разработанных метода и алгоритмов путем компьютерного моделирования, позволило установить их высокую эффективность по сравнению с известными.

Апробация работы. Основные положения диссертации докладывались и обсуждались на следующих международных, всероссийских и межвузовских научных конференциях:

1. Микроэлектроника и информатика - 2007. 14-я межвузовская научно-

техническая конференция студентов и аспирантов. МИЭТ, 2007.

2. Актуальные проблемы информатизации. Развитие информационной

инфраструктуры, технологий и систем. Всероссийская межвузовская научно-техническая конференция. МИЭТ, 2007.

3. Проектирование инженерных и научных приложений в среде Matlab. 3-я

всероссийская научная конференция. Санкт-Петербург, 2007.

4. Информационные технологии в науке, образовании, телекоммуникации и

бизнесе. IT + S&E'08. VI международная конференция молодых ученых. Гурзуф, 2008.

5. Физическое образование в вузах. Конкурс молодых физиков. Москва,

2010.

6. Микроэлектроника и информатика - 2011. 18-я межвузовская научно-

техническая конференция студентов и аспирантов. МИЭТ, 2011.

7. IV International scientific conference "Science4health 2012". Moscow, 2012.

9

Кроме того, опубликовано 4 статьи в журн&пах из списка ВАК, зарегистрирована программа в Федеральной службе по интеллектуальной собственности.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, приложения и списка литературы из 142 наименований. Общий объем работы составляет 93 страницы машинописного текста, иллюстрированного 31 рисунком и 6 таблицами.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы, сформулированы цель и задачи исследования, изложена научная новизна и практическая значимость работы, приведены основные положения, выносимые на защиту. Следует отметить, что разработка и внедрение нейронной математической модели и базы знаний, основанной на ней, повышает эффективность лечения рака предстательной железы, а также дает возможность выявлять урологическую болезнь на ранней стадии.

Первая глава. В настоящее время успех прогностических систем напрямую зависит от использования новейших технологий для получения данных и современных способов обработки информации. При этом важно, что значительная часть интеллектуальной нагрузки по прогнозированию рассчитывается с помощью математической модели.

Врачи - онкоурологи в настоящее время обладают рядом возможностей для ранней диагностики рака простаты, что дает возможность выявлять злокачественный процесс в предстательной железе при локализованных стациях — когда достаточно высока вероятность полного излечения заболевания после выполнения оперативного вмешательства. Часто в медицине используются прогностические модели, в частности - номограммы. Они представляют собой графические инструменты, которые позволяют проводить приблизительный расчет сложной функции (которая учитывает некоторые элементы состояния здоровья пациента) и вероятности результата. Однако у оперирующего хирурга-уролога всегда остаются сомнения -насколько верно была определена предоперационная стадия, целесообразность проведения выбранного оперативного вмешательства.

В диссертации проведен анализ существующих систем прогнозирования в медицине. Рассмотрены основные ведущие российские и зарубежные системы прогнозирования в медицине: Карлтонский университет (система ICU), Liew P.L. и Lee Y.C. (система прогнозирования риска развития желчекамешюй болезни), американская система прогнозирования

И

Memorial Sloan-Kettering Cancer Center (http://www.mskcc.org/), Журавлев С.Г. (ВИНИТИ), Заболотская H.B. (СТРОМ) и др. Создание единой информационной системы прогнозирования и мониторинга - комплексная задача для участников лечебно-диагностического процесса, как медиков, так и математиков-информатиков. Здесь важным моментом является сбор информации, являющийся также входным компонентом нейросетевой модели.

Большинство систем прогнозирования в онкоурологии не решают проблему выбора оптимального варианта лечения для конкретного пациента, т.к. прогнозирование ведется по небольшому числу параметров и не учитывается специфика здоровья конкретного человека. Таким образом, у специалиста возникает проблема оценить множество возможных рисков, взвесить целесообразность проведения операции пациенту. Для решения данной задачи необходима система прогнозирования, которая учитывает различные факторы, позволяющие уточнить диагноз, и предложить врачу оптимальный комплекс лечебных мероприятий. Построение накапливаемой о состоянии здоровья и лечении пациентов базы знаний поможет собрать опыт специалистов, для последующего его использования при принятии решения о методах лечения.

Для решения задачи прогнозирования оптимальным является использование нейронной сети. Обучение искусственных нейронных сетей является важным элементом при построении математических моделей на их основе, потому очень важно определить глобальный минимум многопараметрической функции ошибки, нахождение которого является результатом оптимального процесса обучения на имеющемся наборе данных.

Использование нейронных сетей эффективно по той причине, что они позволяют учитывать изменяющуюся динамику лабораторных исследований и делать обобщения. Это позволяет избежать рассмотрения многочисленных правил логического вывода «если-то», используемых в экспертных системах.

Эта глава посвящена выявлению проблемной ситуации в области прогнозирования в онкоурологии. Рассмотрены несколько прогностических

12

систем. В диссертации предложен вариант построения собственной интеллектуальной системы — создание прогностической модели на основе нейронной сети, обучение которой основано на параметрическом методе.

Вторая глава посвящена выбору нейросетевой модели для прогнозирования. Обучение нейронной сети основано на параметрическом методе, который состоит из двух этапов - создания адаптивного алгоритма обучения и коррекции весов нейронной сети генетическим алгоритмом. На первом этапе производилось определение структуры нейронной сети (выбор функции активации и ошибки), и адаптация ее структуры под требования задачи.

Целенаправленная структурная организация информации на основе опыта и знаний экспертов лежит в основе подготовки информации для будущей модели. Для достижения этой цели проанализированы различные источники информации. Информация, содержащаяся в них, оказалась не структурирована. В связи с этим необходимо было составить специальную структуру для сбора информации - опросники. На основе предложенных опросников создана карта пациента, содержащая субъективные данные -показания больного, и объективные данные - наблюдения врача, лабораторные исследования, результаты анализов. Таким образом, из созданной карты информации создавался вектор данных — входной вектор нейронной сети.

База данных о пациентах несет в себе информацию, которую можно разделить на 2 группы. Первая группа - это данные о состоянии здоровья тех пациентов, которым еще не проведена операция, вторая группа - данные о состоянии здоровья пациентов, которые уже прошли курс лечения, то есть уже известен результат (эти данные используются для обучения нейронной сети). Таким образом, если взять пациентов с известным результатом лечения, то получится множество пар сигналов, каждая из которых состоит из входного и соответствующего ему выходного си гнала. Все входные

переменные были предварительно обработаны так, чтобы достичь наиболее оптимального процесса обучения нейронной сети.

Был выбран метод нейронных сетей, позволяющий учитывать изменяющуюся динамику данных и проводить обобщение совокупности получаемых данных. Это дает возможность учесть врачу - урологу одновременно большое количество клинических параметров и с высокой достоверностью определить послеоперационное течение болезни.

Нейронная сеть в работе рассматривается как большой распределенный параллельный процессор, который состоит из элементарных единиц обработки информации. Эти единицы накапливают экспериментальные знания и предоставляют их для последующей обработки.

Проведение формализации задачи прогнозирования на основе нейронных сетей схематично отображено на Рис. 1. Пусть задано множество пачальных состояний, в которых может находиться система X - {г,"}, < = !,...,АГ, № - множество состояний объекта (разные эксперименты), которым соответствуют состояния /7 = {//} , ] = в будущем, а прогнозные значения определены Г = {<"}, / = 1 ,...,М. Для каждого входного состояния параметра 2' определено число а1р - весовой коэффициент между входным слоем 2 и первым промежуточным слоем Я ( р = 1,...,К ), р^ - весовой коэффициент между соседними промежуточными слоями Я, ер/ - весовой коэффициент между последним слоем Л и выходным слоем Т. Формализуем постановку задачи: построим такой граф О (2, К, Т, II), где II- ребра графа, N - количество текущих параметров, N - количество параметров для описания объекта в будущем и К - количество элементов в каждом промежуточном слое. Каждая вершина Ъ и Т характеризуется определенными значениями параметров, физический смысл зависит от природы системы, каждое ребро -величиной влияния элемента предыдущего слоя на следующий. Тогда задача

прогнозирования формулируется как задача определения aip,Ppf,Epj при минимизации ¡7*-F|" -»min , для каждого состояния объекта w .

2 R Т

! j Ai /^ч « £п ! <

1 Ч 1 -J-Д 1 -^ 1 --f I | I

i „ i \, v x / N l

i /~*ч , a,, V • ~

и ЖТ\.........x......

A '">'.............." ".....■ - Л t ... х- r----------к ...................=>-» r

\ Vf \ !\u< ty

** К r \ y / \ t S

• vl ... ж - v*. *«

• '/\ • я /Л\ 1 x \i -

X \ Ч/ X л \\

Гис. 1 Граф 0(7, К, т, II)

Для построения базы знаний необходима спроектированная и обученная нейронная сеть. Процедура, которая используется для процесса обучения, выстраивает значения синаптических весов, находящихся в определенном порядке, для обеспечения необходимой структуры взаимосвязей нейронов. Таким образом, если значение синаптического веса между двумя нейронами уменьшается, это свидетельствует о том, что взаимосвязь между ними ослабевает, и наоборот. Входными данными для нейронной сети является вектор данных о состоянии здоровья пациента, выходными - данные о вероятности возникновения тех или иных осложнений, характерных для пациентов, находящихся в зоне риска заболевания.

Функционирование нейронной сети определяется работой нейронов (функцией активации), и определением весов межнейронных связей - их корректировка производится путем вычисления функции ошибки и последующей ее минимизацией. Функция ошибки на выходе нейронной сети вычисляет величину отклонения желаемого сигнала от полученного, таким образом определяя корректность обучения. Так как межнейронные связи

присутствуют между каждыми нейронами в соседних слоях, то вычисление ошибки происходит для каждого слоя. Аккумулирование всех ошибок необходимо для комплексного анализа величины отклонения, и последующего регулирования весов межнейронных связей, чтобы минимизировать суммарную величину отклонения по всей сети. Таким образом, обучение нейронной сети представляет собой минимизацию глобальной величины ошибки: 0, вычисляемой для каждого веса

межнейронной связи, соединяющей нейроны / и ] слоя к. То есть обучение нейронной сети является многомерной задачей нелинейной оптимизации.

Важно, чтобы число примеров в обучающем множестве было больше числа настраиваемых весов. Иначе вместо обобщения сеть просто запомнит данные и утратит способность к классификации - результат будет некорректен для примеров, которые не вошли в обучающую выборку. Поэтому были рассмотрены методы уменьшения количества настраиваемых весов, а также применен метод удаления наименее полезных входных переменных.

Перед тем, как подвергнуть данные анализу методом главных компонент, их необходимо подготовить. Статистический расчет показывает (рис. 1), что они нуждаются в шкалировании. Средние значения по многим

Рис. 1 Анализ средних значений и среднеквадратичных отклонений (СКО) 16

переменным отличаются от нуля. Кроме того, среднеквадратичные отклонения сильно разнятся. После операции шкалирования, среднее значение всех переменных становится равно нулю, а отклонение - единица. Используя метод главных компонент, исходная отшкалированная матрица данных по пациентам X, размерностью /х,/, где / - количество пациентов, J - количество параметров (данные, которые известны по пациентам), производится поиск таких матриц Г (размерность IxA) - матрица счетов и Р (размерность Axj) - матрица нагрузок, чтобы выполнялось равенство Х=ТРт +Е, при минимальности матрицы остатковЕ (размерность Zxj). А -

л

число главных компонент, меньше / и/. Таким образом X = Ytap'a+E. Цель

<!=i

РСА (principal component analysis) — извлечение из исходных данных нужной информации. Шумовая составляющая и избыточность в данных проявляют себя через корреляционные связи между переменными. Вычислим возможные главные компоненты. В таблице 1 и 2 приведены найденные значения для матрицы счетов Т и матрицы нагрузок Р:

Таблица 1 Значения матрицы нагрузки Р

Главные компоненты

РС№1 РС№2 РС№3 РС№4 ТС№5 РС№6 РС№7 PCNJ28 РС№9 РС№10 РС№11 РС№12

ПСА -0,364 0,1314 0,0702 -0,072 0,1803 -0,12 0,2598 0,1147 0,7068 -0,2979 0,2472 -0,0631

ПРИ -0.37 0,1081 0,0661 0,0321 0,0973 -0,187 -0,217 -0,212 0,1844 0,5544 -0,4028 -0,3834

Глисон 1,2 0,3276 -0,146 -0,077 -0,111 0.6404 -0,474 -0,357 -0,079 0,0395 -0,1354 0,0072 0,0756

возраст -0,366 0,1463 0,0012 -0,064 0,1472 -0,03 -0,227 0,1658 -0,272 0,3648 0,6645 0,1771

стадия тнм -0,139 -0,06 -0,699 0,0537 -0,028 -0,16 0,0418 0,4219 -0,169 -0,1301 -0,0354 -0,4173

IPSS -0,185 -0,276 -0,568 0,0821 0,0613 0,1332 0,1248 -0,421 0,1743 0,1617 -0,0365 0,4771

объем простаты -0,315 -0,299 0,1819 0,0385 0,2242 0,2317 -0,165 0,5505 -0,015 -0,0478 -0,4074 0,3391

Von 0.1204 0,5376 -0,205 -0,121 0,4027 0,6192 -0,116 -0,039 0,0236 -0,0525 -0,0921 -0,0899

V потока 0,3412 -0,225 0,0505 -0,05 0,3035 0,0948 0.5629 0,2467 0,0759 0,5129 0,0819 -0,1207

МИЭФ -0,354 0,1091 0,1313 -0,079 0,3255 -0,155 0,497 -0,25 -0,514 -0,224В -0,1602 -0,0011

W 0,1398 0,5774 -0,126 -0,021 -0,147 -0.39 0.1565 0,257 0,0481 0,174в -0,247 0,4618

UOL 0,0427 0,1189 0,0605 0,9399 0,1751 -0,01 0,0233 0,0011 -0,006 -0,0322 0,0739 -0,0101

Таблица 2 Значения матрицы счетов Т

№ пациента Глав ные компоненты

РС№1 РС№2 РС№3 РС№4 РС№5 РС№6 РС№7 РС№8 РС№9 ^С№10 РС№11 РС№12

1 -0,334 1,034 -2,931 -0,866 0,420 -0,654 -0,781 0,037 0,016 -0,283 0,060 -0,004

2 -0,652 2,360 0,125 0,055 -0,334 0,674 -0,398 -0,283 0,359 0,192 -0,007 -0,007

3 1,084 -1,845 0,409 0,123 -1,323 0,872 0,704 0,328 0,032 -0,029 0,07В -0,026

4 0,981 -1,434 1,645 -0,526 0,714 -0,035 -0,096 0,127 -0,005 0,003 -0,124 -0,053

5 0,567 -1,551 1,474 -1,154 0,677 -0,234 -0,047 0,031 0,068 0.213 -0,058 -0,052

6 1,663 -1,762 1,122 -1,394 0,018 -0,081 0,085 -0,218 0,224 -0,284 0,028 0,004

7 1,486 -1,813 0,904 -1,208 0,070 -0,147 -0,003 -0,023 0,043 -0,160 0,109 -0,034

8 2,464 -2,040 -0,222 1,202 -0.140 0,268 -0,491 -0,185 -0,091 0,166 0,191 0,233

9 1,396 -1,736 -1.130, -1,041 0,367 0,487 -0,170 0,133 -0,220 -0,007 0,123 -0,074

10 1,622 -1,894 -0,992 -0,419 0,287 0,463 -0,204 0,141 -0,225 -0,048 -0,033 0,015

11 2,005 0,344 ' -2,085 1,549 0,603 -0,377 0,509 0,471 0,105 -0,061 0,070 0,020

12 3,335 1,956 0,851 0,063 0,884 0,897 -0.141 -0,048 0,252 -0,128 -0,057 -0,046

13 3,711 0,147 0,195 0,279 -0,774 -0,624 -0,091 0,120 0,002 0,081 -0,114 -0,074

14 3,207 0,630 1,602 -1,358 -0,420 -0,480 -0,057 -0,047 -0.001 0,168 -0,02В 0,112

15 3,423 1,021 1,482 1,036 0,016 -0,395 -0,084 -0,024 -0,035 0,124 0,177 -0,027

16 2,615 0,320 -0.600 0,784 -0,038 -0,789 0,455 -0,109 0,045 0,093 0,108 -0,007

17 2,958 0,688 -1,728 0,267 0,268 0,181 0,320 -0,246 -0,082 0,016 -0,249 -0,012

18 3,102 0,788 -1,603 0,988 0,359 0,249 0,220 -0,232 -0,078 0,055 -0,203 0,009

19 0,567 -1,551 1,474 -1,154 0,677 -0,234 -0,047 0,031 0,068 0,213 -0,058 -0,052

20 1,663 -1,762 1,122 -1,394 0,018 -0,081 0,085 -0,218 0,224 -0,284 0,028 0,004

21 1,486 -1,813 0,904 -1,208 0,070 -0,147 -0,003 -0,023 0,043 -0,160 0,109 -0,034

22 2,464 -2,040 -0,222 1,202 -0,140 0,268 -0,491 -0,185 -0,091 0,166 0,191 0,233

23 1,396 -1,736 -1,130 -1,041 0,367 0,487 -0,170 0,133 -0,220 -0.007 0,123 -0,074

24 1,622 -1,894 -0,992 -0,419 0,287 0,463 -0,204 0,141 -0,225 -0,048 -0,033 0,015

25 2,005 0,344 -2,085 1,549 0,603 -0,377 0,509 0,471 0,105 -0,061 0,070 0,020

26 3,335 1,956 0,851 0,063 0,884 0,897 -0,141 -0,048 0,252 -0,128 -0,057 -0,046

27 3,711 0,147 0,195 0,279 -0,774 -0,624 -0,091 0,120 0,002 0,081 -0,114 -0,074

221 0,287 0,463 0.123 -1,323 0,872 0,704 0,328 0,032 -0,029 0,078 -0,026 0,109

Зависимость собственных значений X от числа главных компонент приведено в таблице 3:

Таблица 3 Собственные значения

Глав ные компоненты

РС№1 РС№2 PCN23 РС№4 РС№6 РС№7 РС№8 РСМйЭ РС№10|РС№11 РС№12

X 834,56 546,15 491.19 337,50 319,03 230,98 214,65 133,64 96,81 15,99| 3,77 1.74

На Рис. 3 показано, как в зависимости от числа РС№А (где А - номер главной компоненты, PC - principal component (главная компонента)), меняются собственные значения. Видно, что около РС№9 происходит изменение в их поведении.

Рис. 3 Собственные значения

Из графика видно, что для описания данных достаточно 9 главных компонент. РСА декомпозиция матрицы X является последовательным, итерационным процессом, который можно оборвать на любом шаге а ~ А. Получившаяся матрица X = ТР' отличается от матрицы X. Разница между ними равнаА' - матрице остатков. Объединенная дисперсия остатков

1 J i J

равна = " величина, которая показывает, какое

M j=1 <=! j. 1

количество данных смоделировано при текущем выборе РСА и сколько принято за шум. ERV =96% при выборе 9 главных компонентов.

Также совместная работа с медиками позволила выявить закономерности, которые можно успешно описать на основе правил «если-то», для уменьшения размерности входного вектора.

Скрытые слои

У1

Уг

уз

у4

(5)

М>У Выходной

Вектор Входной

Вектор

Рис. 4 Первоначальная схема нейронной сети

Следует отметить, что уменьшение выходного вектора достигнуто путем разделения решения на 4 независимые нейронные сети, которые на выходе имели только одномерный вектор, т.е. скаляр, представляющий вероятность реализации одной из прогнозируемых ситуаций.

Первоначальная схема нейронной сети была изменена на следующую:

Бз» Правил

Логический вавед

т \

\

ЙЙВ4

о

Рис. 5 Обновленная схема системы

Распространение входных сигналов в нейронной сети осуществляется слева направо, т.е. от входа к выходу, вычисление же ошибки происходит в

обратном направлении. Изменение весов межнейронных связей происходит после вычисления отклонений , которые определяют градиентным методом из функции ошибки и функции регуляризации:

<5Г

_ дЕ д т

где г] - скорость обучения, X - коэффициент регуляризации, т - размер обучающей выборки, й = ^(Ц"')2 - функция регуляризации (функция от

л у /

параметров модели - веса нейронов); в данной формуле вычисление суммы происходит п - по слоям, ] - по нейронам, / - по весам.

(2) Х^Ча

4 .СО _ '

¡-1

...

,(2)

Рис. 6 Распространение входных сигналов в нейронной сети

Важной задачей при проектировании нейронной сети является выбор функции активации. В зависимости от особенностей решаемой задачи может быть использована та или иная функция, которая наилучшим образом будет удовлетворять специфике обработки входных данных. При построении нейронной сети часто используют функции активации - гиперболический тангенс и логистическую функцию. Ими удобно отображать многие нелинейные многомерные функции. Для этих функций характерно усиление слабых сигналов в области нуля и ослабление сильных сигналов в области больших значений аргумента. Кроме того, гиперболический тангенс и логистическая функция имеют сравнительно простую первую производную.

Аналогичными характеристиками обладает выбранная функция отображения - арктангенс:

У, ,

/

где X; - входные сигналы от других нейронов, ил. - веса межнейронных связей. Важно, что исследование данной функции показало улучшение результата на имеющихся массивах данных:

Таблица 4 Результаты прогноза при разных функциях активации

Обучающая выборка, кол-во пациентов X -X г/ ч е -е /(*) , -х е +е /(х) = 1 J У ' 1 + е~х /О) = аг^(х)

170 0,82 0,83 0,85

120 0,78 0,77 0,8

Для функции ошибки была выбрана функция логарифмического правдоподобия:

¿^(Мо^+а-ч^а-я)) >

м

здесь г, - значения, которые должны быть на выходе каждого нейрона, чтобы на выходе нейронной сети были достоверные результаты, у1 - фактические значения на выходах нейронов, которые должны стремиться к значениям . Данная функция ошибки вычисляется для каждого слоя, в обратном направлении от последнего к первому слою для всей нейронной сети.

Вычисление ошибки происходит стандартным образом:

д^в ^(я) " гак вычисляется ошибка для промежуточных

дЕ дЕ

слоев. Для выходного слоя имеем =х<"~'> ^(д) , где г определяется

I V )

Подстройка весовых коэффициентов происходит путем преобразования и''"к"+п где значение в левой части уравнения определяет вес

ого нейрона слоя п, который берет свое начало в г -ом нейроне предыдущего слоя (и-1), на (т + 1) шаге корректировки веса Изменение ид. приводит к

уменьшению 89 , что приближает величину , и, следовательно,

Ук -/(Л) - к желаемым значениям. При этом глобальная ошибка Е стремится к минимально возможным значениям.

В выводах по второй главе представлены результаты выбора функции активации. Показано улучшение прогностической достоверности нейронной сети путем использования предложенной функции арктангенс. Рассмотрена структура модели, представлен метод выделения важных входных компонент.

В третьей главе описывается метод повышения прогностической достоверности построенной нейросетевой модели в условиях ограниченного набора данных. Оценка прогностической достоверности использует вероятностно-статистические методы. Точность прогноза оценивалась объемом истинных верифицированных исходных данных. Для повышения уровня достоверности прогноза используется параметризация алгоритма обучения. Адаптивный алгоритм обучения нейронной сети производит поиск целевой функции через минимизацию функции ошибки градиентным методом. При этом возможно, что при поиске глобального минимума остановка произойдет в локальном минимуме. Чтобы избежать возможности попадания в локальный минимум, был предложен метод формирования нового массива весов путем использования генетического алгоритма.

На рисунке схематично продемонстрировано, каким образом

реализуется выход из возможного локального минимума, а именно - путем

использования генетического алгоритма, который формирует из всех

межнейронных весов - наборы. Каждый набор может являться возможным

наилучшим решением при обучении сети. После формирования наборов, все

они объединяются в множество, с которым производятся операции

23

Рис. 7 Схема параметрического метода обучения нейронной сети

скрещивания и мутации, результатом действий которых сформируются новые наборы, которые оцениваются функцией ошибки. После цикла данных операций, выбирается наилучший набор, который используется в адаптивном алгоритме как начальное условие при формировании весов межнейронных связей. Таким образом, используя объединенный адаптивный и генетический алгоритм, предлагается метод выхода из потенциального локального минимума при поиске целевой функции. При накоплении новых данных параметрический метод позволяет провести дополнительное обучение нейронной сети для улучшения прогностической ценности системы.

В выводах к данной главе приведен метод повышения качества обучения нейронной сети на основе параметрического алгоритма. Это качество определяется точностью прогноза тестовых выборок. Первоначальный этап обучения нейронной сети основан на адаптивном алгоритме, следующий этап обучения использует возможности генетического алгоритма для формирования новых наборов весовых

коэффициентов, и определяет лучший из них. Таким образом, предложен улучшенный метод поиска глобального минимума функции ошибки.

Четвертая глава посвящена анализу выполненных предсказаний с помощью обученной нейронной сети; описывается тестирование модели и ее внедрение в рабочий процесс. После создания нейронной сети на базе адаптивного алгоритма с измененными функциями активации и ошибки и последующей коррекции структуры генетическим алгоритмом, получилась обученная сеть, которая выдает достоверность результатов, сопоставимых с ведущими мировыми аналогами. Вычисление достоверности прогнозирования на тестовых векторах составляло 85-90%.

Система прогнозирования состоит из метода формирования исходных данных, метода оценки состояния пациента, формулировок принимаемых решений и параметрического метода обучения нейронной сети. В данной главе представлены результаты тестирования разработанного алгоритма.

На разработанное программное обеспечение было получено свидетельство о государственной регистрации программы для ЭВМ [№2013616964 от 29.07.13].

Оценка достоверности предложенной модели проводилась на основе схемы Балчи. Важно, что данная оценка проводилась на разных этапах: как в процессе разработки модели, так и в момент проведения имитационных экспериментов. По результатам проведенных экспериментов, в основе теоретической модельной оценки, использована известная прогностическая модель — таблица Партина. Таблицей можно пользоваться, когда известен уровень ПСА, уровни Глисона и установлена клиническая стадия опухоли. Эти данные, в том числе, также используются и в построенной в диссертации прогностической системе. Улучшение результатов работы прогноза может достигать 10%. Это является уточняющей поправкой, так как в работе Партина используется малое количество входных данных. Кроме того, в работе Партина нет возможности проводить комплексный анализ для конкретного пациента.

В выводах к этой главе отмечено, каким образом проводилась валидация данных (что все, используемые в модели входные данные обладают необходимой точностью и не противоречат созданной математической модели), проведена оценка достоверности. Проверка велась на основе схемы Балчи и таблицы Партина.

В заключении сформулированы основные результаты работы:

1. Предложен метод подготовки собранной информации для использования в математической модели, позволяющий поэтапно адаптировать информацию для математического моделирования.

2. Предложено формализованное представление задачи поиска оптимальных межиейронных связей для определения минимума глобальной функции ошибки.

3. Разработан адаптивный алгоритм обучения нейронной сети, предложена функция активации, позволяющая учитывать специфику задачи в условиях ограниченного набора данных.

4. Разработан алгоритм уменьшения размерности нейронной сети для эффективного обобщения полученных знаний при небольшом количестве обучающих данных.

5. Разработан параметрический метод обучения нейронной сети, улучшающий достоверность результатов прогноза на 10%. Данный метод позволял находигь выход из возможного локального минимума многопараметрической функции ошибок.

Разработано программное обеспечение модели прогнозирования. Модель оценки состояния здоровья пациента в онкоурологии апробирована и внедрена в практическую деятельность государственного учреждения. Созданная модель является комплексной системой для работы врача уролога, позволяющая осуществлять индивидуальный подход к каждому пациенту.

Публикации автора по теме диссертации:

1. Актов И.Р., Махалов А.А. Построение нейронной сети для экспертной системы принятия решений в построении медицинского диагноза. //Мэ и Инф. - 2007, 14-я межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. - М.: МИЭТ, 2007, €.137.

2. Актов И.Р. Использование гибридно - нечетких сетей для идентификации объекта и принятия решений. //Актуальные проблемы информатизации. Развитие информационной инфраструктуры, технологий и систем. Всероссийская межвузовская научно-техническая конференция - 2007: тезисы докладов, С.72.

3. Аюпов И.Р., Лисовец Ю.П., Лукьянов И.В. Моделирование нейронной сета в среде Matlab для построения медицинского диагноза. //Проектирование инженерных и научных приложений в среде Matlab, 2007. 3-я всероссийская научная конференция: тезисы докладов. С.27.

4. Аюпов И.Р., Лисовец Ю.П. Использование искусственных нейронных сетей для оценки риска анестезии. //Информационные технологии в пауке, образовании, телекоммуникации и бизнесе. IT + S&E'08. VI международная конференция молодых ученых - 2008: тезисы докладов.: публ. в электр.виде.

5. Аюпов И.Р., Лисовец Ю.П., Лукьянов И.В., Рычагов М.Н. Моделирование и конструирование номограмм в урологической практике. //Физическое образование в вузах. Труды конференции -конкурса молодых физиков, 2010: тезисы докладов, Т.16, № 1, С.5-6.

6. Аюпов И.Р. Математическое моделирование предоперационного прогнозирования стадии рака простаты. //Мэ и Инф. - 2011, 18-я межвузовская научно-техническая конференция студентов и аспирантов: тезисы докладов. - М.: МИЭТ, 2011, С.123.

7. Аюпов И.Р. Информационные технологии в медицине, в части раковых заболеваний. //IV International scientific conference "Science4health 2012": тезисы докладов, С.31.

8. Аюпов И.Р., Гончаров В.А., Лукьянов И.В. Математическая модель прогнозирования состояния больного на основе нейронной сети //Изв. ВУЗов. Электроника. 2013, №5 (103), С.75-80, (перечень ВАК).

9. Демченко Н.А., Лукьянов И.В., Аюпов И.Р., Лисовец Ю.П. Актуальные проблемы онкоурологии. Заболевания предстательной железы. Новые технологии в урологии. //Медицинский вестник Башкортостана. 2011, Т. 6, № 2, С. 244-248, (перечень ВАК).

10.Аюпов И.Р., Демченко Н.А., Лисовец Ю.П., Лукьянов И.В. Прогнозирование состояния больного после операции при раке предстательной железы с помощью нейронной сети. //Медицинская физика, 2012, №3 (55), с. 98-102, (перечень ВАК).

11. Аюпов И.Р. Параметрический метод обучения нейронной сети в задаче прогнозирования // UECS. Теория систем: электронный научный журнал, 2015. №1 (73), (перечень ВАК).

Подписано в печать:

25.02.2015

Заказ № 10622 Тираж - 80 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoreferat.ru