автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод генерации тестового множества для отладки нейросетевых систем поддержки принятия решений, основанных на трёхслойных персептронах

На правах рукописи

КУЗЬМИН Алексей Константинович

МЕТОД ГЕНЕРАЦИИ ТЕСТОВОГО МНОЖЕСТВА ДЛЯ ОТЛАДКИ НЕЙРОСЕТЕВЫХ СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ, ОСНОВАННЫХ НА ТРЁХСЛОЙНЫХ ПЕРСЕПТРОНАХ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (в технической отрасли)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Саратов - 2013

005546103

005546103

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Саратовский государственный технический университет имени Гагарина Ю.А.» на кафедре «Прикладные информационные технологии»

Научный руководитель - кандидат технических наук, доцент

Долинина Ольга Николаевна

Официальные оппоненты: Прохоров Сергей Антонович,

доктор технических наук, профессор, ФГБОУ ВПО «Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)», заведующий кафедрой информационных систем и технологий

Шишкин Вадим Викторинович, кандидат технических наук, доцент, ФГБОУ ВПО «Ульяновский государственный технический университет», декан факультета информационных систем и технологий

Ведущая организация: Федеральное государственное бюджетное учреждение науки Институт проблем точной механики и управления РАН (г. Саратов)

Защита состоится «23» декабря 2013 г. в 15.00 часов на заседании диссертационного совета Д 212.242.04 при ФГБОУ ВПО «Саратовский государственный технический университет имени Гагарина Ю.А.» по адресу: 410054, г. Саратов, ул. Политехническая, д. 77, ауд. 319/1 корп.

С диссертацией можно ознакомиться в научно-технической библиотеке ФГБОУ ВПО «Саратовский государственный технический университет имени Гагарна Ю.А.».

Автореферат разослан «_» ноября 2013 г.

Ученый секретарь А^11^™ Валерий Викторович

диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Методы обработки экспертной информации, положенные в основу систем поддержки принятия решений (СППР), в настоящее время приобретают все большее распространение. В слабоструктурированных задачах активно используются интеллектуальные СППР, использующие в качестве механизма принятия решений и обработки экспертной информации нейронную сеть.

К большинству существующих нейросетевых СППР предъявляются повышенные требования к корректности функционирования, поэтому существенное значение приобретает процесс отладки, в котором проверяется компетентность системы, т.е. соответствие поставленных целей и генерируемых решений, а также исправление обнаруженных ошибок. С точки зрения выявления ошибок, наиболее эффективным методом отладки является тестирование, т.е. выполнение СППР на тестовом множестве, состоящем из известных входных и выходных данных.

Тестовое множество должно включать такие примеры, которые обнаруживают наибольшее количество ошибок, и результат процесса тестирования определяется эффективностью методов создания тестового множества. В настоящее время широко используется подход, основанный на использовании определённого подмножества имеющихся примеров предметной области, которое не используется для обучения нейросетевого механизма (работы В. Цисильского, Дж. Жу, М. Балашубраманиана, Д. Паланивела и А.Рамалингама, О.Ю. Ребровой, О.А. Ишанова). В случае недостатка имеющихся примеров часто применяется экспертная генерация тестовых данных, при которой эксперт пытается сгенерировать такие примеры, которые могут вызвать ошибку СППР. Таким образом проводилась отладка СППР «Carbonate detector», комплекса экспертных систем проекта NASA Applied Information Systems Research Program, нейросетевых СППР обнаружения ошибок операторов производственного оборудования, разработанных в Nova Southeastern University. Во всех вышеперечисленных случаях генерация тестовых данных требовала больших материальных и временных затрат, однако отсутствовала гарантия, что сгенерированное тестовое множество обладает высокой обнаруживающей способностью. Основная проблема заключается в том, что из-за высокой сложности эксперту трудно вспомнить и учесть особенности предметной области.

Д.А. Поспеловым показано, что большинство предметных областей характеризуются наличием исключительных ситуаций, не подчиняющихся общим закономерностям, и если такие ситуации не будут учтены экспертом при разработке интеллектуальной СППР, то последняя будет выдавать ошибочный результат. Ошибки такого типа являются наиболее сложными для обнаружения. В литературе описан разработанный О.Н. Долининой метод автоматизированного построения тестовых наборов, обнаруживающих ошибки, связанные с исключениями из закономерностей предметной области, для продукционных СППР. Описание подобных методов для нейросетевых СППР в литературе отсутствует.

Современная нейроинформатика располагает большим количеством нейросетевых моделей, однако наибольшее распространение получила модель трёхслойного персептрона, являющаяся развитием модели персептрона Розенблатта. Это связано с тем, что большая часть прикладных задач может быть формализована как классификация входных векторов х,, х2,...,х„ по m выходным классам oh о2,...,от, для решения

которых применяются такие системы принятия решений, как многослойные персеп-троны.

Таким образом, актуальной является разработка метода автоматизированной генерации тестов, способных обнаруживать ошибки, связанные с исключениями предметной области для нейросетевых интеллектуальных СППР, основанных на трёхслойных персептронах.

Ряд исследований, в т.ч. работы Д.Т. Аксенова, В.Л. Березина, В.В. Болотина, посвящены важной для народного хозяйства технической задаче обнаружения неисправностей газоперекачивающих агрегатов с газотурбинным приводом. Показано, что задача характеризуется высокой сложностью технического объекта, а также наличием весьма сложных неявных зависимостей между причинами и видами неисправностей. Всё это делает невозможным применение для рещения задачи известных формальных решений, а при использовании методов искусственного интеллекта возникает необходимость учёта наличия большого количества исключений в предметной области. Использование эффективных методов отладки СППР позволит снизить себестоимость разработки и повысить качество принимаемых решений.

Объектом исследования являются методы обработки экспертной информации, представляемой нейросетевыми моделями, и выявления ошибок в экспертной информации.

Предметом исследования является метод генерации тестов для отладки нейросетевых СППР, основанных на трёхслойных персептронах.

Цель работы заключается в создании эффективного с точки зрения количества тестов метода построения тестовых данных, обнаруживающих ошибки типа «забывание об исключении» для нейросетевых СППР, основанных на трёхслойных персептронах.

Для достижения вышепоставленной цели необходимо решить следующие задачи:

1. Построить схемотехническое представление ошибки типа «забывание об исключении» нейросетевой СППР, основанной на трёхслойном персептроне.

2. Разработать метод генерации тестов, обнаруживающих ошибки типа «забывание об исключении» нейросетевых СППР, основанных на информационной структуре трёхслойного персептрона.

3. Осуществить программную реализацию разработанного метода, проанализировать его эксплуатационные характеристики.

4. Для апробации метода разработать нейросетевую СППР, обнаруживающую неисправности газоперекачивающих агрегатов с газотурбинным приводом.

5. Проверить работоспособность предложенного метода на примере прикладных нейросетевых СППР.

Методы исследования

В диссертационной работе применяются методы искусственного интеллекта, технической диагностики и нейроинформатики, аппарат теории множеств, математической логики и комбинаторики, теория алгоритмов и графов.

Научная новизна

1. Формальная модель ошибки интеллектуальной системы типа «забывание об исключении» распространена на нейросетевые СППР, основанные на трёхслойных персептронах.

2. Построено схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении», позволяющее применять для обнаружения таких ошибок методы технической диагностики.

3. Разработан алгоритм генерации тестового множества для логической схемы, отличающийся учётом возможности установки на входных линиях схемы комбинаций значений, соответствующих запрещённым комбинациям фактов предметной области нейросетевой СППР, что позволило снизить количество тестов в генерируемом тестовом множестве и сократить время выполнения алгоритма.

4. На основе алгоритма генерации тестового множества для логической схемы разработан метод генерации тестового множества для нейросетевых СППР, позволяющий создавать полные тестовые наборы, обнаруживающие ошибки типа «забывание об исключении».

Практическая значимость работы. Предложенный метод генерации тестов имеет практическую значимость, т.к. позволяет формировать полное множество тестов, обнаруживающее ошибки типа «забывание об исключении» для нейросетевых СППР, основанных на модели трёхслойного персептрона.

Автоматизация генерации тестов для отладки нейросетевых СППР позволяет сократить время на тестирование, повысив его качество, что в конечном итоге приводит к повышению потребительских качеств СППР и снижению их себестоимости. Разработанный метод применён для отладки СППР по диагностике неисправностей газоперекачивающих агрегатов ОАО «Газпром», что привело к повышению качества продукта за счет обнаружения и исправления ошибок типа «забывание об исключении». Также практическая апробация метода осуществлена на нейросетевой СППР «Glaucoma Complaint», прогнозирующей комплаентность офтальмологических пациентов Клиники глазных болезней СГМУ им. В.И. Разумовского.

Внедрение результатов работы. Предложенные в работе метод и алгоритм реализованы в виде программного продукта «NNetwork Tester». Разработаны нейросете-вые СППР «GASDETECT», обнаруживающая неисправности газоперекачивающих агрегатов с газотурбинным приводом, а также «Glaucoma Complaint», прогнозирующая комплаентность офтальмологических пациентов. На основе продукта «NNetwork Tester» проведено тестирование этих систем. Разработанное программное обеспечение успешно внедрено в эксплуатацию на предприятиях ОАО «Газпром», в Клинике глазных болезней СГМУ имени В.И. Разумовского, а также используется в учебном процессе СГТУ имени Гагарина Ю.А., что подтверждается соответствующими актами внедрения.

Достоверность и обоснованность результатов работы определяются применением корректных методов теории искусственного интеллекта, нейроинформатики, технической диагностики, а также подтверждаются соответствующими экспериментами и актами внедрения результатов работы.

Основные положения, выносимые на защиту

1. Формальная модель ошибок типа «забывание об исключении» нейросетевой СППР, основанной на трёхслойных персептронах.

2. Процедура перехода от информационной структуры нейронной сети к виду логической схемы, позволяющая применять разработанные в технической диагностике методы генерации тестовых наборов для тестирования нейросетевых СППР, основанных на трёхслойных персептронах.

3. Метод генерации полного тестового множества, обнаруживающего ошибки типа «забывание об исключении» нейросетевых СППР, основанных на трёхслойных персептронах.

4. Схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении».

Апробация работы. Результаты работы докладывались на Международных и Всероссийских конференциях: «Молодые учёные - науке и производству» (Саратов, СГТУ, 2007); «Методы компьютерной диагностики в биологии и медицине» (Саратов, СГУ, 2008); «Математические методы в технике и технологиях-21» (Саратов, СГТУ, 2008); «Информатизация и информационная безопасность правоохранительных органов» (Москва, Академия управления МВД РФ, 2008); «Инновации и актуальные проблемы техники и технологий» (Саратов, СГТУ, 2009); «Математические методы в технике и технологиях -23» (Саратов, СГТУ, 2010); «Математические методы в технике и технологиях -24» (Пенза, ПГТА, 2011); на семинарах в ПГТА в 2012-2013 гг., а также на научных семинарах кафедры «Прикладные информационные технологии» СГТУ в 2008-2013 годах. Разработанное программное обеспечение прошло официальную государственную регистрацию в фонде алгоритмов и программ; программные продукты успешно внедрены в опытную эксплуатацию на предприятиях ОАО «Газпром», в Клинике глазных болезней СГМУ имени В.И. Разумовского, а также используются в учебном процессе СГТУ имени Гагарина Ю.А.

Публикации

Результаты работы опубликованы в 17 изданиях, 5 из которых рекомендованы ВАК РФ.

Объём работы

Диссертация состоит из введения, четырех глав с выводами, заключения, списка литературы из 134 наименований и приложений. Объем работы составляет 163 страницы, в т.ч. 146 страниц основного текста. В работе 46 рисунков и 12 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, определены её цель и задачи, дано её аннотированное изложение, а также основные положения, выносимые на защиту.

В первой главе введены основные определения и обозначения, дана математическая модель многослойного персептрона как механизма принятия решений и обработки экспертной информации. Показано, что нейросетевые СППР широко применяются для плохо структурированных предметных областей и слабоструктурированных задач. На базе теоремы Колмогорова обосновано широкое распространение нейросетевой информационной структуры, основанной на персептронах, содержащих только один скрытый слой. Формализована задача классификации, которую решают нейросетевые СППР, как осуществление отображения:

Р = Х->У, (1)

где Х1,Х1,...,Хт - множество описаний объектов; Х) = [х, ,х2,...,хя] - описание ¡-го объекта; х1 - значение ]-го признака объекта; 0= {о,,о2,..,о,} - множество выходных классов. Класс о, определяется выходным вектором нейронной сети У=1У\ ,У2,—,У,], где у1>{у,\!* Л. Приведён используемый в работе алгоритм обучения нейронной сети. Введено понятие ошибки нейросетевой СППР, решающей задачу

классификации, как факт неверного отнесения к классу ок наблюдения X. -[х„х2.....хр], принадлежащего к классу ор :

= (2)

где Р - функция, реализуемая нейронной сетью; Х{,Х1,...,Хп - множество наблюдений; 0 = {о,,о2,..,о,} - множество выходных классов.

Помимо некорректной программной реализации нейросетевой СППР, а также сбоев информационных процессов времени выполнения нейросетевой СППР, выделены такие источники ошибок, как некорректно проведённый процесс машинного обучения нейросетевого механизма принятия решений и обработки информации, а также неучтённые особенности предметной области нейросетевой СППР. В первой главе формализованы ошибки нейросетевых СППР, связанные с источниками третьего и четвёртого классов.

Показано, что наиболее сложными для обнаружения являются ошибки, связанные с особенностями предметной области, неучтёнными при разработке нейросетевой интеллектуальной СППР. В работе формализовано понятие исключения предметной области как ситуации, когда для некоторых входных данных нейросетевой механизм принятия решений на основании установленного набора фактов ,/2 неко-

торого наблюдения X, делает заключение о принадлежности X, к классу ок X) е Х°', которое оказывается неверным из-за того, что X, характеризуется некоторой комбинацией фактов:

Г. ~fi.fi.....Л. (3)

установка которой однозначно свидетельствует о непринадлежности X, к классу ок: л/2,...,Л/11=ЭХ1<£Х01. (4)

Наличие исключительной комбинации ^ является особенностью предметной области, и в случае, если такая комбинация останется неучтённой при разработке, нейросетевой механизм принятия решений будет формировать при её возникновении неверный результат:

Р{Х,) = °к (5)

на основании статистической близости X, к классу X.

Ошибка нейросетевого механизма принятия решений и обработки экспертной информации нейросетевой СППР такого типа в первой главе формализована математически в следующем виде:

Щ = (/5 а/1,...,Л/- =>1гГ')дЩ)=о, (6)

Наблюдение Х^ характеризующееся наличием комбинации (3), называется исключением, а ошибка (6) на таком наблюдении носит характер «забывания об исключении». Введено понятие степени ошибки типа «забывание об исключении» как количество фактов /1,/2,—.Л в комбинации (3).

В первой главе вводится понятие статической и динамической отладки СППР с нейросетевым механизмом принятия решений и обработки экспертной информации. Показано, что ошибки вида (6) могут быть обнаружены только методом динамической отладки (тестированием), для которого необходимо тестовое множество вида

7

г = {<*,, г, >,< ад >,...,< вд >},

(7)

где Tt =<X„Y, >-г'-й тест множества; X, = {xltx2.....xq), Y, = {у,,у2.....у,} - г'-й входной и

выходной векторы нейронной сети соответственно.

Множество Т должно учитывать комбинации фактов, приводящих к ситуации (4). Существующие методы генерации тестовых наборов, основанных на имеющейся базе данных ретроспективных примеров, на модели предметной области или на экспертной генерации не гарантируют учёта всех комбинаций фактов, приводящих к ошибкам типа «забывание об исключении».

Проведённый анализ литературы показал отсутствие автоматизированных, эффективных с точки зрения количества тестов и времени выполнения методов построения тестовых данных, обнаруживающих ошибки типа «забывание об исключении» для нейросетевых СППР, основанных на трёхслойных персептронах. Создание такого метода является целью настоящей работы.

Также в первой главе конкретизированы задачи, которые необходимо решить для достижения цели. Первоочередной задачей работы является переход от нейросе-тевой информационной структуры к виду логической схемы, который возможен извлечением из нейронной сети набора решающих правил и непосредственным преобразованием последних к виду логической схемы. В первой главе проанализированы методы, связанные с преобразованием данных обучающего множества в нейросете-вую информационную структуру. В главе также приведён анализ существующих методов извлечения экспертной информации из нейронных сетей, составлена их классификация. Для синтеза решающих, правил на основе информационной структуры трёхслойного персептрона был выбран алгоритм обработки нейросетевой модели GLARE, предложенный А. Гуптой. Выходными данными являются продукционные решающие правила вида:

ЕСЛИf ИЛИили&

И ft ИЛИ fИЛИ fy (8)

ТО класс,.

В первой главе введено определение схемотехнического представления нейросетевой информационной структуры, формализованы его ошибки типа «константный О» и «константная 1». Также приведён алгоритм синтеза тестов PODEM, обнаруживающих все константные ошибки логической схемы.

Во второй главе показана процедура перехода от вида решающих правил, полученных из нейросетевой информационной структуры, к логической схеме. Пусть в результате процесса извлечения экспертной информации синтезировано решающее правило:

ЕСЛИ (f, ИЛИЯ И (h ИЛИ^ И (f5) ТО о, (9)

или

(f, у/у A (f3 yfd Л (f5) = О, (10)

Тогда правило (9) может быть представлено в виде логической схемы (рис. 1), которая является моделью исходной нейросетевой информационной структуры.

»1 || Гг 1,

и ь ь. &

и Jь

и и Ьг

Ъ,

Рисунок 1 - Схемотехническое представление правила (9) Исключительная ситуация, описанная в главе 1 в терминах нейросетевых СППР, в схемотехническом представлении формализуется как наличие набора линий Ьх = {/,,/2,..., 1к], при одновременной установке на которых значения 1, на выходной линии не должно устанавливаться значение 1 независимо от сигналов на других входных линиях. Ошибка типа «забывание об исключении» в данном случае формализуется как установка на выходной линии схемы значения 1, несмотря на одновременную установку значения 1 на линиях 1,,12,...,/к.

Рисунок 2 - Пример схемы, учитывающей исключительную ситуацию предметной области

Часть схемы, учитывающую исключительную комбинацию фактов /,/2,...,/, и состоящую из конъюнктора, инвертора и соединяющих линий, предложено называть комбинационным блоком. На рис. 2 комбинационный блок включает элемент Ь4, а также линии /,, /,0, 2 .Тогда формула (9) будет представлена:

ЕСЛИ (Г, ИЛИВ И (Г, ИЛИ и И (¡¡) И НЕ (Г, И,/3) ТО о„ (11)

т.е. ([, у/¡) л (/} у/у л л -(У) л/з) = о,. (12)

Схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении» представляет неисправность типа «константная 1» на выходной линии комбинационного блока (неисправность /12/1 для схемы рис. 2).

Г (Г, ^Гг> л я УМ V 0у л л/у = о, (13)

I -(Г, л/У=/. (14)

Для построения множества тестов, обнаруживающих вышеописанные константные ошибки, может быть применён алгоритм РОБЕМ, предложенный П. Гоуэлом и гарантирующий построение теста всегда, когда он существует, и описанный в первой главе настоящей работы.

Алгоритм РОБЕМ не учитывает возможности установки во входных векторах ХК,Хг,...:Хп тестов значений, соответствующих запрещённым комбинациям фактов

предметной области. Для решения этой задачи разработан алгоритм, особенности которого заключаются в следующем:

Пусть множество запрещённых комбинаций входных фактов предметной области формализовано в виде наборов О-кубов Сх, стек О-прохода рзгаск содержит элементы схемы Ь1,Ь1,...,Ьп, а стек возврата содержит линии :

ШасЛ = {б,,6г.....6,}, ¿»ас*: = {/,,/,,...,/„}• Тогда на этапе О-установки, О-прохода или

операции продвижения назад по мере построения входного вектора очередного ¡-го теста схемы на его основе будем строить входной О-куб Л, При этом в случае Сх

1. На этапе О-установки извлечём из стека очередную линию /, и произведём операцию О-установки, рассматривая путь, начинающийся с линии /,..

2. На этапе О-прохода извлечём из стека £>&ас£ очередной элемент и повторим для него операцию О-прохода.

3. На этапе продвижения назад прервём операцию продвижения назад для линии /(, извлечём из стека ЖскЛ очередную линию и повторим для неё операцию продвижения назад. В случае, если ни по одной из линий в стеке ББшск операцию возврата выполнить не удалось, то извлечём из стека ИБшск очередной элемент Ъ, и повторим для него операцию О-прохода.

Тестовое множество вида (7) предложено называть полным, если оно обнаруживает все устанавливаемые комбинации входных фактов, приводящих к ошибкам типа «забывание об исключении» всех степеней т, т-\,..,п, где п - количество входных фактов системы.

Приведён метод генерации полного тестового множества нейросетевой СППР, обнаруживающего ошибки типа «забывание об исключении».

1. Установить искомое множество тестов пустым Т=0.

2. При помощи алгоритма извлечения экспертной информации сформировать решающие правила Я,,Л2вида (8) из информационной структуры персептрона Р для каждого выходного класса о,,о2,...,о,.

3. Экспертным методом сформировать множество кубов запрещённых комбинаций Сх.

4. Рассмотреть решающее правило Я, для нерассмотренного выходного класса о,.

5. Преобразовать рассматриваемое правило к виду логической схемы 5.

6. Применить алгоритм генерации тестов для схемы 5, с учётом множества кубов запрещённых комбинаций Сх. Получить полное тестовое множество Г для 5.

7. Рассмотреть очередной тест Т, е Г, 7) =< Л,,о, >, где Л, - входной £>-куб, о, - ожидаемое выходное значение схемотехнического представления, обнаруживающий возможную ошибку типа «забывание об исключении», связанную с одновременной установкой фактов /¡,/2,.~,/к.

8. Преобразовать куб Я, к входному вектору нейросетевого механизма принятия решений и обработки экспертной информации X, = [х1,х2,...,х11].

9. Экспертным способом определить выходной класс о, для ^.

10. Создать 1-й тест {Х,,о) и включить его в искомое тестовое множество Т = Ти<Х,,о, >.

11. Перейти к шагу 4, рассмотрев решающее правило для ещё не рассмотренного выходного класса о].

12. Завершить генерацию тестов.

Предложенный алгоритм генерации тестов схемотехнического представления, находящийся в основе разработанного метода, позволяет создавать тест всегда, когда он существует, а также гарантирует обнаружение всех константных неисправностей схемы, что позволяет сделать вывод о том, что он гарантирует обнаружение всех ошибок типа «забывание об исключении» нейросетевых интеллектуальных СППР. Так как ошибки типа «забывание об исключении» являются наиболее общими и покрывают другие типы ошибок, то тестовое множество является полным.

Формализован численный показатель эффективности предлагаемого метода как отношение:

где п - общее количество входных фактов нейросетевой СППР; п' - количество входных фактов, представленных в решающем правиле 5, извлечённом из информационной структуры Р, п' <п; т — степень ошибки типа «забывание об исключении», О < т < п'; А -мощность множества кубов запрещённых комбинаций входных фактов Сх; Ь,- количество значений 'X' в кубе г множества Сх.

Эффективность е' метода генерации тестов, основанном на комбинаторном переборе всевозможных комбинаций значений входных фактов Г выразится:

Наличие в знаменателе дроби (15) слагаемого , а также тот факт, что

п'<п, позволяют сделать вывод о том, что значение выражения эффективности е (15) всегда больше, чем значение выражения для эффективности е' (16). Отношение эффективности разработанного метода к эффективности метода, основанного на комбинаторном переборе всевозможных комбинаций значений входных фактов тогда выразится следующим образом:

Отметим, что при экспертной генерации тестов полученное тестовое множество Т может считаться гарантированно полным только в том случае, когда эксперт генерирует всевозможные комбинации значений входных фактов. Поэтому только при данном условии эффективность используемого экспертного метода генерации тестов может быть выражена аналитически, причём будут справедливы формулы (16), (17). Последнее позволяет сделать вывод о том, что разработанный метод имеет эффективность выше, чем другие экспертные методы.

В заключение во второй главе приведён пример определения показателя эффективности разработанного метода, а также пример его применения для нейросетевой интеллектуальной СППР.

Третья глава посвящена исследованию эксплуатационных характеристик разработанного метода. Приводится построение зависимости времени генерации тесто-

(15)

(16)

(17)

вых наборов / от количества нейронов на входном слое ц, промежуточном слое Г, выходном слое р, а также от размера обучающего множества /. Зависимость \п(0 от ц носит линейный характер ]п(() = ад + Ь (рис. 3). Методом наименьших квадратов определены коэффициенты а и Ь:

\ ¿ = со\<1п(/),?)/0(д) 1 ....., <18>

где

cov(h(/)>9) = -S(lnW, • q)~f-¿(40,)] • i-Z(*)] = 420,7;

D(q) = M[q'}-(M[qy =51616,8; -Z(ln(0() = 8,57; -¿(9) =375.

П ,-1 П M

Тогда a = 0,008; b = 1,57. В этом случае:

(19)

(20)

(21)

Таким образом, построенная при исследованиях зависимость носит нелинейный характер и может быть приближённо описана экспоненциальной функцией вида (21). При размере входного слоя до 600 нейронов время генерации тестов не превышает 10 секунд. Большинство существующих нейросетевых СППР содержат до 600 нейронов на первом слое, что позволяет сделать вывод о практической применимости разработанного метода.

ln(i) = 0,008<7 +1,57; t = е

_ 1).<)8(/+1.57

Я

«J О.

а5

i . \ \ I ' ; 1 1 ! ' j ; 1

i ■ ! ■ : г.....■..................т~................. | ; ; ; ! ! i + * ..... ! 1 Ml 1 r-*-^7rrttl-----;...... М 1 м И . !

—__.L : i j 1 | i ; 1 ; : ;

; ! 1 • 1 1

■ ; • i ' : i

Количество нейронов на входном слое q, ед.

Рисунок 3 - Зависимость времени генерации тестов от размера входного слоя

Аналогичным образом построены зависимости t(q), t(f), t(p), в результате была подтверждена гипотеза об их линейном характере.

Теоретические результаты работы, а также их практическая реализация в виде комплекса программ могут быть применены для широкого круга прикладных областей.

В четвёртой главе описываются применение и проверка работоспособности разработанного метода генерации тестов, которая проводилась на нейросетевой СППР «GASDETECT», а также на нейросетевой СППР «Glaucoma Complaint».

СППР «ОАББЕТЕСТ» осуществляет обнаружение неисправностей газоперекачивающих агрегатов с газотурбинным приводом. Структура «ОАЗЭЕТЕСТ» приведена на рис. 4. Исходя из практических требований, СППР носит гибридный характер, так как сочетает функции принятия решений и информационно-справочной системы. Описа-

.set; tset - тестовое множество формата .set; cset-контрольное множество формата .set; set-meta - метаданные обучающего множества формата .setmeta; rules - продукционные правила.

Рисунок 4 - Структура нейросетевой СППР «GASDETECT»

Параметры предметной области СППР «GASDETECT» (множество входных признаков, количество обучающих примеров и т.п.) приводятся в приложениях.

В качестве механизма принятия решения и обработки экспертной информации выступает трёхслойный персептрон с 110 нейронами на входном слое, 14 на промежуточном и 18 на выходном слое. Персептрон обучался методом обратного распространения ошибки, длительность обучения составила 340 эпох. После успешного машинного обучения нейросетевого механизма экспертным способом сформировано множество запрещённых комбинаций фактов С„ и применён разработанный метод генерации тестов. Множество запрещённых комбинаций, набор извлечённых из нейросетевой информационной структуры решающих правил, соответствующее схемотехническое представление и тестовое множество приведены в главе 4. Сгенериро-

13

ванное тестовое множество позволило выявить ошибки типа «забывание об исключении», описание и экспертная оценка которых даны в главе 4 настоящей работы. После завершения процесса отладки нейросетевая СППР «GASDETECT» успешно внедрена в эксплуатацию.

Разработанный метод генерации тестов, а также реализующее его программное обеспечение прошли практическую апробацию на нейросетевой СППР «Glaucoma Complaint», которая решает актуальную медицинскую задачу прогноза компла-ентности офтальмологических пациентов. В качестве механизма принятия решений выступает персептрон с одним скрытым слоем и 136 нейронами на входном слое. Полное описание структуры СППР, её входных факторов, полученных экспертным способом множества запрещённых комбинаций признаков С„ процесса генерации тестов, а также полученные результаты тестирования приведены в главе 4 настоящей работы.

В заключении приведены основные результаты диссертационной работы и выводы.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

1. В работе формальная модель ошибки интеллектуальной системы типа «забывание об исключении» распространена на нейросетевые СППР, основанные на трёхслойных персептронах.

2. Построено схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении», позволяющее применять для обнаружения таких ошибок методы технической диагностики.

3. Показано, что ошибка типа «забывание об исключении» нейросетевой СППР соответствует константной неисправности соответствующего схемотехнического представления нейросетевой информационной структуры.

4. Разработан алгоритм генерации тестового множества для логической схемы, отличающийся учётом возможности установки на входных линиях схемы комбинаций значений, соответствующих запрещённым комбинациям фактов предметной области нейросетевой СППР, что позволило снизить количество тестов в генерируемом тестовом множестве и сократить время выполнения алгоритма.

5. На основе алгоритма генерации тестового множества для логической схемы разработан метод генерации тестового множества для нейросетевых СППР, позволяющий создавать полные тестовые наборы, обнаруживающие ошибки типа «забывание об исключении».

6. Разработан критерий оценки эффективности предложенного метода и показано, что он имеет эффективность выше, чем любой другой экспертный метод генерации тестов для нейросетевых СППР.

7. Выявлен экспоненциальный характер зависимости времени генерации тестов от количества нейронов на входном слое нейросетевой структуры, а также линейный характер зависимости времени от количества нейронов на скрытом, выходном слое и от количества примеров в обучающем множестве.

8. Разработана нейросетевая СППР «GASDETECT», решающая важную техническую задачу обнаружения неисправностей газоперекачивающих агрегатов с газотурбинным приводом, а также нейросетевая СППР «Glaucoma Complaint», решающая актуальную медицинскую задачу прогноза комплаентности пациентов. Системы были протестированы с использованием разработанного метода, что позволило выявить их ошибки типа «забывание об исключении».

В итоге достигнута главная цель работы: разработан эффективный с точки зрения количества тестов и времени выполнения метод построения тестовых данных, обнаруживающих ошибки типа «забывание об исключении» для нейросетевых СППР, основанных на трёхслойных персептронах.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ, ИЗЛОЖЕННЫЕ В ДИССЕРТАЦИИ, ОПУБЛИКОВАНЫ В РАБОТАХ:

Публикации в изданиях, рекомендованных ВАК РФ

1. Кузьмин А.К. Применение методов технической диагностики для отладки баз знаний нейросетевых экспертных систем / А.К. Кузьмин, О.Н. Долинина // Информационные технологии. 2009. №2(150). С. 34-38.

2. Кузьмин А.К. Особенности создания экспертных систем, основанных на нейросетевом представлении знаний / А.К. Кузьмин, О.Н. Долинина // Вестник Саратовского государственного технического университета. 2009. №2(33). С. 266-272.

3. Кузьмин А.К. Метод генерации тестов для отладки нейросетевых экспертных систем / А.К. Кузьмин, О.Н. Долинина // Вестник Тамбовского государственного технического университета. 2010. №3. С. 34-45.

4. Кузьмин А.К. Отладка искусственной нейросети, основанной на трёхслойном персептроне, на примере экспертной системы для офтальмологии / А.К. Кузьмин, О.Н. Долинина // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2011. №2. С. 80-90.

5. Кузьмин А.К. Отладка нейросетевой экспертной системы для офтальмологии / О.Н. Долинина, А.К. Кузьмин // Вестник Саратовского государственного технического университета. 2011. №4(62). Вып. 4. С. 248-253.

Публикации в других изданиях

6. Кузьмин А.К. Задачи прогноза развития нестабильной стенокардии методом нейронной сети / А.К. Кузьмин, О.Н. Долинина, A.B. Оуграбко, А.О. Юдин // Технологии Интернет — на службу обществу: сб.статей по материалам Всерос. науч.-практ. конф. Саратов: СГТУ, 2006. С. 133-137.

7. Кузьмин А.К. Прогноз комплаентности методом нейронных сетей у кардиологических больных / А.К. Кузьмин, О.Н. Долинина, A.B. Оуграбко // Молодые учёные - науке и производству: материалы конф. молодых учёных / под ред. A.A. Слепухина. Саратов: СГТУ, 2007. С. 113-116.

8. Кузьмин А.К. Нейросетевой подход к решению задачи комплаентности пациентов / А.К. Кузьмин, О.Н. Долинина, В.В. Тарасова // Методы компьютерной диагностики в биологии и медицине - 2008: материалы Ежегодной Всерос. науч. школы-семинара/ под ред. Д.И.Усанова. Саратов: Изд-во Сарат. ун-та, 2008. С. 72-75.

9. Кузьмин А.К. Нейросетевой подход к решению проблемы комплаентности пациентов / А.К. Кузьмин, О.Н. Долинина, В.В. Тарасова // Информатизация и информационная безопасность правоохранительных органов: сб. тр. XVII Междунар. практ. конф. М.: Академия управления МВД России, 2008. С. 486-489.

10. Кузьмин А.К. Контроль качества баз знаний нейросетевых экспертных систем / А.К. Кузьмин, О.Н. Долинина // Математические методы в технике и технологиях -ММТТ-21: сб. тр. XXI Междунар. науч. конф.: в 4 т. / под общ. ред. B.C. Балакирева. Саратов: СГТУ, 2008. Т.2. Секции 2,6. С. 268-270.

11. Кузьмин А.К. Адаптация нейронной сети для алгоритма построения тестов / А.К. Кузьмин, О.Н. Долинина // Инновации и актуальные проблемы техники и технологий: материалы Всерос. науч.-практ. конф. молодых учёных: в 3 т. / под общ. ред.

A.А. Большакова. Саратов: СГТУ, 2009. Т.1. С. 169-171.

12. Кузьмин А.К. Метод построения тестов для отладки нейросетей на основе технической диагностики / А.К. Кузьмин, О.Н. Долинина // Математические методы в технике и технологиях - ММТТ-23: сб. тр. XXIII Междунар. науч. конф.: в Ют. / под общ. ред. B.C. Балакирева. Саратов: СГТУ, 2010. Т.6. Секции 6, 7. С. 38-41.

13. Кузьмин А.К. Классификация алгоритмов извлечения правил из искусственных нейронных сетей / А.К. Кузьмин, О.Н. Долинина, К.Д. Васюк // Инновации и актуальные проблемы техники и технологий: материалы Всерос. науч.-практ. конф. молодых учёных: в 2 т.Саратов: СГТУ, 2010. Т.1. С. 21-23.

14. Кузьмин А.К. Метод генерации тестов для отладки нейросетевых экспертных систем с учётом ошибок типа «забывание об исключении» / А.К. Кузьмин, О.Н. Долинина // Телематика'2011: тр. XVIII Всерос. науч.-метод. конф. СПб.: НИУ И'ГМО, 2011. Секция А. С. 42-46.

15. Kuzmin A. Test set generation method for debugging of neural network-based expert systems / O. Dolinina, A. Kuzmin // International Conference on Information Technologies 2012: Information and Communucation Technologies in Education, Manufacturing and Research. Saratov, 2012. P. 43.

16. Кузьмин А. Генерация нейронных сетей при помощи генетического алгоритма и клеточного кодирования / А. Кузьмин, А. Сотенко // Материалы 51-й Междунар. науч. студ. конф. Новосибирск: Новосиб. гос. ун-т, 2013. С. 218.

17. Кузьмин А.К. Проблема тестирования нейросетевых интеллектуальных информационных систем / А. Кузьмин // Проблемы управления в социально-экономических и технических системах. Саратов: ИЦ «Наука», 2013. С. 50.

Свидетельства о регистрации программ

18. Программа реализации нейросетевого эмулятора NNetwork. Свидетельство об официальной регистрации программы для ЭВМ № 2007615261 / А.К. Кузьмин О.Н. Долинина, А.В. Оуграбко.

19. Экспертная система «Glaucoma Complaint». Свидетельство об официальной регистрации программы для ЭВМ № 2010615142 / А.К. Кузьмин, О.Н. Долинина,

B.В. Тарасова, Т.Г. Каменских, И.В. Щербинина.

20. Программа NNetwork Tester. Свидетельство об официальной регистрации программы для ЭВМ № 2011610038 / А.К. Кузьмин, О.Н. Долинина.

Подписано в печать 18.11.2013 Формат 60x84 1/16

Бум. офсет. Усл. печ. л. 1,0 Уч.-изд. л. 1,0

Тираж 100 экз. Заказ 39

ООО «Издательский Дом «Райт-Экспо»

410031, Саратов, Волжская ул., 28 Отпечатано в ООО «ИД «Райт-Экспо» 410031, Саратов, Волжская ул., 28, тел. (8452) 90-24-90

ФГЬОУ ВПО «САРАТОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ИМЕНИ ГАГ АРИНА Ю.А.»

на правах р\ копией

04201455666

кузьмин алт'ксги конс тантинович

мт год генерации тесювоео мпожгс1ва для отладки пеиросегевых систем поддержки приня тия решений. основанных на трёхслойных i1ерсепгронах

Специальное!!, 05.13.01 Сиск'мныи апалич. управление и обработка информации

(к ючничеекоп офасли)

Дне с ер I а ци я на соискание ученой степени кандидата 'технических на\к

I [аучный руководитель: кандида! 1ехнических наук, доцен I Долинина 0.11.

Сара I он 2013

ВВЕДЕНИЕ

Методы обработки 'экспертной информации, положенные в основу систем поддержки принятия решений (СППР), в настоящее время приобретают все большее распространение [1]. В слабоструктурированных задачах тенденцией последних лет стало активное использование интеллектуальных СППР, использующих в качестве механизма принятия решений и обработки экспертной информации нейронную сеть [2].

К большинству существующих нейросетевых СППР предъявляются повышенные требования к корректности функционирования, поэтому существенное значение приобретает процесс отладки, в котором проверяется компетентность системы, то есть соответствие поставленных целей и генерируемых решений, а также исправление обнаруженных ошибок. С точки зрения выявления ошибок наиболее эффективным методом отладки является тестирование, т.е. выполнение системы на тестовом множестве, состоящем из известных входных и выходных данных [3].

Тестовое множество должно включать такие примеры, которые обнаруживают наибольшее количество ошибок, и результат процесса тестирования определяется эффективностью методов создания тестового множества. В настоящее время широко используется подход, основанный на использовании определённого подмножества имеющихся примеров предметной области, которое не используется для обучения нейросетевого механизма (работы Цисиль-ского В. [4J, Жу Дж. [5], Балашубраманиана М., Паланивела Д. и Рамалинга-ма А. [6], Ребровой 0.1С). [7], Ишанова O.A. [8|). В случае недостатка имеющихся примеров часто применяется экспертная генерация тестовых данных, при которой эксперт пытается сгенерировать такие примеры, которые могут вызвать ошибку СППР. Таким образом проводилась отладка экспертных систем

«Carbonate deteetor», комплекса экспертных систем для управления техническими объектами проекта NASA Applied Information Systems Research Program [9], нейросетевых СГ1Г1Р обнаружения ошибок операторов производственного оборудования |10|, разработанных в Nova Southeastern Univcrsity. Во всех вышеперечисленных случаях отсутствовала гарантия того, что сгенерированное тестовое множество обладает высокой обнаруживающей способностью. Основная проблема заключается в том, что эксперту трудно вспомнить и учесть особенности предметной облас ти из-за её высокой сложности.

Поспеловым Д.А. показано, что большинство предметных областей характеризуются наличием исключительных ситуаций, не подчиняющихся общим закономерностям, и если такие ситуации не будут учтены экспертом при разработке интеллектуальной СГТПР, то последняя будет выдавать на них ошибочный результат [ 1 1J. Ошибки такого типа являются наиболее сложными для обнаружения. В литературе описан разработанный Долининой О.П. метод автоматизированного построения тестовых наборов, обнаруживающих ошибки, связанные с исключениями из закономерностей предметной области, для продукционных CI1IIP |3]. Описание подобных методов для нейросетевых СППР в литературе отсутствует.

Современная нейроинформатика располагает большим количеством нейросетевых моделей, однако наибольшее распространение получила модель трёхслойного персептрона, являющаяся развитием модели персентрона Розен-блатта fI2|. Зю связано с тем фактом, что большая часть прикладных задач может быть формализована как классификация входных векторов х/, xj,...,xn по m выходным классам о/, Oj.....ош, для решения которых применяются такие системы принятия решений, как многослойные персептроны.

С другой стороны, ряд исследований, в том числе работы Мороз А.П. [13], Березина B.JI. [14], Болотина В.В. [15], посвящены важной для народного

хозяйства технической задаче обнаружения неисправностей газоперекачивающих агрегатов с газотурбинным приводом [16]. Показано, что проблема характеризуется высокой сложностью технического объекта [17], а также наличием весьма сложных неявных зависимостей между причинами и видами неисправностей. Всё тго делает невозможным применение для решения задачи универсальных решений, а при использовании методов искусственного интеллекта возникает необходимость учёта наличия большого количества исключений в предметной области.

Таким образом, актуальной является разработка метода автоматизированной генерации тестов, способных обнаруживать ошибки, связанные с исключениями предметной области для нейросетевых СППР, основанных на трёхслойных псрсентронах. Объе к г и с ел ед о ва н и и

Объектом исследования являются методы обработки экспертной информации, представляемой нейросетевыми моделями; методы выявления ошибок в экспертной информации. П р е д м ет и с с л е д о в а 11 и я

Предметом исследования является метод генерации тестов для отладки нейросетевых С11ПР, основанных на трёхслойных персептронах. Цель работы

Разрабожа эффективного с точки зрения количества тестов метода построения тестовых данных, обнаруживающих ошибки типа «забывание об исключении» для нейросетевых СППР, основанных на трёхслойных персептронах.

Задачи работы

Для достижения вышепоставленной цели необходимо решить следующие задачи:

1. Построить схемотехническое представление ошибки типа «забывание об исключении» нейросетевой СГ1ПР, основанной на трёхслойном персептроне.

2. Построить метод генерации тестов, обнаруживающих ошибки типа «забывание об исключении» нейросетевых СППР, основанных на информационной структуре трёхслойного персептрона.

3. Осуществит!, программную реализацию разработанного метода, проанализировать его эксплуатационные характеристики.

4. Разработать нейросетевую С11ПР, обнаруживающую неисправности газоперекачивающих агрегатов с газотурбинным приводом.

5. Проверить работоспособность предложенного метода на примере прикладных нейросетевых СППР.

Методы исследования

В диссертационной работе применяются методы искусственного интеллекта, технической диагностики и нейроинформатики, теория множеств, математической логики и комбинаторики, теория алгоритмов и графов.

Научная новизна

1. Формальная модель ошибки интеллектуальной системы типа «забывание об исключении» распространена на нейросетевые СППР, основанные на трёхслойных персептронах.

2. Построено схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении», позволяющее применять для обнаружения таких ошибок методы технической диагностики.

3. Разработан алгоритм генерации тестового множества для логической схемы, отличающийся учётом возможности установки на входных линиях схемы комбинаций значений, соответствующих запрещённым комбинациям фактов предметной области нейросетевой СППР, что позволило снизить количество

тестов в генерируемом тестовом множестве и сократить время выполнения алгоритма.

4. На основе алгоритма генерации тестового множества для логической схемы разработан метод генерации тестового множества для нейросетевых СППР, позволяющий создавать полные тестовые наборы, обнаруживающие ошибки типа «забывание об исключении».

Практическая значимость работы

Предложенный метод генерации тестов имеет практическую значимость, так как позволяет строить полное множество тестов, обнаруживающее ошибки типа «забывание об исключении» для нейросетевых CIIIIP, основанных на модели трёхслойного псрсептрона.

Автомат изация генерации гестов для отладки нейросетевых СПГ1Р позволяет сократить время на тестирование, повысив его качество, что в конечном итоге приводит к повышению потребительских качеств CIU IP и снижению их себестоимости. Разработанный метод был применён для отладки СППР по диагностике неисправностей газоперекачивающих агрегатов ОАО «Газпром», что привело к повышению качества продукта за счёт обнаружения и исправления ошибок тина «забывание об исключении». Также практическая апробация метода была осуществлена на нейросетевой СТ 1ПР «Glaucoma Complaint», прогнозирующей комплаентноегь офтальмологических пациентов клиники глазных болезней СГМУ им. В.И. Разумовского. Внедрение результатов работы

Предложенный в работе метод и алгоритм реализованы в виде программного продукта «NNetwork Tester». Разработаны нейросетевые СППР «GASDETECT», обнаруживающая неисправности газоперекачивающих агрегатов с газотурбинным приводом, а также «Glaucoma Complaint», прогнозирующая комплаентность офтальмологических пациентов. С помощью продукта

5

«NNetwork Tester» проведено тестирование данных систем. Разработанное программное обеспечение успешно внедрено в эксплуатацию на предприятиях ОАО «Газпром», клинику глазных болезней СГМУ имени В.И. Разумовского, а также в учебный процесс Саратовского государственного технического университета имени Гагарина Ю.А., что подтверждается соответствующими актами внедрения.

Достоверность и обоснованность результатов работы

Достоверность и обоснованность работы определяется применением корректных методов теории искусственного интеллекта, пейроииформатики, технической диагностики, а также подтверждается соответствующими экспериментами и актами внедрения результатов работы. Основные положения, выносимые на защиту

1. Формальная модель ошибок типа «забывание об исключении» нейросете-вой СППР, основанной на трёхслойных персептронах.

2. Процедура перехода от информационной структуры нейронной сети к виду логической схемы, позволяющая применять разработанные в технической диагностике методы генерации тестовых наборов для тестирования нейросете-вых CIIIIP, основанных на трёхслойных персептронах.

3. Метод генерации полного тестового множества, обнаруживающего ошибки типа «забывание об исключении» нейроеетевых СППР, основанных на трёхслойных персептронах.

4. Схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении».

Апробация работы

Результаты работы докладывались на конференциях: «Молодые учёные -

науке и производству», СТТУ 2007; «Методы компьютерной диагностики в

биологии и медицине», С ГУ 2008; «ММТТ-21», СГ'ГУ 2008; «Информатизация

6

и информационная безопасность правоохранительных органов», Академия управления МВД РФ 2008; «Инновации и актуальные проблемы техники и технологий», СТТУ 2009; «ММТТ-23», СГТУ 2010; «ММТТ-24», ПГТА 2011; на семинарах в ПГТА в 2012-201 Зг.г., а также на научных семинарах кафедры "Прикладные информационные технологии" СГТУ в 2008-2013 годах. Разработанное программное обеспечение прошло официальную государственную регистрацию в фонде алгоритмов и программ; программные продукты успешно внедрены I? опытную эксплуатацию на предприяжях ОАО «Газпром», в клинику глазных болезней СГМУ имени В.И. Разумовского, а также в учебный процесс Саратовского государственного технического университета имени Гагарина К).А.

Публикации

Результаты работы опубликованы в 17 изданиях, 5 из которых являются изданиями, рекомендованными ВАК РФ.

Объём работы

Диссертационная работа состоит из введения, 4 глав, заключения и 9 приложений; содержи т 46 рисунков и 12 таблиц.

ГЛАВА 1. АНАЛИЗ ВОЗМОЖНОСТЕЙ МЕТОДОВ И СРЕДСТВ КОНТРОЛЯ КАЧЕСТВА НЕЙРОСЕТЕВЫХ СППР

1.1. Основные понятия и обозначения

Введём следующие понятия и определения, которые будут использоваться далее в настоящей работе.

Формальный нейрон N - информационная структура, включающая в себя

множество входов X={xi,x2.....x,J, множество весовых коэффициентов

l¥=/u'/,u'1...,u'/J, взвешенный сумматор S, нелинейную функцию активации /, выход oui 112] (рис. 1.1).

А" 7

S sum f out

Рисунок 1.1 - Схема формального нейрона

Функционирование нейрона описывается следующими формулами [18J:

OUt - /(.s7//7/) i-0, (1.1)

где sum = ^Tixi ■ м\ - взвешенная сумма входов,

/-il

О - величина смещения нейрона,

--- нелинейная функция активации,

(1.2)

(1.3)

(1.4)

а - положительное число, характеристика функции активации.

Отметим, что существует множество нелинейных функций, которые могут быть использованы как (1.4), однако на практике чаще всего используется сигмоидная функция. Под многослойным персептроном Сбудем понимать совокупность формальных нейронов /V, организованных в слои, причём в качестве

8

входных значений нейронов (кроме первого слоя) выступают выходные значения нейронов предыдущего слоя [12]. На рис. 1.2 приведена структурная схема персептрона с одним промежуточным слоем нейронов. Нейрон г слоя 7 обозначен как StJ ,, входной вектор

X, =[х1,х2,...,хд], (1.5)

где q - количество входных нейронов. Выходной вектор обозначим как

(1.6)

где р - количество выходных нейронов.

Весовой коэффициент связи нейрона г слоя п с нейроном у слоя (п~1) будем обозначать как . Количество слоев обозначим г. В настоящее время в

литературе представлены и используются различные подходы к нумерации и учёту количества слоев в информационной структуре персептрона. В данной работе в количество слоев г будем включать входной, выходной, а также промежуточные слои персептрона (например, для персептрона на рис. 1.2 г=3).

Рисунок 1.2- Схема информационной структуры персептрона

Введём дополнительные обозначения. Пусть .у" - значение / -того входа

у„-того нейрона слоя п, 0" - значение смещения / -того нейрона слоя п. Тогда

математическая модель персептрона может быть представлена в следующем виде [19], [20|, [21 ]:

+ 0'

(1.7)

В [22] Колмогоровым была доказана теорема, согласно которой существуют такое число т, набор чисел н',,, и набор чисел V,, ч то функция

( ü, л

V '

(1.8)

приближает данную функцию £(.y,..y.......y„)с погрешностью не более £ на

всей области определения. Очевидно, что формула (1.8) является математической моделью трёхслойного персептрона, поэтому из данной теоремы следует, что любую непрерывную функцию нескольких переменных можно с любой точностью реализовать с помощью трёхслойного персептрона с достаточным количеством нейронов и нелинейной активационной функцией в скрытом слое. Следствием этого является широкая распространённость нейросетевых интеллектуальных CIIIIP, основанных на трёхслойных персентронах с нелинейной функцией акшвации нейронов [21 |.

В данной работе рассмотрены нейросетевые СППР, основанные на трёхслойных персентронах (z=3) и решающие задачу классификации, которую можно поставит ь следующим образом:

Пусть Л^.Л'.......X ш - множество описаний объектов, где

Х; - [х, ,л\ ] - описание /'- того объекта, xf - значениеу-того признака объ-

екта О = ] - множество выходных классов. Класс о/ определяет-

ся выходным вектором нейронной сети К =[ г, , г, ,..., у где у > [y''i ^ у'.

Персептрон Р осуществляет отображение описаний объектов во множество выходных векторов Р - X-> У |19], [20]. Значение отображения Р = X —> У извест но только для обучающей выборки /„, иод которой будем понимать совокупность пар известных входных и соответствующих выходных векторов:

L = [{X,J^{X2JX.JXuJti >}. (1.9)

Необходимо найти такие значения внутренних параметров Р, которые обеспечат корректную классификацию объектов ХГХ,,..„ Хш, причём

(X,, £ L. Настраиваемыми внут ренними параметрами пер-

септропа являются весовые коэффициенты гг, а также значения смещений нейронов 0. Смещения нейронов слоя п могут быть смоделированы наличием на слое n-i нейрона с постоянным единичным выходным значением ог//,"4 = 1 [20J, поэтому в дальнейшем исключим параметр 0 из рассмотрения.

Весовые коэффициенты персептрона подстраиваются в ходе автоматического процесса машинного обучения Р на обучающем множестве L вида (1.9). Целыо процесса машинного обучения является минимизация целевой функции суммарной квадратической ошибки нейронной сети |23]:

£ = ¿1X0"(1. 10)

где у]- полученное значение выходного нейрона / при подаче на вход сети

наблюдения .v, d] - ожидаемое значение выходного нейрона / при подаче на

вход сети наблюдения s.

Приведём предложенный Румсльхартом, Хиптоиом и Уильямсом наиболее распространённый алгоритм машинною обучения персептрона методом обратного распространения ошибки (Нггог Back Propagation) [24], [25], [26J, [27], который используется в дайной работе:

Входными данными алгоритма является 1. Информационная структура персептрона /J (1.7)

2. Обучающее множество I вида (1.9)

Выходными данными алгоритма является 1. Обученный персеитрон Р (1.7).

Алгоритм машинного обучения персептрона

1. Подать на вход Р один из входных векторов Х^^Х^ К) е Ь и определить

I

наблюдаемые значения К - | г',.г',...и'' ] выходных нейронов.

2. Рассчитать величину 5" и изменения весов Аи-" для нейронов выходного слоя п по формулам:

¿7 = k-v.k" ; (l.ii)

(sum

/

А< =-г)-8Ч (1.12)

где I] - коэффициент скорости обучения, /; с- (0... |].

3. Р�