автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Применение импульсных рекуррентных нейронных сетей для решения задачи распознавания динамических образов

На правах рукописи

Никитин Кирилл Вячеславович

ПРИМЕНЕНИЕ ИМПУЛЬСНЫХ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ОБРАЗОВ

05.13.01 — Системный анализ, управление и обработка информации

(информатика)

АВТОРЕФЕРАТ диссертации па соискание ученой степени кандидата технических наук

~8 АВГ 2013 005532003

Санкт-Петербург - 2013

005532003

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный политехнический университет» (ФГБОУ ВПО «СПбГПУ»)

Научный руководитель: кандидат технических наук, доцент

Бендерская Елена Николаевна Официальные оппоненты: Шкодырев Вячеслав Петрович,

доктор технических наук, профессор, заведующий кафедрой «Системы и технологии управления» ИНТУ, ФГБОУ ВПО «СПбГПУ» Тимофеев Адиль Васильевич, доктор технических наук, профессор, заведующий лабораторией информационных технологий в управлении и робототехнике СПИИРАН

Ведущая организация: Санкт-Петербургский государственный университет

аэрокосмического приборостроения (г. Санкт-Петербург)

Защита состоится "3" октября 2013 г. в 16 часов на заседании диссертационного совета Д 212.229.18 ФГБОУ ВПО «Санкт-Петербургский государственный политехнический университет» по адресу: 195251, Санкт-Петербург, ул. Политехническая, д. 21, 9-й учебный корпус, ауд. 325.

С диссертацией можно ознакомиться в фундаментальной библиотеке ФГБОУ ВПО «Санкт-Петербургский государственный политехнический университет».

Автореферат разослан " /Г- и.ЮЛ<Х 2013 г.

Ученый секретарь диссертационного совета Д 212.229.18 к.т.н., доцент

Васильев Алексеи Евгеньевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования и степень ее проработанности. Распознавание динамических образов имеет много практических приложений: в обработке аудиоинформации - распознавание речи, мелодий; в обработке видеопоследовательностей и компьютерном зрении - распознавание жестов, мимики липа, детектирование движения, сопровождение целей; в прогнозировании - предсказание временных рядов; в диагностике - выставление диагнозов по электрокардиограмме (ЭКГ), электроэнцефалограмме (ЭЭГ), тремору пальцев; в управлении - идентификация и управление объектами.

В задаче распознавания динамических образов входной сигнал, подлежащий распознаванию, рассматривается не в статике, а в динамике и основная информация об образе содержится в траектории изменения входного сигнала во времени. В результате образ получает повое измерение - время, что значительно усложняет решение задачи распознавания.

Все существующие методы распознавания динамических образов делятся на структурные (синтаксические) и статистические. Структурные методы основаны на использовании априорной информации, синтаксисе входных сигналов, они разрабатываются под конкретный тип сигнала - речь, видеоряд, финансовые показатели, погоду. Однако часто требуется решать задачу распознавания в такой постановке, при которой информация о структуре входного сигнала отсутствует. В этом случае используются статистические методы распознавания, основной проблемой которых является необходимость выбора соответствующих метрик и их настроечных коэффициентов для вычисления по сигналу показателей с последующим выделением признаков. Большой вклад в развитие методов распознавания динамических образов внесли как российские (советские) ученые - Алпатов Б.А., Вапник В.Н., Васильев В.И., Винцюк Т. К., Галушкин А.И., Журавлев Ю. И., Загоруйко Н.Г., Лобанов Б. М., Местецкий J1. М., Радчепко Ю.С., Сосулии Ю. Г., Фаворская М.Н., Фаин B.C., Харкевич A.A., так и их зарубежные коллеги - Duda R.O., Flanagan J. L., Gonzalez R.C., Grenader U., Hart P.E., Lea W., Oppenheim A. V., Patrick E.A., Rabiner L.R., Rosenblatt F., Tou J.T., Schafer R. W.

Новый подход к решению задачи выделения признаков динамического сигнала в контексте задачи распознавания был предложен в конце 90-х годов прошлого столетия и основан на использовании рекуррентных нейронных сетей (РНС) и парадигмы резервуарных вычислений (PB). Значительные результаты в данном направлении получены в работах ученых - Нечаев Ю.И., Терехов В.А., Bertschinger N., Burgsteincr H., Buonomano D.V., Elmau J.L., Hochreiter, S., Hopfield J.J., Jaeger H., Joshi P., Legenstein R., Maass W., Markram H., Ozturk M. C., Principe J. C., Schmidhuber, J., Schrauwen В., Sejnowsky T. J., Sompolinsky H., Steil J.J., Tank D. W., Verstraeten D., Williams, R.J., Zipser D., и др.

3

РНС в отличие от обычных статических нейронных сетей (НС) обладают обратными связями, благодаря чему они имеют собственную динамику. Наличие обратных связей и нелинейность автоматически превращает РНС в сложные динамические системы. Такие системы обладают большими вычислительными возможностями, превосходящими машину Тьюринга, что доказывают существующие теоремы, однако, вопрос о том, как использовать эти возможности, остается открытым.

В результате анализа существующих проблем обучения РНС появилась новая парадигма - РВ, в соответствии с которыми предлагается формировать РНС вначале случайным образом без какого-либо обучения. Входной изменяющийся во времени сигнал РНС преобразует в вынужденную динамику нейронов. При правильно сгенерированной РНС динамика входного сигнала будет автоматически присутствовать в динамике РНС, и поэтому в определенный момент времени эту динамику можно «считать» и распознать входной сигнал. Одна из моделей, реализующих РВ - машина неустойчивых состояний (МНС). Она в качестве резервуара использует РНС из специальных импульсных нейронов, приближенных по свойствам к реальным нейронам человеческого мозга.

Эта модель является идеальным средством для решения задачи распознавания динамических образов так как имеет большие вычислительные возможности в теории, сложную нелинейную динамику, огромное число степеней свободы, сходство с биологическим прототипом. Однако для ее практического использования должны быть решены задачи синтеза резервуара - выбора параметров импульсной РНС и выбора считывателей в зависимости от сложности входного сигнала. К настоящему времени в научных работах, посвященных разработке и применению рассматриваемого типа РНС, отсутствует системный анализ параметров МНС, а их назначение выполняется либо случайным образом, либо путем последовательного перебора. Задача разработки методики синтеза РНС в зависимости от сложности входных образов является актуальной, так как ее решение позволит как повысить качество распознавания, так и уменьшить трудоемкость разработки и применения РНС при использовании в различных практических приложениях.

Тема исследований связана с критическими технологиями РФ, утвержденными Президентом РФ в 2011 году - «Нано-, био-, информационные, когнитивные технологии», а также «Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем», и относится к области разработки математического и программного обеспечения компьютерных методов обработки информации.

Цель диссертационного исследования - разработка методики синтеза РНС в составе МНС для решения задачи распознавания динамических образов.

Задачи диссертационного исследования

1. Выполнение аналитического обзора в области исследования.

2. Построение математико-методологического базиса модели МНС.

3. Разработка среды моделирования импульсных РНС.

4. Экспериментальное исследование модели МНС.

5. Проверка методики на реальной задаче распознавания динамических образов.

Объектом исследования является РНС и считыватели в составе машины

неустойчивых состояний. Предметом исследования являются свойства МНС в зависимости от ее параметров с целью повышения качества распознавания динамических образов путем настройки параметров РНС.

Научная новизна.

Новизна результатов работы заключается в следующем:

- разработана новая методика синтеза импульсных РНС в составе системы распознавания динамических образов;

- предложен новый подход к анализу и синтезу резервуаров в концепции РВ, заключающийся в разделении непосредственно самого резервуара от считывателя;

- предложен новый подход к моделированию резервуарных вычислителей включающий в себя обобщенную структуру входных и выходных данных и алгоритм моделирования импульсных РНС.

Теоретическая значимость работы

1. Предложен новый подход к анализу и синтезу резервуаров в концепции РВ, а также проведена систематизация знаний в области РНС, импульсных НС, РВ, отсутствующая в русскоязычной литературе и фрагментарно представленная в зарубежной, что необходимо для развития теории динамических нейронных сетей.

2. Характеристические зависимости динамики импульсных РНС для различных сочетаний входных воздействий (образов) и параметров резервуара, а также предложенная классификация различных способов кодирования/декодирования информации из импульсной формы в аналоговую, дополняют теоретические представления о режимах работы импульсных нейронных сетей с обратными связями.

Практическая значимость работы

1. Предложенная методика синтеза импульсных РНС в составе МНС в зависимости от решаемой задачи включает в себя: оценку влияния параметров отдельного элемента/системы (микро/макро уровень); построение иерархии параметров, оценку их взаимосвязей; выявление свойств и динамики системы в зависимости от параметров; определение рекомендуемых сочетаний диапазонов значений параметров для различных задач и показателей качества.

Разработанная методика позволяет сократить сложность и трудоемкость разработки систем распознавания на основе резервуарного подхода и таким образом перевести новую концепцию МНС из области теоретических разработок в практическую. Кроме того, предложена схема взаимодействия считывающих модулей, упрощающая выбор считывателей при решении различных задач распознавания.

2. Показано на примере обработки как тестовых данных различной сложности, так и реальных данных ЭКГ с различными формами аритмии, что предложенная методика синтеза импульсных РНС и новая модель резервуара применимы для решения задач обработки динамических образов и могут дополнить существующие подходы в системах обработки информации для повышения качества и скорости их работы.

3. Предложен новый алгоритм моделирования импульсных РНС, который позволяет задавать большое количество вариантов типов нейронов и синапсов, учитывать различные задержки и моделировать кратковременную и долговременную синаптическую пластичность. На основе предложенного алгоритма разработано программное средство для исследования как РВ, так и импульсных РНС, которое может быть использовано как в учебных целях, так и для проведения НИР.

Методология и методы исследования. В работе использованы методы теории вероятностей и математической статистики, системного анализа, теории моделирования, теории динамических систем, кибернетической физики.

Положения, выносимые на защиту

1. Разработана методика синтеза импульсных РНС в составе системы распознавания динамических образов, позволяющая проводить направленный синтез резервуара и сокращающая трудоемкость разработки и использования РВ в задачах распознавания.

2. Предложен новый подход к анализу и синтезу резервуаров в концепции РВ, заключающийся в разделении непосредственно самого резервуара (импульсной РНС) от считывателя (наблюдателя), для устранения неопределенностей, вносимых считывателем и позволяющий выйти на системный анализ влияния параметров резервуара на качество его работы.

3. Предложен новый подход к моделированию резервуарных вычислителей включающий в себя: обобщенную структуру входных и выходных данных (задачи), позволяющие предложить эффективный алгоритм чтения данных и преобразования (экспорт/импорт); алгоритм моделирования импульсных РНС, позволяющий учесть особенности как импульсного кодирования, так и многообразие вариантов биологически ориентированных моделей импульсных НС (синаптических задержек, синаптической

пластичности и динамических синапсов), что дает возможность проводить адекватное сравнение моделей путем компьютерного моделирования.

4. Предложена новая модель импульсной РНС для РВ на основе нейронов Ижикевича, отличающаяся наличием незатухающей динамики и за счет этого дающая более высокие показатели качества распознавания динамических образов (по сравнению с другими импульсными моделями па несколько процентов).

5. Получены характеристические зависимости динамики импульсных РНС для различных сочетаний входных воздействий (образов) и параметров резервуара, позволяющие представить карты режимов работы, которые могут быть использованы в том числе и для методики синтеза резервуара.

Степень достоверности и апробация результатов

Достоверность результатов обеспечивается всесторонним анализом поставленной цели и подходов к ее достижению; корректностью используемого математического аппарата; согласованностью полученных экспериментальных результатов с предполагаемыми результатами качественного анализа условий экспериментов; всесторонней проверкой предлагаемых методов путем экспериментальных исследований как на нижнем уровне - все составляющие импульсной РНС и считывателей были промоделированы отдельно и результаты их работы были сравнены с эталонными из литературы, так и на верхнем уровне -на различных исходных данных, охватывающих различные варианты сложности задачи распознавания; практическим применением разработанных методов для решения задачи обработки реальных данных - ЭКГ.

Внедрение и реализация результатов работы. Основные результаты работы использованы в ООО «Мед-Байт» и ООО «НПО Интеграция» при обработке медицинских данных. Реализация научных положений и результатов работы подтверждена соответствующими документами о внедрении. Также результаты использованы в учебном процессе на кафедре Компьютерных Систем и Программных Технологий СПбГПУ в дисциплинах «Мягкие вычисления» и «Математическое моделирование объектов и систем управления», в НИР по гранту фонда Научный потенциал (Human Capital Foundation, United Kingdom, 2007), в НИР по грантам правительства Санкт-Петербурга 2007, 2008, 2009 гг.

Апробация. Результаты работы докладывались и обсуждались на 10-ти международных и всероссийских конференциях в Санкт-Петербурге и Москве. Результаты работы отмечены: дипломом I степени Международной Балтийской олимпиады по управлению (2006 г.), дипломами правительства Санкт-Петербурга победителю конкурса грантов Санкт-Петербурга для студентов, аспирантов (2007, 2008, 2009 гг.), дипломом

победителя конкурса «Молодые таланты - будущее Политехнического университета» (2008 г.), грамотой лауреата стипендии Президента РФ 2009 г.

Публикации. По теме диссертационной работы опубликованы 19 печатных работ, из них 2 в издании «Перечня ВАК».

Объем н структура работы. Диссертация состоит из введения, 5 глав, заключения и 2 приложений. Список использованной литературы содержит 198 наименований. Основной текст диссертации содержит 213 страниц машинописного текста, включая 110 рисунков, 24 таблицы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, выделены исторические предпосылки появления рассматриваемых в работе научных направлений и парадигм. Упрощенно продемонстрирован основной подход к решению задачи распознавания динамических образов, используемый в работе. Отражена научная новизна и практическая значимость работы.

В первой главе «Импульсные рекуррентные нейронные сети в задачах распознавания образов» представлен обзор существующих моделей РНС и импульсных НС, рассмотрена задача распознавания динамических образов и парадигма РВ.

По результатам обзора РНС и анализа различных моделей РНС проведена их систематизация, а также предложена классификация моделей РНС по разным признакам -топологии, типу нейронов, типу связей, типу динамики, алгоритму обучения, решаемой задачи. Рассмотрены особенности анализа структуры РНС и ее влияния на различные свойства РНС. Приведено подробное описание различных динамических режимов, в которых может работать РНС - установившемся или переходном с одной стороны, устойчивом, колебательном или хаотическом - с другой. Для каждого режима даны соответствующие модели РНС и примеры их использования для решения различных задач. Проанализированы и классифицированы способы анализа динамики РНС, в частности, с использованием различных показателей динамики. Разобраны основные алгоритмы обучения РНС. В конце обзора по РНС приведен анализ их вычислительных возможностей и основные подходы к реализации вычислений. Отдельно отмечен новый подход на основе РВ.

Обзор импульсных НС начинается с проведения классификации всех возможных моделей нейронов для того, чтобы продемонстрировать преимущества импульсных нейронов. Далее описываются основные классы моделей импульсных нейронов - детальные модели, модели сокращенной размерности (феноменологические) и модели типа интегрирование и возбуждение (Integrate-And-Fire). Последовательно освещаются вопросы, связанные с использованием химических синапсов, построением импульсных НС, их обучением,

8

моделированием. Раскрывается проблема импульсного кодирования и вычислительные возможности импульсных НС. Систематизация и классификация моделей позволяет не только определить место и особенности РНС РВ, но и выявить причины, по которым до сих пор не было предложено методики их синтеза, а также обосновать предлагаемый в работе подход к разработке методики.

Затем, как частный случай задачи распознавания образов, дается определение задачи распознавания динамических образов. Приводятся основные подходы и этапы решения этой задачи. Как новый и перспективный подход к решению задачи выделения статических признаков динамического образа раскрывается идея РВ на основе модели машины неустойчивых состояний, имеющей в своем составе импульсную РНС.

В завершении главы формулируются цель и задачи работы, объект, предмет и методы исследования.

Во второй главе «Анализ исследуемой модели» проанализирована структура МНС, составляющие ее элементы, особенности функционирования и представления информации. Предметная область МНС связана с множеством различных дисциплин - биологией, химией, физикой, нелинейной динамикой, синергетикой, математикой, теорией графов, теорией систем и др.

Анализ МНС начинается от простого к сложному, от элементов к системе.

Рассматриваются ключевые особенности рассматриваемой модели, связанные с ее приближением к биологическому прототипу:

1) тип нейронов - импульсные нейроны;

2) тип синапсов - электрические и химические синапсы;

3) класс синапсов - динамические и синапсы с пластичностью;

4) импульсное кодирование.

Резервуар МНС представлен РНС, состоящей из импульсных нейронов, связанных синапсами. В первой модели МНС используются нейроны типа интегрирование-возбуждение:

С-А'/сЛ = -у / Л + / Л + /,.„ - уравнение интегрирования,

если V > в, то 1'(1) — В течение ПерИОДс1 /гс/гас ~ условие возбуждения, где V -потенциал, /г« - входной сигнал, С - емкость, /? - входное сопротивление, »у.«, Vв -потенциалы покоя, сброса и порог соответственно.

Для расширения возможностей МНС в работе было предложено использовать также относительно новую модель Ижикевича:

\<1у / Л = 0.04у" + 5У +140 - н + /,,

1 сЫск = а(Ьу-и)

если v>30, то v = с,и = и + d - условие возбуждения, где V - потенциал, и -переменная восстановления, а, Ь, с, d - четверка параметров, определяющая режим работы нейрона. Данная модель обладает большим числом вариантов поведения и при этом не требует больших затрат на моделирование.

Связи в импульсных НС представлены электрическими и химическими синапсами. Электрические синапсы ориентированы на передачу аналогового (непрерывного) сигнала -воздействие через них пропорционально входному сигналу и имеет нулевую задержку: = v ,dv/dl= f(v, par) + k • (',„„,,

где //««/ - постсинаптический ток, i',»r - пресинаптический потенциал, uw—сила синапса.

Химические синапсы ориентированы на передачу импульсов - воздействие через них является нелинейным и имеет конечную задержку:

',,,„ (') = IV, ,„„ £ 1(/ - г,. - г н,„ ) exp((f -1, - г ) / г„„ ),

где и - время /-го импульса пресинаптического нейрона, г</,./«,■ - задержка, zsy„ -постоянная времени затухания постсинаптического тока, uv/wm - сила химического синапса.

Для моделирования свойств реальных синапсов, таких как кратковременная память и самообучение, используются специальные синапсы - динамические и синапсы с пластичностью.

Динамические синапсы обладают конечным ресурсом проводимости. При одиночных импульсах этот ресурс используется лишь частично. С ростом числа импульсов ресурс используется почти на 100%, и при этом может возникать нехватка ресурса, что означает уменьшение силы синапса. Со временем восстанавливается ресурс и с ним сила. Сила динамического синапса w(t) находится по уравнениям:

[»'(')= u-m„/;(/); p(t) = u(t)r(t)

J и(0 = U + //„ ( 1 - U ) ехр(- (/ -1„ ) / F ) ,

[r(0 = 1 + (r„ -/;//„ -1)ехр(-(/-/„)/D)

где r(t)~ составляющая доступной синаптической эффективности (в покое равна 1), u(t) - составляющая используемой синаптической эффективности (в покое равна U), uwv -максимальная сила синапса, Д F - постоянные времени, г» - время последнего импульса, н», п, - значения ii(t), r(I) в момент времени г».

Синапсы с пластичностью реализуют механизм обучения по правилу STDP (Spike Time Dependent Plasticity), являющийся вариантом правила Хэбба для импульсных НС. Если импульс от нейрона-источника синапса спровоцировал импульс у нейрона-получателя, то сила получает положительное приращение, в противном случае - отрицательное. Величина приращения определяется т.н. оконной функцией. Наиболее распространены 3 вида таких

функций - экспоненциальная, пороговая и гауссоида. Приращение накапливается в течение периода обучения и один раз за период сила синапса изменяется.

Далее проводится анализ возникающих сложностей при импульсном кодировании, которые заключается в том, что при решении конкретных задач данные представлены в аналоговой форме и поэтому необходимо выполнять преобразование из аналоговой формы в импульсную и наоборот. На основании анализа существующих подходов, предлагается схематичное представление алгоритмов преобразования импульс-аналог (рисунок 1) с описанием преимуществ и недостатков каждого из них.

Есть им пульс Нет импульса

НИМИ

х, | ^ * 1 1 II

хч 1 1 —►

Хз | ' U<XI<X2<XJ<1 т — 1

х¡-время импульса в интервале |0,Т|

Хі-средняя частота за время Т

Кодирование да/нет

Популянионное кодирование

Фазовое кодирование

X

Преобразования импульс<=> аналог

Часто ш ое кодирование

Прост■рапсі венно-часюі ное кодирование

Кодирование на основе синхронизации/ ноли хр он и заци и

ш

інші: 1-і *т ¡111I I

\llll і

ч 1 ■ '

Хя O<X3<X2<X,

N111111 і і і і Чі |

ІІІМ -1-Ф-2 1 ІІІІІИ к , - 1 і

і і і

111111111|111Н„ 4 і!

і і ІІІІІІІІІІІІІІІ» 5 і ;

хмлх ХМЕІ) • Х\||М і ; -

Хі-активность популяции х кодируется в просі ране і вен но- 2 синхронные групнь за время Т частотном диапазоне (1,3,5) и (2,4)

Полихроппая группа

Рисунок 1 Схематичное представление алгоритмов преобразования импульс-аналог

Далее описывается структура МНС, входящего в нее РНС-резервуара и считывателей (рисунок 2). Входные сигналы, подающиеся на вход РИС, представлены непрерывными функциями и(з). В ответ на эти сигналы РНС в момент времени / переходит в новое состояниех хм(I). Затем это состояние подается на вход считывателей, выходы которых являются выходами всей системы и представлены непрерывными функциями у(0.

Преобразование из и(0 в хм(0, осуществляемое в резервуаре, можно определить через некоторый нелинейный оператор (фильтр) с памятью Ьм: хх,(П = (Ь'ии)(П.

Преобразование в считывателях из хм(0 в у(1) является статическим, поэтому может быть определено некоторой функцией/л/: У(П =/"(*"{ О).

о о

о

Резервуар I

сЛ

Считыватели Г

- пгз

Входные сигналы и(1)

Состояние

у(1)=Гм(Хм(1)))

Х"(1)=(!.и)(1) х»,(0

Рисунок 2 Схема машины неустойчивых состояний

Выходные сигналы у(1)

Структура резервуара показана на рисунке 3. Как видно, она является случайной 3-мерной решеткой, узлами которой являются нейроны, а связи представлены синапсами. Система имеет большое количество параметров, задающих тип элементов, связей, связность, задержки, шум.

нейронная связь - хим. синапс Р(а,Ь)=пип/ 1,С(а,Ь)-ехр(-(0(а,Ь)/Л)2)1

Р(и,Ь) - вероятность связи_. >Ф,Ь)=>1',,,„х(1)-р,„„(0

и>(а,Ь) - сила связи I У 0(а,Ь) - расстояние м/у нейронами Гае1а/а,Ь) - Задержка / - Средний радиус связи

С - плотность связей 1пЬ

С = 1п|1

Ех

Структура -Зх-мериая решетка

Связь между входом и нейроном

ргп - вероятность связи и>,,л - сила связи г,ми>. - задержка

Входы и(0

импульсные и

Рш - процент подавляющих нейронов

Состояние МНС,

Х"(0

Ри мхе — % нейронов, на которых подается шум Параметры - распределение. МО. СКО

Импульсный нейрон

!ар. Мжикевпча. светлый - возбуждаю"11"*' темный - подавляю

Рисунок 3 Структура РИС - резервуара МНС

В конце главы рассматриваются считыватели и предлагается схема их взаимодействия между собой (рисунок 4).

В третьей главе «Реализация среды моделирования импульсных РНС»

обосновывается необходимость разработки собственной среды моделирования импульсных РНС, выдвигаются требования к создаваемой среде, выполняется функциональная декомпозиция вычислительных составляющих среды моделирования, на ее основе предлагается интерфейс программы; разрабатываются алгоритмы моделирования и структура входных/выходных данных; создается программа ЗКИЫМосЗеШг^ - среда моделирования и описываются ее основные возможности.

Сигнал с выхода импульсной РНС

11реооразокан не импульс» аналог

популяционный код

Сокращение размерности

- РСА

- ЬЭА

- фильтр-методы

Классификация

-кип, ЭУМ, НСПР

Апнроксимац ия

-лин. рсгрессоры, НСПР

Ж

Анализ динамики (показатели динамики)

- статистические

- информационные (вз.инф-я)

- динамические (синхронизации, хаоса-Ляпунова)

- частотные (БПФ, вейвлеты)

К г

Кластеризация - ктсаш, ОММ, иерархические методы - выделение синхронных, полихронных групп

Л

Показатели качества

- ошибки 1,2 рода, матрица невязок + кроес-валидация (классификация)

- средняя ошибка (аппроксимация)

- индекс Дэвиса-Болдуина. Дана (кластеризация)

Рисунок 4 Схема взаимодействия считывателей На рисунке 5 приведена предложенная декомпозиция - на верхнем уровне находится эксперимент. В результате эксперимента система может быть промоделирована заданное число раз. Для выполнения эксперимента необходимо задать входные данные, импульсную НС, считывающие модули, параметры моделирования и записи статистики. После выполнения эксперимента вся информация сохраняется в результатах. Параметры импульсной НС задаются сверху-вниз: вначале определяется структура НС, затем модели используемых в ней нейронов и синапсов. Отдельно задается алгоритм обучения.

Разработанный новый алгоритм моделирования позволяет моделировать импульсные РНС различной структуры с различными типами импульсных нейронов, синапсов (электрических, химических, динамических и с пластичностью), различными задержками. Основная его часть приведена на рисунке 6. Разработанная структура входных/выходных данных позволяет подавать на вход модели произвольные входные сигналы (импульсные, аналоговые, с преобразованием из аналогового в импульсный).

Основные возможности разработанной среды моделирования - моделирование многих биологических моделей нейронов, моделирование различных моделей синапсов, обучение РНС по ЭТОР с различными функциями обучения, моделирование РНС различной структуры и топологии, задание произвольных входных данных, в том числе шума на входе нейронов и начальные условия, обработка сигналов с РНС различными считывателями, построение графиков всех основных характеристик нейронов, синапсов, РНС, экспорт результатов и автосохранение результатов.

В.ИШЕ!Ж ДДШНМе Г

Формат (аналоговый, импульсный, преобразование аналог-импульс)

1

Уіяшикй НЇУСІОЙЧИ«М> Сосіоинии

и

Вид функции обучения

(ступенчатая, экспоненциальная, гауссоида)_

Топология (1 элемент, случайная, полносвязная)

Модояиравямне N

Функция (моделирование, запись статистики) 1

1

Параметры (распределение силы связей, задержек)_

Модель (Ходжкина-Хаксли, Ижикевича, Integrate-And-Fire, Фитцху-Нагумо, Морриса-Лекара)

Сшядт;

Модель (электрический или химический, статический или динамический, с адаптацией или без)_

Функция

(визуализация, экспорт в Ма^аЬ)

5- ЧОТЬЮЖИЦИС МШГМ» Тип (преобразование импульс-аналог, вычисление показателей, кластерный анализ)

Рисунок 5 Функциональная декомпозиция составляющих среды моделирования

В четвертой главе «Экспериментальное исследование» последовательно осуществляется решение основной задачи работы - разработка методики синтеза импульсных РНС для распознавания динамических образов. Основным подходом при этом является кибернетическая физика и ее инструмент - компьютерное моделирование или вычислительный эксперимент.

Вначале было выполнено исследование отдельных составляющих РНС - нейронов, синапсов, и способов импульсного кодирования. При этом, во-первых, было изучено поведение отдельных элементов и кодирования, а во-вторых, проведена верификация среды моделирования.

Для построения методики был предложен новый подход, заключающийся в анализе динамики резервуара - РНС без использования считывателей. Это позволило оценить влияние параметров на динамику РНС. Перед исследованием влияния параметров на работу РНС была построена обобщенная иерархия параметров системы (рисунок 7).

Были выявлены наиболее и наименее значимые параметры, а также группы зависимых параметров, влияющие на одно и то же свойство. Наименее значимые параметры были зафиксированы, а для наиболее значимых параметров были определены приблизительные диапазоны их возможных значений.

После этого были проведены эксперименты по всем возможным сочетаниям параметров резервуара и для них определены показатели качества.

Начало

1. Проверить непротиворечивость входных параметров.

2. Произвести инициализацию всех переменных.

3. Цикл 1 по всем входным образам i

4. Цикл 2 по всем моментам времениj от текущего до конца i-ro образа

5. Сформировать ВХОДНОЙ сигнал ОТ f образа в момент BjSeMSH»j Ь. Сформировать ш>м в момент времени |

7 ()бновнть B\i> iHiHi сиг на i or нмпч иьеов ( >нн сигнал ¡ат>хает со временем)

8. Определить набор иейроно» SetSpike, сгенерировавших импульсы.

9. Поместить импульсы от нейронов из набора SetSpike в конец очереди spikes

10. Сбросить нейроны и s набора SctSpikc.

11. Цикл 3 по всем импульсам spikes[k] из spikes, начиная с последнего

12. nrnic=spikes[k].nrn, tSpikei<=spikes[k].t.

13. Если j - tSpikek >MaxDelay или k=-l, TO выйти из цикла.

14. Определи!ь набор нейронов SetSpikeK, до которых в текущий момент времени j кик раз lOllie.i К HUHV.'IbC 1С ччеиш вдержек!

15. Цикл 4 по всем нейронам nm[l] из массива SetSpikeK, начиная с первого

16 ()бр,н • ■ 'V i . •• . . ■ • ч-мя Пре-имггульеа

17 ........... in нейрона нпи кетменную iext$pike[nrni][ui] на величину, равную силе

синапса в момент генерации импульса (аля динамических синапсов "эта сила запоминается) 18. Конец цикла 4.

I1). 1али tSpii ' 1 • . - teSTDP,

20. Если tSpikek—j, ТО для всех пост-евя'.сй являющихся ишмнчсскнми синапсами запомнить ассоциацию (импульс, сила связи в текущий момент времени) и обновить параметры динамических синапсов

21. Конец цикла 3

22. Для каждого нейрона сформировать входной аналоговый сигнал »Ext как величину шума.

23. Цикл 5 по всем электрическим синапсам SynEI[k]

24. Присвоить SynElK= SynEl[k], nrnil= SynEl[k].src, nmi2= SynEl[k].dest

25. iExt[nrni2] = iExt[nrni2]+nrni 1 .X[0]*SynElK.W

26. Копен цикла 5

27. 1 ipoMo.ieiiiipoBai ь динамику всех нейронов на шл мо (слированпя внере i

28. Промоделировать работу всех считывателей на шаг моделирования вперед

29. Если прошел период обучения, то модифицировать силы всех возбуждающих химических синапсов

31. Передать событие о прогрессе выполнения задачи

32. Конец цикла 2.

33. Конец цикла 1.

34i Сбросить все временные переменные

35. Записать статистику по количеству записанных событий

Конец.

Рисунок 6 Алгоритм моделирования импульсной РИС

В случае, если оказалось, что какой-то параметр слабо влияет на показатель качества,

он был перемещен в группу фиксированных параметров. И наоборот, если оказывалось, что

изменением текущих варьируемых параметров не удавалось добиться существенного

изменения динамики, часть фиксированных параметров могла перейти в статус изменяемых.

Когда для одного из показателей качества были получены все необходимые зависимости,

выбирался следующий показатель качества и процесс повторялся.

Входные данные (задача)

Способ подачи Преобразование Характер Сложность Размерность

Начальные условия Аналоговый сигнал Импульсный сигнал Алгоритм преобр-я аналог/импульс Параметры алгоритма Быстрые/медленные случайные/ детерминированные Отсутствует Простые Сложные В пространстве (количество входов) Во времени (длительность представления)

езервуар

Связность

Внутренняя Внешняя

А (среДНЯЯ длина связи). С(плотность связей) 1 (сила связей) /?;„4 (процент подавляющих элементов) Рплг (Шум в сети) /1,1, (процент связей вход-структура) IV,,/, (сила связей)

Тип элементов

Модель нейрона ,„•„ (уровень шума на входе)

Интегрирования-возбуждения

Утечка (есть/нет) г (постоянная времени) Тп^ас (период рефракт-ти)

(потенциал покоя) V«.,,» (потенциал сброса) _0 (порог)_

Ижикевича

/>, с, й (четверка параметров, определяющая тип динамики)

Тип связей

Другие модели -Ходжки на-Хаксли, Мориса-Лекара, Фитцху-Нагумо

О (порог срабатывания)

Модель синапса таещ (задержка) и' (сила связи)

Обучение

Функция обучения Ткаг„ - период

Л

Электрический

Нулевая задержка

Химический статический

т„„ (пост, времени затухания)

Химический динамический

17 (использование в покое) О (пост.времени восстановления) ¥ (пост.времени разгрузки)

Химический с пластичностью

*>т<а (макс, сила) &ют1„ (мин. приращение)

(пост, времени забывания)

Экспоненциальн ая

Тир, Ti.ro - пост, времени Хомт, Х&по ~ макс, приращение

Пороговая

л г А Т ■ -

'-1 * тих, —1« тш

пороги

!лш> Аж» - макс приращения

Гауссоида

С(центр) // (ширина) (макс.) В (мин.)

пороги

Считыватель

Анализ динамики Преобразование Снижение размерности Классификация Кластеризация

Показатели динамики Алгоритм преобразования и параметры алгоритма Алгоритм (РСА, ЬОА) Параметры алгоритма (число компонент) Алгоритм (knn, Bayes) Параметры алгоритма (К) Алгоритм (ктеаш, gmm) Параметры алгоритма

Рисунок 7 Обобщенная иерархия параметров МНС

В результате всех экспериментов для различных параметров были получены зависимости их влияния на различные показатели динамики и качества распознавания. В результате анализа полученных зависимостей методика была вписана в общую схему решения задачи распознавания и расписана по шагам (рисунок 8).

1. Анализ задачи (входных данных) 4. Оценка качества

Нормализация Выбор способа подачи на вход резервуара а. Выбор критериев (показателей) качества б. Оценка критериев в. Сравнение с требуемыми

і

2.1 ни им рс<1'|>н>ар:1

а. Выбор типов нейронов и синапсов в зависимости от сложности задачи б. Задание фиксированных параметров резервуара в. Определение рекомендуемых диапазонов варьируемых параметров г. Задание варьируемых параметров д. Подстройка варьируемых параметров для улучшения показателей качества резервуара 3. Выбор считывателя

а. Выбор алгоритма преобразования и его параметров на основании динамики резервуара б. Выбор алгоритма сокращения размерности аналогового сигнала в. Выбор алгоритма классификации/ кластеризации г. Подбор наилучших параметров классификатора

Рисунок 8 Методика синтеза в общей схеме решения задачи распознавания

В пятой главе «Пример применения методики» полученная методика была проверена на простых и сложных данных. В качестве простых данных были взяты так называемые образы Ижикевича, представляющие собой волны импульсов, распространяющиеся в разные стороны в пространстве. По методике были выбраны параметры РНС и считыватели, система, как и ожидалось, справилась с задачей без ошибок, что подтверждает корректность предлагаемой методики. Схема решения проиллюстрирована на рисунке 9.

В качестве сложных образов были выбраны ЭКГ двух типов - нормальные и с аритмией. Для подачи ЭКГ на вход Р11С в соответствии с методикой был выбран алгоритм преобразования данных из аналоговой формы в импульсную (рисунок 10).

Далее были выбраны параметры резервуара и считывателей. В качестве нейронов были использованы нейроны Ижикевича.

£ 100 - М-

& -з: ï й. 50- 5*.

о X 0-

0.7

50-

.кг*:-

*• -V * *

1.5 1

0.5 0

—г

0.8

0.3

I і- :*•

о

0.4

її Г 1 ■1 і

111 II., і Jb__.1.1 jMI.

0 5( 'О 100

1 О

Реакция импульсной НС на два разных входных образа

Считыватель -преобразование импульс-> аналог

«класс 2»

Считыватель -—► РСА, 2

компоненты

Считыватель --► классификатор Naïve Bayes

Рисунок 9 Процедура работы МНС при подаче на ее вход двух простых образов

M 1,

ТШ.....

v : «î

На 1-І

......i i - rf u) :

t Ш m m Iі

¡M ivj..\Î! : f ;| f; j ,j ;

Ш'ЫШЫ

200 100 0 -100

0

200 100 0 -100

0.1

0.2

0.1 0.2

t, с

0.3

r-

і -5'

0.3 S

f-10

0.1 o.::

Время, о

Рисунок 10 Пример ЭКГ, используемых при распознавании (а), данные в непрерывной форме (б) и после преобразования аналог-импульс (в)

Образы подавались на вход системы по очереди. Полученные результаты качества распознавания - 88 процентов распознавания нормального ритма и 81.4 процентов распознавания аритмии были выше в среднем на 3-5 процентов чем в классических методах -структурном и статистическом, что также подтверждает правильность разработанной методики и показывает качественно лучшие результаты, которые могут быть получены на основе МНС.

В заключении полученные результаты сопоставлены с целью и задачами работы, сформулированными в первой главе. Также оценена теоретическая и практическая значимость работы.

В Приложении П1 «Интерфейс среды моделирования» приведено руководство пользователя разработанной среды моделирования 8КЫМ_Мос)еШгщ с подробным описанием интерфейса, способов задания входных данных и экспорта результатов. В приложении П2 «Акты внедрения» приведены копии актов о внедрении результатов работы.

ЗАКЛЮЧЕНИЕ

Основные результаты работы можно сформулировать следующим образом:

1) разработана методика синтеза импульсной РНС;

2) разработана среда проектирования и исследования импульсных РНС;

3) предложен подход к исследованию свойств и настройке импульсных РНС в составе систем распознавания динамических образов, заключающийся в разделении динамической (резервуара) и статической (считывателя) частей системы распознавания, что позволяет исключить нежелательное влияние на результаты настройки статической части системы;

4) разработан математический и методический базис моделирования импульсных РНС:

- новые алгоритмы моделирования (импульсных РНС с разными типами

нейронов, синапсов и задержек);

- обобщенная структура представления входных/выходных данных;

5) предложена новая модель резервуара, базирующаяся на нейронах Ижикевича;

6) разработана новая классификация РНС с позиций динамических систем и с учетом нового класса РНС, основанная на систематизации знаний в данной предметной области знаний.

На основании решенных в работе задач можно определить рекомендации и перспективы дальнейшей разработки темы:

1) использование разработанной методики для решения новых актуальных задач в нейро-управлении, идентификации и диагностике;

2) исследование динамики МНС при использовании новых моделей нейронов, синапсов;

3) исследование динамики МНС для новых способов формирования ее структуры, в том числе с адаптацией (самообучением) РНС в ходе ее функционирования;

4) исследование возможностей МНС при введении обратной связи со считывателей;

5) усовершенствование и разработка новых критериев выбора параметров РНС по ее динамике.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Никитин, К. В. Новый подход к применению рекуррентных нейронных сетей для решения задач распознавания образов / К. В. Никитин, Е. Н. Бендерская // Научно-технические ведомости СПбГПУ. - 2007. - Т. 2, № 4. - С. 85-92.

2. Никитин, К. В. Моделирование нейронной активности мозга и бионспирированные вычисления / К. В. Никитин, Е. Н. Бендерская // Научно-технические ведомости СПбГПУ. - 2011. - Т. 2, № 6-2(138). - С. 34-40.

3. Никитин, К. В. Рекуррентные нейронные сети в задачах распознавания образов / К. В. Никитин, Е. Н. Бендерская // Материалы IX Международной конференции «Интеллектуальные системы и компьютерные науки». - М., 2006. - Т. 1,4. 1. - С. 59-69.

4. Никитин, К. В. Исследование возможностей рекуррентных нейронных сетей с неустойчивой динамикой для решения задач классификации / К. В. Никитин, Е. Н. Бендерская // Научная сессия МИФИ-2007. IX Всероссийская Научно-техническая конференция «Нейроинформатика-2007» : сборник научных трудов. - М., 2007. - Ч. 3. - С. 191 -198.

5. Никитин, К. В. Идентификация параметров хаотической нейронной сети в задачах управления распознаванием образов / К. В. Никитин, Е. Н. Бендерская, С. В. Жукова // Вычислительные, измерительные и управляющие системы : сборник научных трудов. - СПб., 2006. - С. 33-36.

6. Никитин, К. В. Разработка теоретических основ рекуррентных нейронных сетей с неустойчивой динамикой / К. В. Никитин, Е. Н. Бендерская // Всероссийская конференция по проблемам науки и высшей школы «Фундаментальные исследования и инновации в технических университетах». - СПб., 2007. - С. 163-164.

7. Никитин, К. В. Распознавание динамических образов с помощью рекуррентных нейронных сетей // Материалы Всероссийского форума студентов, аспирантов и молодых ученых «Наука и инновации в технических университетах». СПб., 2007. - С. 50-51.

8. Никитин, К. В. Рекуррентные нейронные сети с неустойчивой динамикой в задачах распознавания изменяющихся во времени образов / К. В. Никитин, А. Л. Пяйт // Молодые ученые

- промышленности Северо-Западного региона: Материалы конференций Политехнического симпозиума 2006 года. - СПб., 2007. - С. 33-34.

9. Никитин, К.В. Решение задачи распознавания образов на основе синергетической нейронной сети / К. В. Никитин, Е. Н. Бендерская // XXXIV Неделя науки СПбГПУ: Материалы Всероссийской межвузовской научно-технической конференции студентов и аспирантов. - СПб., 2006. - Ч. 5.-С. 10-12.

10. Никитин, К. В. Использование неустойчивой динамики рекуррентных нейронных сетей для моделирования активности мозга // Молодые ученые - промышленности СевероЗападного региона: материалы конференций Политехнического симпозиума 2006 года. - СПб., 2006.-С. 85.

11. Никитин, К. В. Моделирование импульсных рекуррентных нейронных сетей в задачах распознавания образов / К. В. Никитин, Е. Н. Бендерская // Технологии Microsoft в теории и практике программирования: Материалы межвузовского конкурса-конференции студентов, аспирантов и молодых ученых Северо-Запада. - СПб., 2007. - С. 113-114.

12. Nikitin, К. Pattern recognition control by Synergetic Computer / K. Nikitin, S. Zhukova // Proc.of the 11 th Int. Student Olympiad on Automatic Control (BOAC-2006). - SPb., 2006. - P. 173-177.

Подписано в печать 05.07.2013. Формат 60x84/16. Печать цифровая. Усл. печ. л. 1,0. Тираж 100. Заказ 10815Ь.

Отпечатано с готового оригинал-макета, предоставленного автором, в типографии Издательства Политехнического университета. 195251, Санкт-Петербург, Политехническая ул., 29. Тел.: (812) 550-40-14 Тел./факс: (812)297-57-76

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Санкт-Петербургский государственный политехнический университет»

04201 361 937

Никитин Кирилл Вячеславович

ПРИМЕНЕНИЕ ИМПУЛЬСНЫХ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ОБРАЗОВ

Специальность 05.13.01 — Системный анализ, управление и обработка информации (информатика)

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель: кандидат технических наук, доцент Бендерская Елена Николаевна

Санкт-Петербург 2013

Оглавление

Оглавление..............................................................................................................................................2

Введение..................................................................................................................................................6

1. Импульсные рекуррентные нейронные сети з задачах распознавания образов.......................14

1.1. Рекуррентные нейронные сети....................................................................................................14

1.1.1. Классификация РНС..................................................................................................................15

1.1.2. Структура РНС...........................................................................................................................17

1.1.3. РНС как динамическая система................................................................................................18

1.1.4. Анализ динамики РНС...............................................................................................................26

1.1.5. Обучение РНС............................................................................................................................27

1.1.6. Вычисления в РНС.....................................................................................................................28

1.2. Импульсные НС.............................................................................................................................32

1.2.1 Импульсные нейроны.................................................................................................................32

1.2.2. Химические синапсы.................................................................................................................36

1.2.3. Импульсные НС..........................................................................................................................36

1.2.4. Обучение импульсных НС........................................................................................................36

1.2.5. Импульсное кодирование..........................................................................................................37

1.2.6. Вычисления в импульсных НС.................................................................................................37

1.2.7. Моделирование импульсных НС..............................................................................................39

1.3. Распознавание динамических образов........................................................................................39

1.3.1. Распознавание образов..............................................................................................................39

1.3.2. Распознавание динамических образов.....................................................................................40

1.3.3. РНС в распознавании динамических образов.........................................................................43

1.4. Выводы...........................................................................................................................................43

2. Анализ исследуемой модели и ее состав.......................................................................................46

2.1. Интерпретация МНС с точки зрения ее функционирования....................................................46

2.2. Структура модели МНС...............................................................................................................48

2.3. Импульсные нейроны...................................................................................................................49

2.3.1. Модели типа Интегрирование-Возбуждение..........................................................................49

2.2.2 Детальная модель Ходжкина-Хаксли........................................................................................52

2.3.3. Модели сокращенной размерности..........................................................................................54

2.2.2 Нейрон Ижикевича......................................................................................................................56

2.3. Синапсы..........................................................................................................................................58

2.3.1. Электрические синапсы.............................................................................................................58

2.3.2. Химические синапсы.................................................................................................................59

2.3.3. Динамические синапсы..............................................................................................................61

2.3.4. Синапсы с пластичностью.........................................................................................................62

2.3.5 Моделирование сигнала на входе импульсных нейронов......................................................67

2.4. Импульсное кодирование.............................................................................................................68

2.4.1. Кодирование да/нет....................................................................................................................69

2.4.2. Фазовое кодирование.................................................................................................................69

2.4.3. Частотное кодирование.............................................................................................................69

2.4.4. Популяционное или пространственно-временное кодирование...........................................70

2.4.5. Кодирование на основе синхронизации...................................................................................70

2.5. Машина неустойчивых состояний...............................................................................................71

2.5.1. Математическая модель.............................................................................................................71

2.5.2. Основные свойства системы распознавания на основе МНС................................................72

2.5.3. Резервуар МНС...........................................................................................................................73

2.5.4. Считыватели МНС.....................................................................................................................74

2.6. Итоговое аналитическое описание модели импульсной РНС..................................................76

2.7. Метод исследования - кибернетическая физика.......................................................................78

2.8. Выводы...........................................................................................................................................79

3. Реализация среды моделирования импульсных РНС...................................................................81

3.1. Обоснование необходимости разработки среды моделирования............................................81

3.2. Требования к разрабатываемой среде моделирования..............................................................82

3.3. Функциональная декомпозиция...................................................................................................83

3.4. Пользовательский интерфейс.......................................................................................................86

3.5. Алгоритмы моделирования..........................................................................................................86

3.5.1. Особенность моделирования динамических синапсов..........................................................87

3.5.2. Особенность моделирования синаптической пластичности..................................................87

3.5.3. Алгоритм моделирования импульсных РНС...........................................................................88

3.6. Структура представления входных данных...............................................................................95

3.7. Возможности разработанной среды моделирования.......................... .......................................97

3.8. Выводы...........................................................................................................................................98

4. Разработка методики синтеза импульсной РНС.........................................................................100

4.1. Последовательность этапов разработки методики..................................................................100

4.2. Определение иерархии подсистем, составляющих модель....................................................102

4.3. Исследование подсистем, составляющих импульсную РНС..................................................103

4.3.1. Исследование способов представления входных данных....................................................103

4.3.2. Исследование моделей нейронов............................................................................................108

4.3.3. Исследование синапсов...........................................................................................................128

4.3.4. Исследование структуры импульсных РНС..........................................................................134

4.4. Определение иерархии параметров модели.............................................................................142

4.4.1. Параметры входных данных...................................................................................................142

4.4.2. Параметры резервуара.............................................................................................................142

4.4.3. Параметры считывателей........................................................................................................144

4.4.4. Обобщенная иерархия параметров.........................................................................................145

4.4.5. Анализ зависимости, выбор варьируемых и фиксированных параметров.........................147

4.4.6. Анализ влияния параметров и выбор диапазонов их изменения........................................148

4.5. Определение набора возможных задач и показателей качества............................................150

4.6. Исследование и анализ влияния параметров............................................................................151

4.7. Разработка обобщенной методики синтеза..............................................................................171

4.8. Выводы.........................................................................................................................................180

5. Применение методики...................................................................................................................181

5.1. Применение на простых задачах...............................................................................................181

5.1.1. Описание задачи.......................................................................................................................181

5.1.2. Применение методики.............................................................................................................181

5.2. Применение на реальных данных..............................................................................................190

5.2.1. Описание задачи.......................................................................................................................190

5.2.2. Применение методики.............................................................................................................190

5.3. Выводы.........................................................................................................................................195

Заключение.........................................................................................................................................197

Список сокращений и условных обозначений................................................................................201

Список литературы............................................................................................................................203

Приложение П1..................................................................................................................................214

П1.1. Общие сведения........................................................................................................................214

П1.2. Главное окно программы.........................................................................................................214

П1.2.1. Главное меню.........................................................................................................................216

П 1.2.2. Панель инструментов............................................................................................................216

П 1.2.3. Перемещение окон................................................................................................................217

П1.2.4. Символы работы....................................................................................................................217

П1.3. Окно задания параметров........................................................................................................218

П 1.3.1. Общая информация...............................................................................................................218

П1.3.2. Параметры эксперимента.....................................................................................................219

П 1.3.3. Структура...............................................................................................................................220

П1.3.4. Нейрон....................................................................................................................................223

П1.3.5. Синапсы..................................................................................................................................226

П1.3.6. Обучение................................................................................................................................227

П1.3.7. Задача или входные и выходные данные............................................................................231

П1.3.8. Моделирование......................................................................................................................238

П1.3.9. Свойства.................................................................................................................................239

П1.4. Интерфейс окна визуализации................................................................................................239

П 1.4.1. Общая информация...............................................................................................................239

П1.4.2. Контекстное меню.................................................................................................................241

Приложение П2..................................................................................................................................242

Введение

Актуальность темы исследования и степень ее разработанности

Искусственный интеллект. К настоящему времени окончательно сформировалось новое научное направление - искусственный интеллект (ИИ) [24]. В рамках этого направления разрабатываются различные теории с попыткой найти ключ к пониманию естественного интеллекта. Все эти теории можно отнести к двум группам в зависимости от подхода, который используется при их разработке. Первый подход - формально-логический - моделирует высокоуровневые процессы, происходящие в мозге. К нему относятся системы логического вывода [42], базы знаний [11] и экспертные системы [70]. Зачастую задействуются идеи из психологии [7, 44]. При биологическом подходе напротив сосредотачиваются на создании как можно более детальных моделей мозга и решении с их помощью интеллектуальных задач. К этому подходу относится теория нейронных сетей [64], эволюционные вычисления, генетические алгоритмы [113] и др.

В рамках формально-логического подхода, как правило, удается решить лишь небольшую часть интеллектуальных задач при достаточно жестких накладываемых ограничениях, этот подход может использоваться лишь для формализуемых задач [48]. Однако остается огромное количество неформализуемых задач, для которых не найдено эффективного способа решения в рамках формально-логического подхода - распознавание, сегментация визуальных, звуковых образов, координированное управление системами с большим числом степеней свободы, внимание и др.

Нейронные сети. Начиная с середины 20-го века, активно развивалась теория нейронных сетей - область науки, связанная с моделированием человеческого мозга по его образу и подобию [37, 64, 69]. За последующие полвека нейронаука успела дать большое количество моделей нейронных сетей (НС), решающих те или иные интеллектуальные задачи. Наибольшую известность получили такие модели НС [183], как персептрон Розенблатта [49], многослойные НС прямого распространения (НСПР), НС Хопфилда (НСХ), самоорганизующиеся карты признаков (SOM) Кохонена, сети адаптивного резонанса (ART) Гроссберга, нейронные сети с радиально-базисными функциями (РБФНС), рекуррентные НС (РНС).

Развитие компьютерных технологий дало новый импульс развитию НС. Если вначале исследовались более простые модели нейронов и НС, то развитие вычислительной техники позволило создавать более сложные модели нейронов с большей детализацией и учетом

подробностей, присущих биологическому прототипу [186]. Старые модели НС оказались «ограниченными» по возможностям, в их основе лежали классические принципы обработки информации. Новые открытия в нейробиологии потребовали внедрения в НС принципиально новых идей.

1. Начали использоваться более реалистичные модели нейронов и синапсов [109, 130]. Появилось понятие биологически ориентированной НС, составляющие которой максимально приближены к биологическим прототипам (импульсные нейроны, дендритные деревья, динамические синапсы). Это позволило выйти на другой уровень понимания обработки информации в НС. Большой вклад в развитие новых биологически приближенных моделей нейронов и НС внесли ученые: Ижикевич Е. [132], Романов С. П., Abbott L., Brúñele N., Cowan J., Dayan P. [98], Destexhe A., Fitzhugh R., Hodgkin A. [120], Huxley A., Gerstner W. [109], Kistler W.M., Lansky P., Nagumo J., Markram H. [152], Tuckwell H. C., Trappenberg T. [188], Tsodyks M.V, Wilson H [196].

2. Структура и топология НС претерпели изменения. От простых сетей прямого распространения исследования перешли на более сложные рекуррентные НС (РНС), имеющие сложную пространственную организацию [112]. Основы теории РНС были заложены в работах ученых: Прохоров Д. [165], Almeida L. [72], Amari S. А. [73], Amit D. [74], Anderson J. A., Elman J. L. [102], Grossberg S., Haykin S. [64], Haken H. [65], Hochreiter S. [119], Hopfield J. J. [121], Kohonen T. [20], Hinton G.E., Lippmann R. P. [145], McClelland J. L., Mozer M.C. [156], Rumelhart D.E. [168], Schmidhuber J., Sejnowsky T. J. [171], Sompolinsky H. [176], TankD. W. [180], Williams, R.J. [195], Zak M [198], Zipser D.

3. Началось активное исследование НС, работающих в сложных динамических режимах после открытия того, что динамический хаос в человеческом мозге является его нормальным режимом функционирования [6]. В результате появились осцилляторные [161] и хаотические [114] НС. Исследования динамических режимов и моделей НС отражены в работах ученых: Андреев Ю. В. [1, 75], Борисюк Р. М. [83], Казанович Я. Б. [138], Рабинович М. И. [108], Ermentrout В. [103], Freeman W. J. [106], Gray С. [162], Jirsa V. К. [133], Hoppensteadt F. С. [124], Ivancevic V. G. [129], Kaneko К. [136], Kelso S. [139], von der Malsburg C. [181], Wang D. L [192].

HC, построенные на данных идеях, стали применяться для решения новых задач и одной из основных таких задач стало распознавание динамических образов [91].

Распознавание динамических образов.

В задаче распознавания динамических образов входной сигнал, подлежащий распознаванию, рассматривается не в статике, а в динамике и основная информация об образе

содержится в траектории изменения входного сигнала во времени. В результате образ получает новое измерение - время, что значительно усложняет решение задачи распознавания.

Распознавание динамических образов имеет много практических приложений: в обработке аудио информации - распознавание речи [166], мелодий; в обработке видео последовательностей [30] и компьютерном зрении - распознавание жестов, мимики лица, детектирование движения, сопровождение целей; в прогнозировании - предсказание временных рядов; в диагностике - выставление диагнозов по ЭКГ [160], ЭЭГ, тремору пальцев; в управлении [13, 52] - идентификация и управление объектами.

Все существующие методы распознавания динамических образов делятся на структурные [62] (синтаксические) и статистические [9]. Структурные методы основаны на использовании априорной информации, синтаксисе входных сигналов, они разрабатываются под конкретный тип сигнала - речь, видеоряд, финансовые показатели, погода. Однако часто требуется решать задачу распознавания в такой постановке, при которой информация о структуре входного сигнала отсутствует. В этом случае используются статистические методы распознавания, основной проблемой которых является необходимость выбора соответствующих метр�