автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Синтез объектной нейросетевой модели распознавания образов и её применение в задачах железнодорожной автоматики

На правах рукописи

Зуев Денис Владимирович

СИНТЕЗ ОБЪЕКТНОЙ НЕЙРОСЕТЕВОЙ МОДЕЛИ РАСПОЗНАВАНИЯ ОБРАЗОВ И ЕЁ ПРИМЕНЕНИЕ В ЗАДАЧАХ ЖЕЛЕЗНОДОРОЖНОЙ АВТОМАТИКИ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

12 ДЕК 2013

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2013

005543808

005543808

Диссертация выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Петербургский государственный университет путей сообщения» на кафедре «Высшая математика».

Научный доктор физико-математических наук, доцент

руководитель: Благовещенская Екатерина Анатольевна

Официальные доктор технических наук, доцент

оппоненты: ФГБОУ ВПО «Санкт-Петербургский государственный политехнический университет» Тархов Дмитрий Альбертович

кандидат технических наук, доцент

ФГБОУ ВПО «Санкт-Петербургский государственный электротехнический университет» Никитин Александр Владимирович

Ведущая Федеральное государственное бюджетное

организация: образовательное учреждение высшего

профессионального образования «Московский государственный университет путей сообщения»

Защита диссертации состоится 20 декабря 2013 г. в 13 ч. 00 мин. на заседании диссертационного совета Д 218.008.06 на базе Петербургского государственного университета путей сообщения по адресу: 190031, г. Санкт-Петербург, пр. Московский, 9, ауд. 1-217.

С диссертацией можно ознакомиться в библиотеке Петербургского государственного университета путей сообщения.

Отзывы на автореферат в двух экземплярах просим направлять в адрес ученого совета университета.

Автореферат разослан 20 ноября 2013 г.

Ученый секретарь

диссертационного совета уФу' О Кудряшов

кандидат технических наук ■^//^г^' Владимир Александрович

профессор і " V ^

]

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Исследования и результаты, представленные в диссертационной работе, являются актуальными в трех областях: железнодорожной отрасли, системах распознавания, вычислительных методах.

На сегодняшний день в хозяйстве автоматики и телемеханики ОАО «РЖД» внедрена система ведения электронного документооборота технической документации АРМ-ВТД. Основной проблемой для получения полного эффекта от использования АРМ-ВТД является наличие огромного количества технической документации, представленной на бумажных носителях. Значительная часть этой документации является «старой», созданной без применения компьютера. При этом основная часть новой технической документации хоть и выполняется средствами автоматизированного проектирования, но передается в группы технической документации дорог на бумажных носителях. Переводом в электронный вид на сегодняшний день занимаются сотни сотрудников групп технической документации дорог и сторонние бюро по переводу. Ввиду того, что документация переводится вручную, на перевод тратится большое количество времени, и этот процесс является экономически затратным.

Очевидным способом значительно ускорить и удешевить перевод технической документации является разработка автоматизированных средств распознавания. Анализ существующих средств показал, что во многих случаях они являются не вполне пригодными для практического применения при распознавании различных видов рукописной технической документации автоматики и телемеханики.

В настоящий момент на рынке представлено относительно небольшое количество готовых систем распознавания образов (Abby Fine Reader, Cuneiform и некоторые другие). Эти системы, в основном, направлены на распознавание текстов, созданных на компьютере. В хозяйстве автоматики и телемеханики существуют семь основных типов документов: схематический план станции, двухниточный план станции, принципиальная схема, монтажная схема, кабельный план, таблица взаимозависимостей, схема аппаратов управления. Существующие готовые системы не подходят для распознавания этих типов документов.

Также в свободном доступе представлено сравнительно немного объектных моделей, которые принципиально могли бы использоваться программистами, работающими в определенных отраслях, для решения задач распознавания образов. Но известные модели, как правило, являются слишком общими, и приходится тратить значительные усилия для их адаптации к решению задачи распознавания. Поэтому для решения задачи

распознавания всех видов железнодорожной технической документации автоматики и телемеханики целесообразным представляется создание модели, удовлетворяющей следующим требованиям:

• независимость от классифицируемых образов;

• минимальность предобработки образов;

• инвариантность относительно «небольших» сдвигов, поворотов, масштабирования образов;

• поддержка «online» версий алгоритмов обучения.

И наконец, актуальность темы диссертации в вычислительных методах обусловлена необходимостью существенной экономии ресурсов вычислительных систем. Большую популярность сегодня приобретают так называемые «online» версии алгоритмов обучения нейронных сетей (и методов оптимизации в целом), но теоретически эти методы до сих пор не вполне обоснованы.

Как для обучения персептронов, так и для обучения специальных архитектур нейронных сетей, применяемые алгоритмы обучения часто содержат параметры, выбираемые пользователем на основе опыта и известных рекомендаций других авторов ("вручную"). От выбора этих параметров существенно зависит скорость достижения алгоритмом результата. На сегодняшний день нет общей методики автоматизированного выбора таких параметров, что не позволяет повысить эффективность применяемых алгоритмов обучения нейронных сетей.

Вопросы распознавания образов широко представлены в трудах отечественных и зарубежных ученых. В работах ученых Yann Lecun, Steve Lawrence, С. Lee Giles, Ah Chung Tsoi , Andrew D., Leon Bottou, Patrick Haffner исследуются вопросы построения специальных архитектур нейронных сетей, предназначенных для решения задач распознавания образов. В работах В. Н. Вапника, А. Я. Червоненкис разрабатываются и анализируются методы применения технологии SVM для классификации образов. Работы Р. М. Грановской, И. Я. Березной, С. С. Садыкова, И. Р. Самандрова посвящены применению методов скелетизации изображений для решения задач распознавания. И. А. Борисова, М. Э. Питерцев исследуют комбинированные подходы к решению задач распознавания образов.

Существенный вклад в решение задачи распознавания образов для отрасли железнодорожной автоматики и телемеханики внесли В. А. Ходаковский, Е. Ю. Бурсиан, А. Б. Погребняк.

Значительное развитие теоретических методов и практических подходов, применяемых при решении задач распознавания образов, получено в работах М. Н. Василенко, А. А. Корниенко, В. Г. Трохов, А. Д. Хомоненко, В. В. Гарбарук, Е. А. Благовещенская, А. А. Флоринский, Д. А. Тархов, А. В. Никитин, Д. В. Ефанов.

Объектом исследования диссертационной работы является

нейронная сеть, предназначенная для решения задач распознавания документации железнодорожной автоматики и телемеханики.

Предмет исследования - методы и алгоритмы синтеза структур нейронных сетей для решения задач распознавания.

Целью диссертационной работы является создание адаптивного метода распознавания рукописной технической документации железнодорожной автоматики и телемеханики. Для достижения поставленной цели в работе решена научная задача: совершенствование методов синтеза нейросетевых объектных моделей и повышение эффективности работы алгоритмов их обучения.

Для достижения поставленной цели и решения научной задачи в работе осуществляется решение следующих подзадач исследования:

1. Разработка методов автоматизированного выбора параметров алгоритмов обучения нейронных сетей.

2. Постановка и доказательство теоремы сходимости «online» версии алгоритма обучения и его геометрическая интерпретация.

3. Синтез универсальной объектной модели распознавания образов.

4. Разработка программного обеспечения метода и экспериментальная проверка его эффективности в задачах распознавания технической документации железнодорожной автоматики и телемеханики.

На защиту выносятся:

1. Метод автоматизированного выбора параметров алгоритмов обучения нейронных сетей.

2. Геометрическая интерпретация процесса сходимости «online» версии алгоритма обучения и теорема о сходимости «online» версии.

3. Создание универсальной объектной модели распознавания монтажных карточек железнодорожной автоматики и телемеханики.

4. Программное обеспечение метода и результаты его экспериментальной проверки.

Методы исследования. Для, решения задач, поставленных в диссертационной работе, использованы методы математического анализа и алгебры, многомерной геометрии, теории оптимизации и теории вероятностей.

При решении задачи распознавания таблиц и фильтрации шумов использованы готовые решения, представленные библиотекой AForge .NET.

Для создания программного обеспечения, реализующего разработанную объектную модель, использована среда разработки Microsoft Visual Studio 2010. Для написания программного кода выбран язык программирования С#.

з

Достоверность научных результатов, полученных в диссертационной работе, основана на строгом применении математических методов и сравнении результатов распознавания с данными натурного эксперимента.

Научная новизна:

1. Разработан метод автоматизированного выбора параметров алгоритмов обучения нейронных сетей.

2. Дано обоснование «online» версий алгоритмов обучения нейронных сетей и определены границы его использования.

3. Разработана нейросетевая объектная модель распознавания монтажных карточек с возможностью выбора специальной структуры сети и оптимального алгоритма обучения в зависимости от обучающей выборки.

Практическая значимость. Результаты исследования и разработанное программное обеспечение позволяют существенно ускорить процесс перевода монтажной технической документации железнодорожной автоматики и телемеханики с бумажных носителей в электронный вид при создании баз данных технической документации.

Апробация и реализация. Полученная в работе объектная модель реализована в виде программного модуля и является функциональным расширением системы ведения электронного документооборота АРМ-ВТД. Оформлен акт внедрения программного обеспечения в систему АРМ-

втд.

Результаты работы докладывались на:

1. 8-й международной конференции по неравновесным процессам в соплах и струях, г. Алушта, 25-31 мая 2010 г.

2. 1-й летней математической школе Балтийского института математики, Польша, г. Гдыня, 16-28 июля 2012 года (отмечена сертификатом).

3. 2-й международной научно-практической конференции «Проблемы математической и естественно-научной подготовки в инженерном образовании», Санкт-Петербург, ПГУПС, 15-16 ноября 2012 г.

4. Семинарах Санкт-Петербургского государственного Университета 2010-2012 г.

5. Семинарах кафедры «Автоматика и Телемеханика», ПГУПС, 2011 г.

6. Заседаниях кафедры «Высшая математика» Санкт-Петербургского государственного Политехнического Университета, 2013 г.

7. VII международной конференции "International Cooperation in Engineering Education", Санкт-Петербургский государственный Политехнический Университет, 2-4 июля 2012 г.

8. Семинаре кафедры «Математика и моделирование», ПГУПС, 2013 г.

9. Сетевой школе по ведению технической документации в хозяйстве СЦБ, Ярославль, 2009 г.

Публикации. По результатам диссертационного исследования опубликовано 9 статей, в том числе 4 статьи в журналах, рекомендованных ВАК.

Структура и объем работы. Диссертационная работа представлена введением, 5 главами, списком литературы и приложениями, при этом имеет 122 страницы основного текста, содержит 36 рисунков, 3 приложения и 3 таблицы. Библиографический список составляют 83 наименования.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, дано описание современного состояния имеющихся подходов перевода технической документации, определен объект исследования и поставлены задачи исследования.

В первой главе работы представлена классификация существующих подходов, связанных с решением задачи распознавания образов (рис. 1).

Рисунок 1 - Основные подходы к решению задачи распознавания образов

Проводится описание и анализ каждого из приведенных подходов, выделяются их достоинства и недостатки. Проводится анализ геометрических образов, содержащихся на различных типах технических документов железнодорожной автоматики и телемеханики. На основе проведенного анализа устанавливается набор требований к системе распознавания образов.

По результатам проведенного анализа делается вывод о том, что представленным требованиям могут удовлетворять нейронные сети, а именно, специальные архитектуры нейронных сетей, предназначенные для решения задач распознавания образов (так называемые, сверточные нейронные сети) (рис. 2.)

Рисунок 2 - Схема сверточной нейронной сети Ьепег-5

Далее проводится анализ существующих программных средств синтеза нейронных сетей. По результатам проведенного анализа существующего программного обеспечения синтеза нейронных сетей выделены основные особенности существующих систем, не позволяющие успешно решить задачу распознавания железнодорожной технической документации автоматики и телемеханики без привлечения новых методов. К таким особенностям относятся:

• поддержка в существующих системах малого количества алгоритмов обучения и сложность синтеза специальных архитектур нейронных сетей;

• принципиальная невозможность создания сверточных нейронных сетей существующими средствами;

• закрытость исходного кода систем.

Глава заканчивается выводами, которые содержат постановку основных задач диссертации.

Во второй главе рассматривается вопрос выбора параметров алгоритмов обучения нейронных сетей. Определяются показатели эффективности работы алгоритмов. Предлагается метод выбора параметров алгоритмов. В качестве объекта для применения предлагаемого метода выбран алгоритм оптимизации первого порядка КРЯОР в применении к задаче минимизации функции ошибки нейронной сети, адаптированный для решения задачи минимизации функции ошибки нейронной сети, так как результаты статистических исследований показывают высокую скорость сходимости алгоритма ЯРЬЮР в сравнении с другими градиентными алгоритмами. Суть предлагаемого метода в применении к алгоритму РРРОР заключается в следующем: в формулах корректировки весов

(

Cn+) * Ai(t - 1), если

<3E(t - 1) dE(t)

> 0;

dWj dwi dE(t- 1) 3E(t)

9W; dWj

< 0;

Ai(t - 1),если

dw; 3wj

V

Aw^t) = :.

Wi(t + 1) = Wi(t) + Aw](t)

r

производится замена величины r|+ на некоторую функцию F(t, а0, аг,..., ап_1), зависящую от переменной t и п параметров а0,а1; ....Эп-!, тогда исходный алгоритм рассматривается как отображение А(Х): Rn э G -> N, ставящее в соответствие набору параметров количество итераций, за которые он выполняется при данных параметрах. Тем самым, задача сводится к задаче минимизации отображения А. Ввиду разрывности отображения, для минимизации предлагается использовать любой метод нулевого порядка.

В конце главы разрабатывается схема использования метода в решении задачи повышения скорости сходимости алгоритмов обучения применительно к обучению нейронных сетей однотипным обучающим выборкам. Таким образом, во второй главе исследует первое положение, выносимое на защиту.

В третьей главе обосновывается актуальность вопроса исследования «online» версий алгоритмов обучения нейронных сетей и методов оптимизации (что подтверждается статьей Яна Лекуна «Gradient-Based Learning Applied to Document Recognition»). Вводятся основные понятия и определения. Формируется теорема о сходимости «online» версии алгоритма, базирующегося на методе градиентного спуска, которая для случая одного нейрона и двух-элементной обучающей выборки формулируется следующим образом:

Пусть нейронная сеть F: R2 -> R состоит из одного нейрона с вектором весовых коэффициентов W Е R2. Обучающая выборка состоит из двух пар (Х1'УД(Х2,у2); Х1( Х2 е R2; у1( у2 е R; ух * у2, векторы Хг = и

Х2 = Cxi'xl) не коллинеарны, активационная функция нейрона дифференцируема и монотонна. Тогда существует единственный вектор

W* = (wj,w2), удовлетворяющий условию

который

находится как классической, так и «online» версией алгоритма обучения сети методом градиентного спуска.

Процесс доказательства заключается в том, что пространство решений уравнения Р(Хх) = ух интерпретируется как прямая L1; пространство решений уравнения F(X2) = у2 интерпретируется как прямая L2, тогда, проводя оптимизацию «online» версией алгоритма метода градиентного спуска, фактически выполняем ортогональное проектирование с одной прямой на другую. Вводя в рассмотрение отображение ф1:Ь2->Ь1 проектирования точки с прямой L2 на прямую Lx и отображение ср2:Ьг —> L2 проектирования точки с прямой Lx на прямую L2, замечаем, что их композиция Ф1°Ф2: -> Lx оказывается сжимающим отображением и, как любое сжимающее отображение (теорема Банаха), оно имеет неподвижную точку. Эта точка и является общим решением системы уравнений

(F(Xx) = уг; lF(X2) = у2,

при этом ортогональное проектирование с одного пространства решений на другое дает геометрическую интерпретацию процесса сходимости «online» версии алгоритма метода градиентного спуска в описанной ситуации. Таким образом, в третьей главе исследуется второе положение, выносимое на защиту.

В четвертой главе формализуется архитектура сверточной нейронной сети Lenet-5, разрабатывается алгоритм распознавания монтажных карточек железнодорожной автоматики и телемеханики. На основе данного алгоритма разрабатываются объектные модели синтеза нейронных сетей и распознавания монтажных карточек. Описание моделей проводится в терминах классов, интерфейсов и их взаимосвязей. Объектная модель синтеза нейронных сетей состоит из следующих базовых типов: нейрон, синапс, активационная функция, слой, карта. Основными функциями модели являются: создать нейрон, создать слой, увязать слои, создать карту нейронов, увязать карты, активировать сеть, обучить сеть.

Модель синтеза нейронных сетей поддерживает как возможность создания обыкновенных перцептронов, так и специальных архитектур сетей, решающих задачи распознавания образов, таких, как неокогнигрон Фукушимы и сверточная сеть. Для создания специальных типов сетей в модели предусмотрены функции создания карт нейронов, увязки карт между собой посредством скользящего окна, увязки карт посредством таблицы связей и другие необходимые методы. Основными характеристиками модели синтеза нейронных сетей являются:

• автоматизированное создание простых конструкций нейронных сетей (персептронов);

• автоматизированное создание сверточных нейронных сетей произвольной архитектуры;

• поддержка алгоритмов обучения различных порядков, среди которых: RPROP, метод градиентного спуска, метод LevenbergMarquardt, метод тяжелого шарика, метод Ньютона;

• поддержка параллельных вычислений на нейронных сетях (как на этапе обучения, так и на этапе классификации);

• поддержка генетических алгоритмов;

• расширяемость.

Основными характеристиками модели распознавания монтажных карточек ЖАТ являются:

• загрузка обучающей базы из каталога;

• конвертация RGB в GrayScale;

• создание нейронной сети исходя из параметров изображения;

• поддержка обучающей и тестовой баз данных;

• сохранение дампов нейронных сетей в процессе обучения.

В главе разработан алгоритм распознавания монтажной карточки, представленный следующими основными этапами (рис. 4):

Очистка отсканированного изображения от шума Сегментация таблицы на ячейки -> Выделение связных компонент внутри ячейки -> Подача связных компонент на нейронную сеть

----------------1.........

V

Распознавание сегментов с низким усредненным МБЕ -> Применение метода скользящего окна к компонентам с высоким МБЕ Синтез распознанных данных -> Внесение данных в электронную монтажную \ карточку

Рисунок 4 - Основные этапы распознавания монтажной карточки

Этапы очистки отсканированного изображения от шума и сегментации таблицы на ячейки выполняются с помощью известной открытой библиотеки AForge .NET. Выделение связных компонент выполняется известным алгоритмом захвата связных областей. В случае низкой усредненной ошибки распознавания связной области в 17-ти положениях символ признается отдельностоящим и вносится в форму монтажной карточки (рис. 5а). В случае высокой усредненной ошибки распознавания область признается «склейкой» нескольких символов и распознается методом скользящего окна, графическая интерпретация которого представлена на рис. 56.

3 3 т 71 3

3 <Г- 3 -> 3

3 1/ і 3 3

МЭЕ

'.и

€ л. э>

Рисунок 56 - Геометрическая интерпретация метода скользящего окна

Процесс распознавания при помощи метода скользящего окна состоит из двух последовательных этапов:

1. скользящее окно проходит . слева направо и фиксирует среднеквадратичную ошибку распознавания (МЕЕ);

2. Распознанные символы выбираются только из тех позиций, где МБЕ меньше порогового.

Распознанные символы заносятся в шаблон монтажной карточки в редактируемом формате. Таким образом, в четвертой главе исследуется третье положение, выносимое на защиту.

В пятой главе описывается подготовка и проведение эксперимента по распознаванию монтажных карточек железнодорожной автоматики и телемеханики. В главе рассматриваются вопросы подготовки базы данных символов для обучения сверточной нейронной сети. Из отсканированной монтажной документации, посредством реализованного автором алгоритма захвата связных областей, обеспечивается получение компонент связности в виде отдельных файлов. Данный процесс представлен на рис. 6.

Рисунок 5а - Положения образа в окне распознавателя

/Ы кон т. 2ПТ

1 81

г ■ 46-1 Г р

э 82

4 1=

л и х л

Рисунок 6 - Процесс сегментации изображений

Следующим этапом производится ручная сортировка компонент по принадлежности к классам. В главе представлено описание получившейся базы данных и ее частотные характеристики. На рис. 7 представлена схема работы программного модуля распознавания монтажных карточек.

Рисунок 7 - Схема работы модуля распознавания

Описывается проведение эксперимента по распознаванию монтажных карточек, которые классифицируются на: созданные на персональном компьютере, созданные на персональном компьютере с ручными вставками, рукописные.

Созданные на персональном компьютере монтажные карточки распознавались в среднем на 97%, созданные на персональном компьютере с ручными вставками на 94%, монтажные карточки, сформированные вручную, распознавались на 90%. Таким образом, в пятой главе исследуется четвертое положение, выносимое на защиту.

В заключении представлены выводы и основные результаты исследования.

1. Разработан метод автоматического выбора параметров алгоритмов обучения.

2. Разработаны рекомендации по выбору первого приближения для разработанного метода.

3. Получена геометрическая интерпретация процесса обучения нейронной сети «online» версиями алгоритмов обучения.

4. Поставлена и доказана теорема о сходимости «online» версии алгоритмов обучения нейронной сети.

5. Разработаны объектные модели распознавания образов и распознавания монтажной документации железнодорожной автоматики и телемеханики.

6. Разработан алгоритм распознавания пересекающихся образов.

7. Разработан программный комплекс распознавания монтажной документации железнодорожной автоматики и телемеханики.

8. Разработан алгоритм повышения качества распознавания в процессе эксплуатации программного комплекса.

9. Проведены экспериментальные исследования, подтверждающие эффективность работы созданного программного комплекса и предложенных в работе методов.

В приложениях приведен список обозначений и программный код

объектных моделей.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, которые входят в перечень, рекомендованный ВАК Министерства образования и науки Российской Федерации:

1. Д. В. Зуев, С. В. Бочкарев, В. В. Дмитриев. Анализ диагностической информации. Автоматика, связь, информатика, № 9,2013, с. 16-18.

2. М. Н. Василенко, А. М. Горбачев, Д. В. Зуев, Е. В. Григорьев. Автоматизированная система экспертизы схемных решений железнодорожной автоматики и телемеханики. Транспорт Российской федерации. № 5. 2011. - С. 64-67.

3. П. Е. Булавский, Д. X. Баратов, Д. В. Зуев. Методы оптимизации при координации взаимодействия организаций, участвующих в заказах оборудования для систем СЦБ. // Вестник Ростовского Государственного Университета Путей Сообщения : Научно-технический журнал / МПС РФ. - Ростов н/д : РГУПС. - 2010. - N 2. -С. 68-73.

4. М. Н. Василенко, Д. В. Зуев. Контроль жизненного цикла СЖАТ. // Автоматика, связь, информатика, № 1,2011, с. 55—56.

Публикации в изданиях, которые не входят в перечень, рекомендованный ВАК Министерства образования и науки Российской Федерации:

1. Blagoveshchenskaya Е.А., Zuev D. V., Kirichenko A. R, Guselnikova I.V. Application of convolutional neural network in safety problems. Материалы VII International Conference "International Cooperation in Engineering Education" Санкт-Петербургский Политехнический Университет 2-4 июля 2012 г.

Благовещенская Е. А., Зуев Д. В., Кириченко А. Р., Гусельникова И. В. Применение сверточной нейронной в вопросах безопасности // Материалы VII International Conference "International Cooperation in Engineering Education" Санкт-Петербургский Политехнический Университет 2-4 июля 2012 г.

2. Д. В. Зуев Нейронная сеть, классифицирующая линейные операторы. Изд: Математика в вузе и в школе. Санкт-Петербургский государственный университет путей сообщения 2011 г.

3. Г. Ф. Гасонов, М. Н. Василенко, В. Г. Трохов, Д. В. Зуев. Новые функциональные возможности АРМ-ВТД и перспективы развития электронного документооборота. Сборник докладов 6-й международной научно-практической конференции «Транс ЖАТ-2012» 2012 г.

4. Е. А. Благовещенская, И. В. Гусельникова, Д. В. Зуев. Связь прямых разложений Абелевых групп без кручения с параллельными формами алгоритмов. Материалы 8-й международной конференция по неравновесным процессам в соплах и струях, г. Алушта, 2010 г.

5. D. Zuev, S. Bochkarev. solution of the problem of noninvariance of using connectionist method for image recognition, materials of the II international research and practice conference, Vol. I, Munich, December 18-19, 2012; Germany, 2012 -650p 257-259 p.

Д. Зуев, С. Бочкарев. решение проблемы неинвариантности применения нейросетевого метода для распознавания образов. // материалы второй международной исследовательской конференции, Тот 1, Munich, Декабрь 18-19, 2012; Германия, 2012 -650 стр 257-259

Подписано к печати 19.11.2013г. Печ. л.-1.0

Печать - ризография Бумага для множит, апп. Формат 60x84 1/ 16

Тираж 100 экз._Заказ № НЧЦ __

СР ПГУПС 190031, С.-Петербург, Московский пр., 9

На правах рукописи

04201455360 —

Зуев Денис Владимирович

СИНТЕЗ ОБЪЕКТНОЙ НЕЙРОСЕТЕВОЙ МОДЕЛИ РАСПОЗНАВАНИЯ ОБРАЗОВ И ЕЁ ПРИМЕНЕНИЕ В ЗАДАЧАХ ЖЕЛЕЗНОДОРОЖНОЙ АВТОМАТИКИ

Специальность 05.13.18 - Математическое моделирование, численные

методы и комплексы программ

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель:

д. ф-м. н., профессор Благовещенская Е. А.

Санкт-Петербург

2013

Оглавление

Введение...................................................................................................................4

1. Анализ существующих методов распознавания образов и особенности их применения в задачах железнодорожной автоматики.......................................14

1.1.Анализ существующих программных средств распознавания образов. 14

1.2. Анализ существующих методов распознавания образов........................17

1.3.Требования к методу распознавания железнодорожной технической документации. Выбор метода распознавания.................................................27

1.4. Анализ существующих нейросетевых программных средств распознавания образов.......................................................................................29

1.5.Выводы и постановка задач исследования................................................32

2. Разработка метода выбора параметров для алгоритмов обучения нейронных сетей....................................................................................................34

2.1. Адаптация алгоритма RPROP для решения задачи минимизации функции ошибки нейронной сети.....................................................................34

2.2.Разработка метода оптимизации алгоритмов обучения нейронных сетей. Применение метода для оптимизации алгоритма RPROP.............................36

2.3.Разработка схемы применения метода для решения задачи минимизации функции ошибки нейронной сети............................................38

2.4.Примеры допустимых функций и результаты применения метода к оптимизации алгоритма RPROP.......................................................................39

2.5.Выводы по второму разделу.......................................................................41

3. Особенности сходимости и условия применения online версий алгоритмов обучения нейронных сетей..............................................................43

3.1.Параллельные и последовательные версии алгоритмов обучения

нейронных сетей.................................................................................................43

3.2.Теорема о сходимости последовательной версии алгоритма обучения

нейронной сети. Условия сходимости.............................................................44

3.3.Выводы по третьему разделу......................................................................48

4. Построение объектных моделей синтеза нейронной сети и распознавания образов ЖАТ..........................................................................................................49

4.¡.Формализация архитектуры сверточной нейронной сети Ьепе1-5..........49

4.2.Построение объектной модели синтеза нейронных сетей.......................54

4.3.Разработка алгоритма распознавания МК ЖАТ.......................................57

4.4.Построение объектной модели распознавания МК ЖАТ........................63

4.5.Выводы по четвертому разделу..................................................................65

5. Применение разработанных методов для распознавания монтажной документации ЖАТ...............................................................................................66

5.1 .Виды монтажной технической документации..........................................66

5.2.Подготовка обучающей базы......................................................................73

5.3.Схема работы программного комплекса распознавания МК ЖАТ. Оценка результатов распознавания..................................................................75

5.4.Выводы по пятому разделу.........................................................................79

Заключение.............................................................................................................80

Список использованных источников...................................................................81

Приложение 1. Используемые обозначения.......................................................88

Приложение 2. Исходный текст программы......................................................89

Введение

На сегодняшний день в хозяйстве автоматики и телемеханики ОАО «РЖД» внедрена система ведения электронного документооборота технической документации АРМ-ВТД [35]. Основной проблемой для получения полного эффекта от использования АРМ-ВТД является наличие огромного количества технической документации, представленной на бумажных носителях. Значительная часть этой документации является «старой», созданной без применения компьютера. При этом, основная часть новой технической документации хоть и выполняется средствами автоматизированного проектирования, но передается в группы технической документации дорог на бумажных носителях. Переводом в электронный вид на сегодняшний день занимаются сотни сотрудников групп технической документации дорог и сторонние бюро по переводу. Ввиду того что документация переводится вручную, на перевод тратится большое количество времени, и этот процесс является экономически затратным.

Очевидным способом значительно ускорить и удешевить перевод технической документации является разработка автоматизированных средств распознавания. Существующие средства плохо решают задачу распознавания именно рукописной технической документации автоматики и телемеханики.

В настоящий момент на рынке представлено относительно небольшое количество готовых систем распознавания образов (Abby Fine Reader, Cuneiform и некоторые другие). Эти системы, в основном, направлены на распознавание текстов, созданных на компьютере. В хозяйстве автоматики и телемеханики существуют семь основных типов документов: схематический план станции, двухниточный план станции, принципиальная схема, монтажная схема, кабельный план, таблица взаимозависимостей, схема аппаратов управления. Существующие готовые системы не подходят для распознавания этих типов документов. Также в свободном доступе

представлено довольно мало объектных моделей, которые могли бы использоваться программистами, работающими в определенных отраслях, для решения задач распознавания образов. Известные модели, как правило, являются слишком общими, и приходится тратить значительные усилия для их адаптации к решению задачи распознавания. Представленные объектные модели в основном не поддерживают возможности синтеза специальных, направленных на решение задач распознавания, архитектур нейронных сетей, поэтому для решения задачи распознавания всех видов железнодорожной технической документации автоматики и телемеханики целесообразным представляется создание модели, удовлетворяющей следующим требованиям:

• независимость от классифицируемых образов;

• минимальность предобработки образов;

• инвариантность относительно «небольших» сдвигов, поворотов, масштабирования образов;

• поддержка online методов обучения;

Актуальность темы диссертации в вычислительных методах обусловлена возможностью существенной экономии ресурсов вычислительных систем. Большую популярность сегодня приобретают так называемые «online» версии алгоритмов обучения нейронных сетей (и методов оптимизации в целом), но теоретически эти методы до сих пор не вполне обоснованы [74].

Как для обучения персептронов [44], так и для обучения специальных архитектур нейронных сетей [74], применяемые алгоритмы обучения часто содержат параметры, выбираемые пользователем на основе опыта и известных рекомендаций других авторов ("вручную"). От выбора этих параметров существенно зависит скорость достижения алгоритмом результата. На сегодняшний день нет общей методики автоматизированного

выбора таких параметров, что не позволяет повысить эффективность применяемых алгоритмов обучения нейронных сетей.

Вопросы распознавания образов широко представлены в трудах

отечественных и зарубежных ученых. В работах ученых Yann Lecun, Steve Lawrence, С. Lee Giles, Ah Chung Tsoi, Andrew D., Leon Bottou, Patrick Haffner исследуются вопросы построения специальных архитектур нейронных сетей, предназначенных для решения задач распознавания образов. В работах В. Н. Вапника, А. Я. Червоненкис разрабатываются и анализируются методы применения технологии SVM для классификации образов. Работы Р. М. Грановской, И. Я. Березной, С. С. Садыкова, И. Р. Самандрова посвящены применению методов скелетизации изображений для решения задач распознавания. И. А. Борисова, М. Э. Питерцев исследуют комбинированные подходы к решению задач распознавания образов.

Существенный вклад в решение задачи распознавания образов для отрасли железнодорожной автоматики и телемеханики внесли В. А. Ходаковский, Е. Ю. Бурсиан, А. Б. Погребняк.

Существенный вклад в развитие теоретических методов и практических подходов, применяемых при решении задач распознавания образов, внесли ученые М. Н. Василенко, А. А. Корниенко, В. Г. Трохов, А. Д. Хомоненко, В. В. Гарбарук, Е. А. Благовещенская, А. А. Флоринский, Д. А. Тархов, Д. В. Ефанов.

Существенный вклад в постановку задачи распознавания железнодорожной технической документации автоматики и телемеханики внесли сотрудники ОАО «РЖД» Н. Н. Балуев, Г. Ф. Насонов, В. И. Зиннер, И. Г. Васильев, С. Ф. Драгун, А. Ю. Полуян, сотрудники НТЦ-САПР ПГУПС И. С. Ушаков, С. В. Салихов, сотрудники проектного института «Гипротранссигналсвязь» А. Ф. Ершов, П. С. Ракул, сотрудники проектного института «Ленгипротранс» К. Н. Минин, Д. В. Саввов, Р. В. Побережный.

Объектом исследования является нейронная сеть, предназначенная для решения задач распознавания документации железнодорожной автоматики и телемеханики.

Предмет исследования - методы и алгоритмы синтеза структур нейронных сетей для решения задач распознавания

Целью диссертационной работы является создание адаптивного метода распознавания рукописной технической документации железнодорожной автоматики и телемеханики. Для достижения поставленной цели в работе решена научная задача: совершенствование методов синтеза нейросетевых объектных моделей и повышение эффективности работы алгоритмов их обучения.

Для достижения поставленной цели и решения научной задачи в работе осуществляется решение следующих подзадач исследования:

1. Разработка методов автоматизированного выбора параметров алгоритмов обучения нейронных сетей.

2. Постановка и доказательство теоремы сходимости метода «online» обучения и его геометрическая интерпретация.

3. Синтез универсальной объектной модели распознавания образов.

4. Разработка программного обеспечения метода и экспериментальная проверка его эффективности в задачах распознавания технической документации железнодорожной автоматики и телемеханики.

На защиту выносятся:

1. Метод автоматизированного выбора параметров алгоритмов обучения нейронных сетей.

2. Геометрическая интерпретация метода «online» обучения и теорема о сходимости метода.

3. Универсальная объектная модель распознавания монтажных карточек железнодорожной автоматики и телемеханики.

4. Программное обеспечение метода и результаты его экспериментальной проверки.

Методы исследования. Для решения задач, поставленных в диссертационной работе, использованы методы математического анализа, современной алгебры, многомерной геометрии, теории оптимизации и теории вероятностей.

При решении задачи распознавания таблиц и фильтрации шумов использованы готовые решения, представленные библиотекой AForge .NET.

Для создания программного обеспечения, реализующего разработанную объектную модель, использована среда разработки Microsoft Visual Studio 2010. Для написания программного кода выбран язык программирования С#.

Достоверность научных результатов, полученных в диссертационной работе, основана на строгом применении математических методов и сравнении результатов распознавания с данными натурного эксперимента.

Научная новизна:

1. Разработан метод автоматизированного выбора параметров алгоритмов обучения нейронных сетей.

2. Дано обоснование методов online обучения нейронных сетей. Определены границы его использования.

3. Разработана нейросетевая объектная модель распознавания монтажных карточек с возможностью выбора специальной структуры сети и оптимального алгоритма обучения в зависимости от обучающей выборки.

Практическая значимость. Результаты исследования и разработанное программное обеспечение позволят существенно ускорить процесс перевода монтажной технической документации железнодорожной автоматики и телемеханики с бумажных носителей в электронный вид при создании баз данных технической документации.

Апробация и реализация. Полученная в работе объектная модель реализована в виде программного модуля и является функциональным расширением системы ведения электронного документооборота АРМ-ВТД. Оформлен акт внедрения программного обеспечения в систему АРМ-ВТД.

Результаты работы докладывались на:

1. 8-й международной конференции по неравновесным процессам в соплах и струях, г. Алушта, 25-31 мая 2010 г.;

2. 1-й летней математической школе Балтийского института математики, Польша, г. Гдыня, 16-28 июля 2012 года (отмечена сертификатом);

3. 2-й международной научно-практической конференции «Проблемы математической и естественно-научной подготовки в инженерном образовании», Санкт-Петербург, ПГУПС, 15-16 ноября 2012 г.;

4. семинарах Санкт-Петербургского государственного Университета 2010-2012 г.;

5. семинарах кафедры «Автоматика и Телемеханика», ПГУПС, 2011 г.;

6. заседаниях кафедры «Высшая математика» Санкт-Петербургского государственного Политехнического Университета, 2013 г.;

7. VII международной конференции "International Cooperation in Engineering Education", Санкт-Петербургский государственный Политехнический Университет, 2-4 июля 2012 г.;

8. семинаре кафедры «Математика и моделирование», ПГУПС, 2013 г.

9. сетевой школе по ведению технической документации в хозяйстве СЦБ, Ярославль, 2009 г.

Публикации. По результатам диссертационного исследования опубликовано 8 статей, в том числе 3 статьи в журналах, рекомендованных ВАК.

Публикации. По результатам диссертационного исследования опубликовано 9 статей, в том числе 4 статьи в журналах, рекомендованных ВАК.

Структура и объем работы. Диссертационная работа представлена введением, 5 главами, списком литературы и приложениями, при этом составляет 130 стр. основного текста, содержит 36 рисунков, 3 приложения и 3 таблицы. Библиографический список составляют 83 наименования.

Краткая характеристика работы

Во введении обоснована актуальность темы исследования, дано описание состояния вопроса перевода технической документации, определен объект исследования и поставлены задачи исследования.

В первой главе работы представлена классификация существующих подходов, связанных с решением задачи распознавания образов, проводится описание и анализ каждого из приведенных подходов, выделяются их достоинства и недостатки. Проводится анализ геометрических образов, содержащихся на различных типах технических документов железнодорожной автоматики и телемеханики. На основе проведенного анализа устанавливается набор требований к системе распознавания образов:

По результатам проведенного анализа делается вывод, что представленным требованиям могут удовлетворять нейронные сети, а

именно, специальные архитектуры нейронных сетей, предназначенные для решения задач распознавания образов (так называемые, сверточные нейронные сети). По результатам проведенного анализа существующего программного обеспечения синтеза нейронных сетей выделены основные особенности существующих систем, не позволяющие успешно решить задачу распознавания железнодорожной технической документации автоматики и телемеханики без привлечения новых методов. Кроме того, проанализированы как готовые решения, так и доступные программные модули, предназначенные для использования сторонними разработчиками.

Глава заканчивается выводами, которые содержат постановку основных задач диссертации.

Вторая глава посвящена вопросу выбора параметров алгоритмов обучения нейронных сетей. Определяются показатели эффективности работы алгоритмов. Предлагается метод выбора параметров алгоритмов. В качестве объекта для применения предлагаемого метода выбран алгоритм оптимизации первого порядка RPROP в применении к задаче минимизации функции ошибки нейронной сети, так как результаты статистических исследований показывают высокую скорость сходимости алгоритма RPROP в сравнении с другими градиентными алгоритмами.

В конце главы дается схема использования метода в решении задачи повышения скорости сходимости алгоритмов обучения применительно к обучению нейронных сетей однотипным обучающим выборкам.

Глава заканчивается выводами.

Третья глава начинается с исследования актуальности вопроса обоснования online версий алгоритмов обучения нейронных сетей и методов оптимизации. Даются основные понятия и определения. Доказывается теорема о сходимости опНпе-версии метода градиентного спуска.

Глава заканчивается выводами.

Четвертая глава описывает объектную модель синтеза нейронных сетей и представляет алгоритм распознавания монтажных карточек железнодорожной автоматики и телемеханики. Часть главы составляет описание классо�