автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методы распознавания рукописных текстов в системах автоматизации документооборота на промышленных предприятиях

На правах рукописи

003449 148

ЛА Суан Тханг

МЕТОДЫ РАСПОЗНАВАНИЯ РУКОПИСНЫХ ТЕКСТОВ В СИСТЕМАХ АВТОМАТИЗАЦИИ ДОКУМЕНТООБОРОТА НА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЯХ

Специальность 05 13 06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Москва - 2008

003449148

Работа выполнена в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель Заслуженный деятель науки РФ,

доктор технических наук, профессор Николаев Андрей Борисович

Официальные оппоненты Доктор технических наук, профессор

Строганов Виктор Юрьевич профессор МГТУ им Н Э Баумана

Кандидат технических наук Лукащук Петр Иванович, генеральный директор ООО «Спецстрой-бетон-200»,

Ведущая организация Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г Москва

Защита состоится 16 сентября 2008г в 10 часов на заседании диссертационного совета Д 212 126 05 при Московском автомобильно-дорожном институте (государственном техническом университете)по адресу

125319, ГСП А-47, Москва, Ленинградский пр , д 64

С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ) Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета) www madi ru

Автореферат разослан 09 июля 2008г

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

Михайлова Н В

Общая характеристика работы

Актуальность проблемы

Управленческая, производственная, хозяйственная деятельность предприятия тесно связаны с обработкой и хранением значительных объемов документов руководящих, отчетных, информативных и тд По этой причине особую актуальность приобретает использование на предприятиях систем электронного документооборота (СЭД), позволяющих значительно сократить временные и финансовые затраты предприятия на организацию бизнес-процессов документооборота, а также, в большинстве случаев, разработать и легко осуществить мероприятия по их оптимизации

В 2007 году рынок СЭД в России превысил 170 млн долларов США Рынок демонстрирует стабильную динамику роста CAGR 2005/2004 составлял более 50%, а 2006/2005 - несколько ниже, в 2007 году темп роста составил 20%

В составе систем автоматизации документооборота обязательно присутствуют средства ввода бумажных документов, естественно, путем сканирования Задача распознавания произвольного рукописного текста является актуальной сегодня, и проблема не будет закрыта в ближайшие десятилетия Задача распознавания рукописных текстов (РРТ) как научная проблема и как информационная технология находится на подъеме, благодаря большому интересу к этой области в коммерческих кругах, среди компьютерных компаний, в научном сообществе

Предметом исследования являются система электронного документооборота (СЭД) на промышленных предприятиях, а также ее составляющая - система автоматического ввода данных

Цель и основные задачи исследования

Целью работы является повышение эффективности функционирования СЭД на промышленных предприятиях за счет

создания методики комплексного анализа, внедрения СЭД, а также усовершенствования системы ввода данных в СЭД

Для достижения данной цели в работе решаются следующие задачи-

1 Сравнительный анализ систем документооборота в России

2 Исследование методов распознавания рукописных текстов

3 Разработка модели нейронной сети распознавания рукописных символов

4 Разработка алгоритма для ускоренного обучения нейронной сети

5 Разработка программы для распознавания рукописных цифр

6 Методы выбора и внедрения систем документооборота на промышленных предприятиях среднего размера

Методы исследования

При разработке формальных моделей компонент в диссертации использовались модели нейронных сетей, градиентные методы обучения нейронной сети, методы математического программирования, теория вероятностей и др

Научная новизна работы состоит в разработке методов, моделей, алгоритмов и стратегий построения системы распознавания рукописных текстов в качестве системы автоматического ввода данных для СЭД, а также методики комплексного анализа и внедрения СЭД на промышленных предприятиях

На защиту выносятся:

• Методика сравнительного анализа систем документооборота по функциональности, стоимости и др

• Модели интеграционных корпоративных информационных систем, систем электронного документооборота и жизненного цикла документов на предприятии

• Результаты классификации и исследования методов обработки документов

• Модель нейронной сети для распознавания рукописных текстов

• Алгоритм ускоренного обучения нейронных сетей с большим количеством весовых коэффициентов

• Разработанная программа распознавания рукописных текстов и результаты экспериментов

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется предварительным анализом работы системы распознавания рукописных цифр, согласованностью результатов предложенных модели нейронной сети и алгоритма обучения сети Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения положений работы на крупном промышленном предприятии, занимающимся производством продуктов быстрого приготовления

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования Они представляют непосредственный интерес в области распознавания и системной интеграции Методы и алгоритмы, а также программные средства могут быть использованы при решении задач построения систем автоматического ввода данных Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения на предприятиях ТД «Роллтон», ЗАО «ОосэУ^юп», а

также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ)

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение

• на заседании кафедры АСУ МАДИ (ГТУ),

• на конференциях в области автоматизации документооборота(2006г-2008г)

СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, моделей и алгоритмов

Во введении обосновывается актуальность работы Ставятся цели и задачи исследований Приводится краткое содержание глав диссертации

В первой главе проведены классификация СЭД и подробный сравнительный анализ систем автоматизации документооборота

С каждым годом спрос на СЭД значительно повышается По этой причине становится важной задача оценки и выбора системы автоматизации документооборота в условиях конкретного предприятия

Для сравнительного анализа СЭД в диссертации выделяются решения от ведущих компаний-разработчиков систем электронного документооборота В диссертации проанализированы СЭД по функциональности (см Табл 1) Для этого были выбраны наиболее объективные критерии функциональности и, в зависимости от того удовлетворяет система данному критерию или нет, в соответствующую ячейку ставился либо плюс, либо минус В диссертации также проанализированы решения СЭД по стоимости (пример таб 2) Это необходимо для объективной оценки ситуации, при которой организации, использующей СЭД, пришлось бы

приобрести всю предлагаемую функциональность для каждого рабочего места.

Таблица 1.

| Наименование СЭД

¡Номенклату- Номенклатура дел pan роекто в

:Варианты ввода

Типы

¡клиентов , документ

/контрагент- »

ов _

Создание

!Варианты IВарианты ввода .ввода документов [документов в СЭД: |в СЭД: Прикреплен¡Сканирован ие |ие

¡CORPORA! ¡ТЕ !

'BUSINESS :

!DocsVision

(+)

Иерархичес

кая структура

.....(+)"

Иерархичес

кая структура

(+)

Иерархичес

кая структура ;

"" м........'

Иерархичес кая структура ;

<+> ;

Иерархичес:

кая структура

Т

(+) Список

LanDocs (+) ! Список (+) Иерархичес кая структура (+) Иерархичес: кая структура : (+) (+) С)

БОСС-Референт (+) ! Иерархичес кая ; структура <+> Иерархичес кая структура (+) Список (+) 1 (+) 1 (+)

Таблица 2.

! 'Стоимость ' Стоимость ;Стоимость

Наименова Стоимость Стоимость Стоимость технической обновлен заказных

ние лицензии внедрения, обучения, поддержки ия доработо ¡Всего, $

СЭД $/мае $/час за 1 год, $ системы, к, I

Нот) $/час |

МОТИВ 2 300 33,05 21 ; 968,65 ; 550 I 30 ! 3 902

CORPORA

¡ТЕ 3 499 30 30 360 ■ 200 25 4 144

BUSINESS i

;PayDox 5 000 40 40 0 : 2 500 30 ! 7 610

¡СУПеР 5 995 j 40 40 0 1600 40 T 7 715

; Effect ¡Office 6 295,36 : 17 17,86 1 259 : 1 573 18 ; 9 182

¡ДЕЛО 10 245 : 37 27 2 049 0 50 ! 12 407

:jDocflow юооо : 0 0 3 000 0 40 i 13 040

Docs Vision 9 200 30 20 1 800 i 2800 40 S 13 890

Во второй главе представлены новый подход к распознаванию рукописных символов, модель нейронной сети,

которая обеспечивает устойчивость к разным видам деформации в задаче распознавания рукописных символов, а также алгоритм ускоренного обучения многослойных нейронных сетей с большим количеством весовых коэффициентов

В диссертации приведены классификация задач обработки документов(Рис 1)

Рис 1 Классификация задач обработки документов

В традиционной модели (рис 2) распознавания образов система делится на 2 модуля

• Вручную настроечный модуль выделения признаков собирает наиболее значимую входящую информацию и отсеивает лишнюю

• Обучаемый классификатор сортирует полученные характеристические векторы по классам При таком подходе, как

правило, полносвязные многослойные нейронные сети могут быть использованы как классификаторы.

Однако при использовании полносвязных нейронных сетей в РРТ могут возникнуть некоторые проблемы:

• Сети должны иметь большое количество весов в порядке нескольких десятков тысяч.

• Отсутствие инвариантности по отношению к переменным и искажению образов входных данных.

• Обучение требует большого количества обучающих образов сходных по структуре, но имеющих различное положение или наклон для покрытия всего разнообразия возможных вариантов сходной входной информации.

• Топология входной информации полностью игнорируется.

• Точность распознавания в значительной степени определяется эффективностью работы модуля выделения признаков. Это приводит к тому, что для каждого нового задания, к сожалению, придется перенастраивать систему.

Рис 2. Традиционная модель Рис 3. Новая модель

Более рациональный подход состоит в построении систем РРТ, объединяющих модули выделения признаков и классификатор с применением нейронных сетей, имеющих меньшее количество весов относительно многослойных полносвязных нейронных сетей. Системы должны сами выделять признаки и обладать

инвариантностью к искажению входных символьных изображений. В диссертации предлагается метод построения таких систем на основе сверточных нейронных сетей (рис. 3).

Нейроны на каждом слое объединены в плоскости (характеристической карте), при этом все нейроны в одной плоскости выделяют одинаковую совокупность весовых коэффициентов. Все нейроны характеристической карты призваны выполнять одинаковые операции над разными частями изображения.

Каждый слой состоит из несколько характерных карт. Каждому нейрону сверточного слоя соответствует поле чувствительности (рецептивное поле), состоящее из матрицы 5x5 сенсорных узлов. Каждый нейрон имеет 25 входов и, следовательно, 25 обучаемых коэффициентов, плюс 1 настраиваемый коэффициент порога. Рецептивное поле каждого нейрона слоя подвыборки представляет собой квадрат размером 2x2 в соответствии с характеристической карты предыдущего слоя (Рис. 4).

С1: Карты Примаков СЗ16®1вх10 541{1д,5х5

Свертка Подвыворю СвеР™ Подвымркп Полнояшные

Рис 4. Архитектура сверточной нейронной сети СНС_РТ

Каждый нейрон определяет некоторые усредненные величины входных данных со своих четырех входов, умножает их на обучающий весовой коэффициент. Затем добавляет величину настроечного коэффициента порога, и пропускает результат через сигмоидальную функцию. В таблице 3 представлен способ соединения слоев 2 и 3 сети. В таблице 4 приведены показатели

сети Сеть имеет 340908 связей, но только 60030 свободных обучающих параметров, причиной чему является совместное использование весовых коэффициентов

Таблица 3

0 1 2 Я 4 5 <» - Я 9 10 11 12131415

0 V V V V \ X X X X X

1 X X X X X X XXX X

1 \ X X X X X X X X X

3 X X X X X X X X X X

4 X X X X X X X XX X

5 X X X XXX X XXX

Таблица 4

N3 Обозначение Тип Размер Кол Параметров Кол Связей

1 В код Входной спой 32x32

2 С1 Сверточный слой 6x28x23 156 122304

3 Спои подеыборки 6x14x14 12 5880

4 с. Сверточныи спой 1ох10х10 1516 151600

5 Б4 Слои подеыборки 15x5x5 32 2000

6 С5 Сверточный спой 120x1x1 45120 48120

7 Г6 Попносвяэный спой 84 10164 10164

8 Выход Выходной слои из нейронов евклидовой радиальной базисном функции (КВР) 10

Функция активации.

В качестве функции активации была выбрана функция гиперболического тангенса <р(у) = аХапЦЬу) (а= 1,7159, Ь = 2/3) Определенная таким образом функция гиперболического тангенса имеет ряд полезных свойств

ф(1)=1 Иф(-1) = -1

В начале координат тангенс угла наклона (те эффективный угол) функции активации близок к единице

ф(0) = аЬ = 1,7159 х 2/3 = 1,1424

Вторая производная ф(у) достигает своего максимального значения при V = 1

Рис 5. Функция активации

Для обучения НС такой конфигурации используется алгоритм обратного распространения ошибки и его модификации. Таким образом, при построении системы распознавания рукописного текста важную роль играет выбор алгоритма обучения нейронной сети. Обучение заданной модели нейронной сети проводилось с использованием следующих алгоритмов:

• "классический" алгоритм обратного распространения ошибки;

• алгоритм обратного распространения ошибки с моментом;

• алгоритм обратного распространения ошибки с оптимизацией квази-Ньютона;

• алгоритм обратного распространения Левенберга-Маркара;

Уравнение для коррекции весовых коэффициентов НС при обучении по классическому алгоритму обратного распространения имеет следующий вид:

Алгоритм обратного распространения с градиентным спуском видоизменяется таким образом, чтобы в уравнении

коррекции весовых коэффициентов включать слагаемое момента (или инерции), которое пропорционально величине предыдущего изменения веса Величина коррекции Ди{л)(0с учетом слагаемого

момента видоизменяется таким образом

A w^it) = Awlun\t) + fjAw^it-]) (2)

В алгоритме с оптимизацией квази-Ньютона целевая функция в окрестностях произвольной точки аппроксимируется квадратичной функцией, при этом на каждой итерации решается задача локальной минимизации

1 >и г , (3)

mm —х Нх + сх +Ь

х2

где Н - симметричная и положительно определенная матрица вторых частных производных (матрица Гессе), с - постоянный вектор, b - константа

Итерационное уравнение методов Ньютона имеет вид

wk+^wt-ff-](wk)Vf(wk) W

где f(w^) - функция, для которой ведется поиск минимума Уравнение (4) в том виде, в котором оно записано, требует вычисления и обращения матрицы Гессе на каждом шаге, что часто является основной частью вычислений

Алгоритм Левенберга-Марквардта (Levenberg-Marquardt Algorithm, LMA) является наиболее распространенным алгоритмом оптимизации Он превосходит по производительности методы сопряженных градиентов в различных задачах Как видно из таблицы 5, наиболее быстрым алгоритмом обучения НС является алгоритм обратного распространения LMA

Таблица 5

Алгоритм Ошибка Эпохи

"Классический" алгоритм обратного распространения ошибки 0 0997834 674

Алгоритм обратного распространения ошибки с моментом 0 0993434 1005

Алгоритм обратного распространения ошибки с оптимизацией квази-Ньютона 0 0944526 12

Алгоритм обратного распространения Левенберга-Маркара (1.МА) 0 0034274 4

В модели НС функции стоимости определяются формулой

IX-%)2

где и-=[^2 и,,]' - вектор весовых коэффициентов сети,

с^р - настоящее значение к-ого выхода при подаче на НС р-ого

образа,

окр - ожидаемое значение к-ого выхода при подаче на НС р-ого образа,

N - колличество весов сети, Р - количество образов обучающей выборки

Уравнение (5) можно переписать в виде

(6)

чется формулой

8еи

сНс, ди>2 ди>„

де.и дег\ де^

Эи>, ди2

Зи', сНс2 <4

8еи де^

дн\ д\1>2

деу.

Эи^

3е и 8еи

ЙИ',

(7)

Где Е~[е

,,,]' - вектор ошибок на выходе для всех

образов екр = с1

кр икр

{к= 1.А р = \.Р)

Веса в каждой итерации вычисляются по формуле

где I - единичная матрица

обучающий параметр

Данное правило используется следующим образом если на очередной итерации невязка сокращается, мы уменьшаем Л (обычно в 10 раз), чтобы понизить влияние градиентного спуска Если невязка увеличивается, необходимо следовать направлению градиента, и мы увеличиваем Л (во столько же раз)

Единственный недостаток алгоритма 1.МА заключается в необходимости обращения матрицы на каждом шаге Даже не смотря на то, что нахождение обратной матрицы обычно выполняется с использованием быстрых методов псевдообращения (таких как, разложение по сингулярным числам матрицы), время одной итерации становится неприемлемым для нескольких тысяч параметров В диссертации разработан модифицированный алгоритм 1_МА, который обеспечивает эффективность и быстроту обучения многослойных нейронных сетей по методу обратного распространения ошибок

Модификация алгоритма 1.МА Формулу (5) можно переписать как

IX

Где

й

7 р 2

!] и (к =1,2,

(9)

К)

р=|

Теперь, матрицу Якобиан можно переписать в следующем виде

де\ де, де 1

д\\\

дег д'е2 дег

5)1', 011.,

де к дек

С/И', Зи'2

Соответственно, преобразуем уравнение (5) в следующее

(10)

ж.

Рассмотрим следующую операцию с матрицами Если а = в-' +с£г'с', то справедливо уравнение

А~х= В- ВСф + СГ5С)~' Сг£ A = J¡JI+AII

Л

с = •//" д = /

Заменить (10), (11), (12), (13) в (9) получаем

I ) я, х- у я, )

И заменить (14)в (8)получаем

1/--У'

Л я,2

Л

№

(12)

(13)

(14)

(15)

(16)

(17)

Стоит отметить, что в правой части уравнения (16) размер результирующей матрицы равняется КхК Значит затрат ресурса при вычислении операций с матрицами гораздо снизится (т к на практике количество выходов К гораздо меньше количества весов сети Ы) В результате чего, затрат ресурса при обновлении веса по формуле (17) становится намного меньше чем по формуле (8)

В третьей главе была разработана программа СНС_РТ, а также проведены эксперименты по работоспособности предложенных модели НС и алгоритмов обучения НС Ниже показаны иерархия классов и примеры объектов в БД (Рис 6 -Рис 7)

База данных, используемая для обучения и тестирования, состоит из двух частей 50-1 и БО-З Б01 содержит 60000 образов и используется в качестве обучающей выборки, а ЭОЗ содержит 10000 образов и используется в качестве тестовой выборки

Ниже приведены примеры результатов работы сверточной нейронной сети в задаче распознавания рукописных цифр по сравнению с другими классификаторами (Рис.8 - Рис.10). В таблице 6 приведено обозначение классификаторов.

Сверточные нейронные сети особенно хороши для распознавания и фильтрации фигур с варьируемыми размерами, положением, ориентацией в пространстве. Система неправильно распознает только 74 символа (из 10 ООО изображений тестовой выборки). Значит, что уровень ошибок составляет 0,74%.

ШСоппесйоп

Г1 г-1

1 Иеига1Не1^?огк 1

Рис 6. Иерархия классов

3 <* % / г в 6 а, \

¿757 ? Ь д Ч % ¿{791

7 5 г ё £ Ъ ! <? 7

ло о

о аз % о у ъ % 5 п

о / 6> ¿7 Я 5

7 / 2. Я 1 Ь 1 2 Со /

Рис 7. Элементы БД

-И®— Обучающая выборка

.....- Тео ируеман

выборка

Рис 8. Ошибки обучения и тестирования системы СНС_РТ

Таблица 6.

Наименование классификатора Обозначение

Базисный классификатор ближайшего соседа K-NN

Анализ главных компонентов (РСА) и Полиномиальный классификатор РСА

Сеть радиальной базисной функции RBF

Полносвязная многоуровневая нейронная сеть с одним скрытым уровнем (300 нейронов в скрытом слое) МР-300-10

Полносвязная многоуровневая нейронная сеть с одним скрытым уровнем (1000 нейронов в скрытом слое) МР-1000-10

Полносвязная многоуровневая нейронная сеть с двумя скрытым уровнями (300 нейронов в первом скрытом слое и 100 нейроннов во втором скрытом слое) МР-300-100-10

Полносвязная многоуровневая нейронная сеть с двумя скрытым уровнями (500 нейронов в первом скрытом слое и 150 нейроннов во втором скрытом слое) МР-500-150-10

Сравнение уровней ошибок разных классификаторов

35

Рис 9.

Затраты памяти

Рис 10

В четвертой главе были разработаны методы выбора и внедрения СЭД в производственных предприятиях. На практике популярны 2 подхода к внедрению СЭД: Внедрения платформы автоматизации документооборота или автоматизации отдельных задач обработки документов.

При реализации набора не интегрированных приложений (рис. 11) первые внедрения обходятся относительно недорого. Однако, при внедрении большого количества приложений с одной стороны существенно удорожается стоимость их сопровождения и обучения персонала, а с другой стороны возникает необходимость их интеграции, что приводит к дополнительным издержкам.

Внедрение платформы автоматизации избавляет от этих проблем, и даже более того, по мере накопления опыта использования системы, все меньше усилий необходимо тратить на внедрение очередного приложения и существенно снижаются риски неудачного внедрения.

Рис 11. Зависимость суммарных издержек количеством внедренных

приложений.

Исходя из сравнительного анализа в главе 1, в качестве СЭД для предприятия среднего размера автор рекомендует выбрать систему ОосэМэюп как платформу автоматизации документооборота. В рис. 12 показаны основные этапы в процессе внедрения СЭД.

В четвертой главе также представлены результаты внедрения СЭД ОосзУйюп в ТД «Роллтон» и его заводе в г Серпухов До внедрения:

Таблица 7

Наименование документов Количество документов Темпы роста, %

2005 2006 2007 20052006 20062007

Входящие 372 609 1020 164 167

Исходящие 1074 1362 1806 127 133

Приказы 1944 2379 3108 122 130

Внутренние 5916 7791 11523 132 148

Итого в год 9306 12141 17457 130 144

В среднем за день 33 42 60 127 143

Затраченное время на обработку документов (час) 0,5 0,5 0,5 100 100

Затраченное время в год (час) 4653 6070,5 8728,5 130 г 144 .

После внедрения1

Таблица 8

Год 2006 2007

Общее количество документов Классический СУД Классический СУД ;

17457 0 6583 10498

Затраченное время на обработку документов в год (час) 8728,5 4341,3

В итоге было автоматизировано 61,46% документооборота на предприятии

В заключении представлены основные результаты работы В приложении приводятся акты внедрения результатов диссертационной работы

Публикации. По результатам выполненных исследований опубликовано 5 печатных работ, которые приведены в списке публикаций

I ФАЗ А. - Пред 11 роектные работы

С—^

! ■ -СЙПП ИНГЬППМЯ! II

Анализ деловых

жв щ

Анализ действующей

Определение архитектуры управления документами и требований к

системе управления документами (СУД)

Оценка вариантов реорганизации процессов документооборота

цщ

Оценка вариантов развития СУД

рВ^ШИВДЩД|

Рекомендованный путь реорганизации процессов документооборота и развития СУД

2 ФАЗА. Проектирование

РяяпяРюти-я ППЯНЯ ПППРКТИППЯЯНИЯ

тт

Разработка концептуальных моделей

•■ а с '

РячпяРпткя ппгичяшгих мппрпрй

#: и"

Разработка моделей предметного

ЯПППОШЙНИЯ

Проектная документация на модели бизнес-процессов и

техническо е задание на автоматизировав! ую систему управления документами (СУД)

■ V-

Л

• V- . г—N

:

Начало реорганизации процессов документооборота

Разработка технического проекта СУД

щ ■

Щ

Проектная документация на автоматизированную систему управления документами (СУД)

¡Щ

ГЛ ::

^ К . ,

йI

3 ФАЗА. Ввод в действие

-г—

Продолжение реорганизации процессов документооборота

Щ'-

Настройка программного пакета. Документирование

ах......."

Обучение ключевых пользователей. Ввод начальных данных

1 зр; ■ .....■: 'зг 11

Пробные пуско-на лад очные работы

Ж

г Т

Акт сдачи

СУД в

опытную

эксплуатаци

к™...............

Завершение реоргани процессов документоо!

ПбуиРНИР ПППКЯПЯЯТРПРЙ

Опытная эксплуатация СУД

Акт сдачи СУД в промышленну ю

эксплуатацию

III

ш р

Рис. 12. Этапы внедрения СЭД на промышленных предприятиях.

Основные выводы и результаты работы.

1 Проведен анализ большинства систем документооборота в России

2 Проведен анализ основных задач обработки документов и существующих методов решения задач обработки документов

3 Разработана модель взаимодействия СЭД с другими приложениями КИС

4 Разработаны методы анализа документооборота на промышленных предприятиях

5 Разработана модель нейронной сети с высокой производительностью и устойчивая к разновидности и искажениям входной информации

6 Разработан алгоритм ускоренного обучения многослойных нейронных сетей

7 Разработана программа распознавания рукописных символов

8 Разработанные методы, алгоритмы и программы прошли апробацию и внедрены для практического применения на предприятиях ТД «Роллтон», ЗАО «ОосэХМюп»

Публикации по теме диссертационной работы

1 Николаев А Б, Ла С Т Быстрый алгоритм выявления характерных признаков изображения Организационно управляющие системы на транспорте и в промышленности Сб науч тр МАДИ(ГТУ) М ,2007 -С 41-47

2 Ла С Т Алгоритм ускоренного обучения персептрона Организационно-управляющие системы на транспорте и в промышленности Сб науч тр МАДИ(ГТУ) М , 2007 -С 53-61

3 Ла С Т Алгоритмы обучения нейронной сети при распознавании рукописного текста Вопросы теории и практики автоматизации в промышленности Сб науч тр МАДИ (ГТУ) М 2008 -С 56-62

4 Ла С Т, Шарков А А, Макаренко Л Ф Модификация алгоритма обучения многослойных нейронных сетей Вопросы

теории и практики автоматизации в промышленности Сб науч тр МАДИ (ГТУ) М 2008 -С 63-67

5 Ла С Т , Ахохов А Ч , Ивахненко В И , Паршин Д А Подход к построению системы распознавания рукопечатных форм Вестник МАДИ (ГТУ), вып 1(12) М 2008 -С 81-86

Подписано в печать 04 07 2008 г Печать на ризографе Тираж 100 экз Заказ № 1149 Объем 1,3 п л. Отпечатано в типографии ООО "Алфавит 2000", ИНН 7718532212, г Москва, ул Маросейка, д 6/8, стр 1, т 623-08-10, тел¥\у.а1ГаУ112000 ги

1. ОБЗОР СИСТЕМ ДОКУМЕНТООБОРОТ.

1.1. Система электронного документооборота как элемент управления предприятием.

1.2. Основные задачи, решаемые системами документооборота.

1.3. Общая классификация систем документооборота.

1.4. Сравнительный анализ систем документооборота.

Выводы по главе 1.

2. ПОДХОД К ПОСТРОЕНИЮ СИСТЕМ РАСПОЗНАВАНИЯ РУКОПИСНОГО ТЕКСТА.

2.1. Основные виды задач распознавания рукописного текста.

2.2. Подходы к решению задач распознавания рукописного текста.

2.3. Сверточная нейронная сеть в применении к распознаванию отдельных символов.

2.3.1. Новый подход к построению систем распознавания рукописных символов.

2.3.1. Новый подход к построению систем распознавания рукописных символов.

2.3.2. Модель СНС, используемой в распознавании рукописных символов

2.4. Обучение системы на основе данных.

Выводы по главе 2.

3. ЭКСПЕРИМЕНТ С СИСТЕМАМИ РАСПОЗНАВАНИЯ РУКОПИСНЫХ СИМВОЛОВ.

3.1. Сбор данных для обучения.

3.2. Реализация системы распознавания рукописных текстов.

3.3. Интерфейс программы.

3.4. Результаты экспериментов.

3.4.1. Эксперимент с системой CHCJPT.

3.4.2. Сравнение с другими классификаторами.

3.5. Инвариантность или устойчивость системы к шумам.

Выводы по главе 3.

4. ВНЕДРЕНИЕ СЭД НА ПРОМЫШЛЕННОМ ПРЕДПРИЯТИИ.

4.1. Характеристики КИС в промышленных предприятиях.

4.2. Современная модель управления информационными потоками предприятия и роль СУД в КИС.

4.3. Выбор Docs Vision как комплексная программная платформа для автоматизации процессов управления, документооборота и для создания интегрированных приложений.

4.4. Методология внедрения автоматизированных систем управления документами.

4.4.1. Этапы работ по внедрению системы управления документами.

4.4.2.Модели методологии внедрения системы автоматизации документооборота Docs Vision.

4.5. Внедрения системы Docs Vision в ТД «Роллтон».

4.5.1. Общие сведения об объекте.

4.5.2. Типичные бизнес-процессы документооборота в ТД «Роллтон» и ЗАО «DHV-S», подлежащие автоматизации с помощью системы Docs Vision.

4.6. Результаты внедрения системы документооборота Docs Vision в ТД

Роллтон».

4.6.1 Показательные данные результатов процесса внедрения системы автоматизации документооборота в ТД «Роллтон».

4.6.2. Техническое описание внедренной системы в ТД «Роллтон».

Выводы по главе 4.

С течением времени требования к автоматизации деловых процессов растут. И если когда-то ставилась задача автоматизации отдельных участков работы подразделений, что привело к наличию большого количества разрозненных программных продуктов, то теперь основной вопрос -организация комплексной системы оперативного управления. Именно этот подход позволяет наиболее эффективно решить задачу автоматизации.

Документы - это основные информационные ресурсы любой организации, работа с ними требует правильной постановки. Документы обеспечивают информационную поддержку принятия управленческих решений на всех уровнях и сопровождают все бизнес-процессы. Документооборот - это непрерывный процесс движения документов, объективно отражающий деятельность организации и позволяющий оперативно ей управлять. Горы макулатуры, длительный поиск нужного документа, потери, дубликаты, задержки с отправкой и получением, ошибки персонала составляют далеко не полный перечень проблем, возникающих при неэффективном построении документооборота. Всё это может сильно затормозить, а в исключительных случаях - полностью парализовать работу организации.

Эффективный документооборот является обязательной составляющей эффективного управления. Документооборот исключительно важен для правильной организации финансового и управленческого учёта.

Системы электронного документооборота формируют новое поколение систем автоматизации предприятий. Основными объектами автоматизации в таких системах являются документы (в самом широком их понимании, от обычных бумажных до электронных любого формата и структуры) и бизнес-процессы, представляемые как движение документов и их обработка. Данный подход к автоматизации предприятий является одновременно и конструктивным и универсальным, обеспечивая автоматизацию документооборота и всех бизнес-процессов предприятия в рамках единой концепции и единого программного инструментария.

Конечных приложений автоматизации документооборота можно насчитать огромное количество. Вот несколько примеров:

• Регистрация корреспонденции (входящие, исходящие)

• Электронный архив документов

• Согласование и утверждение разных видов документов

• Контроль исполнения документов и поручений

• Автоматизация договорного процесса

• Библиотека регламентов управленческих процедур

• Оформление командировок

• Организация внутренней) информационного портала предприятия и его подразделений

• Система контроля знаний должностных инструкций

В составе систем автоматизации документооборота обязательно присутствуют средства ввода бумажных документов, естественно, путем сканирования. Задача распознавания произвольного рукописного текста является актуальной сегодня, и проблема не будет закрыта в ближайшие десятилетия. Задача распознавания рукописных текстов (РРТ) как научная проблема и как информационная технология находиться на подъеме, благодаря большому интересу к этой области в коммерческих кругах, среди компьютерных компаний, в научном сообществе.

Благодаря доступности и относительной дешевизне мощных микропроцессоров, в настоящее время появляется возможность реализации современных методов обработки изображений, лежащих в основе автоматической обработки документов. Однако задача обработки реального документа все еще предъявляет чрезвычайно высокие требования к прикладным системам, поскольку включает в себя комплекс таких подзадач как:

• анализ документа для извлечения отдельных полей из полного его изображения;

• обработка изображения низкого уровня для устранения шумов, выравнивания строк, коррекции наклона рукописного текста;

• сегментация строк текста на слова и символы;

• распознавание символов;

• распознавание слов и предложений.

Задача обработки сложного документа оказывается настолько непростой, что ее решение в общем виде пока не представляется возможным.

Предметом исследования являются система электронного документооборота (СЭД) на промышленных предприятиях, а таюке ее составляющая - система автоматического ввода данных.

Целью работы является повышение эффективности функционирования СЭД па промышленных предприятиях за счет создания методики комплексного анализа, внедрения СЭД, а также усовершенствования системы ввода данных в СЭД.

Для достижения данной цели в работе решаются следующие задачи:

• Сравнительный анализ систем документооборота в России.

• Исследование методов распознавания рукописных текстов.

• Разработка модели нейронной сети распознавания рукописных символов.

• Разработка алгоритма для ускоренного обучения нейронной сети.

• Разработка программы для распознавания рукописных цифр.

• Методы выбора и внедрения систем документооборота на промышленных предприятиях среднего размера.

Научная новизна работы состоит в разработке методов, моделей, алгоритмов и стратегий построения системы распознавания рукописных текстов в качестве системы автоматического ввода данных для СЭД, а также методики комплексного анализа и внедрения СЭД на промышленных предприятиях.

На защиту выносятся:

• Методика сравнительного анализа систем документооборота по функциональности, стоимости и др.

• Методика внедрения СЭД на промышленных предприятиях.

•Модели интеграционных корпоративных информационных систем, систем электронного документооборота, жизненного цикла документов на предприятии и т.д.

• Результаты классификации и исследования методов обработки документов.

• Модель нейронной сети для распознавания рукописных текстов

• Алгоритм ускоренного обучения нейронных сетей с большим количеством весовых коэффициентов.

• Разработанная программа распознавания рукописных текстов и результаты экспериментов.

В первой главе проведены классификация СЭД и подробный сравнительный анализ систем автоматизации документооборота.

С каждым годом спрос на СЭД значительно повышается. По этой причине становится важной задача оценки и выбора системы автоматизации документооборота в условиях конкретного предприятия.

Для проведения сравнительного анализа СЭД в диссертации выделяются решения от ведущих компаний-разработчиков, работающих в сфере автоматизации работы с документами.

В диссертации проанализированы системы документооборот по функциональности, а также по стоимости внедрения решений. Это необходимо для объективной оценки ситуации, при которой организации, использующей СЭД, пришлось бы приобрести всю предлагаемую функциональность для каждого рабочего места.

Во второй главе представлены новый подход к распространению рукописных символов, модель нейронной сети, которая обеспечивает устойчивость к разным видам деформации в задаче распознавания рукописных символов, а также алгоритм ускоренного обучения многослойных нейронных сетей с большим количеством весовых коэффициентов.

В диссертации приведены классификация задач обработки документов, а также основные этапы задач распознавания рукописных текстов.

В традиционной модели распознавания образов система делится на 2 модуля:

• Вручную настроечный модуль выделения признаков собирает наиболее значимую входящую информацию и отсеивает лишнюю.

•Обучаемый классификатор сортирует полученные характеристические векторы по классам. При таком подходе, как правило, полносвязные многослойные нейронные сети могут быть использованы как классификаторы.

Однако при использовании полносвязных нейронных сети в РРТ могут возникнуть ряд проблем. Более рациональный подход состоит в построении систем РРТ, объединяющих модули выделения признаков и классификатор с применением нейронных сетей, имеющих меньше количества весов относительно многослойных полносвязных нейронных сетей. Системы должны сами выделять признаки и обладать инвариантностью к искажению входных символьных изображений. В диссертации предлагается метод построения таких систем на основе сверточных нейронных сетей.

В третьей главе была разработана программа СНСРТ, а также проведены эксперименты по работоспособности предложенных модели НС и алгоритмов обучения НС.

База данных, используемая для обучения и тестирования описанной в диссертации, состоит из двух частей SD-1 и SD-3. SD1 содержит 60000 образов и используется в качестве обучающей выборки, SD3 содержит 10000 образов и используется в качестве тестовой выборки.

В диссертации приведены результаты работы сверточной нейронной сети в задаче распознавания рукописных цифр по сравнению с другими классификаторами. Сверточные нейронные сети особенно хороши для распознавания и фильтрации фигур с варьируемыми размерами, положением, ориентацией в пространстве. Система неправильно распознает только 74 символа (из 10 000 изображений тестовой выборки). Значит, что . уровень ошибок составляет 0,74%.

В четвертой главе были разработаны методы выбора и внедрения СЭД в производственных предприятиях. На практике популярны 2 подхода к внедрению СЭД: Внедрения платформы автоматизации документооборота или автоматизации отдельных задач обработки документов.

При реализации набора не интегрированных приложений первые внедрения обходятся относительно недорого, однако, при внедрении большого количества приложений с одной стороны существенно удорожается стоимость их сопровождения и обучения персонала, с другой возникающая необходимость их интеграции, что приводит к дополнительным издержкам.

Внедрение платформы автоматизации избавляет от этих проблем, и даже более того, по мере накопления опыта использования системы, все меньше усилий необходимо тратить на внедрение очередного приложения и существенно снижаются риски неудачного внедрения. Исходя из сравнительного анализа в главе 1, в качестве СЭД для предприятия среднего размера автор рекомендует выбрать систему DocsVision как платформу автоматизации документооборота. В диссертации проанализированы основные этапы в процессе внедрения СЭД.

В четвертой главе также представлены результаты внедрения СЭД DocsVision в ТД Роллтон и его заводе в г. Серпухов. В итоге было автоматизировано 61,46% документооборота на предприятии.

При разработке формальных моделей компонент в диссертации использовались модели нейронных сетей, градиентные методы обучения нейронной сети, методы математического программирования, интеграционной модели корпоративной информационной системой, теория вероятностей и др.

Обоснованность научных положений, рекомендаций и выводов определяется предварительным анализом работы системы распознавания рукописных цифр, согласованностью результатов предложенных модели нейронной сети и алгоритма обучения сети. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения положений работы на крупном промышленном предприятии, занимающемся производством продуктов быстрого приготовления.

Научные результаты, полученные в диссертации, доведены до практического использования. Они представляют непосредственный интерес в области распознавания образов и системной интеграции. Методы и алгоритмы, а также программные средства могут быть использованы при решении задач построения систем автоматического ввода данных. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения на предприятиях ТД «Роллтон», ООО «DocsVision», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на заседании кафедры АСУ МАДИ (ГТУ).

• на конференциях в области автоматизации документооборота (2006г.-2008г.)

Материалы диссертации отражены в 5 печатных работах.

Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 183 страницах машинописного текста, содержит 38 рисунков, 15 графиков и 14 таблиц, список литературы из 135 наименований и приложения.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ большинства систем документооборота в России.

2. Проведен анализ основных задач обработки документов и существующих методов решения задач обработки документов.

3. Разработана модель взаимодействия СЭД с другими приложениями КИС.

4. Разработаны методы анализа документооборота в промышленных предприятиях.

5. Разработан метод внедрения СЭД в промышленных предприятиях.

6. Разработана модель нейронной сети с высокой производительностью и устойчивая к разновидности и искажениям входной информации.

7. Разработан алгоритм ускоренного обучения многослойных нейронных сетей.

8. Разработана программа распознавания рукописных символов.

9. Разработанные методы, алгоритмы и программы прошли апробацию и внедрены для практического применения на предприятиях ТД «Роллтон», ЗАО «DocsVision».

1. Котович Н.В., Славин О.А. Распознавание скелетных образов // сборник трудов Института системного анализа РАН — Методы и средства работы с документами — 2000.

2. Местецкий Л.М., Нефедов А.Г. Восстановление следа пера при анализе сканированных рукописных документов // Доклады 11-й Всероссийской конференции «Математический методы распознавания образов» (ММРО-11). Москва 2003. С. 364-376.

3. Ту Дж., Гонсалес Р. Принципы распознавания образов. Пер. с англ. -М.: Мир, 1978.

4. Фукунага К. Введение в статистическую теорию распознавания образов. Пер с англ. — М.: Наука, 1979.

5. Интеллектуальные технологии ввода и обработки информации // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. М.: Эдиториал УРСС, 1998. - 164 с.

6. Развитие безбумажной технологии в организационных системах // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. М.: Эдиториал УРСС, 1999. - 384 с.

7. Методы и средства работы с документами // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. -М.: Эдиториал УРСС, 2000. 376 с.

8. Романов Б.Л. Представление структурированных информационных объектов в виде электронных форм // Статья в настоящем сборнике

9. Романов Б.Л. Средства разработки форм документов // Методы и средства работы с документами // Сборник трудов ИСА РАН / Под ред. д.т.н. проф. Арлазарова В.Л. и д.т.н. проф. Емельянова Н.Е. М.: Эдиториал УРСС, 2000. С. 304 - 311.

10. Горский Н., Аиисимов В., Горская JI. Распознавание рукописного текста: от теории к практике СПб.: Политехника, 1997.

11. Годунов А.Н., Емельянов Н.Е., Космынин А.Н., Солдатов В.А. Система НИКА // Системы управления базами данных и знаний / М.: Финансы и статистика, 1991. С. 209-249.

12. Michael D. Gams, Damn L. Dimmick. Form Design for High Accuracy Optical Character Recognition. IEEE Transactions PAMI, June 1996.

13. J. Rocha, B. Sakoda, J. Zhou, and T. Pavlidis, "Deferred Interpretation of Grayscale Saddle Features for Recognition of Touching and Broken Characters," Proceedings of Document Recognition, SPIE, vol. 2181, San Jose, CA,pp. 342-350, February 1994.

14. Gillies, D. Hepp, R. Rovner, M. Whalen, "Handwritten Text Recognition System for Processing Census Forms," Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, vol. 3, pp. 2335-2340, October 1995.

15. P. D. Gader, M. Mohamed, and J. H. Chiang, "Segmentation-Based Handwritten Work Recognition," Proceedings of the USPS Advanced Technology Conference, Washington, DC, 1992.

16. F. Kimura, M. Shridar, and N. Narasimhamurthi, "Lexicon Directed Segmentation-Recognition Procedure for Unconstrained Handwritten Words," Proceedings of the Third International Workshop on Frontiers in Handwriting Recognition, Buffalo, NY, 1993.

17. Michael D. Garris. Component-Based Handprint Segmentation Using Adaptive Writing Style Model. NISTIR 5843 (Internal report of National Institute of Standards and Technology).

18. Арлазаров B.JI., Славин O.A. Алгоритмы распознавания и технологии ввода текстов в ЭВМ. Информационные технологии и вычислительные системы 1996, No 1.

19. Арлазаров B.JL, Астахов А.Д., Троянкер В.В., Котович Н. В. Адаптивное распознавание символов. В сб. "Интеллектуальные технологии ввода и бработки информации", М.: Эдиториал УРСС, 1998

20. А.В.Мисюрёв. Использование искусственных нейронных сетей для распознавания рукопечатных символов. В сб. "Интеллектуальные технологии ввода и обработки информации", М.: Эдиториал УРСС, 1998

21. В.В. Постников. Разработка методов наложения формы на графическое изображение документа. В сб. "Интеллектуальные технологии ввода и обработки информации", М.: Эдиториал УРСС, 1998

22. Система распознавания стандартных форм Cognitive Forms. http://www.cognitive.ru

23. Колесов А. Наука управления документами // ж. BYTE N2, 2003, с. 30 -33

24. Ладенко И. С. Методология и методы организации интеллектуальных систем. Новосибирск, ИИФФ СО АН СССР, 1987. — 66 с.

25. Форрестер Д. У. Основы кибернетики предприятия. М.: Прогресс, 1971. — 340 с.

26. Скобелев П. О. Виртуальные миры и интеллектуальные агенты для моделирования деятельности компании. В кн.: Труды VI Национальной конференции по искусственному интеллекту. Т. 2. Пущино, 5—7 ноября 1998 г., с. 714—719 (www.kg.ru/Publish/vm.stm).

27. Справочник. Искусственный интеллект. В 3 кн. Кн. 1.: Системы общения и экспертные системы. Под ред. Попова Э. В. М.: Радио и связь, 1990.—464 с.

28. Фролов 10. В. Интеллектуальные системы и управленческие решения. М., МГПУ, 2000. — 294 с.

29. Арлазаров B.JL, Славин О.А. Алгоритмы распознавания и технологии ввода текстов в ЭВМ // Информационные технологии и вычислительные системы. 1996, № 1

30. Славин О.А. Распознавание атрибутов текстовых символов. // Сб. трудов ИСА РАН " Документооборот. Концепции и инструментарий", 2004, С. 142-150

31. Арлазаров B.JL, Славин О.А., Котович Н.В. Адаптивное распознавание. // Информационные технологии и вычислительные системы, № 4, 2002, С. 11-23.

32. Владимир Андреев DocsVision 3.6 - универсальная платформа дляавтоматизации документооборота и процессов управления. Финансовая газета, региональный выпуск, сентябрь 2004

33. Осовский С. Нейронные сети для обработки информации: Пер. с польского. М: Финансы и статистика, 344 е., 2002.

34. Seong-Wang Lee, Young Joon Kim. "Off-line Recognition of Totally Unconstrained Handwritten Numerals Using Multilayer Cluster Neural Network." Proc. Of the 12th IAPR International Conference on Pattern Recognition. Jerusalem, Israel. 1994. Стр. 507-509.

35. R. Schapire, "The Strength of Weak Learnability," Machine Learning. 5 197-227 (1990).

36. H.Drucker, R.Schapire, P.Simard. "Boosting Performance in Neural Networks." International Journal of Pattern Recognition and Artificial Intelligence. 7 705-720 (1993).

37. Fukushima, K. (1988). Neocognition: a hierarchical neural network capable of visual pattern recognition. Neural Networks 1 (2), Стр. 119-130.

38. Knerr, S., Personnaz, L. & Dreyfus, G. (1992) Handwritten digit recognition by neural networks with single-layer training. IEEE Transactions on Neural Networks 3, 962-968.

39. Lee, Y. (1991) Handwritten digit recognition using К neares-neighbor, radial-basis function, and back-propagation neural networks. Neural Computation 3,440-449.

40. Martin, G.L. & Pitman, J. A. (1991) Recognizing hand-printed letters and digits using backpropagation learning. Neural Computation 3, 258-267.

41. M. Riedmiller, "A direct method for faster backpropagation learning", Proceedings of the 1993 IEEE International Conference on Neural Networks (ICNN '93), Vol. 1, San Francisco, 586-591.

42. Nguyen, D., and B. Widrow, "Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights," Proceedings of the International Joint Conference on Neural Networks, vol 3, pp. 21-26,1990.

43. Moller, M. F. 'A scaled conjugate gradient algorithm for fast supervised learning', Neural Networks, vol. 6, pp. 525-533, 1993.

44. R. O. Duda and P. E. Hart, Pattern Classification And Sc Analysis Wiley and Son, 1973.

45. Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Back propagation applied to handwritten zip code recognition," Neural Computation, vol 1, no. 4, pp. 541-551, Winter 1989.

46. S. Seung, H. Sompolinsky, and N. Tishby, "Statistical mechanics of learning from examples," Physical Revew , vol. 45, pp. 6056-6091, 1992.

47. V. N. Vapnik, E. Levin, and Y. LeCun, "Measuring the vc-dimension of a learning machine," Neural Computation, vol. 6, no. 5, pp. 851-876, 1994.

48. V. N. Vapnik, The Nature of Statistical Learning Theory Springer, New-York, 1995.

49. V. N. Vapnik, Statistical Learning Theory, John Wiley & Sons New-York, 1998.

50. W. H. Press, B. P. Flannery, S. A. Teukolsky, and W. T. Vetterling, Numerical Recipes: The Art of Scientific Computing Cambridge University Press, Cambridge, 1986.

51. S. I. Amari, "A theory of adaptive pattern classifiers," IEEE Transactions on Electronic Computers, vol. EC-16, pp. 299-307, 1967.

52. Ya. Tsypkin, Adaptatin and Learning in automatic system Academic Press, 1971.

53. Ya. Tsypkin, Foundations of the theory of learning system Academic Press, 1973.

54. M. Minsky and O. Selfridge, "Learning in random nets," in 4th London symposium on Informatics Theory, London, 1961 pp. 335-347.

55. D. H. Ackley, G. E. Hinton, and T. J. Sejnowski, "A learning algorithm for boltzmann machines" Cognitive Science, vol. 9, pp. 147-169, 1985.

56. D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation," in Parallel distribed processing: Explorations in the microstructure of cognitio, vol. I, pp. 318-362. Bradford Books, Cambridge, MA, 1986.

57. Y. LeCun, "A learning scheme for asymmetric threshold networks," in Proceedings of Cognitiva 85, Paris, France, 1985, pp. 599-604.

58. Y. LeCun, "Learning processes in an asymmetric threshold network in Disordered systems and biotical recognition"

59. Y. LeCun, Modeles connexionnistes de I'apprentissage (connectionist learning models), Ph.D. thesis, Universite P. et M. Curie (Paris 6), June 1987.

60. Y. LeCun, "A theoretical framework for back-propagation," in Proceedings of the 1988 Connectionist Models Summer School D. Touretzky, G. Hinton, and T. Sejnowski, Eds, CMU, Pitts burgh, Pa, 1988, pp. 21-28, Morgan Kaufmann.

61. L. Bottou and P. Gallinari, "A framework for the cooperation of learning algorithms," in Advances in Neural Information Processing Systems, D. Touretzky and R. Lippmann, Eds Denver 1991, vol. 3, Morgan Kaufmann.

62. Ofer Matan, Christopher J. C. Burges, Yann LeCun, and John S. Denker, "Multi-digit recognition using a space dis placement neural network," in Neural Information Processing Systems, J. M. Moody, S.J. Hanson, and R. P. Lippman, Eds

63. D. H. Hubel and T. N. Wiesel, "Receptive fields, binocular interaction, and functional architecture in the cat's visual cortex," Journal of Physiogy (ndn), vol. 160, pp. 106-154, 1962.

64. K. Fukushima, "Cognitron: A self-organizing multilayered neural network," Biological Cyberntics vol 20, no. 6, pp. 121-136, November 1975.

65. M. C. Mozer, The perception of multiple objects: A connectionist approach, MIT Press Bradford Books, Cambridge MA, 1991.

66. G. L. Martin, "Centered-object integrated segmentation and recognition of overlapping hand-printed characters" Neural Computation, vol. 5, no. 3, pp. 419-429, 1993.

67. J. Wang and J Jean, "Multiresolution neural networks for Omni font character recognition," in Proceedings of International Conference on Neural Networks, 1993, vol. Ill, pp. 1588-1593.

68. Y. Bengio, Y. LeCun, С Nohl, and С Burges "A NN/HMM hybrid for online handwriting recognition," Neural Computation, vol. 7, no. 5, 1995.

69. K. J. Lang and G. E. Hinton, "A time delay neural network architecture for speech recognition," Tech. Rep. CMU-CS-88-152, Carnegie-Mellon University, Pittsburgh PA, 1988.

70. Y. LeCun, I. Kanter, and S. Solla, "Eigenvalues of covariance matrices: application to neural-network learning," Physical Review Letters, vol. 66, no. 18, pp. 2396-2399, May 1991.

71. В. H. Juang and S. Katagiri, "Discriminative learning for minimum error classification, IEEE Trans, on Acoustics, Speech and Signal Processing vol. 40, no. 12, pp. 3043-304, December 1992.

72. Fogelman and P. Gallinari, Eds., Paris, 1995, pp. 53-60, EC2 & Cie.

73. Guyon, I. Poujaud, L. Personnaz, G. Dreyfus, J. Denlcer, and Y. LeCun, "Comparing different neural net architectures for classifying handwritten digits," in Proc. of IJCNN, Washington DC. 1989, vol. II, pp. 127-132, IEEE.

74. R. Ott, "Construction of quadratic polynomial classifiers in Proc. of International Confine on Pattern Recognition 1976, pp. 161-165, IEEE.

75. G. Cybenko, "Approximation by superposition of sigmoidal functions," Mathematics of Control, Signals, and Systems, vol. 2, no. 4, pp. 303-314, 1989.

76. L. Bottou and V. N. Vapnik, "Local learning algorithms" Neu ral Computation, vol. 4, no. 6, pp. 888-900, 1992.

77. R. E. Schapire, "The strength of weak learn ability Machine Learning, vol. 5, no. 2, pp. 197-227, 1990.

78. P. Simard, Y. LeCun, and Denker J., "Efficient pattern recognition using a new transformation distance," in Advances in Neural Information Processing Systems, S. Hanson, J. Cowan, and L. Giles, Eds. vol. 5. Morgan Kaufmann, 1993.

79. Y. LeCun, L. Bottou, and Y. Bengio, "Reading checks with graph transformer networks," in International Conference on Acoustics, Speech, and Signal P s sing, Munich, 1997, vol. 1 pp. 151-154, IEEE.

80. Y. Bengio, Neural Networks for Speech and Sequence Recognition, International Thompson Computer Press, London, UK, 1996.

81. Т. M. Breuel, "A system for the off-line recognition of handwritten text" in ICPR', IEEE, Ed., Jerusalem 1994, 1994, pp. 129-134.

82. Lippmann R. P. and Gold В., "Neural-net classifiers useful for speech recognition," in Proceedings of the IEEE First International Conference on Neural Networks, San Diego, June 1987, pp. 417-422.

83. Y. Bengio, R. De Mori, G. Flammia, and R. Kompe, "Global optimization of a neural network-hidden Markov model hybrid," IEEE Transactions n Neural Networks, vol. 3, no. 2, pp. 252-259, 1992.

84. T. Kohonen, G. Barna, and R. Chrisley, "Statistical pattern recognition with neural network: Benchmarking studies," in Proceedings of the IEEE Second International Conference of Neural Networks, San Diego, 1988, vol. l,pp. 61-68.

85. M. Lades, J. C. Vorbruggen, J. Buhmann, and C. von der Mais burg, "Distortion invariant object recognition in the dynamic link architecture," IEEE Trans. Comp, vol. 42, no. 3, pp. 300-311, 1993.

86. B. Boser, E. Sackinger, J. Bromley, Y. LeCun, and L. Jackel "An analogneural network processor with programmable topology," IEEE Journal of Solid-Stat Circuits vol. 26, no. 12, pp. 2017-2025, December 1991.

87. С Dugast, L. Devillers, and X. Aubert, "Combining TDNN and HMM in a hybrid system for improved continuous-speech recognition," IEEE Transactions on Speech and Audio Processing, vol. 2, no. 1, pp. 217-224, 1994.

88. Y. Bengio and Y. Le Cun, "Word normalization for on-line handwritten word recognition," in Proc. of the International Conference on Pattern cognition, IAPR, Ed., Jerusalem, 1994, IEEE.

89. R. Vaillant, C. Monrocq, and Y. LeCun, Original approach for the localization of objects in images," IEEEProc on Vision, Image, and Signal Processing, vol. 141, no. 4, pp. 245-250, August 1994.

90. H. Bourlard and C. J. Wellekens, "Links between Markov models and multilayer perceptrons," in Advances in Neural Information Processing Systems, D. Touretzky, Ed., Denver, 1989, vol. 1, pp. 186-187, Morgan-Kaufmann.

91. Guyon, M. Schenkel, and J. Denker, "Overview and synthesis of on-line cursive handwriting recognition techniques," in Handbook on Optical Character Recognition and Document Image Analysis P. S. P. Wang and Bunke H. Eds. 1996, World Scientific.

92. M. Mohri and M. Riley, "Weighted determinization and minimization for large vocabulary recognition," in Proceedings of Eurospeech '97, Rhodes, Greece, September 1997, pp. 131-134.

93. M. Gilloux and M. Leroux, "Recognition of cursive script amounts on postal checks," in European Conference dedicate to Postal Technology, Nantes France, June 1993, pp. 705-712.

94. D. Guillevic and C. Y. Suen, "Cursive script recognition applied to the processing of bank checks," in Int. Conf on Document Analysis and Recognitin, Montreal, Canada, August 1995, pp. 11-14.

95. R. Battiti, "First- and second-order methods for learning: Between steepest descent and newton's method. Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

96. A. H. Kramer and A. Sangiovanni-Vincentelli, "Efficient parallel learning algorithms for neural networks," in Advances in Neural Information Processing Systems, D.S. Touretzky, Ed.

97. Основы Visual С++, Microsoft Press, 1997.122. «Разработка приложений на Microsoft Visual С++. Учебный курс MCSD». Издательский дом «Русская редакция», 2000.

98. Тихомиров Ю.В. SQL Server 6.5. Разработка приложений., БХВ СПб,1998.

99. Сайт компании Lotus (http://www.lotus.com/home.nsf/welcome/russia)

100. Сайт компании DOCS OPEN (http://www.hummingbird.ru)

101. Сайт компании Documentum 4i. (http://www.documentum.ru/docum4i.html)

102. Сайт компании Cognitive. (http://www.cognitive.ru/products/euphrates/index.shtml)

103. Евфрат документооборот, (http://www.cognitive.ru/products/euph-doc.htm)

104. Стандарты Work Flow.(http://www.wfmc.org)

105. Сайт компании DocsVision (http://www.docsvision.com)

106. Сайт компании Digital Design (http://www.digdes.ru)

107. Сайт компании Syntellect (http://www.syntellect.ru)

108. Электронный журнал «Открытые системы» (http://www.osp.ru)

109. Электронный журнал «CNews» (http://www.cnews.ru)

110. Электронный журнал «Альянс Разработчиков Программного Обеспечения» (http://www.silicontaiga.ru)