Метод распознавания символов, основанный на полиномиальной регрессии

Пестрякова, Надежда Владимировна

Системный анализ, управление и обработка информации (по отраслям)

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод распознавания символов, основанный на полиномиальной регрессии

доктора технических наук: Пестрякова, Надежда Владимировна
город: Москва
год: 2012
специальность ВАК РФ: 05.13.01

Диссертация по информатике, вычислительной технике и управлению на тему «Метод распознавания символов, основанный на полиномиальной регрессии»

Автореферат диссертации по теме "Метод распознавания символов, основанный на полиномиальной регрессии"

005018758

На правах рукописи

Пестрякова Надежда Владимировна

МЕТОД РАСПОЗНАВАНИЯ СИМВОЛОВ, ОСНОВАННЫЙ НА ПОЛИНОМИАЛЬНОЙ РЕГРЕССИИ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (информационно-вычислительное обеспечение)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

3 МАЙ

Москва-2012

005018758

Работа выполнена в Федеральном государственном бюджетном учреждении науки Институте системного анализа Российской академии наук в лаборатории 9-3 «Методы искусственного интеллекта»

Научный консультант:

член-корреспондент РАН АРЛАЗАРОВ Владимир Львович

Официальные оппоненты:

ДАНИЛИН Николай Семенович, доктор технических наук, профессор, ОАО «Российские космические системы», заместитель начальника научного центра по науке

ЧЕРЕШКИН Дмитрий Семенович, доктор технических наук, профессор, Федеральное государственное бюджетное учреждение науки Институт системного анализа Российской академии наук, заведующий лабораторией

ГАВРИЛОВ Сергей Витальевич, доктор технических наук, Федеральное государственное бюджетное учреждение науки Институт проблем проектирования в микроэлектронике Российской академии наук, заведующий сектором

Ведущая организация: Федеральное государственное бюджетное учреждение науки Институт проблем передачи информации им. А. А. Харкевича Российской академии наук

Защита состоится 21 мая 2012 г. в 11.00 часов, аудитория 1506, на заседании Диссертационного совета Д 002.086.02 при Федеральном государственном бюджетном учреждении науки Институте системного анализа Российской академии наук по адресу 117312 Москва, проспект 60-летия Октября, д. 9.

Автореферат разослан « "/<-» апреля 2012 г.

Ученый секретарь

диссертационного совета,

д.т.н., профессор ПОДПИСЬ

А.И. Пропой

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задача распознавания печатных и рукопечатных символов весьма актуальна для различных видов современных наукоемких технологий, использующих оптический ввод документов. Рукопечатные символы - написанные от руки согласно стандартному начертанию букв (заглавные печатные буквы некоторого алфавита) и цифр.

Существующие классы распознающих систем (программы ввода текстов, системы потокового ввода структурированных документов, видеорегистраторы текстовых объектов) имеют различные стратегии распознавания, но опираются на общие алгоритмы распознавания символов.

С расширением области применения систем распознавания ужесточаются предъявляемые к ним требования. Это стимулирует разработку новых эффективных методов распознавания символов. Характеристики качества включают не только традиционные точность и быстродействие, но также свойства оценок распознавания, на основании которых определяется надежность алгоритмов более высокого уровня и всей системы в целом.

Появление и распространение технологий nVidia CUDA, ATI Stream, OpenCL и Microsoft DirectCompute порождает интерес к разработке методов, вычислительная структура которых удобна для распараллеливания.

Данная работа посвящена созданию обеспечивающих возможность распараллеливания эффективных приложений полиномиальной регрессии к задаче распознавания печатных и рукопечатных символов, обучению и проверке разработанного метода на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры), теоретическому и численном}' анализу характеристик качества и свойств разработанного метода распознавания, а также разработке и реализации приложений метода распознавания в исследовании статистических свойств обучающих и распознаваемых множеств символов. В диссертации представлены все перечисленные направления.

Конкретные побудительные мотивы проведения исследований, представленных в диссертации, следующие.

1. Фундаментальной проблемой является разработка и программная реализация метода распознавания символов ввиду недоступности документации по существующим решениям. Открытые публикации1 содержат недостаточно информации для создания метода распознавания печатных и рукопечатных символов на основе полиномиальной регрессии.

1 Schurmann J. Pattern Classification, John Wiiey&Sons. Inc.. New York, NY, 1996.

2. В последние годы большое значение придается распараллеливанию численных алгоритмов с целью решения задач распознавания на многопроцессорной вычислительной технике. Особая эффективность метода, основанного на полиномиальной регрессии, определена тем, что решение исходной задачи легко сводится к решению серии более простых задач,

3. При разработке нового метода распознавания необходимо исследование свойств выставляемой им оценки для различных типов символов, а также сопоставление характеристик качества данного метода (быстродействие, точность распознавания, монотонность оценок) с другими известными методами.

4. Актуальным является изучение статистических свойств обучающих и распознаваемых множеств символов. Для этого годится далеко не каждый метод распознавания. В основе данного вероятностного метода распознавания лежит достоверно восстановленный неизвестный вероятностный закон, по которому распределены элементы обучающей последовательности символов, моделирующей датчик случайных векторов. Степень достоверности этого приближения соответствует точности распознавания на обучающем множестве. Ее высокий уровень позволяет использовать данный метод для анализа статистических свойств множеств символов.

Предметом исследований является:

1. Программная реализация методов распознавания печатных и рукопе-чатных символов; обучение и использование этих методов на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры).

2. Теоретический и численный анализ характеристик качества и свойств разработанных методов распознавания.

Целями диссертации являются:

1. Разработка и реализация в виде библиотеки программ метода, основанного на полиномиальной регрессии, для численного решения задачи распознавания печатных и рукопечатных символов.

2. Численное исследование характеристик качества (быстродействие, точность распознавания, монотонность оценок) программной реализации метода на различных базах графических образов символов с известными границами (прямые печатные буквы и цифры, прямые и курсивные печатные цифры, рукопечатные цифры).

3. Сопоставление с характеристиками качества известных алгоритмов распознавания символов, таких как искусственные нейронные сети и алгоритм сравнения с эталонными образами.

4. Разработка методик и численные исследования на базах печатных и рукопечатных цифр:

- закономерностей в поведении оценок распознавания;

- особенностей взаимного расположения правильно, неправильно распознанных изображений символа, а также образов «чужих» символов (отличных отданного).

5. Разработка методик и численные исследования зависимости точности и оценок распознавания от степени различия между множествами обучения и распознавания.

Методология исследования. В работе был использован байесовский вероятностный прецедентный подход для задачи классификации на К непересекающихся классов. Ответом распознавателя считается ^-мерный вектор вероятностей в принадлежности объекта к каждому из классов, по которому можно найти номер класса. Тем самым, классификация превращается в специальный случай регрессии, что отражено в названии работы.

Научная новизна заключается в следующем.

Введены новые величины (среднестатистический растр и полиномиальный вектор), являющиеся характеристиками множества изображений символов, и изучены особенности их распознавания. По разработанной методике в контексте этих величин найдены закономерности поведения средней оценки распознавания.

С использованием предложенного подхода на основе немонотонного поведения средней оценки распознавания изучена структура базы обучения.

Выполнено исследование механизма формирования средней оценки из оценок отдельных образов.

Найдены закономерности в расположении правильно, неправильно распознанных изображений символов, а также образов «чужих» символов.

Автор диссертации разработал методику и провел численные исследования зависимости точности и оценок распознавания от степени различия между обучающим множеством и полученным путем его модификации распознаваемым множеством для предложенных моделей затемнения - засвет-ления и дискретизации. Установлены корреляционные соотношения с динамикой среднестатистических растров и векторов. Для рукопечатных и печатных цифр проведен сравнительный анализ полученных результатов.

Достоверность численных результатов проверена сопоставлением с данными, полученными аналитически.

Впервые введены понятия мелко-, средне- и крупномасштабных явлений при описании данного метода распознавания. Показано наличие организационных структур на средне- и крупномасштабном уровнях.

Практическая ценность и реализация результатов работы.

В диссертации разработан метод распознавания печатных и рукопечат-ных символов, основанный на полиномиальной регрессии. Выполнено обучение метода и проверка точности распознавания, быстродействия и монотонности оценок на базах печатных прямых букв и цифр, печатных прямых и курсивных цифр, рукопечаткых цифр.

Проведенное в данной работе сравнение с другими методами распознавания символов, а также многолетняя практика использования метода показали, что разработанный и реализованный метод распознавания удовлетворяет высоким требованиям по точности распознавания, быстродействию, монотонности оценок. Метод хорошо зарекомендовал себя при распознавании сильно зашумленных (загрязненных и в значительной степени разрушенных) изображений.

Вычислительная структура метода обеспечивает возможность глубокого мелкозернистого распараллеливания. Это является неоспоримым преимуществом метода при распараллеливании как средствами CPU (центрального процессора), так и с помощью GPU (средств графических карт). Относительное увеличение скорости достигает 25 - 28 раз.

Разработанный алгоритм распознавания печатного и рукопечатного написания на базах графических символов с известными границами оформлен в виде библиотеки программ, состоящей из двух частей: обучение (с возможным дообучением) и распознавание для платформ Windows2000 / Win-dowsXP / Windows Vista / Windows 7.

Результаты диссертационной работы были использованы при реализации систем ввода документов в компьютер.

Данный метод в течение ряда лет применяется для распознавания руко-печатных цифровых реквизитов в системе массового ввода сложноструктурированных документов Cognitive Forms.

туры, так и без него. На этом основано его применение в алгоритмах адаптивного распознавания печатных символов на базе OCR Cuneiform.

Апробация работы. Результаты диссертационной работы докладывались на семинарах ИСА РАН под рук. чл.-корр. РАН проф. В. Л. Арлазарова и д.т.н. проф. Н. Е. Емельянова; Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (2009); Международной конференция «Системный анализ и информационные технологии» (2009, 2011); Международной научно-практической конференции «Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности» (2011); Международной конференции по Вычислительной механике и современным прикладным программным системам (2011).

Личный вклад автора. Основные научные результаты диссертационной работы принадлежат лично автору. Ряд экспериментальных данных получен при участии сотрудников Института системного анализа РАН. Автор являлся инициатором и исполнителем разработок, формулировал теоретические и экспериментальные задачи, намечал пути решения и решал их, разрабатывал и реализовывал методики исследований, разрабатывал программное обеспечение.

Положения, выносимые на защиту:

1. Новый вероятностный метод распознавания печатных и рукопечат-ных символов, основанный на полиномиальной регрессии, обладающий большим быстродействием, высокой точностью и монотонностью оценок, вычислительная структура которого обеспечивает возможность распараллеливания.

2. Способ представления полиномиальных векторов для печатных и ру-копечатных символов.

3. Метод получения матрицы распознавания без обращения матрицы большой размерности.

4. Приложения метода распознавания в исследовании статистических свойств обучающих множеств символов.

5. Приложения метода распознавания в исследовании статистических свойств распознаваемых множеств символов.

По теме диссертации опубликовано 25 работ, в том числе 1 монография и 10 статей из Перечня рецензируемых научных изданий, рекомендованных ВАК РФ. Основные результаты диссертации представлены в публикациях, список которых приведен в конце автореферата.

Российский фонд фундаментальных исследований поддержал работы, определившие значительную часть содержания диссертации (грант РФФИ №10-07-0700374-а). Издана монография, обобщившая полученные результаты (грант РФФИ №11-07-07006-д).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 257 страницах, содержит 48 иллюстраций и 29 таблиц. Библиография включает 192 наименования.

Во введении обоснована актуальность темы, сформулированы цель и задачи исследования, изложены структура и содержание диссертации.

В первой главе дано представление о распознавании образов - научной дисциплине, к которой относится выполненная работа. Приведены используемые в публикациях основные понятия и терминология. Рассмотрен байесовский вероятностный подход, лежащий в основе данного исследования, и описаны особенности его применения. Представлен обзор метрических алгоритмов классификации, к которым относится, в частности, метод сравнения с эталоном, используемый при сопоставлении с характеристиками качества метода, описанного в диссертации. Рассматривается задача восстановления регрессии и объяснено, что именно к ней сводится задача классификации в данной работе. Обсуждается проблема оценивания и выбора модели. Показано, что при разработке данного метода распознавания использовались как общепринятые, так и новые авторские подходы. Рассмотрены публикации по полиномиальным нейронным сетям. Основанный на этом подходе метод используется при сопоставлении с характеристиками качества метода, описанного в настоящей работе. Сформулированы выводы о том, как соотносятся результаты, полученные в диссертации, с публикациями по методам распознавания, а также о ее месте среди всего указанного спектра исследований в этой области.

Во второй главе рассмотрены теоретические основы и аспекты практической реализации разработанного метода. Производится сопоставление с известными алгоритмами распознавания символов.

Разработан алгоритм, позволяющий по предъявляемому растру изображения определить, какому символу из некоторого конечного множества с К элементами он соответствует. Представлением символа является растр, состоящий из N-NlxN2 серых или черно-белых пикселов. Перенумеровав все пикселы растра, запоминаем в /-ой компоненте (l</<iV) вектора veR'v состояние /-го пиксела (яркость), а именно, 0 или 1 в случае черно-белого растра и

значение на отрезке [0,1] для серого растра. Пусть [--{у} - совокупность всевозможных растров. Очевидно, КсЯЛ', причем если пикселы черно-белые, то ¥={0,1}к — конечное множество, элементами которого являются последовательности из нулей и единиц длины N. Если пикселы серые, то К=[0,1]Л —Л-мерный единичный куб в Я1.

Отождествим /с-й символ с базисным вектором е4=(0...1...0) (1 на к-м месте, 1 <к<К) из Обозначим }'={е1,.. .,еА-}.

Пусть для предъявляемого растра уе К можно найти рДу) - вероятность того, что растр изображает символ с номером к, 1<к<К. Тогда результатом распознавания считается символ с порядковым номером к0, где

Рь(у)=тах рДу), 1 <к<К (1)

Приближенные значения компонент (р1(у),...,рЛ{у)) в соответствии с методом полиномиальной регрессии будем искать в виде многочленов от координат У=(\'Ь...^):

л' n

= 1<к<к. (2)

Ы /,У=1

Суммы в (2) определяются выбором базисных мономов, Если

х(у)=(1,уь ... ... )т

конечный вектор размерности Ь из приведенных в (2) базисных мономов, упорядоченных определенным образом, то (2) можно записать так:

Р(У) = (Р1(У),..„Р^))Т = Л(У) (3)

Столбцами матрицы А размера ЬхК являются векторы а<'),.-., Каждый такой Бектор составлен из коэффициентов при мономах соответствующей строки (2) с совпадающим индексом к, упорядоченных, как в х(у).

Пусть имеется датчик случайных векторов, распределенных по неизвестному нам закону р(у,у):

[У(1,,у(1)],[у(2',у(2)],... (4)

Практически набор [у"',у (1)],..., [у(/),У <"'1] реализуется некоторой базой данных. Приближенное значение А следующее (обучение):

^ 3 (-7 ±«°Чх°>)т )-(т £«0,<У0,)Т) (5)

^ у=1 м

Правую часть (5) можно вычислить по рекуррентной процедуре:

^ = Аи-а^ф[А х»-^, ау = 1 и

(6)

с, = [С.га/ х

1 1-е/ 71 +

где и С0 заданы. Введение матрицы С] размера ЬхЬ помогает избежать обращения матрицы в (5).

Разработанный автором метод «полиномов» - конкретная алгоритмическая реализация, основанная на описанном математическом подходе к решению задачи. Используется упрощенная модификация процедуры (6):

Ср О'1, О = ( Е{*? }, Е{х> },..., Е{х[ }) (7)

где хх, - компоненты х(у). Масштабирование образов до размера рас-

тра 7^=256=16x16 сохраняет особенности геометрии символов (рис. 1).

Рис. 1 - Образы 16x16 печатных и рукопечатных символов

Достижением данного метода является конкретный вид вектора базисных мономов x(v). Его структура оптимизирована по точности распознавания символов обучающей выборки на базах графических образов (175 тыс. для рукопечатных цифр, 1 млн. символов для печатных букв и цифр). Используются два варианта вектора х. Длинный вектор имеет вид:

х =(1, {v,}, {v,2}, {(5v,)r}> {(&,)r2}, {(Sv,),}, {(5v,)j2}, {(8vJr% {(6»,)Д {(8v/)r(5v,)v}, {(5v,)r2(5v,)/}, {(5v,)ASv,)/b {(5v,W(6v,)r),}, {(5v,M(Sv,■);.)/}, {(Ьу,Ш&*Ш> (8)

{(5v^((8v,•),.),}, {(5у,)Х(8у,Ш. {(Sv^Sw^W,

Короткий вектор составлен из элементов в первой строке (8):

х=(1, {V,}, {V,2}, {(Si',),.}, {(5v,)/}, {{5v,)y}, {(8v,),2}) (9)

Компоненты вектора х, не имеющие индекса / или d, вычисляются для всех пикселов растра; с индексом / - кроме левых граничных, с индексом d - кроме нижних граничных. Через (6v/), и (8v,)j обозначены конечные центральные разности величин v, по ортогональным направлениям ориентации растра -индексы гну. Индекс / (left) или d (down) означает, что величины относятся к пикселу слева или снизу от данного. Вне растра v,=0. Поскольку рукопечат-ные символы имеют меньшую толщин)', чем печатные, использовался прием искусственного «уширения» изображения.

При вычислении элементов матрицы D (7) для каждого у'-го элемента базы символов строится вектор х 'согласно (8) или (9). Попутно рассчитываются компоненты вспомогательного вектора т' по формуле:

<=(1-10)т';'+(х>рУО, г h-J, (Ю)

В конце этой процедуры для последнего элемента имеем согласно (7):

G/з £)"' = diag {\!mJx ,\lmi,...,\lmJL) (11)

После вычисления Gj для каждого /-го элемента базы символов строится вектор х' согласно (8) или (9) и находятся элементы матрицы Aj (5):

a?=a*-ajx',CZ а%х> - y't)lm'p, aj=l/J (12)

A, =laf]J=l,...,J, р - , k=l,...,K

При распознавании по изображению строится вектор х согласно (8) или (9). Далее по формуле (4), используя A~Aj{ 12), вычисляются оценки для каждого из символов. Затем ищется символ с максимальной оценкой.

Получаемые из-за приближенности метода отрицательные оценхи искусственно обнуляли, а превышающие единиц)' делали равными 1.

Далее используются целочисленные оценки 1, 2, ..., 16. После умножения оценки на 16 старый диапазон оценок [0,1] переходит в новый [0,16]. Затем проводится дискретизация: [0,1]—>1, (1,2]—>2, ..., (15,16]—»16.

Анализируются следующие характеристики качества методов распознавания символов: точность, монотонность оценок и быстродействие.

Точностью распознавания по базе В называется величина

У(1 -р(С(Ь),Р{Ь)))

l-Èi__(13)

где b - элементы тестовой базы образов В, | В | - число образов в базе В, С(Ь) - код символа, известный для каждого образа из тестовой базы, Р(Ь) - код символа, полученный в результате распознавания, p(s,t) - расстояние между известным и распознанным кодами символа (функция сравнения, равная 1, если sut неразличимы, и равная 0 в противоположном случае). Коды прописных и строчных символов с одинаковым начертанием не различаются, например, группы букв кириллицы и цифр оОО зЗЗ нН.

Используются следующие обозначения: N(W) - количество распознанных образов с оценкой IV; Ni{W) - число неправильно распознанных образов с оценкой W; v{W)=N(W)i\B\ - частота распознавания с оценкой IV; vjr(fV) = N[r(lV)/N(U/r) - частота ошибочного распознавания с оценкой IV.

Монотонность оценок - свойство оценок характеризовать надежность распознавания. Исследуем совокупность частот (v/^Wmin). ••• , Ы^мах)}-Случаи с N(W)=0 не рассматриваем. Монотонность графика частот ошибок распознавания назовем монотонностью оценок метода. Интересны методы с монотонным убыванием в области высоких оценок.

Распределение оценок метода - совокупность частот {v(Wmin), ... , v(i^MAx)} появления оценок. Для метода с монотонными оценками высокие оценки характеризуются большей надежностью распознавания, поэтому желательно, чтобы метод чаще распознавал образы с большими оценками.

Быстродействие - количество распознанных в единицу времени образов, зависящее от платформы. Ниже распознавание производилось с помощью библиотеки, собранной компилятором Microsoft Visual С++ 6.0 в режиме максимальной скорости исполнения с использованием инструкций SSE. Тесты проводились на платформе с ЦП Pentium IV 1500 МГц; 512 Мб ОЗУ; ОС Windows 2000).

На всех приведенных далее рисунках гистограммой обозначено распределение vE(W), а графиком - распределение v(W).

Для печатных прямых и курсивных цифр обучение проводилось на базе в 95 тыс. элементов с коротким вектором х. При обучении и распознавании между прямыми и курсивными символами не делалось различий. На тестовой

последовательности из 12979 образов получена точность 0,9956, быстродействие - 11500 образов/сек. Ошибок со старшими оценками (равными 14, 15 и 16) нет, доля этих оценок составляет 0,69 (рис.2).

После обучения по базе в 175 тыс. рукопечатных цифр на тестовой последовательности из 8416 образов для длинного вектора х точность равняется 0,9973, а быстродействие - 4000 символов/сек (рис.З).

Рис. 2 - Печатные цифры Рис. 3 - Рукопечатные цифры

На этой же тестовой последовательности сопоставим характеристики метода полиномов, нейронной сети2 и метода сравнения с эталоном^

Для метода сравнения с эталонами размера 3x5 (рис.4) получена точность 0,9259, быстродействие - 8000 символов/сек. Для нейронной сети (рис.5) точность - 0,9976, а быстродействие - 4500 символов/сек.

Различие в точности распознавания нейронной сетью и полиномами, незначительное (0,9976 против 0,9973). Нейронная сеть распознает с максимальной оценкой 16 в 96,67% случаев, причем ошибается один раз, а полиномы - 34,2%, но без ошибок. Быстродействие методов сходно.

У метода сравнения с эталонами (рис.4) по отношению к методу полиномов намного ниже точность (0,9259 против 0,9973), заметно меньше доля максимальной оценки (0,0303 против 0,342) и хуже монотонность (больше частота ошибок для старших оценок).

2 Мисюрев A.B. Использование искусственных нейронных сетей для распознавания рутсо-печатных символов // Сборник трудов ИСА РАН «Интеллектуальные технологии ввода и обработки информации», 1998, с. 122-127

3 Славин O.A., Корольков Г.В., Болотин П.В. Методы распознавания грубых объектов // Сборник трудов ИСА РАН «Развитие безбумажных технологий в организационных системах». 1999, с. 331-355.

Сравнение характеристик метода полиномов с алгоритмами распознавания символов другой природы показывает его конкурентоспособность в области генерации высокоточных монотонных оценок и быстродействия.

В третьей главе как обучение, так и распознавание проводилось на базе рукопечатных цифр из 174778 элементов. Целочисленные оценки 1, 2, ..., 255 получаются из диапазона [0,1] аналогично оценкам 1, 2, ..., 16.

0,8 0,6 0,4 0,2 -о

13 15 Оценка

Рис. 4 - Сравнение с эталонами 3x5

Оценка

Рис. 5 - Нейронная сеть

Зависимость средней оценки от отклонения между растрами изображений символа и его «среднестатистическим» растром качественно соответствует изображенной на рис.6а для «1» и рис.7а для остальных цифр, но уровень шумов существенно выше.

Для среднестатистического растра к-то символа яркость в любом пикселе с номером г" равно среднему арифметическому значений яркости ¡-х пикселов по всем Л имеющимся в базе растрам изображений символа:

(14)

Расстояние между растрами у=(рь...,уу) и и ={их,...,иы) определяем суммированием модулей разности значений яркости в 1-х пикселах:

||v-u||=$>,-u,

(15)

Отклонения между растрами распознанных верно изображений символа и его среднестатистическим растром находятся на отрезке 0_1гие_тт, V_1гие_тах] (35,41 < у_Тгие_ггип < 50,76 и 101,70 < у_1гие_тах < 173,80 для всех цифр).

Делим [1Мтие_тт, ^1гие_тах] (аналог оси абсцисс рис. 6а, 7а) на 20 равных частей. На каждом участке вычисляем среднюю оценку (ось ординат

рис. 6а, 7а). Для «1» оценка монотонно убывает, затем увеличивается (велика зашумленность) до значения 255 на наибольшем удалении. Для остальных цифр есть тенденция к убыванию, но значителен шум.

Диаграмма числа правильно распознанных изображений из каждой части отрезка [v_true_min, v_true_max] для всех символов аналогична изображенной на рис.66, 76.

Для неправильно распознанных образов отклонения между растрами изображений символа и его среднестатистическим растром лежат на отрезке [v_false_min, v_false_max] (52,22 < v_false_min < 61,62 и 93,89 < v_false_max < 131,38). Неправильные оценки вдвое меньше правильных. Для каждого символа vjrne_min < v_false_min, но диапазон [v_true_min, v_true_max] мало отличается от [v_false_min, v_false_max]. Поскольку доля ошибок низка, распределение количества изображений, распознанных как верно, так и неверно, схоже с результатами, полученными для правильного распознавания.

Зависимость средней оценки от отклонения между полиномиальными векторами х, построенными по растрам изображений символа, и его среднестатистическим вектором представлена на рис.ба для «1», а на рис.7а для «3» и аналогично для остальных цифр.

Для среднестатистического полиномиального вектора А-го символа значение в /-й компоненте равно среднему арифметическому ;-х компонент векторов по всем Jk имеющимся в базе изображениям символа:

Расстояние между векторами у=(уь...^) и и=(г<1,...,м/_) определяем как сумму по Ь компонентам модуля разности значений в 1-х компонентах:

Отклонения между полиномиальными векторами распознанных верно изображений символа и его среднестатистическим вектором лежит на отрезке [лМгиегшп, *_1гие_тах] (2004 <*_1гие_тт < 2798 и 4954 <дМгие_тах <7917 для всех цифр).

(16)

(17)

1 3 5 7 9 11 13 15 17 19 отклонение

а)

250 225 -200 | 175 -

о 150 ■ 125 -100 75

ЁЕхЗ

1 3 5 7 9 11 13 15 17 19 отклонение

В)

250 -225 -200 -| 175 -

О 150 -125 -100 75 -

3 5 7 9 11 13 15 17 19 отклонение

12000 10000 ВООО 6000 4000 2000 0

13 5 7 9 1113151719 отклонение

б)

12000

10000 -

ш 8000 -

6000 -

4000

2000 -

ТТПТТТтш

13 5 7 9 1113151719 отклонение

70 -

о 60 -

Р н о 50 -

40 -

с НИ -

20 -

10 -

[Ь

1 3 5 7 9 11 13 15 17 19 отклонение

Д) е)

Рис. 6 - Поведение средней оценки - а), в), д) и количества образов -б), г), е) при отклонении от среднестатистического вектора для «1»

250 225 200 -

J 175 -

о 3

о 150

125 -100 75

~Ъ

1 3 5 7 9 11 13 15 17 19 отклонение

2500 ! !

2000 Ч ; 1500 -; 1000 -500 -

1 3 5 7 9 11 13 15 17 19 отклонение

а) б)

Рис. 7 - Поведение средней оценки - а) и количества образов - б) при отклонении от среднестатистического вектора для «3»

Делим отрезок [jMruemin, jc_true_max] (оси абсцисс на рис.ба, 7а) на 20 равных частей. Для изображений с полиномиальными векторами, попавшими в каждый такой участок, вычисляем среднюю оценку распознавания (оси ординат на рис. 6а, 7а). Для «1» она сначала убывает, а затем увеличивается до 255 на предпоследнем участке, а для остальных цифр убывает монотонно. Уровень шумов существенно ниже, чем для растров.

На рис.66, 76 по оси ординат отложено число правильно распознанных изображений из каждой части отрезка [jc_true_min, xtruemax] для символов «1» и «3» (по остальным цифрам - аналогично).

Отклонения между полиномиальными векторами неправильно распознанных изображений символа и среднестатистическим вектором этого символа находятся на отрезке [x_false_min, *_false_max] (2913 < jr_false_min < 3491 и 4909 < x_false_max < 6437). Для каждого символа jc_true_min < x_jfalse_min, но диапазон \х:_true_min, jc_true_max] отличается от [,Y_fa'se_min, jr_false_max] не очень существенно. Следовательно, поскольку доля ошибок мала, распределение числа образов, распознанных как верно, так и неверно, каждой из цифр схоже с рис.66, 76.

Чтобы сравнить поведение оценки в терминах растров и векторов, совместим отрезки [v_true_min, v_true_max] и [*_true_min, *_true_max]. Точке v_true соответствует ,v_true = x__true_min +• (v_true - v__true_min)-(jt_true_max -jt_true_min) / (v_true_max - v_true_min). Для символов, отличных от «1», до 1/2 или 1/3 величины максимального отклонения от 0 средняя оценка по век-

торам выше, чем по растрам. На отдаленных участках ситуация противоположная.

Особенное поведение оценки для «1» породило гипотезу, что база единиц составлена из двух подбаз. Чтобы выделить их, нашли изображения, чьи векторы удалены от jr_true_min более чем на 2/3 величины x_true_max-jtr_true_min. По ним построили среднестатистически вектор Х|. Для этих 714 образов при отклонении от Х| оценка монотонно падает (рис.бд). По оставшимся 32388 изображениям построили среднестатистический вектор х2, при удалении от которого оценка также падает (рис.бв). Для этих подбаз распределения числа изображений (рис.бе, рис.бг) оказались схожими с распределениями для полных баз символов (рис.66, 76).

Для символа «8» показано, как монотонное убывание средней оценки распознавания при отклонении от среднестатистического вектора соотносится с распределениями числа верно распознанных изображений для различных оценок. Рассмотрены следующие диапазоны оценок: [255, 250), [250, 240), [240, 230), [230, 220), [220, 210), [210, 200), [200, 190), [190, 180), [180, 170), [170, 160), [160, 150), [150, 140), [140, 130), [130, 120). Изображений с более низкими оценками мало. На рис. 8а, 6 приведены распределения числа образов с оценками внутри диапазонов с более высокими оценками (для низких аналогично). На Рис.8а также показано распределение для всего спектра оценок [0,255].

На каждой из частей отрезка [x_true_min, x_true_max] средняя оценка получается суммированием оценок 1, 2, 3, ..., 254, 255 с весами, определяемыми средней (по этой части) вероятности оценки. Монотонное убывание средней оценки соответствует наличию организационной структуры.

Среднестатистические растры и векторы распознаются правильно для всех символов. Любое изображение распознается как перечень из десяти альтернатив для каждого из символов с соответствующей оценкой. Альтернативы нумеруются по мере убывания оценок. Для правильно распознанного образа оценка 0ой альтернативы есть оценка распознавания. Соотношение между оценками 0ой и 1ой альтернативы говорит о «контрастности» распознавания (она тем больше, чем больше различаются оценки 0ой и Г" альтернативы). Для каждой цифры оценка распознавания среднестатистического растра ниже, чем вектора. Оценка 1ой альтернативы для любого среднестатистического растра выше, чем оценка 1ой альтернативы среднестатистического вектора как того же символа, так и другого. Значит, среднестатистический растр любого символа имеет меньшую контрастность, чем среднестатистический вектор.

Разброс оценок по всем символам при распознавании среднестатистических растров равен 229-105=124. Он намного выше, чем у векторов (240-219-2.1).

Рис. 8 - Число верно распознанных образов для различных оценок

символа «8».

Растры верно распознанных изображений любого символа могут находиться дальше от его среднестатистического растра, чем растры неверно распознанных образов (аналогично для полиномиальных векторов).

Среди верно распознанных изображений 87,50% растров наименее удалены от среднестатистического растра «своего» символа (для разных символов их доля варьируется в диапазоне 0,729 - 0,991). Аналогично, полиномиальные векторы 88,40% изображений наименее удалены от среднестатистического вектора «своего» символа (их доля 0,710 - 0,977).

Соответственно, среди неверно распознанных изображений всего лишь 53,35% растров наименее удалены от среднестатистического растра символа,

получившего наивысшую оценку (для полиномиальных векторов 51,53% ). Причем не для каждого из символов их доля равна или превышает величину 0,5). Однако для векторов таких символов больше (9 против 7).

В четвертой главе как обучение, так и распознавание проводилось на одной и той же базе: для рукопечатных цифр - из 174778 элементов, а для печатных цифр - из 5496 элементов. Использовались оценки 1, 2, ..., 255.

Для печатных и рукопечатных символов построены диаграммы средней оценки распознавания в терминах растров (векторов) при делении отрезка [у_1гие_гшп, у_1гие_тах] ([х_1гие_тт, *_1гие_тах]) на 5 равных частей с учетом малого объема базы печатных цифр по сравнению с рукопечатными.

Для печатных цифр диаграммы имеют общую тенденцию к убыванию (схожи с рис.7а), причем для растров (в отличие от векторов) высок уровень шумов. Для рукопечатных цифр уменьшение числа отрезков деления с 20 до 5 приводит к понижению уровня шумов для растров и векторов.

Распределения числа распознанных верно изображений в терминах растров (векторов) для печатных и рукопечатных цифр аналогичны.

Для обоих типов написания оценки неправильного распознавания значительно меньше, чем оценки правильного распознавания.

Для любого рукопечатного символа у_йие_тт (*_Ьпе_тт) меньше, чем у_ГаЬе_гшп (*_/а15е_тт) любого другого или того же символа, а для печатных символов значительно меньше. При этом следует учесть, что для печатных символов распознано неверно лишь по два изображения для «1» и «3»

Для произвольного символа С диапазон отклонений между растрами (векторами) изображений символов, отличных от С, и среднестатистическим растром (вектором) б по рассматриваемой базе находится от минимального 1 V_гшп до максимального -] у_тах (соответственно от -| *_гшп до -] х_тах).

Для печатных цифр у_1гие_гшп (*_1гие_тт) произвольного символа меньше, чем -| у_тт (-] х_тт) того же или какого-либо другого символа. Для рукопечатных цифр выполняется закономерность, являющаяся частным случаем приведенной: у_йие_гшп (дМгиепип) некоторого символа меньше, чем 1 у_гшп (-| *_тт) того же символа.

При рукопечатном написании для у£а1зе_тах (л ^а1зе_тах) некоторого символа и -| у_тах (-| д:_шах) произвольного символа имеем: v_false_max < 1 у_тах (х_г"а1йе_тах < ^ дг тах). Для печатных это также выполняется, но неправильно распознались лишь по два образа цифр «1» и «3».

Для любой рукопечатной цифры (кроме «1») при сравнении у_тю_тах (хйиетах) этого символа и -] у_тах (-] хтах) того же самого или любого

другого символа (включая «1») выполняется: v_true_max < -| v_max (x_true_max < -| jc rnax). Это выполняется и для каждого печатного символа.

Кроме того, для рукопечатных цифр каждая из трех «минимальных» величин v_true_min, v_false_min, -| v_min (x_true_min, .x_false_min. -| x_min) некоторого символа меньше любой «максимальной» величины v_true_max, v_false_max, -| v_max (jc true_max, *_false_max, -| jc_rnax) того же или какого-либо другого символа. Для печатных цифр выполняется закономерность, являющаяся частным случаем приведенной: каждая из трех «минимальных» величин v_true_min, v_false_min, -j v_min (x_true_min, jc_false_min, -| x_min) некоторого символа меньше, чем любая «максимальная» величина v_true_max, v_false_max, -| v_max (x_true_max, x_false_max, -| x max) того же символа.

Согласно полученным в диссертации результатам, для данного метода распознавания различаются мелко-, средне- и крупномасштабные явления.

К мелкомасштабным отнесены те, для которых не используется механизм осреднения (распознавание и выставление оценок образам символов).

При описании среднемасштабных используются среднестатистические растры и векторы, но не рассматривается механизм осреднения оценок (или он является несущественным). Сюда относится получение среднестатистического растра и вектора для каждого символа, относительно которых находят распределения числа образов того же символа для разных диапазонов оценок, а также местонахождение правильно, неправильно распознанных его изображений и «чужих» образов. На среднемасштабном уровне над «хаосом» мелкомасштабных явлений выявлена организационная структура - в расположении правильно, неправильно распознанных, а также «чужих» символов относительно среднестатистического вектора (растра).

Для крупномасштабных ключевыми являются ориентация на среднестатистический растр или вектор определенного символа и использование механизма осреднения оценок. Над «хаосом» мелкомасштабных и средне-масштабных явлений обнаруживается «порядок». Несмотря на то, что на всем диапазоне отклонений от среднестатистического вектора имеются изображения данного символа с различными оценками, количество которых определяется полученным распределением, результат их «коллективного» действия -организационная структура в виде монотонного уменьшения средней оценки при удалении от среднестатистического вектора (растра).

Интуитивно понятно, что любая база распознавания может быть получена из базы обучения, но неизвестен способ этого преобразования. В настоящей работе представляем базу распознавания как заданную модификацию

базы обучения. Рассмотрены три модели: «затемнения», «засветления» и «дискретизации».

При затемнении на этапе распознавания все пикселы растра постепенно затемняются: у,—» у,+ 0,01 ■ л, где я = 0,1, ••> МО- Если Д™ каких-то пикселов начиная с некоторого п имеем: у,> 1, то считаем V, = 1. При засветлении V,—► V,- 0,01 • и, где« = 0, 1,..., 100. Если получено у,< 0, то считаем 1', = 0.

На рис.10 приведена зависимость от п доли (в процентном выражении) числа нераспознанных изображений относительно их общего числа {т'^/Ы -затемнение, - засветление). Для рукопечатных цифр эта величина при

затемнении растет монотонно, а при засветлении имеется немонотонность при 64 < п < 72. Для печатных т«%/ и пш%$ увеличиваются монотонно. Засветление печатных образов приводит к наименьшему нарастанию доли неправильно распознанных образов по сравнению с засветлением рукопечатных, а также затемнением и печатных, и рукопечатных символов: при п = 96 для печатных цифр = 2,4%, = 82,9%, для рукопечатных ти%! =

81,0 46,1%.

Средняя оценка распознавания для рукопечатных символов и при затемнении (РгЬ Ц, и при засветлении (РгЬз) сначала уменьшается, а затем увеличивается (рис.9). Для РгЬ_1 средние темпы и падения, и роста в полтора-два раза выше, чем для РгЬя. Для печатных цифр РгЪ_а стремительно монотонно падает, а РгЬг при общей тенденции к гораздо более медленному монотонному уменьшению имеет небольшой участок немонотонности (локальный максимум при п = 80); здесь также нарушается гладкость для

Средняя оценка при /5 = 0 для печатных цифр несколько больше, чем для рукопечатных. Но при засветлении печатных изображений РгЬ я резко падает. РгЬ з при п > 0 меньше РгЬ_1 для печатных, а при п = 3 становится ниже оценки засветления и при п = 12 - затемнения рукопечатных.

Зависимость от п расстояния между среднестатистическими растрами баз обучения и распознавания (уг_* - затемнение и уу_5 - засветление) приведена на рис. 12, а отклонения между среднестатистическими полиномиальными векторами (хх_( при затемнении и хх х при засветлении) - на рис. 11а,б.

Для любого печатного или рукопечатного символа с ростом п увеличиваются VVJ и уу_5 (рис.12). При 0 < п < 100 и для печатных, и для рукопечатных функции уу_/ и уу_.у гладкие и почти линейные, с замедлением роста (увеличивается число пикселов, в которых достигается значение яркости 1 при затемнении и 0 при засветлении). Они располагаются по возрастающей так: засветление (рукопечатные), засветление (печатные), затемнение (печат-

ные), затемнение (рукопечатные). Для п > 0 величина превышает для рукопечатных цифр более чем вдвое, а для печатных - не более 15%.

С ростом п для рукопечатных хх_( строго растет, а хх_з при 64 < п < 72 немного падает (рис.11а). Для печатных хх_1 и ххз строго растут (рис.116).

Аналогично уу_г и для п > 0 величина хх_г более чем в полтора раза превосходит хх_з для рукопечатных цифр, а для печатных их разница приближается к 20% лишь около п = 100.

График хх_я перестраивается при 64 < п < 72 (рис. 11а). Здесь хх_х незначительно убывает, а левее и правее нарастает с почти постоянной скоростью, которая для п >72 в два раза ниже, чем для п < 64. На этом же отрезке перестраивается и график (рис.10). На этом участке незначи-

тельно убывает, а слева и справа монотонно увеличивается. Справа увеличивается с почти постоянной скоростью, которая ниже, чем соответствующая величина вблизи отрезка 64 < п < 72 слева. Итак, для п < 64 и п > 72 нарастанию хх_з соответствует увеличение т\в%.у, а при 64 < п < 72 очень незначительно убывают и хх_я, и При 64 < п < 72 поведение РгЬз меняется от убывания к нарастанию: при п = 64 имеется минимум РгЬз (рис.9).

График хх_1 (рис.11а) - монотонно возрастающий и кусочно-линейный. Производные рвутся при п = 24 и п = 32. На отрезке 24 < п < 32 темпы роста хх I приблизительно втрое больше, чем левее и правее. Здесь же отрезке перестраивается график (рис. 10); темпы роста пйх'УгЛ выше, чем слева и справа. Итак, в диапазане 0 < п < 100 монотонно возрастают и хх_Г, и т:х%1. При 24 < п < 32 темпы их роста намного выше, чем на остальных участках. Именно при 24 < п < 32 поведение РгЬ__( коренным образом меняется от убывания к нарастанию: при п = 32 имеется минимум этой величины (рис.9).

£ 20

10 -

0»-Ш-

О 8

16 24 32 40 48 56 64 72 60 88 96

-о— затеми рук ■ засеетл рук А загемн печ Ф засветл печ

Рис. 10 - Доля нераспознанных растров при затемнении и засветлении

Структура вектора для печатных цифр более простая, чем для рукопе-чатных, но сложнее растрового представления. График оценки распознавания для печатных цифр имеет меньше особенностей, чем для рукопечатных (печатные: монотонное убывание для засветления и тенденция к этому для затемнения; рукопечатные: выраженная немонотонность (вогнутость) и для затемнения, и для засветления) - рис.9. Поведение доли нераспознанных изображений печатных символов также имеет меньше особенностей (печатные: почти монотонный рост, гладкость для засветления и нарушение ее лишь в одной точке для затемнения; рукопечатные: нарушение монотонности для засветления, большее нарушение гладкости для засветления и затемнения) -рис.10. В отличие от «сложного» рукопечатного вектора, графики отклонения среднестатистического «простого» печатного вектора, имеют меньше особенностей: являются гладкими, монотонными, - сходны с печатными и руко-печатными растровыми аналогами (рис.11а, б - рис.12). Как и последние, они не отражают проявлений немонотонности оценки и нарушения гладкости в графике доли нераспознанных символов (при затемнении печатного образа).

При полном затемнении с п = 100 («Черный квадрат») все рукопечатные изображения распознаются как «1» с оценкой 255. Этим и объясняется рост средней оценки РгЪ (для п > 32 при затемнении. Однако при полном засветлении с п = 100 среди цифр от «0» до «9» нет столь уникально подходящей для «Белого квадрата». В качестве решения выбираются различные цифры с существенно более низкими оценками, чем при полном затемнении.

Для печатных цифр при полном затемнении все образы, как и для рукопечатных, распознаются как «1», но с меньшей оценкой РгЬ_1 = 93. Этим

объясняется тенденция к монотонному убыванию РгЬ_1 при затемнении. При полном засветлении все образы распознаются как «1» с минимальной оценкой РгЬ_з = 1, чем и объясняется монотонное убывание РгЬз.

затемнение * засватление)

а) рукопечатные цифры

затемнение *-- засветлание {

б) печатные цифры Рис. 11 - Расстояние между среднестатистическими векторами баз обучения и распознавания при затемнении и засветлении

При п - 100 для рукопечатных цифр выполняются равенства: \-v_i = 183,8, а также уу / = 72,2. Следовательно, гп»_ г + уу = 256. Эта сумма соответствует расстоянию между растрами «Белого» и «Черного» квадратов. Отклонение среднестатистического растра базы обучения от растра «Черного» квадрата в два с половиной раза больше, чем от растра «Белого» квадрата. Поэтому гу_/ превышает туз- более чем в два раза для каждого п > 0.

Для печатных цифр при п = 100 выполняются равенства: ~ 136,6, а также = 119,4. Следовательно, + = 256 (расстояние между рас-

трами «Белого» и «Черного» квадратов). Отклонение среднестатистического растра базы обучения от растра «Черного» квадрата приблизительно на 10% больше, чем от растра «Белого» квадрата (для рукопечатных символов - в два с половиной раза). Поэтому для печатных при. я > 0 величина \-v_t превышает уг ^ не более чем на 20% (а для рукопечатных - более чем в два раза).

160

160 ■

140

И| 120

5 100 ■

80 •

^ 60 ■

40 •

8 16 24 32 40 48 56 64 72 80 88 96

I _о— эатемн рук -»— засветп рук -*— затемн печ —♦— засеетл печ |

Рис. 12 - Расстояние между среднестатистическими растрами баз обучения и распознавания при затемнении и засветлении

Модель дискретизации - комбинация затемнения и засветления. В серых растрах яркость для каждого пиксела 0 < V, < 1. Поделим отрезок [0, 1] на 256 равных частей - отрезок и 255 полуинтервалов: [0, с/у], (Л, 2 • Л], (255 • Л, 256 • Л], где сЬ = 1/256. Сделаем для всех пикселов растра преобразование: если 0 < V, < ¿V, то V! -»■ <Л'/2 (иначе [0, Л] —«• Л/2); в полуинтервале к-Ом < у,<(Ж) • Л, где к= 1, ..., 255, заменяем: V,-* (к + 1/2) ■ Л (иначе (к ■ <Л\ (к + 1) ■ ¿Л>] —► (к + 1/2) ■ сЬ ). Это дискретизация бесконечного множества значений 0 < у, < 1, в результате V, может принимать 256 значений: {Л/2, (1 + 1/2) • с/у,..., (255 + 1/2) • сЫ}. Полученная база мало отличается от исходной.

При дискретизации с количеством отрезков дискретизации ЛГЯН„Р = 128, 64, 32, 16, 8, 4 каждая последующая база все больше отличается от исходной.

Для заданного аналитически получено, какое максимальное п

может быть в рамках моделей затемнения и засветления: п < 50/Л'д„скр.

Для произвольного символа уменьшение Лгд,.скр сопровождается увеличением расстояния между среднестатистическими растрами в базах обучения и распознавания уу (рис.15). В терминах среднестатистических полиномиальных векторов для хх сохраняется эта закономерность (аналогично рис.15). Темпы роста уу и хх, незначительные вблизи Л'ДНСКр = 256, нарастают с уменьшением .¥ЯИС1ф - графики являются вогнутыми.

N дискр

—*— "дискр рук" -»— "дискр печ J

Рис. 13 - Средняя оценка распознавания при дискретизации

На рис. 13-15 расстояния на оси абсцисс не соответствуют меткам делений - цифрам 256, 128, 64, 32, 16, 8, 4, которые образуют убывающую геометрическую прогрессию с коэффициентом 'Л. Для того чтобы установить это соответствие, следует длину отрезка [128, 64] сделать в два раза меньше, чем для отрезка [256, 128], длину отрезка [64, 32] сделать в два раза меньше, чем для отрезка [128, 64] и т.д. Это аналогично сжатию вдоль этой оси фрагментов графиков для каждого последующего отрезка по сравнению с предыдущим в два раза. При этом графики станут еще более крутыми.

0,4 ■ 0.2 -

0 -

256 128 64 32 16 8 4

N дискр

j »- "дискррук" ■ "дискр печ'J

Рис. 14-Доля нераспознанных растров при дискретизации

Можно заменить метки делений Мтскр на их «предельные» степени затемнения / засветления, а именно, fmasp = 50/Лгдискр, Расстояния на оси абсцисс не будут соответствовать новым меткам делений — числам 50/256, 50/128, 50/64, 50/32, 50/16, 50/4, которые образуют возрастающую геометрическую

прогрессию с коэффициентом 2. Чтобы установить это соответствие, следует длину отрезка [50/128, 50/64] сделать в два раза больше, чем для отрезка [50/256, 50/128], длину отрезка [50/64, 50/32] сделать в два раза больше, чем для отрезка [50/128, 50/64] и т.д. Это соответствует растяжению вдоль этой оси фрагментов графиков для каждого отрезка по сравнению с предыдущим в два раза. Графики станут более пологими и схожими с аналогами при затемнении и засветлении.

Анализ проводился для шкалы, изображенной на рис. 13 - 15. Для линейной по ТУдискр шкалы он качественно не изменится, а скорости или темпы роста, о которых будет говориться далее, увеличатся.

N дискр

| —*— "дискр рук" -«-- "дискр печ" I

Рис. 15 - Расстояние между среднестатистическими растрами баз обучения и распознавания при дискретизации

Рост (с ускорением) уу (рис.15) и хх (аналогично рис.15) при уменьшении Л'дискр соответствует уменьшению средней оценки распознавания РгЬ (рис. 13), причем темпы убывания последней также увеличиваются с уменьшением Л/дЦСЕр. И темпы роста уу, и темпы падения РгЬ для печатных выше, чем для рукопечатных. Доля неправильно распознанных символов для рукопечатных (рис.14) с уменьшением Л/дИС1ф от 256 до 128 - очень незначительно увеличивается, от 128 до 64 - уменьшается, а при дальнейшем падении Л'дискр от 64 до 4 - увеличивается с нарастающими темпами, а для печатных неизменно при Ыджкр от 256 до 16, а далее нарастает с постоянной скоростью (рис.14). Для рукопечатных цифр и темпы ее роста больше,

чем для печатных. И для печатных, и для рукопечатных графики изменения РгЬ и та% при дискретизации с умеЕЛшением Л^^р (Л'„„С1ф= 256, 128, 64, 32, 16, 8, 4) качественно соответствуют аналогичным для затемнения и засветле-ния с 0 < п < 50/4.

Для рукопечатных mis% достигает минимума при Nm~Kp = 64, для которого /а1ккр= 0,8. Ограничение на степени затемнения / засветления: п < 0,8. При п = 1 для засветления также зафиксирован близкий по значению минимум mis%s.

При любом написании отклонение между среднестатистическими растрами (векторами) баз обучения и распознавания, количество нераспознанных символов и средняя оценка лежат в диапазоне между соответствующими результатами для затемнения и засветления при степени ti=fWCKp или близки к ним.

В заключении перечислены основные теоретические и практические результаты, полученные в рамках диссертационной работы, состоящие в следующем:

1. Разработан и реализован новый вероятностный метод распознавания печатных и рукопечатных символов, основанный на полиномиальной регрессии, обладающий большим быстродействием, высокой точностью и монотонностью оценок, вычислительная структура которого обеспечивает возможность распараллеливания.

2. Предложен и реализован способ представления полиномиальных векторов для печатных и рукопечатных символов.

3. Реализован метод получения матрицы распознавания без обращения матрицы большой размерности.

4. Разработаны и реализованы приложения метода распознавания в исследовании статистических свойств обучающих множеств символов.

5. Разработаны и реализованы приложения метода распознавания в исследовании статистических свойств распознаваемых множеств символов.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИИ ИЗЛОЖЕНЫ В СЛЕДУЮЩИХ РАБОТАХ:

Публикации в научных изданиях, рекомендованных ВАК

1. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В В. Оценка распознавания символов для метода, основанного на полиномиальной регрессии // «Обработка изображений и анализ данных»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В .Л. Арлазарова, Н.Е. Емельянова. Т.38.- М.: Книжный дом «ЛИБРОКОМ», 2008. С.194-219.

2. Пестрякова Н.В. Структуры в распознавании // Информационные технологии и вычислительные системы. 2009, №1. С. 58-71.

3. Пестрякова H.B. Распознавание последовательности, полученной «дискретизацией» обучающей базы // «Обработка информационных и графических ресурсов»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В.Л. Арлазарова. T.5S - М.: «КРАСАНД», 2010. С. 226-237.

А. Пестрякова Н.В. Особенности распознавания печатных и рукопечатных символов // «Технологии программирования и хранения данных»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В.Л. Арлазарова, Н.Е. Емельянова. Т.45,- М.: «ЛЕНАРД», 2009. С. 206-230.

5. Гавриков М.Б., Мисюрев A.B., Пестрякова Н.В., Славин O.A. Об одном методе распознавания символов, основанном на полиномиальной регрессии // Автоматика и Телемеханика. 2006, №2. С. 119-134.

6.Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Зависимость точности и оценки распознания от степени различия между базами обучения и распознавания // «Обработка изображений и анализ данных»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В.Л. Арлазарова, Н.Е. Емельянова. Т.38.- М.: Книжный дом «ЛИБРОКОМ», 2008. С.233-240.

7. Пестрякова Н.В. Интегральные и дифференциальные характеристики базы символов // «Обработка информационных и графических ресурсов»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В.Л. Арлазарова. Т.58 - М.: «КРАСАНД», 2010. С. 211-225.

8. Пестрякова Н.В. Динамика качества распознавания при нарастании степени различия баз обучения и распознавания // Информационные технологии и вычислительные системы. 2010, №2. С. 75-82.

9. Пестрякова Н.В. Зависимость качества распознавания от степени различия между базами обучения и распознавания // «Технологии программирования и хранения данных»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В.Л. Арлазарова, Н.Е. Емельянова. Т.45,- М.: «ЛЕНАРД», 2009. С. 231-250.

10. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. О среднестатистических растрах и векторах метода распознавания символов, основанного на полиномиальной регрессии // «Обработка изображений и анализ данных»: сборник «Труды Института системного анализа Российской академии наук (ИСА РАН)» / под ред. В.Л. Арлазарова, Н.Е. Емельянова. Т.38.- М.: Книжный дом «ЛИБРОКОМ», 2008. С.220-232.

Монографии

11. Пестрякова Н.В.. Метод распознавания символов, основанный на полиномиальной регрессии//М.: «КРЛСАНД», 2011. 144с.

Статьи и материалы конференций, публикации в других изданиях

12. Пестрякова Н.В. Об сценках распознавания символов методом, основанным на полиномиальной регрессии // Третья Международная конференция «Системный анализ и информационные технологии» САЙТ - 2009 (14 - 18 сентября 2009 г., Звенигород, Россия): Труды конференции. М., 2009. С. 62.

13. Пестрякова Н.В. Метод распознавания символов, основанный на полиномиальной регрессии // «Высокие технологии, фундаментальные исследования, образование»: Сборник трудов Седьмой международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности». 28-30.04.2009, Санкт-Петербург, Россия / под ред.А.П. Кудинова, Г.Г. Матвиенко.- СПб. Изд-во Политехи, ун-та, 2009. С.129-130.

14. Пестрякова Н.В., Фарсобина В.В. Об оценках распознавания символов // «Высокие технологии, образование, промышленность»: Сборник статей Одиннадцатой международной научно-практической конференции «Фундаментальные и прикладные исследование, разработка и применение высоких технологий в промышленности», Т.2. 17-29 апреля 2011 года, Санкт-Петербург, Россия / под ред.А.П. Кудинова.- СПб. Изд-во Политехи, ун-та, 2011. С.101-102.

15. Пестрякова Н.В. Об одном вероятностном методе распознавания символов // Материалы XVII Международной конференции по вычислительной механике и современным прикладным программным системам (ВМСППС'2011,. 25-31 мая 2011 г, Алушта.) - М, Изд-во МАИ-ПРИНТ, 2011. С.211-213.

16. Пестрякова Н.В., Фарсобина В.В. О некоторых закономерностях в распознавании символов //' Труды Четвертой Международной конференции «Системный анализ и информационные технологии» (САЙТ - 2011, 17- 23 августа 2011г., Абзаково, Россия). Т.2.- Челябинск. Изд-во Челябинского государственного университета, 2011. С. 190 - 193.

17.Гавриков М.Б., Пестрякова Н. В. Метод полиномиальной регрессии в задачах распознавания печатных и рукопечатных символов //Препринт ИПМа-тем. АН СССР, М., 2004, №22. 12 с.

IS. Гавриков М.Б., Пестрякова Н.В., Славиц O.A., Фарсобина В.В. Развитие метода полиномиальной регрессии и его практическое применение в задачах распознавания, //Препринт ИПМатем. РАН, М., 2006, №25. 21 с.

19. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В В. О некоторых свойствах метода распознавания символов, основанного на полиномиальной регрессии, //Препринт ИПМатем. РАН, М., 2007, №69. 20 с.

20. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. О некоторых свойствах оценки метода распознавания символов, основанного на полиномиальной регрессии, //Препринт ИПМатем. РАН, М., 2008, №7. 28 с.

21 .Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Анализ метода распознавания символов, основанного на полиномиальной регрессии, //Препринт ИПМатем. РАН, М., 2008, №25. 28 с.

22. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Зависимость качества распознавания от взаимного расположения среднестатистических растров и векторов баз обучения и распознавания, //Препринт ИПМатем. РАН, М., 2009, №19. 28 с.

23. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Об оценках распознавания и структуре расположения изображений символов, //Препринт ИПМатем. РАН, М., 2009, №49. 28 с.

24.Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. О распознавании модифицированной обучающей базы. (Часть 1), //Препринт ИПМатем. РАН, М., 2010, №9. 28с.

25. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. О распознавании модифицированной обучающей базы. (Часть 2), //Препринт ИПМатем. РАН, М., 2010, №13. 16с.

Подписано в печать 05.04.2012 г.Печать трафаретная Печатных листов формат 60*90/16 - 2 Заказ № 1356 Тираж: 100 экз. ООО "Гипрософт" Типография «ЭипрппКЭ» 119334, Москва, Ленинский пр-т. д.37А (495) 626-42-43 / www.sunprint.ru

Оглавление автор диссертации — доктора технических наук Пестрякова, Надежда Владимировна

ВВЕДЕНИЕ.

1 ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ.

1.1 Общие сведения о распознавании.

1.2 Распознавание образов (терминология).

1.3 Байесовский вероятностный подход.

1.4 Метрические алгоритмы классификации.

1.5 Восстановление регрессии.

1.6 Искусственные нейронные сети.

1.7 Построение моделей алгоритмов.

1.8 Выводы.

2 МЕТОД РАСПОЗНАВАНИЯ: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ, ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ, ХАРАКТЕРИСТИКИ.

2.1 Математическая постановка задач обучения и распознавания согласно методу полиномиальной регрессии.

2.1.1 Краткий тематический обзор.

2.1.2 Математическая постановка задачи.

2.1.3 Метод наименьших квадратов.

2.1.4 Метод полиномиальной регрессии.

2.1.5 Вычисление матриц Е{х(у) х(у)т}, Е{х(у) ут}.

2.1.6 Практическое нахождение матрицы А.

2.2 Метод «полиномов» и его практическая реализаци.

2.2.1 Общие замечания.

2.2.2 Построение вектора х.

2.2.3 Практическая реализация.

2.2.4 Теоретические основы для изучения статистических свойств обучающего множества символов.

2.3 Характеристики метода полиномов.

2.3.1 Основные понятия.

2.3.2 Печатные прямые буквы и цифры.

2.3.3 Печатные прямые и курсивные цифры.

2.3.4 Рукопечатные цифры.

2.4 Сравнение методов.

ЗАКОНОМЕРНОСТИ В РАСПОЗНАВАНИИ.

3.1 Распознавание символов обучающей базы.

3.1.1 Общие замечания.

3.1.2 Поведение оценки распознавания в терминах растров.

3.1.3 Поведение оценки распознавания в терминах полиномиальных векторов.

3.1.4 Сравнение поведения оценки распознавания в терминах растров и полиномиальных векторов.

3.1.5 Оценка распознавания для «1». Выделение двух подбаз.

3.1.6 Оценки. От хаоса к структуре.

3.1.7 Выводы.

3.2 Распознавание «среднестатистических» растров и векторов.

3.2.1 Оценки и контрастность распознавания.

3.2.2 Расстояния между среднестатистическими растрами и векторами различных символов.

3.2.3 Связь между распознаванием и степенью близости к среднестатистическим растрам и векторам.

3.2.4 Выводы.

4 ПЕЧАТНЫЕ И РУКОПЕЧАТНЫЕ СИМВОЛЫ.

4.1 Распознавание печатных и рукопечатных символов.160 4.1.1 Особенности обучения и распознавания.

4.1.2 Зависимость оценки распознавания от величины отклонения растра изображения символа от среднестатистического растра.

4.1.3 Зависимость оценки распознавания от величины отклонения полиномиального вектора изображения символа от среднестатистического вектора.

4.1.4 Расположение правильно, неправильно распознанных и «чужих» символов в терминах растров и полиномиальных векторов.

4.1.5 Выводы.

4.2 Модели «затемнения» («засветления»).

4.2.1 Описание моделей и некоторые замечания.

4.2.2 Интегральные характеристики модифицированной базы. Сравнительный анализ при затемнении / засветлении и различных типах написания символов.

4.2.3 Качество распознавания. Сравнительный анализ при затемнении / засветлении и различных типах написания символов.

4.2.4 Корреляция качества распознавания и векторной интегральной характеристики модифицированной базы при засветлениидля рукопечатных символов.

4.2.5 Корреляция качества распознавания и векторной интегральной характеристики модифицированной базы при затемнении для рукопечатных символов.

4.2.6 О качестве распознавания и интегральных характеристиках модифицированной базы при засветлении и затемнении для печатных символов.

4.2.7 О сильном затемнении и засветлении.

4.2.8 Дифференциальные характеристики модифицированной базы.

4.2.9 Динамика дифференциальных характеристик модифицированной базы при засветлении для печатных и рукопечатных цифр.

4.2.10 Корреляция качества распознавания, векторных интегральной и дифференциальных характеристик модифицированной базы при засветлении рукопечатных символов.

4.2.11 Динамика дифференциальных характеристик модифицированной базы при затемнении для печатных и рукопечатных цифр.

4.2.12 Корреляция качества распознавания, векторных интегральной и дифференциальных характеристик модифицированной базы при затемнении рукопечатных символов.

4.2.13 Сравнительный анализ интегральных и дифференциальных характеристик при затемнении и засветлении для печатных и рукопечатных символов.

4.2.14 Расстояние между растрами «Белого» и «Черного» квадратов. Рукопечатные и печатные символы.

4.2.15 Выводы.

4.3 Модель «дискретизации».

4.3.1 Описание модели. Представление дискретизации в виде комбинации затемнения и засветления.

4.3.2 Анализ табличных и графических данных. Согласованность характеристик качества распознавания для дискретизации с соответствующими величинами для затемнения и засветления.

4.3.3 Выводы.

Введение 2012 год, диссертация по информатике, вычислительной технике и управлению, Пестрякова, Надежда Владимировна

Актуальность проблемы. Задача распознавания печатных и рукопечат-ных символов весьма актуальна для различных видов современных наукоемких технологий, использующих процесс оптического ввода документов в компьютер: автоматическая обработка платежных ведомостей в банках, результатов анкетирования или голосования, пенсионных форм и т.д.

Реализация оптического ввода бумажных документов основывается на превращении графического образа страницы в текст. Это типичная задача искусственного интеллекта, включающая распознавание символов, словарную обработку, элементы языковой семантики. Распознавание символов начинается после завершения этапов сканирования, бинаризации и сегментации образа документа.

Системы распознавания ориентируются на печатные и рукописные образы. Рукописная информация может являться как действительно таковой, например, в банковских чеках, так и документами, заполняемыми от руки, но с ориентацией на стандартное начертание букв (сходное с заглавными печатными буквами определенного алфавита) и цифр - так называемые рукопечатные символы.

Важным является то, что существующие классы распознающих систем, такие как программы ввода текстов, системы потокового ввода структурированных документов, видеорегистраторы текстовых объектов, используют различные стратегии распознавания, но опираются на общие алгоритмы распознавания отдельных символов.

Характеристики качества алгоритмов распознавания символов включают в себя не только традиционные критерии точности и быстродействия, но такую важную группу критериев, как свойства оценок распознавания, на основании которых осуществляется подсчет надежности алгоритмов более высокого уровня и всей системы в целом.

Область применения систем распознавания постоянно расширяется, причем одновременно идет процесс ужесточения предъявляемых к ним требований. Одним из способов решения проблемы является создание систем, использующих несколько разнородных методов распознавания отдельных символов. Все это стимулирует разработку новых методов распознавания символов и повышение их эффективности.

Существенный прогресс в решении этой задачи наблюдается в последние годы благодаря тому, что возрастающие возможности вычислительной техники позволяют применять алгоритмы большой сложности. Это, несомненно, способствует развитию современных точных методов распознавания. К таким общеизвестным подходам относится регрессионный анализ, лежащий в основе настоящей работы.

Появление и распространение технологий nVidia CUDA, ATI Stream, OpenCL и Microsoft DirectCompute порождает особый интерес к разработке методов, вычислительная структура которых обеспечивает возможность глубокого мелкозернистого (fine gained) распараллеливания, что является одним из важнейших свойств описанного в этой работе метода.

Данная работа посвящена созданию обеспечивающих возможность распараллеливания эффективных приложений полиномиальной регрессии к задаче распознавания печатных и рукопечатных символов, обучению и проверке разработанного метода на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры), теоретическому и численному анализу характеристик качества и свойств разработанного метода распознавания а также разработке и реализации приложений метода распознавания в исследовании статистических свойств обучающих и распознаваемых множеств символов. В диссертации представлены все перечисленные направления.

Конкретные побудительные мотивы проведения исследований, представленных в диссертации, следующие.

1. Фундаментальной проблемой является разработка и программная реализация метода распознавания символов, поскольку детальная документация по существующим решениям является коммерческой тайной и по этой причине недоступна для общего свободного пользования. Имеющиеся в открытом доступе публикации [156] могут быть использованы в той или иной степени при постановке задачи и в целом вызывают несомненный интерес, но содержат лишь общие сведения (формулы, рассуждения и т.д.) и никак не являются практическим руководством по созданию метода распознавания на основе полиномиальной регрессии из-за отсутствия конкретных сведений о структуре используемых многочленов, а также ввиду рассмотрения ситуаций, весьма далеких от реальных, в частности, для распознавания столь сложных объектов, как печатные и рукопечатные символы. В тоже время задача построения и реализации нового метода распознавания является многоаспектной, ввиду того что одновременно требуется найти ответ на огромное количество разноплановых вопросов, связанных и с постановочной составляющей (выбор модели, структуры полиномов, коэффициентов), и с конкретной реализацией. Возникает необходимость в решении оптимизационных проблем, поскольку для обеспечения высокого качества распознавания требуется усложнение структуры полиномов, но при этом ухудшается быстродействие.

2. В последние годы большое значение придается распараллеливанию численных алгоритмов для решения задач распознавания на многопроцессорной вычислительной технике. Для метода, основанного на полиномиальной регрессии, решение исходной задачи легко сводится к решению серии более простых задач. Особенная эффективность метода связана с возможностью реализации предложенного алгоритма на многопроцессорных и параллельных электронно-вычислительных машинах.

3. Разработка нового метода распознавания предполагает безусловную необходимость исследования свойств выставляемой им оценки, распределений общего и ошибочного количества распознаваний в зависимости от оценки для различных типов символов, а также сопоставление характеристик качества данного метода (быстродействие, точность распознавания, монотонность оценок) с другими известными методами.

4. Несомненно важным является изучение статистических свойств обучающих и распознаваемых множеств символов. Для этого подходит далеко не каждый метод распознавания. Особенность данного вероятностного метода распознавания заключается в том, что в его основе лежит восстановленный с большой степенью достоверности некоторый неизвестный вероятностный закон, в соответствии с которым распределены элементы обучающей последовательности символов, моделирующей датчик случайных векторов. Степень достоверности этого приближения соответствует точности распознавания на обучающем множестве. Ее высокий уровень позволяет использовать данный метод для анализа статистических свойств множеств символов.

Предметом исследований является:

2. Теоретический и численный анализ характеристик качества и свойств разработанных методов распознавания.

Целями диссертации являются:

4. Разработка методик и численные исследования на базах печатных и ру-копечатных цифр:

- закономерностей в поведении оценок распознавания;

Методология исследования. В работе был использован байесовский вероятностный прецедентный подход для задачи классификации на К непересекающихся классов. Ответом распознавателя считается АТ-мерный вектор вероятностей в принадлежности объекта к каждому из классов, по которому можно найти номер класса. Тем самым, классификация превращается в специальный случай регрессии, что отражено в названии работы.

Научная новизна заключается в следующем.

Выполнено исследование механизма формирования средней оценки из оценок отдельных образов.

Автор диссертации разработал методику и провел численные исследования зависимости точности и оценок распознавания от степени различия между обучающим множеством и полученным путем его модификации распознаваемым множеством для предложенных моделей затемнения - засветления и дискретизации. Установлены корреляционные соотношения с динамикой среднестатистических растров и векторов. Для рукопечатных и печатных цифр проведен сравнительный анализ полученных результатов.

Достоверность численных результатов проверена сопоставлением с данными, полученными аналитически.

Практическая ценность и реализация результатов работы.

В диссертации разработан метод распознавания печатных и рукопечатных символов, основанный на полиномиальной регрессии. Выполнено обучение метода и проверка точности распознавания, быстродействия и монотонности оценок на базах печатных прямых букв и цифр, печатных прямых и курсивных цифр, рукопечатных цифр.

Проведенное в данной работе сравнение с другими методами распознавания символов, а также многолетняя практика использования метода показали, что разработанный и реализованный метод распознавания удовлетворяет высоким требованиям по точности распознавания, быстродействию, монотонности оценок. Метод хорошо зарекомендовал себя при распознавании сильно зашум-ленных (загрязненных и в значительной степени разрушенных) изображений.

Результаты диссертационной работы были использованы при реализации систем ввода документов в компьютер.

Высочайшая монотонность генерируемых оценок позволяет использовать метод в промышленной технологии тестирования распознавания печатных и рукопечатных документов как с известным заранее описанием структуры, так и без него. На этом основано его применение в алгоритмах адаптивного распознавания печатных символов на базе OCR Cuneiform.

Апробация работы. Результаты диссертационной работы докладывались на следующих семинарах и конференциях: семинар ИСА РАН под рук. чл.-корр. РАН проф. В.Л.Арлазарова и д.т.н. проф. Н.Е.Емельянов (Москва, 2005); Седьмой международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2009); Третьей Международной конференции «Системный анализ и информационные технологии» САЙТ (Звенигород, 2009); Одиннадцатой международной научно-практической конференции «Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2011); XVII Международной конференции по Вычислительной механике и современным прикладным программным системам ВМСППС'2011 (Алушта, 2011); Четвертой Международной конференции «Системный анализ и информационные технологии» САЙТ (Абзаково, 2011).

Публикации. Основные результаты диссертационной работы представлены в 25 печатных работах: 1 монографии [192], 10-ти статьях Перечня, рекомендованного ВАК РФ [169, 170, 172, 175, 176, 181, 182, 183, 186, 187], 9-ти препринтах [161, 168, 171, 173, 174, 179, 180, 184, 185], 5-ти тезисах докладов [177, 178, 189, 190, 191].

Российский фонд фундаментальных исследований поддержал работы, определившие значительную часть содержания диссертации (грант РФФИ №10-07-0700374-а).

Издана монография [192], обобщившая полученные результаты (грант РФФИ №11-07-07006-д)

Содержание диссертации организовано в соответствии с указанными выше целями.

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 257 страницах, содержит 48 иллюстраций и 29 таблиц. Библиография включает 192 наименования.

Заключение диссертация на тему "Метод распознавания символов, основанный на полиномиальной регрессии"

ЗАКЛЮЧЕНИЕ

Основные теоретические и практические результаты диссертационной работы состоят в следующем.

3. Реализован метод получения матрицы распознавания без обращения матрицы большой размерности.

6. Начиная с 2000 года разработанный метод применяется в качестве одного из базовых методов распознавания рукопечатных цифровых реквизитов в промышленной системе распознавания сложноструктурированных документов ICR Cognitive Forms.

7. Начиная с 2000 года разработанный метод применяется в алгоритмах адаптивного распознавания, которые являются составной частью программы распознавания текстов OCR Cognitive Cuneiform.

Библиография Пестрякова, Надежда Владимировна, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Мерков А. Б. Распознавание образов. Введение в методы статистического обучения. // М.: Едиториал УРСС, 2011.

2. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. // М.: Финансы и статистика, 1989.

3. Бонгард М. М. Проблема узнавания. // М.: Физматгиз, 1967.

4. Айзерман М. А., Браверман Э. М., Розоноер Л. И. Метод потенциальных функций в теории обучения машин. // М.: Наука, 1970.

5. Вапник В. К, Червоненкис А. Я. Теория распознавания образов. Статистические проблемы обучения. // М.: Наука, 1974.

6. Аркадьев А. Г., Браверман Э. М. Обучение машины классификации объектов. //М.: Наука, 1971.

7. Журавлев Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики, 1978, Т. 33, с. 5-68.

8. Журавлев Ю. И. А. А. Ляпунов и становление кибернетики в нашей стране // А. А. Ляпунов. Проблемы теоретической и прикладной кибернетики. Новосибирск: Наука, 1980, с. 4-17.

9. Журавлёв Ю. И., Рязанов В. В., Сенъко О. В. Распознавание. Математические методы. Программная система. Практические применения.// М.: ФАЗИС, 2006. — 176 с.

10. ХаркевичА. А. Опознавание образов. // Радиотехника, т. 14, 15. 1959 г.

11. Fisher R. A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics. — 1936 T. 7. — C. 179-188.

12. Винер H. Кибернетика или управление и связь в животном и машине. // М.: Советское радио, 1958.

13. Винер Н. Кибернетика или управление и связь в животном и машине. 2-е изд. // М.: Советское радио, 1968.

14. Винер Н. Кибернетика и общество. М.: Издательство иностранной литературы, 1958.

15. Фишер Р. А. Статистические методы для исследователей. М.: Гостехиздат, 1954, 267 с.

16. Колмогоров А. Н. Об аналитических методах в теории вероятностей // Успехи математических наук, 1932, №5, с.5-41.

17. Хинчин А. Я. Теория корреляции стационарных стохастических процессов // Успехи математических наук, 1938, №5, с.42-51.

18. Ross Р. Е. .Flash of Genius,. Forbes, pp. 98-104, Nov. 1998.

19. SammonJ. W.A Nonlinear Mapping for Data Structure Analysis,. IEEE Trans. Computer, vol. 18, pp. 401-409, 1969.

20. Watanabe S. Pattern Recognition: Human and Mechanical. New York: Wiley, 1985.

21. Воронцов К. В. Машинное обучение (курс лекций). // www.MachineLearning.ru

22. Вайнцвайг М.Н., Полякова М.П. Формирование понятий и законов на основе анализа динамики зрительных картин // Труды 2-й международной конференции «Проблемы управления и моделирования в сложных системах». Самара, 2000. С.166-170.

23. Вайнцвайг М.Н., Полякова М.П. Архитектура и функции механизма мышления. IEEE AIS'03, CAD-2003 (труды конференции) том.1, М.: Физматлит, 2003. С. 208-213.

24. Вайнцвайг М. И., Полякова М. П. Архитектура системы представления зрительных динамических сцен // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 261-263.

25. Вайнцвайг М. Н., Полякова М. П. О моделировании мышления // От моделей поведения к искусственному интеллекту. -М.: УРСС, 2006. С. 280-286.

26. Вайнцвайг М. Н. Об ускорении процессов обучения и принятия решений // Математические методы распознавания образов, ММРО-13, Москва, 2007. С. 13-16.

27. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. Статистические проблемы обучения М.: Наука, 1974.

28. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979.

29. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.

30. Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. -Springer, 2001. ISBN 0-387-95284-5.

31. Лагутин M. Б. Наглядная математическая статистика. M.: П-центр, 2003.

32. Орлов А. И. Нечисловая статистика. М.: МЗ-Пресс, 2004.

33. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. Киев: Наукова думка, 2004.

34. Шурыгин А. М. Прикладная стохастика: робастность, оценивание, прогноз. -М.: Финансы и статистика, 2000.

35. Jordan М. /., Хи L. Convergence results for the EM algorithm to mixtures of experts architectures: Tech. Rep. A.I. Memo No. 1458: MIT, Cambridge, MA, 1993.

36. Parzen E. On the estimation of a probability density function and mode // Annals of Mathematical Statistics. 1962. - Vol. 33. - Pp. 1065-1076. http://citeseer.ist.psu.edu/parzen62estimation.html.

37. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Annals of Mathematical Statistics. 1956. - Vol. 27, No. 3. - Pp. 832-837.

38. Wu C. F. G. On the convergence properties of the EM algorithm // The Annals of Statistics. 1983. - No. 11. - Pp. 95-103. http://citeseer.ist.psu.edu/78906.html.

39. Vapnik V. Statistical Learning Theory. -Wiley, New York, 1998.

40. Айзерман M. А., Браверман Э. M, Розоноэр JI. И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. 320 pp.

41. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск: ИМ СО РАН, 1999.

42. McCulloch W. S., Pitts W. A logical calculus of ideas immanent in nervous activity//Bulletin of Mathematical Biophysics. 1943.- No. 5. Pp. 115-133.

43. LeCun Y., Matan O., Boser В., Denker J.S., Henderson D., Howard R.E., Hubbard W., Jackel L.D., Baird H.S. Handwritten Zipcode Recognition With Multilayer Networks // Proc. of International Conference on Pattern Recognition, Atlantic City, 1990.

44. LeCun Y, Bottou L., Orr G. В., Muller K.-R. Efficient BackProp // Neural Networks: tricks of the trade. Springer, 1998.

45. Головко В. А. Нейронные сети: обучение, организация и применение. М.: ИПР-ЖР, 2001.

46. Krzyzak A., Dai W., Suen C.Y. Unconstrained Handwritten Character Classification Using Modified Backpropagation Model// Proc. 1st Int. Workshop on Frontiers in Handwriting Recognition, Montreal, Canada, P. 155-166, 1990.

47. Seong-Wang Lee, Young Joon Kim. Off-line Recognition of Totally Unconstrained Handwritten Numerals Using Multilayer Cluster Neural Network. // Proc. of the 12th IAPR International Conference on Pattern Recognition. Jerusalem, Israel. 1994. P. 507-509.

48. Schapire R. The Strength of Weak Learnability // Machine Learning. No.5. P. 197-227 (1990).

49. Drucker H., Schapire R., Simard P. Boosting Performance in Neural Networks. // International Journal of Pattern Recognition and Artificial Intelligence. No.7. P. 705720. (1993).

50. Martin, G.L., Pitman, J. A. Recognizing hand-printed letters and digits using backpropagation learning. Neural Computation. No.3. 1991. P. 258-267.

51. Fukushima, K. Neocognition: a hierarchical neural network capable of visual pattern recognition. Neural Networks 1 (2). 1988. P. 119-130.

52. Knerr, S., Personnaz, L. & Dreyfus, G. Handwritten digit recognition by neural networks with single-layer training. IEEE Transactions on Neural Networks. No.3, 962-968. (1992)/

53. Bishop С. M. Pattern Recognition and Machine Learning. Springer, Series: Information Science and Statistics, 2006. P. 740.

54. Fine S., Scheinberg K. INCAS: An incremental active set method for SVM: Tech.rep.: 2002.http://citeseer.ist.psu.edu/fme02incas.html.

55. Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2001.

56. Piatt J. C. Fast training support vector machines using sequential minimal optimization // Advances in Kernel Methods / Ed. by B. Scholkopf, С. C. Burges, A. J. Smola. MIT Press, 1999. Pp. 185-208.

57. Shawe-Taylor J., Cristianini N. Robust bounds on generalization from the margin distribution: Tech. Rep. NC2-TR-1998-029: Royal Holloway, University of London, 1998. http://citeseer.ist.psu.edu/shawe-taylor98robust.html.

58. Smola A., Bartlett P., Scholkopf В., Schuurmans D. Advances in large margin classifiers. MIT Press, Cambridge, MA. 2000. http://citeseer.ist.psu.edu/article/smolaOOadvances.html.

59. Tipping M. The relevance vector machine // Advances in Neural Information Processing Systems, San Mateo, CA. Morgan Kaufmann, 2000. http://citeseer.ist.psu.edu/tippingOOrelevance.html.

60. Vapnik V., Chapelle O. Bounds on error expectation for support vector machines // Neural Computation. 2000. Vol. 12, No. 9. Pp. 2013-2036. http://citeseer.ist.psu.edu/vapnik99bounds.html.

61. Лоусон Ч., Хенсон P. Численное решение задач метода наименьших квадратов. М.: Наука, 1986.

62. Lee, Y. Handwritten digit recognition using К neares-neighbor, radial-basis function, and back-propagation neural networks. Neural Computation, 1991. no.3, P.440-449.

63. Хардле В. Прикладная непараметрическая регрессия. М.: Мир, 1993.

64. Донской В. И. О метрических свойствах кратчайших эмпирических закономерностей // Уч. записки ун-та им. В. И. Вернадского. -2003. №2. - С. 143147.

65. Загоруйко Н. Г., Елкина В. Н, Киприянова Т. П. Пакет Прикладных Программ ОТЭКС для Обработки Таблиц Экпериментальных данных. Версия 4.0 www.math.nsc.ru/АР/oteks/Russian/.Springer, 2001.

66. Белозерский JI.A. Современный взгляд на гипотезу компактности //Штучний штелект (Донецк). 2005. №3. С. 6-12.

67. Гуров С.И., Потепалов Д.Н., Фатхутдинов H.H. Решение задач распознавания с невыполненной гипотезой компактности. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С.27 29.

68. Гранкин М.В., Гуров С. И, Фатхутдинов И. Н. Определение областей компетентности алгоритмов при невыполненной гипотезе компактности // Штучний штелект (Донецк). -2006. -№2. -С. 88-98.

69. Schapire R. The Strength of Weak Learnability, Machine Learning. 1990. No.5 197-227.

70. H.Drucker, R.Schapire, P.Simard. "Boosting Performance in Neural Networks." International Journal of Pattern Recognition and Artificial Intelligence, 1993. no.7. P. 705-720.

71. Арлазаров B.JI., Астахов А.Д., Троянкер В.В., Котович Н. В. Адаптивное распознавание символов. // Интеллектуальные технологии ввода и обработки информации, М.: Эдиториал УРСС, 1998. С. 39-56.

72. Арлазаров В.Л., Славин O.A. Алгоритмы распознавания и технологии ввода текстов в ЭВМ. // Информационные технологии и вычислительные системы 1996, N 1. С. 48-54

73. Duin R.P. W, De Ridder D., Tax D.M.J. Experiments with a featureless approach to pattern recognition. Pattern Recognition Letters, 1997, Vol. 18, No. 11-13, pp. 1159-1166.

74. Малинецкий Г.Г. Нелинейная динамика: подходы, результаты, надежды. — М.: «УРСС», 2006.

75. Поспелов Д. А. Становление информатики в России. www.raai.org/about/persons/pospelov/pages/stanovl.htm

76. Черепнин A.A. Метрический подход к проблеме оценивания ошибок алгоритмов классификации. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. -М.: МАКС Пресс, 2007. С.69 -71.

77. Рудаков К.В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №2. С. SO-SS.

78. Рудаков КВ. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №3. С. 106— 109.

79. Рудаков КВ. Симметрические и функциональные ограничения для алгоритмов классификации // Кибернетика. 1987. №4. С. 73-77.

80. Рудаков КВ., Черепнин A.A., Чехович Ю.В. О метрических свойствах пространств задач классификации // Доклады РАН. 2007. Т. 416, №4.

81. Черепнин A.A. О радиусах разрешимости и регулярности задач распознавания // всеросс. конф. ММРО-11, Пущино, 2006. С. 210-211.

82. Черепнин A.A. Об оценках регулярности задач распознавания и классификации//ЖВМиМФ. 1993. №1. С. 155-159.

83. Miller A. Subset selection in regression. Chapman & Hall/CRC, 2002.

84. Ветров Д.П., Кропотов Д.А. О выборе наилучшего квадратичного регуляри-затора в обобщенных линейных моделях классификации. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С.96 98.

85. Тимофеев А.В. Оптимальный синтез, и минимизация сложности генно-нейронных сетей по генетическим базам данных. Нейрокомпьютеры: разработка и применение, № 5-6, 2002, с. 34-39.

86. Тимофеев А.В., Шибзухов З.М., Шеожев А.М. Синтез нейросетевых архитектур по многозначному дереву решений. Нейрокомпьютеры: разработка и применение, № 5-6, 2002, с. 44-49.

87. Тимофеев А.В. Эволюция нейроинформатики: от персептронов к квантовым нейрокомпьютерам. Нейрокомпьютеры: разработка и применение, № 5-6, 2002, с. 107-115.

88. Ветров Д.П., Кропотов Д.А. Алгоритмы выбора моделей и построения коллективных решений в задачах классификации, основанные на принципе устойчивости. М.: КомКнига, 2006.

89. Timofeev A.V. Intelligent Control Applied to Non-Linear Systems and Neural Networks with Adaptive Architecture -Journal of Intelligent Control, Neurocomputing and Fuzzy Logic, 1997, Vol.l, N1, pp. 1-18.

90. Тимофеев А.В. Методы синтеза диофантовых нейросетей минимальной сложности . -Доклады Академии Наук , 1995, т.301, № 3, с.1106-1109.

91. Тимофеев А.В. Методы обучения и самоорганизации полиномиальных нейронных сетей в задачах распознавания образов. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 187-191.

92. Blake С., Merz С. UCI repository of machine learning databases: Tech, rep.: Department of Information and Computer Science, University of California, Irvine, CA, 1998.

93. Ивахненко А.Г., Надирадзе А.Б., Ивахненко Г.А., Савченко Е.А. Развитие алгоритмов самоорганизации по методу группового учета аргументов. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 87-93.

94. Кормен Т., Лейзерсон Ч, Ривест Р. Алгоритмы: построение и анализ. МЦНМО, Москва, 2001.

95. Dobkin D., Lipton R.J. Multidimensional searching problems. SIAM Journal of Computing, 5(2), 1976, pp. 181-186.

96. Clarkson K. A randomized algorithm for closest-point queries. SIAM Journal of Computing, vol. 17, 1988, pp. 830-847.

97. Meiser S. Point location in arrangements of hyperplanes. Information and Computation, vol. 106(2), 1993, pp. 286-303.

98. Agarwal P.K., Mutusek J. Ray shooting and parametric search. In Proceedings of the 24th Symposium on Theory of Computing, 1992, pp. 517-526.

99. Кляцкин В. M., Котович Н. В. Применение методов вычислительной геометрии для поиска линейных объектов. В сборнике трудов Института системного анализа РАН "Управление информационными потоками", 2002.

100. Samet Н. The Quadtree and Related Hierarchical Data Structures, ACM Computing Surveys, vol. 16(2) , 1984, pp. 187-260.

101. Friedman J. H., Bently J.L., Finkel R.A. An algorithm for finding best matches in logarithmic expected time. In ACM Transaction on Mathematical Software, vol. 3, 1977, pp. 209-226.

102. Guttman A. R-tree: a dynamic index structure for spatial searching // Proceedings of the ACM SIGMOD International Conference on Management of Data, 1984, pp. 71-79.

103. Roussopoulos N., Kelley S., and Vincent F. Nearest Neighbor Queries. Proceedings of the ACM SIGMOD International Conference on Management of Data, 1995, pp. 71-79.

104. Bently J. L. Multidimensional binary search trees used for associative searching. Commun. ACM 18, 9 (Sept.), 1975, pp. 509-517.

105. Hjaltason G.R., Samet H. Ranking in Spatial Databases. Proceedings of the 4th International Symposium on Large Spatial Databases, 1995, pp. 83-95.

106. Hjaltason G.R., Samet H. Distance Browsing in Spatial Databases. ACM Trans. Database Systems, vol. 24(2), 1999, pp. 265-318.

107. Cheung K., Fu A. Enhanced nearest neighbour search on the r-tree. In ACM SIGMOD Record, vol. 27:3, 1998, pp. 16-21.

108. Apostolos Papadopoulos, Yannis Manolopoulos. Performance of Nearest Neighbor Queries in R-Trees Source, Proceedings of the 6th International Conference on Database Theory, 1997, pp. 394 408.

109. Berchtold S., Bohm C., Keim D., Krebs F., Kriegel H. P. On optimizing nearest neighbor queries in high-dimensional data spaces. Proc. 8th ICDT Conference, 2001, pp. 435-449.

110. Tao Y., Zhan J., Papadias D., Mamouli, N. An Efficient Cost Model for Optimization of Nearest Neighbor Search in Low and Medium Dimensional Spaces. IEEE Transactions on Knowledge and Data Engineering (TKDE), 16(10), 2004, 11691184.

111. Арлазаров В.В., Постников В.В., Шоломов Д.Л. Cognitive Forms система массового ввода структурированных документов. В сборнике трудов Института системного анализа РАН "Управление информационными потоками", 2002 г.

112. Орлов А.И. Эконометрика. Учебник. М.: Издательство «Экзамен», 2004.

113. Bunke О. Z. Wahrscheinlichkeitstheor. und verw. Geb., 1967, Bd 7, № 2, S. 131 -46.

114. Майсурадзе А. И. Гомогенные и ранговые базисы в пространствах метрических конфигураций // ЖВМиМФ. 2006. Т. 46, №2. С. 344-361. 119 Deza М., Dutour М. Data mining for cones of metrics, quasi-metrics, semimet-rics, and super-metrics. 2006.

115. Громов И.А. Методы коррекции локально возмущенных полуметрик. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С. 108 111.

116. Иофина Г.В., Кропотов Д.А. Поиск оптимальной метрики в задачах классификации с порядковыми признаками. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С. 137- 140.

117. Журавлев Ю. И. Избранные научные труды М.: Магистр, 1998.

118. A.G. Ivakhnenko. Polynomial Theory of Complex Systems // IEEE Transactions, Man, and Cybernetics, Vol. SMC-1, № 4,

119. October 1971, pp. 364-378.

120. Ивахненко А.Г. Метод Группового Учета Аргументов конкурент метода стохастической аппроксимации. - Автоматика, 1968, №3, с. 57-73.

121. Ивахненко А. Г., Юрачковский Ю. П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987.

122. Mullin М, Sukthankar R. Complete cross-validation for nearest neighbor classifiers // Proceedings of International Conference on Machine Learning. 2000. Pp. 639-646. http://citeseer.ist.psu.edu/309025.html.

123. B.B. Крепец. Нейронные сети максимальной устойчивости как альтернатива робастным нейронным сетям. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 112-116.

124. З.М. Шибзухов. Конструктивный метод обучения с учителем рекуррентного £П~нейрона. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 216-219.

125. Shibzoukhov Z.M. Contructive Training of Boolean-Valued Neural

126. Networks of the Polynomial Type // Pattern Recognition and Image Analisys. 2001. Vol. 11, №1. PP.95-96.

127. Шибзухов З.М. Рекуррентные методы конструктивного обучения нейронных сетей из логико-арифметических ЕП нейронов // Нейрокомпьютеры: разработка и применение. 2002. №5. - С.50-57.

128. Шибзухов З.М. Рекуррентный метод конструктивного обучения алгебраических ЕП нейронов и - 1П нейромодулей // Доклады РАН. 2003. Т.388, №2. -С. 174-176.

129. Шибзухов З.М. Рекуррентный метод конструктивного обучения некоторых сетей алгебраических ИП нейронов и - ЕП нейромодулей // Журнал вычислительной математики и математической физики. 2003. Т.43, №8. - С. 1298-1310.

130. Гуров С.И., Уткина О.Ф. Определение вероятности ошибки распознавания с восстановлением её априорного распределения. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 56-58.

131. Яблонский С. В. Введение в дискретную математику. М.: Наука, 1986.

132. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного // Докл. АН СССР. 1958. - Т. 114, № 5. - С. 953-956.

133. Stone M. N. The generalized Weierstrass approximation theorem // Math. Mag. 1948. Vol. 21. - Pp. 167-183, 237-254.

134. Rummelhart D. E., Hinton G. E., Williams R. J. Learning internal representations by error propagation // Vol. 1 of Computational models of cognition and perception, chap. 8. Cambridge, MA: MIT Press, 1986. Pp. 319-362.

135. Малинецкий Г.Г. Математические основы синергетики. Хаос, структуры, вычислительный эксперимент. —М.: «УРСС», 2005.

136. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными системами. Киев; Техника, 1975 - 311с.

137. Васильев В.И. Теория редукции в проблемах экстраполяции // Проблемы управления и информатики. 1996. -№1,2 - с.239-281.

138. Васильев В.И. Комбинированные индуктивные методы в редукционных алгоритмах. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 35-37.

139. Красоткина О.В., Моттль В.В., Марков М. Р., Мучник И.Б. Адаптивный нестационарный регрессионный анализ. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С.149- 154.

140. Айда-заде K.P., Гасанов Дж.З., Мустафаев Э.Э. Об использовании баз знаний для повышения интеллектуальности систем распознавания. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 6-7.

141. Журавлев Ю. И., Гуревич И.Б. Распознавание образов и анализ изображений // Искусственный интеллект в 3-х кн. Кн 2. Модели и методы: Справочник под ред. Д.А. Поспелова. Москва: Радио и связь, 2005. С. 149-190.

142. Yankovskaya А. Е. Test Pattern Recognition with the Use of Genetic Algorithms // Patt. Recog. and Image Anal. 1999. -Vol. 9. -No. 1. -P. 121-123.

143. Петровский А.Б. Упорядочивание и классификация объектов с противоречивыми признаками // Новости искусственного интеллекта. 2003. - №4. - С. 34^3.

144. Янковская А. Е., Колесникова С. И. О применении мультимножеств к задаче вычисления весовых коэффициентов признаков в интеллектуальных распознающих системах // Искусственный интеллект, Украина. Донецк: Наука i ocBiTa., 2004. -№2. -С. 216-220.

145. Колесникова С.И., Янковская А. Е. Статистический подход к оцениванию зависимых признаков в интеллектуальных системах. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. -М.: МАКС Пресс, 2007. С.143 146.

146. Васильев О.M., Ветров Д.П., Кропотов Д.А. Устойчивость обучения метода релевантных векторов. // Математические методы распознавания образов, ММРО-13, Москва, 2007. С. 16-18.

147. Shashua A., Levin A. Ranking with large margin principle: two approaches // Advances in Neural Information Processing Systems, 2003. C. 937-944.

148. Kalaba R., Tesfatsion L. Time-varying linear regression via flexible least squares.International Journal on Computers and Mathematics with Applications. -Vol. 17.-Pp. 1215-1245.

149. Sebestyen G.S. Decision Making Processes in Pattern Recognition, MacMillan, New York, 1962.

150. Nilson N. J. Learning Machines, McGraw-Hill, New York, 1965.

151. Schürmann J. Polynomklassifikatoren, Oldenbourg, München, 1977.

152. Schürmann J. Pattern Classification, John Wiley&Sons, Inc., 1996.

153. Albert A.E. and Gardner L.A. Stochastic Approximation and Nonlinear Regression // Research Monograph 42. MIT Press, Cambridge, MA, 1966.

154. Becker D. and Schürmann J. Zur verstärkten Berücksichtigung schlecht erkennbarer Zeichen in der Lernstichprobe II Wissenschaftliche Berichte AEG-Telefimken 45, 1972, pp. 97- 105.

155. Pao Y.-H. The Functional Link Net: Basis for an Integrated Neural-Net Computing Environment II in Yoh-Han Pao (ed.) Adaptive Pattern Recognition and Neural Networks, Addisson-Wesley, Reading, MA, 1989, pp. 197-222.

156. Franke J. On the Functional Classifier, in Association Française pour la Cybernetique Economique et Technique (AFCET), Paris // Proceedings of the First International Conference on Document Analysis and Recognition, St. Malo, 1991, pp.481489.

157. Гавриков M.Б., Пестрякова H.B. Метод полиномиальной регрессии в задачах распознавания печатных и рукопечатных символов. Препринт ИПМ им. М.В.Келдыша РАН, 2004, №22.

158. Арлазаров В.Л., Логинов A.C., Славин O.A. Характеристики программ оптического распознавания текста // Программирование № 3, 2002, с. 45 63

159. Мисюрев А.В. Использование искусственных нейронных сетей для распознавания рукопечатных символов // Сборник трудов ИСА РАН «Интеллектуальные технологии ввода и обработки информации», 1998, с. 122-127

160. Славин О.А., Корольков Г.В., Болотин П.В. Методы распознавания грубых объектов // Сборник трудов ИСА РАН «Развитие безбумажных технологий в организационных системах», 1999, с. 331-355.

161. Barroso J., Bulas-Cruz J., Rafael J., Dagless E. L. Identifica9áo Automática de Placas de Matrícula Automóveis // 4.as Jornadas Luso-Espanholas de Engenharia Electrotécnica, Porto, Portugal, Julho (1995), ISBN 972-752-004-9.

162. СеберДж. Линейный регрессионный анализ. М.:"Мир", 1980.

163. Ю.В.Линник. Метод наименьших квадратов и основы математико статистической теории обработки наблюдений. М.:"Физматлит", 1958.

164. Гавриков М.Б., Пестрякова Н. В., Славин О.А, Фарсобина В.В. Развитие метода полиномиальной регрессии и практическое применение в задаче распознавания // Препринт ИПМатем. АН СССР, М., 2006, №25, 21 стр.

165. Гавриков М.Б., Мисюрев А.В., Пестрякова Н.В., Славин О.А. Об одном методе распознавания символов, основанном на полиномиальной регрессии. // Автоматика и Телемеханика. 2006, №2, с. 119-134.

166. Гавриков М.Б., Пестрякова Н.В., Усков А.В., Фарсобина В.В. О некоторых свойствах оценки метода распознавания символов, основанного на полиномиальной регрессии //Препринт ИПМатем. РАН, М., 2008, №7, 28 стр.

167. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Анализ метода распознавания символов, основанного на полиномиальной регрессии //Препринт ИПМатем. РАН, М., 2008, №25, 28 стр.

168. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. О некоторых свойствах метода распознавания символов, основанного на полиномиальной регрессии //Препринт ИПМатем. РАН, М., 2007, №69, 20 стр.

169. Пестрякова Н.В. Структуры в распознавании. Информационные технологии и вычислительные системы. 2009, №1, С. 58-71.

170. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Зависимость качества распознавания от взаимного расположения среднестатистических растров и векторов баз обучения и распознавания //Препринт ИПМатем. РАН, М., 2009, №19, 28 стр.

171. Гавриков М.Б., Пестрякова Н.В., У сков A.B., Фарсобина В.В. Об оценках распознавания и структуре расположения изображений символов //Препринт ИПМатем. РАН, М., 2009, №49, 28 стр.

172. Пестрякова Н.В. Динамика качества распознавания при нарастании степени различия баз обучения и распознавания. Информационные технологии и вычислительные системы. 2010, №2, С. 75-82.

173. Гавриков М.Б., Пестрякова Н.В., У сков A.B., Фарсобина В.В. О распознавании модифицированной обучающей базы. (Часть 1) //Препринт ИПМатем. РАН, М., 2010, №9, 28стр.

174. Гавриков М.Б., Пестрякова Н.В., У сков A.B., Фарсобина В.В. О распознавании модифицированной обучающей базы. (Часть 2) //Препринт ИПМатем. РАН, М., 2010, №13, 16стр.

175. Смит Гарри, Дрейпер Норман. Прикладной регрессионный анализ. // М.: Изд-во Вильяме, 2007.

176. Пестрякова Н.В. Метод распознавания символов, основанный на полиномиальной регрессии. //М.: «КРАСАНД», 2011. 144с.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00