автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели представления и алгоритмы распознавания русских дактилем

На правах рукописи

Скоробогатова Наталия Евгеньевна

МОДЕЛИ ПРЕДСТАВЛЕНИЯ И АЛГОРИТМЫ РАСПОЗНАВАНИЯ РУССКИХ ДАКТИЛЕМ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 2 НОЯ 2012

Рязань-2012

005055308

Работа выполнена в ФГБОУ ВПО «Рязанский государственный радиотехнический университет»

Научный руководитель: Пылькин Александр Николаевич

Заслуженный работник высшей школы РФ, доктор технических наук, профессор ФГБОУ ВПО «РГРТУ», заведующий кафедрой «Вычислительная и прикладная математика» (г. Рязань)

Официальные оппоненты: Ковшов Евгений Евгеньевич

доктор технических наук, профессор ФГБОУ ВПО МГТУ «СТАНКИН», заведующий кафедрой «Управление и информатика в технических системах» (г. Москва)

Сосулин Юрий Андреевич

кандидат технических наук, доцент кафедры «Автоматизация технологических процессов и производств» ФГБОУ ВПО «РГРТУ» (г. Рязань)

Ведущая организация: ФГБОУ ВПО «Липецкий государственный

педагогический университет» (г. Липецк)

Защита состоится «28» ноября 2012г. В 12 часов на заседании диссертационного совета Д 212.211.01 в ФГБОУ ВПО «Рязанский государственный радиотехнический университет» по адресу: 390005, г. Рязань, ул. Гагарина, д 59/1.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Рязанский государственный радиотехнический университет».

Автореферат разослан « 22 » октября 2012 г.

Ученый секретарь диссертационного совета канд.тех.наук, доцент

В.Н. Пржегорлинский

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время активное развитие компьютерных технологий открывает перспективы помощи людям с ограниченными возможностями. Особенно это касается решения проблем общения слабослышащих и глухонемых людей с обществом.

Количество людей, использующих в качестве средства коммуникации жестовую и дактильную речь, достаточно велико. На учете во Всероссийском обществе глухих состоят более 230 тысяч человек. Такой речью пользуются постоянно до трех процентов населения, если учесть тех, кто вынужден с глухими общаться в семье и других местах. Ввод в компьютер и распознавание дактильных знаков автоматически решают важную социальную задачу перевода дактильной речи глухих и слабослышащих людей в текст, понятный всем обычным людям.

Одним из путей помощи таким людям является создание программы распознавания и озвучивания русских дактильных знаков в замедленном шаговом режиме, т.к. в настоящее время перевод русской дактильной речи едва ли возможен в реальном режиме времени.

В настоящее время в большинстве случаев ввод смысловой видеоинформации в компьютер в разных странах реализуется с использованием знаков существующих, сильно различающихся, национальных дактилем.

При этом следует отметить, что сами дактильные знаки легче реализуются и распознаются в одноручном американском, немецком или испанском языке. Сложнее формируются дактилемы русского языка, которые демонстрируются одной рукой, но с разворотом знаков в трех направлениях видеокадра и поэтому сопровождаются увеличенными траекториями движений элементов (пальцев). Это существенно затрудняет автоматизацию процесса распознавания и ввода в компьютер русской дактильной речи.

Сложность построения системы перевода дактильных знаков заключается в особенностях демонстрации (дактилирования) самой речи.

Во-первых, дактильная речь в соответствии с правилами дактилирования, должна быть непрерывной, плавной, с непрерывными переходами от одного демонстрируемого знака к другому, что требует от системы отслеживания всех переходных промежуточных образов и выбора единственного информационного знака.

Во-вторых, дактильная речь может демонстрироваться на различном расстоянии от видеокамеры и людьми с различными размерами руки, поэтому распознающая система должна быть инвариантна к масштабу изображения дактилемы.

В-третьих, положение руки при демонстрации знака не фиксировано в поле кадра и может смещаться и наклоняться в зависимости от привычки воспроизводящего дактильную речь, поэтому распознающая система должна быть инвариантна к смещению и повороту распознаваемого знака.

Существующие методы распознавания дактильной речи за рубежом базируются на упрощающем перекодировании дактилем и приближенном распознавании статистическими методами либо с использованием системы многомерного отслеживания динамических образов с помощью специальных перчаток, что требует специальных стационарных систем. В этом отношении перевод хотя бы только дактильных знаков речи выглядит доступнее. Однако пока неизвестно его практическое решение для русского языка, и поэтому остается проблема автоматизированного перевода русской дактильной речи в обычную.

В диссертации приводится, в рамках общего подхода к построению таких систем, разработка моделей представления дактилем и нескольких алгоритмов шагового распознавания русской дактильной речи, отличающихся методами предварительной обработки и кодирования дактильных знаков, способами селекции дактилем и методами их распознавания. В частности в диссертации разработаны:

- модель представления дактилем в виде вектор-контура, состоящего из элементарных векторов в комплекснозначном пространстве;

- алгоритм распознавания русских дактилем с шаговой демонстрацией на основе контурного анализа (действующий с результатами исследования);

- алгоритм распознавания динамических дактилем с использованием контурного представления и селекцией знаков по изменению направлений траекторий элементов (с моделированием блока селекции дактилем);

- модель представления дактилем в виде веера векторов комплексного пространства с вершиной в центре тяжести контура дактилемы;

- алгоритм с шаговым представлением дактилем и анализом движений элементов на основе веера векторов (действующая с результатами исследования);

- алгоритм распознавания динамических дактилем с использованием веера векторов и селекцией знаков по скорости промежуточных траекторий (с моделированием селектирующей части).

Кроме того, в экспериментальных целях были рассмотрены с целью сравнительного анализа два дополнительных алгоритма:

алгоритм растрового представления дактилем для распознавания с использованием вейвлет-разложения (результаты эксперимента с растровыми дактилемами);

алгоритм распознавания растровых полноцветных изображений дактилем и звукового воспроизведения слов дактильной речи (результаты эксперимента с возможностью озвучивания дактилем).

В частности, шаговое представление русских дактилем вводит определенную условность их идентификации и накладывает существенные ограничения на действия демонстрирующего.

Цель диссертационной работы состоит в разработке моделей представления и алгоритмов распознавания в шаговом режиме русских дак-тильных знаков с помощью компьютера и перевода их в текстовый или звуковой формат.

Для достижения поставленной цели решались следующие задачи:

- анализ существующих методов распознавания иностранных национальных дактилем (американских, английских, немецких, испанских, японских и др.);

- разработка математической модели контурного представления русских дактилем;

- разработка алгоритма распознавания статических шаговых дактилем с контурным представлением;

- разработка математической модели описания дактилем с помощью веера векторов;

- разработка алгоритма распознавания статических дактилем, представляемых веером векторов;

- разработка математической модели селекции динамического знака на основе изменения направления движения траекторий;

- разработка алгоритма селекции динамического знака на основе анализа интервала демонстрации между знаками.

Методы исследования: решение перечисленных задач основывается на системном анализе, теории распознавания образов, теории контурного анализа изображений, теории цифровой обработки изображений.

Научная новизна диссертационной работы определяется тем, что впервые разработаны способы описания контуров русских дактильных знаков глухих и слабослышащих людей и ввода информации в компьютер для распознавания дактильной речи. Конкретно получены следующие научные результаты:

1. Предложена математическая модель представления дактильных знаков в виде вектор-контуров, обеспечивающая инвариантность к линейным преобразованиям смещения, поворота и масштаба дактилем.

2. Разработаны алгоритмы распознавания статических и динамических шаговых дактильных знаков с контурным представлением.

3. Предложена математическая модель представления дактильных знаков в виде веера векторов, сокращающая объем вычислительных операций и обеспечивающая при распознавании инвариантность к смещению и масштабу.

4. Разработаны алгоритмы распознавания статических и динамических шаговых дактильных знаков в виде веера векторов.

5. Разработан алгоритм выделения (селекции) динамических дактильных знаков из непрерывной последовательности дактили-рования по изменению направления движения переходных траекторий элементов.

6. Разработан алгоритм выделения динамических дактилем по скорости движения элементов знака.

Достоверность и обоснованность полученных результатов диссертационной работы подтверждаются компьютерным моделированием и приводимыми результатами компьютерных экспериментальных исследований алгоритмов распознавания шаговых дактилем с контурным и векторным представлением и результатами моделирования алгоритмов селекции динамических дактилем.

Разработанные алгоритмы использованы в Московском психолого-социальном университете (филиал в г.Рязани) в группе глухих слушателей (акт об использовании от 16 февраля 2012 г.), внедрены в учебный процесс на кафедре «Вычислительной и прикладной математики» Рязанского государственного радиотехнического университета и используются студентами специальностей 230105 «Программное обеспечение вычислительной техники и автоматизированных систем» и 080801 «Прикладная информатика (в экономике)» по дисциплинам «Системы искусственного интеллекта», «Интеллектуальные информационные системы» и «Методы и алгоритмы принятия решений» (акт внедрения от 02.02.2012 г.), получена государственная регистрация программного продукта «Программа распознавания русских дактилем» (свидетельство о гос. регистрации программы для ЭВМ № 2012614984 от 4 июня 2012 г.).

На защиту выносятся следующие научные результаты:

1. Математическая модель представления и распознавания дактильных знаков в виде вектор-контура в комплекснозначном пространстве.

2. Алгоритм распознавания русских шаговых дактилем на основе контурного представления в комплекснозначном пространстве.

3. Алгоритм распознавания русских динамических дактилем с контурным представлением и селекцией по изменению направлений траекторий.

4. Математическая модель представления дактильных знаков в виде веера векторов.

5. Алгоритм распознавания шаговых дактильных знаков с представлением веером векторов.

6. Алгоритм распознавания динамических дактилем с представлением веером векторов и селекцией по скорости перемещения элементов.

Практическая значимость работы заключается в следующем:

- разработаны на основе предложенных моделей дактилем два действующих алгоритма распознавания знаков русской дактильной речи, позволяющих также обеспечить в шаговом режиме визуальный дистанционный ввод текстовой информации в компьютер;

- разработанные алгоритмы перевода знаков русской дактильной речи могут быть установлены на компьютерах в общественных приемных, больницах, магазинах и других местах, где глухим требуется объясняться на дактиле;

- разработанные алгоритмы позволяют пользоваться ими во время дистанционных видеоконференций глухих и слабослышащих людей;

- разработанные алгоритмы распознавания русских дактилем используют ограниченные вычислительные ресурсы и поэтому могут быть применены в виде дополнительной функции перевода речи глухих и слабослышащих людей для сотовых устройств, обладающих видеозаписью и звуковым воспроизведением речи;

- разработанные алгоритмы распознавания динамических дактильных знаков позволяют переводить замедленную или записанную на видеокамеру дактильную речь с выделением дактилем из потока непрерывного дактилирования;

Соответствие паспорту специальности. Согласно паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации (технические системы)» проблематика, рассмотренная в диссертации, соответствует следующим областям исследований:

- формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации;

- разработка проблемно-ориентированных систем управления, принятия решений и оптимизации технических, экономических, биологических, медицинских и социальных объектов;

- методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, экономических, биологических, медицинских и социальных системах.

Результаты внедрения. Разработанные алгоритмы использованы в Московском психолого-социальном университете (филиал в г.Рязани) в группе глухих слушателей (акт об использовании от 16 февраля 2012 г.), внедрены в учебный процесс на кафедре «Вычислительной и прикладной математики» Рязанского государственного радиотехнического университета и используются студентами специальностей

230105 «Программное обеспечение вычислительной техники и автоматизированных систем» и 080801 «Прикладная информатика (в экономике)» по дисциплинам «Системы искусственного интеллекта», «Интеллектуальные информационные системы» и «Методы и алгоритмы принятия решений» (акт внедрения от 02.02.2012 г.), осуществлена государственная регистрация программного продукта «Программа распознавания русских дактилем» (свидетельство о гос. регистрации программы для ЭВМ № 2012614984 от 4 июня 2012 г.).

Апробация работы. Результаты диссертационной работы обсуждались на следующих конференциях:

- 16-я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань: РГРТУ, 2010 г.

- международная научно-техническая конференция «Информационное общество: идеи, технологии, системы» ИНФО-Ю, Таганрог: ТТИ ЮФУ, 2010 г.

- 25-я международная научно-техническая конференция «Математические методы и информационные технологии в экономике, социологии и образовании», Пенза: ПГТА, 2010 г.

- международная научно-техническая конференция «Инновационные подходы к применению информационных технологий в профессиональной деятельности», Белгород: БРИПК, 2010 г.

- 66-я международная научно-техническая конференция Российского НТО радиотехники, электроники и связи им. Попова, Научная сессия, Москва, 2011 г.

- 16-я всероссийская НТК «Новые информационные технологии в научных исследованиях», НИТ-2011, Рязань: РГРТУ, 2011 г.

- 3-я всероссийская межвуз. конференция «Наука и образование в промышленной, социальной и экономической сферах регионов России», Муром: РГА, 2011 г.

-2nd International Scientific Conference «European Science and Technology», Wiesbaden, Germany, 2012r.

Публикации. По результатам исследований опубликовано 17 печатных работ, в том числе 2 научные статьи в изданиях, рекомендованных ВАК для публикации трудов на соискание ученых степеней, 8 в сборниках трудов научных конференций, 7 в межвузовских сборниках научных трудов. Получено свидетельство о государственной регистрации.

Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения и приложения. Работа изложена на 176 странице машинописного текста, содержит 65 рисунка, 5 таблиц, список литературных источников из 86 наименований.

И. СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы; изложены цель и задачи исследования, научная новизна, практическая значимость и апробация; сформулированы основные положения, выносимые на защиту.

Первая глава посвящена обоснованию темы диссертации. Проведен анализ способов демонстрации знаков дактильной речи с углубленным рассмотрением особенностей дактилирования, влияющих на принципы построения систем автоматизированного распознавания дактильных знаков.

Рассмотрены вопросы актуальности разработки систем распознавания дактилем.

Дактилемы (буквы из дактильного алфавита) или дактильные знаки формируются с помощью различного положения пальцев и функционально аналогичны буквенному алфавиту.

В диссертации показано, что существующие в мире системы дактильной речи для глухих и слабослышащих людей сильно отличаются по значению дактилем и способам их демонстрации. Одни и те же буквы латинского алфавита, используемые в разных языках, имеют абсолютно разные дактилемы и часто даже демонстрируются разными способами. Поэтому системы перевода дактильных знаков в разных странах не только не могут быть универсальными, но и должны различаться по методам и структуре построения распознающих систем. Более того, даже системы, разрабатываемые для одинаковых целей (ввод информации в компьютер или организация видеоконференций) требуют приспособления к особенностям национальных дактилем и, в общем случае, неприменимы в других странах.

В диссертации описана специфика представления русских дактилем и доказана невозможность использование созданных зарубежных систем распознавания для русской дактильной речи, которая резко отличается демонстрацией из трех разных направлений и увеличенными траекториями перехода между знаками.

При разработке алгоритмов автоматизации распознавания дактилем возникают существенные трудности, вызываемые особенностями дактилирования. При реальной непрерывной демонстрации дактильной речи возникает дополнительная и, пожалуй, основная трудность распознавания - выделение знака из непрерывной последовательности чередования букв и переходов между ними.

Следовательно, в качестве исходной информации для определения момента селекции знака сами распознанные дактилемы не могут быть использованы.

В работе приводится обзор существующих иностранных систем распознавания дактильных знаков и классификация методов распознавания.

В диссертации отмечается, что выделение рук - это только первая часть решения задачи распознавания дактилемы. Основная проблема возникает, если учесть, что в процессе демонстрации жестовой речи осуществляется непрерывное движение рук и при этом сами пальцы могут представлять определенные дактильные образы.

Следуя схожему методу распознавания речи, многие предыдущие попытки машинного распознавания концентрировались на отдельных жестах или на побуквенном вводе. Большая часть попыток была основана на применении специальных перчаток или установленных трех камер и использовала нейронные сети для распознавания.

Таким образом, цель разработки шаговых систем распознавания русских дактилем состоит в том, чтобы появилась возможность использовать сравнительно простое программное обеспечение, пригодное для устройств мобильной сотовой связи. При этом система с использованием контурного анализа обеспечивает инвариантность к масштабу, повороту и сдвигу дактилемы. Система с веером векторов использует значительно меньший объем информации при обработке знаков и, следовательно, имеет большее быстродействие и при этом сохраняет инвариантность к масштабу.

Во второй главе рассматриваются вопросы теории представления контуров дактилем в комплекснозначном пространстве с помощью элементарных векторов, позволяющих формировать вектор-контур и выполнять с ними аналитические преобразования.

При работе с конкретной дактилемой на основе разработанной модели необходимо ее контур представить в виде цифрового сигнала, описывающего границы и, следовательно, форму соответствующего оцифрованного бинарного изображения знака.

Для обработки контура аналитическим путем или на ЭВМ необходимо произвести его кодирование, т.е. поставить в соответствие каждому контурному элементу, каким является элементарный вектор, определенное комплексное число. Последовательность таких чисел и будет называться кодом контура. Фундаментальным требованием предложенной модели для контуров дактильных знаков являются их замкнутость и непрерывность линий.

На рис. 1 приводится бинаризированное изображение дактилемы и ее выделенный контур, представляемый в закодированном виде элементарными векторами, которые записаны в нижней части окна распознающей системы.

Таким образом, в комплекснозначном пространстве формируется для каждого дактильного знака свой вектор-контур, обозначаемый в

общем виде как Г или для конкретных дактилем алфавита - Г А , ГБ ,..., Тя. Элементарные векторы /(и), приведенные на рис.1 внизу и отсчитываемые от точки а0 по часовой стрелке с порядковым номером п = 0,1,...,к — 1, образуют вектор-контур в виде

Г=М" 1^={г(0 ),у{\),...,у{к-\)}. (1)

'И ттшшзш

Файл ;

: Разпоэнаюние дактилемы 4

: Исходное Контур

(0!0(0(»(»(0(1)(н)(1)(-0(|)(1)(1-0(ОМ(1)(1Н1)Н(1)(1)(^0(1)(-0(0(-0(0(и(н)(н)(1)М(1)<'й(1)(1)(1-1)

(H)»)М(1)М(|)(1)(1А(ОМ(1)(1)<1-0(0(Н)<»<1Н1-0(1Н-0<0(1)(1)(Н)<1)<1)(1-1)<1)(Ч)(1)М(0(0<Н-)(1Ч)0)(Н)

(I) (|) (1-0 О) (-0 (I) (1) О) (-¡) (1) (-0 (1) (-1) (-1) (-0 (-1) (-11) (-0 (-0 (-) (-1) (-0 (-0 (-1 -0 (-0 (-0 (-0 (-0 Н (-1) (-0 (-0 <-н> (Ч) (-1) (-0 (-0 (-1-0 (-1-0 (-0 (-1) (.1-0 (-0 (-0 (-1-0 (-1-0 (-0 (-1) (-0 (-1) (-0 (-0 (-1-0 (-0 (-1) (-0 (-0 Н) (-1) (-1) (-0 (-0 (-1) (-0 Я) (-1-1) (-1-9 О) (-1) (-0 (-0 (-1-0 (-1-0 (-1) (-1) (-0 (-1) (-0 (-¡> <Н) М (-0 (-0 (-0 (-0 (-0 (-0 (-0 (1) (-0 (1) (-¡> (1-0 (1-0 (-0 (-0 (1) (1) (-0 (-0(1) (-0 (1) (И) (1-1) (1) (-0 (О (-1) (0 (-1) (О (-<Ю)(1) (1-1) (1-0 О-О 0-0 (1-0 ОХ-О (1-0(1) (-0(0(0(1) (-0(1) (0(1-0(1-0 (НИН) (н) (1-0 (1Х-0 (!)(-!) (1)(н)(0(-1)(1)(-1)(0(1)(-0(-1)(0(0(1-0(1-0(1)0)(0(-0(0(н)(1)0)<0(-0(1)М(0(0(1-0(1-0(1-<)<1-0(н)М«)(1)(1)

Рис. 1 - Кодирование контура дактилем в комплекснозначном пространстве

Для подтверждения свойства инвариантности рассматриваемых систем распознавания к повороту и изменению масштаба изображения знака, представляемого вектор-контурами, в диссертации рассматриваются свойства этих преобразований.

Чтобы оценить эффективность выбранного метода кодирования дактилем, в диссертации проанализирована степень адекватности кодов бинарным изображениям, по которым они получены, а также метрические свойства пространств, элементами которых эти коды являются.

Необходимо ответить на вопрос - насколько необходим переход к более сложному комплекснозначному пространству.

На основании сравнения характеристик пространств действительного и комплекснозначного представления знаков в диссертации сделаны следующие выводы:

- поворот контура на некоторый угол А(р приводит к такому же преобразованию вектора скалярного произведения вектор-контуров, соответствующих исходному и преобразованному контурам, поэтому аргумент вектора скалярного произведения равен углу поворота контура;

- модуль нормированного скалярного произведения вектор-контуров дактильных знаков в комплекснозначном пространстве, в отличие от действительного, является характеристикой близости двух контуров, причем, и это главное, инвариантной к линейным преобразованиям сдвига, поворота и масштабирования.

При смещении начальной точки отсчета на с! элементов, что происходит в рассматриваемых системах в процессе поиска максимума взаимно-корреляционной функции, у вектор-контура Г это приводит к сдвигу номеров элементарных векторов на ту же величину

у{с,){п) = у(п + (1), а у суммарного кода новое значение р \п) определится как Р'{р) = /3{п)+ /?0, где /?0 - комплексное число, определяющее положение начальной точки контура относительно новой системы координат.

При многократном обходе контура, что в системах распознавания происходит в случае неизвестной начальной точки контура, элементы его кода обладают периодичностью с периодом к, равным числу элементарных векторов в вектор-контуре знака, т.е. у(п) = у(п ± ак), р{п) = (5{п ± ак) , а = 0,1 ,...,к . (2)

Это исключительно важное свойство контурного представления дактильных знаков, т.к. позволяет обойтись без жесткой синхронизации по времени процесса сравнения элементарных векторов распознающих и эталонных дактилем.

Важнейшим свойством комплекснозначного представления дактилем в модели является возможность их преобразования аналитическим путем. В этом отношении можно отследить связь между цепными кодами исходного и преобразованного контуров. Так, при умножении

контура на комплексный множитель [Л = ехр {у'Д^?] происходит растяжение этого контура в |//| раз и поворот на угол А(р

т»= МГ= {//|}ехр{/ДрМи) , и = 0,1,...,(А:-1). (3)

Это позволяет производить в системах преобразования с образами дактилем и отслеживать их новые параметры.

При разработке систем распознавания дактилем особая роль принадлежит алгоритмам сравнения анализируемого и эталонного контуров, т.к. от них зависят такие параметры системы, как чувствительность

10

и независимость от искажений. Один из способов определения степени близости контуров в системах состоит в вычислении в комплекснознач-ном пространстве их скалярного произведения.

Скалярное произведение может быть определено как:

к—\

Ч> = (Г, V) = 2] \г{п\\у(п\ехрУАср{п)}. (4)

п=0

В разработанных алгоритмах чаще используется нормированное скалярное произведение Ч/н , определяемое для комплексного пространства как

Х¥н=ш (5)

и являющееся, в общем случае, комплексной величиной.

Алгоритм вычисления взаимно корреляционной функции контуров, так же как и нормированное скалярное произведение, используется в качестве метода сравнения дактильных знаков распознающих систем. При этом взаимно корреляционная функция т(т), как полный набор значений скалярных произведений вектор-контура V на вектор-контур Г^ со смещенным положением начальной компоненты у{т),

т = — 1) является достаточно чувствительной характеристи-

кой близости двух контуров.

Таким образом, корреляционная функция Т = {г(ш)}0 к_х периодических комплекснозначных контуров вводится как упорядоченный набор скалярных произведений контура V одного из сигналов на контур

т-< (т ) „

I другого сигнала со смещением на т элементов. В отличие от вещественных сигналов при нахождении каждого из отсчетов один из контуров берется комплексно-сопряженным.

Для построения распознающих систем важно, что автокорреляционная функция т{рг) контура Г служит характеристикой близости

этого контура со своей копией Г^'"' имеющей в качестве начальной компоненты элементарный вектор т). Все особые свойства скалярного произведения относятся также к корреляционным функциям и поэтому могут в процессе распознавания определять степень близости дактилемы, совпадающей с одной из эталонных, с помощью вычисления автокорреляционной функции, а также не совпадающей - путем вычисления взаимно корреляционной функции. Практически в рассматриваемых ниже системах предполагается осуществлять вычисление вза-

имно корреляционной функции, а автокорреляционная функция вычисляется в единственном случае - в момент совпадения распознаваемого и эталонного знака.

В третьей главе приводится разработка двух распознающих алгоритмов, использующих контурное представление дактильных знаков в комплекснозначном пространстве.

В диссертации приводится четыре конкретные структурные схемы алгоритмов по каждому из рассматриваемых методов распознавания дактилем.

Первый из алгоритмов, приводимый на рис. 2, предназначен для распознавания статических дактилем при их шаговой демонстрации.

Во всех алгоритмах анализируемый дактильный знак V с выхода теле-, видео- или веб-камеры поступает на входной блок системы, реализующей предварительную обработку по своим алгоритмам, зависящим от конкретного метода.

Частота кадров видеокамеры достаточно высока для обработки всей последовательности изображений, поэтому в следующем блоке обработки осуществляется деление кадров до частоты, обеспечивающей подачу порядка десяти кадров на период между реальными демонстрациями дактилем. Эти промежуточные кадры необходимы для отслеживания траектории перемещения элементов знака.

После предварительной обработки дактилема кодируется в зависимости от выбранного метода: контурами в виде элементарных векторов или веером векторов.

И далее, закодированный в комплекснозначном пространстве по своим алгоритмам дактильный знак V поступает на блок сравнения, который сравнивает его со знаками, хранящимися в библиотеке эталонных дактилем в комплексно сопряженном виде я) и при совпадении с одним из них, выдает значение соответствующей буквы русского алфавита.

По времени операция распознавания не совпадает с этапом формирования эталонных дактильных знаков, которая осуществляется заранее и в ходе статического представления, возможно с помощью фотокамеры, и с обязательной предварительной обработкой знака по тем же алгоритмам, что и распознаваемый. На рис.2 эта операция проходит по тем же блокам, что и основная операция распознавания, разделяясь только по времени на предварительное формирование эталонных знаков.

Безусловно, у каждой из рассматриваемых систем свои алгоритмы преобразования дактильных знаков и форматы их представления, но есть и общие операции, которые реализуются во всех системах, а именно:

- преобразования цветных растровых полутоновых изображений дактилем, получаемых с выхода видео- или веб-камер, в формат монохромных бинаризованных изображений;

- выделение контуров бинаризованных изображений;

- определение направления демонстрации знака;

- удаление неинформативной части дактильного знака и проверка замкнутости контуров;

- центрирование выделенных знаков дактилем.

Во всех алгоритмах осуществляется операция удаления неинформативной части руки, но перед этим, что особенно важно для русских дактилем, определяется направление демонстрируемой дактилемы. Что учитывается при сопоставлении с раздельным методом хранения эталонных дактилем из трех различных направлений.

При построении алгоритмов распознавания дактильных знаков с контурным представлением важная роль принадлежит выбору способа сравнения анализируемой У= {^(п)},) и эталонной дактилем

Г*= {у{п)}о,„1:-\ • Механизм работы контурного согласованного фильтра

заключается в том, что при подаче на его вход настроенной на этот

фильтр дактилемы образуется контур Т= |г(ш)} 0 к_х, определяемый

для его составляющих соотношением к-1

т(т)=^1у(п)у'(п-т +к(6)

л=0

а это выражение представляет собой смещенную на к отсчетов автокорреляционную функцию фильтруемого контура Г.

Поэтому в момент т = к — 1 получается максимальный отсчет

т(к-1) = %г(пУ(п)=%\г(пХ =\ Г ||2. (7)

л=0 и=О

В связи с настройкой общего алгоритма на шаговое распознавание, дактилемы демонстрируются таким образом, чтобы переход от одного знака к другому занимал минимальное время, а демонстрация самого знака длилась возможно дольше, в зависимости от настройки и, возможно, до индикации завершения распознавания предыдущей буквы.

Рис. 2 Алгоритм распознавания шаговых дактилем

Таким образом, в шаговом распознающем алгоритме дактильный знак хотя и может медленно меняться, но т.к. он зафиксирован одно-

моментно, то может считаться статичным ^ и независимым от времени на период его распознавания до подхода к следующей дактилеме.

После разделения библиотеки эталонных дактилем на три секции, в зависимости от направления дактилирующей руки, отпадает необходимость в неинформативной части руки, не участвующей непосредственно в формировании дактильного знака. Поэтому на изображении происходит выделение кисти руки, непосредственно демонстрирующей дактилему. Выделение кисти реализуется по уровню минимальной ширины кисти, в процессе демонстрации искусственной эталонной дакти-лемы.

Таким образом, на выходе программного блока кодирования контуров формируются контуры распознаваемого и эталонного Гк я^ знаков в комплексно-сопряженном виде. Перед библиотекой эталонов программный блок реализует преобразование элементарных векторов в комплексно-сопряженные

г1а,б,...я)={У*{п)) ОМ-

Алгоритм осуществляет сравнение анализируемого контура со всеми эталонными контурами дактилем и по максимуму определяет значения их сумм:

к-1

и=0

На выходе программного блока сравнения алгоритм выдает значение распознаваемой буквы. На рис. 3 идентифицирована буква «В».

Рис. 3 Результат распознавания буквы «В»

В диссертации приводятся полные экспериментальные исследования направленные на подтверждение работоспособности алгоритмов, положенных в основу разработки системы в целом и отдельных ее частей, принципиально влияющих на параметры распознавания.

В частности, в работе предоставляются результаты исследования, подтверждающие для алгоритма шагового распознавания инвариантность контурного представления дактилем к повороту, сдвигу отсчета вдоль контура и масштабу.

Параметры системы определяются следующими характеристиками:

- Разрешение видеокамеры не менее 320x240;

- Операционная система- Windows 7, ХР;

- Язык программирования — С#;

- Минимальные требования к техническим параметрам компьютера

CPU не менее 1400 MHz; RAM: 256 MB; HD 10 GB;

- Расстояние до распознаваемого знака - от 0,5 до 1,5 метра;

- Действующая программа - 180МБ.

Среднее время распознавания одной дактилемы алгоритмом с контурным представлением составляет 3,9 сек. Среднее значение вероятности правильного распознавания дактилемы из всего алфавита составляет 85,3% при рассеянном бестеневом освещении и однородном фоне. Яркий контрастный фон с фигурами, соизмеримыми с размерами дактилем, увеличивает вероятность ошибочного распознавания до 37,4%.

В диссертации разработан также алгоритм распознавания динамических дактилем, представленных контурами в комплекснозначном пространстве.

Этот алгоритм отличается от рассмотренного выше только включением в структуру программного блока селекции дактилем. На выходе видеокамеры непрерывная последовательность демонстрируемых дактилем в процессе предварительной обработки превращается в поток бинарных дискретизированных и разреженных по времени изображений знаков.

Алгоритм функционирования блока селекции включает в себя: блок предварительного кодирования веером векторов бинаризованного изображения, алгоритм временного анализа траекторий элементов дактилем и блок селекции дактильных знаков. Вместе они образуют алгоритм селекции. Общая структура алгоритма содержит общие с предыдущим алгоритмом распознавания статических шаговых дактилем устройства ввода и блока предварительной обработки со всеми реализуемыми функциями: выделения монохромного канала, бинаризации, анализа направления демонстрации и центрирования знаков.

Предварительное кодирование дактилем веером векторов для селекции знаков осуществляется по упрощенному, но более быстрому алго-

ритму. Каждый из векторов оценивается размером расстояния от центра тяжести (полюса) до края выделенного бинарного знака.

Размеры векторов веера необходимы для осуществления анализа динамики изменения направлений элементов контуров. Отслеживание динамики изменений элементов контуров происходит путем сравнения трех последовательных отсчетов 1п (// -1), 1п (/у), /и (// + 1) каждого из

векторов. После суммирования по всем векторам команды передаются системе селекции дактилем, которая выбирает момент демонстрации очередного знака Для его записи и передачи дальше

системе выделения и точного кодирования в комплекснозначном пространстве.

Эталонные дактильные знаки вводятся в систему с фото- или видеокамеры заранее, проходят те же преобразования, что и распознаваемые, но в статическом режиме. Кроме того, после кодирования контуров эталонных дактилем они подвергаются дополнительному преобразованию в комплексно сопряженные, что необходимо для выполнения операции сравнения дактилем.

Команда, соответствующая распознанной букве передается для вывода на экран или на систему звукового воспроизведения.

В рассматриваемом алгоритме анализа динамических дактилем большинство функций распознавания повторяются аналогично приведенному выше. Основное отличие заключается в добавленном алгоритме селекции дактильных знаков. С учетом того, что выбранный метод и алгоритм требуют проверки, была проверена принципиальная способность формирования селектирующей команды. При этом команда должна быть выделена из непрерывной последовательности динамических переходов между дактилемами, значения которых неизвестны и останутся неизвестными вплоть до завершения цикла распознавания.

Работоспособность системы селекции проверялась путем моделирования непрерывного процесса перехода от одного дактильного знака к другому.

На рис.4 показана последовательность кадров с промежутками между дактильными знаками, равными 11 кадрам видеосъемки.

Переход от одного кадра к другому проходил в режиме реальной замедленной дактилируемой речи, и на графике внизу отслеживалось в по-кадровом режиме вычисление суммы векторов, которые в соответствии с алгоритмом, приводимым в соотношениях, изменяли направление движения.

Моделирование показало работоспособность предложенного алгоритма селекции дактильных знаков. При этом алгоритм вы-

деления информационного знака имеет достаточно общий характер и может использоваться в других системах.

Рис. 4 - Результаты моделирования селекции знака

В четвертой главе приводится разработка алгоритма, в котором дактилемы представлены в виде модели с веером векторов.

Третий разработанный алгоритм предназначенный для распознавания шаговых дактилем, приводится на рис.5.

В диссертации установлена целесообразность совмещения полюса векторов Р с центром тяжести контура О дактилемы, формируемого самими векторами.

Вывод распознанной буквы на экранный носитель

X

Конец

Рис.5 Алгоритм шагового распознавания дактилем на основе веера векторов

При этом основная информация о знаке заключена не в его контуре = к~\' а в Длинах его векторов |/?(и)|, образующих веер В

Ш) о ¿-I > как показано на рисунке 6.

19

Рис. 6 — Векторное представление информативной части дактилемы

Таким образом, в системах с векторным кодированием контуров алгоритм распознавания основывается на согласованной фильтрации веера векторов.

Модуль выходного отсчета согласованного фильтра представляет меру схожести двух вееров, в том числе и несогласованных.

Если принять за эталонный веер буквы «А» = {/3А(п)\, задающий импульсную характеристику буквы «А» , а анализируемый веер V (я) будет демонстрировать букву «Я», то согласованный фильтр даст

на выходе меру их схожести к-1

(9)

п=О

В нормированном виде величина этой меры будет равна

(10)

РА|гя||

Результат согласованной фильтрации, приведенный на рис. 7, может сам рассматриваться как некоторый веер, и при совпадении сравниваемых векторов его суммарный радиус-вектор будет состоять из коллине-арных векторов, имеющих общее направление, что и определяет эффект согласованной фильтрации.

Рис.7 - Результат распознавания буквы «Г»

Из полученных результатов исследований можно сделать вывод, что программа распознает дактильные знаки при повороте кисти руки в ограниченных пределах. Изменение масштаба руки также не влияет на эффективность распознавания демонстрируемых знаков.

В диссертации приводится алгоритм распознавания динамических дактилем, представляемых веером векторов. Число векторов в веере к=128 и к=256 Среднее время распознавания одной дактилемы составляет, соответственно, 2,6 сек. и 3 сек. Средняя вероятность правильного распознавания алфавита дактилем при оптимальном бестеневом освещении, составляет 80,4% (при к=256). Фон с рисунками соизмеримыми с размерами дактилем, увеличивает вероятность ошибочного распознавания до 34,1%.

В диссертации разработан четвертый алгоритм - распознавания динамических дактилем, представленных веером векторов.

Основное отличие алгоритма распознавания динамических дактиль-ных знаков от рассмотренного выше состоит в том, что он содержит в своей структуре блок селекции знака и как показали результаты моделирования, может работать с последовательностью движущихся и непрерывно переходящих друг в друга дактилем. Этот алгоритм разрабатывается с целью распознавать в замедленном темпе реально дактилируе-мую речь.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

По результатам диссертационной работы можно сделать следующие

выводы:

1. Подтверждена принципиальная возможность автоматизированного распознавания русских дактильных знаков, несмотря на повышенную сложность их демонстрации и схожесть формы некоторых дактилем.

2. Подтверждена применимость разработанных моделей представления дактильных знаков для решения задачи распознавания русских дактилем.

3. Разработанные алгоритмы шагового распознавания с контурным и веерным представлением дактилем показали возможность их использования в реальных условиях для перевода замедленного (шагового) дактилирования при общении глухих и слабослышащих людей с окружающими. Системы также могут быть использованы для обучения в специализированных школах и для самостоятельного обучения дактильной азбуке глухих и слабослышащих детей на дому и взрослых, вынужденных общаться с ними.

3. Структура, алгоритмы и программное обеспечение позволяют, при

соответствующей доработке, быть реализованными в качестве дополнительной функции мобильных устройств связи, имеющих возможность видеосъемки и звукового воспроизведения.

4. Сравнительный анализ качества распознавания показал повышенную

точность выполнения этой операции в алгоритмах с контурным представлением при увеличенном времени обработки, превышающем перевод дактилирования в режиме реального времени. Алгоритмы с веерным представлением дактилем при понижении точности распознавания обладают большим быстродействием.

5. Подтверждена принципиальная возможность предложенного способа

селекции динамических знаков из непрерывного дактилирования с помощью анализа суммарной смены направления траекторий элементов.

6. Подтверждена возможность предложенного селектирования динамичных дактильных знаков за счет анализа суммарной скорости движения элементов дактилем при замедленном или предварительно записанном на видеокамеру дактилировании.

7. Проверена и экспериментально подтверждена нецелесообразность ис-

пользования в алгоритмах распознавания растрового цветного представления дактилем из-за резкого увеличения времени обработки и исключительно высокой чувствительности к режиму освещения.

8. Подтверждена экспериментально возможность озвучивания системами распознавания переведенного текста дактильной речи.

IV. ПУБЛИКАЦИИ ПО ОСНОВНЫМ РЕЗУЛЬТАТАМ ДИССЕРТАЦИИ Работы, опубликованные в научных журналах, входящих в перечень ведущих рецензируемых журналов и изданий ВАК РФ:

1. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Математиче-

ское представление селекции распознаваемых знаков дактильной речи // Научно-технические ведомости СПб ГПУ выпуск 1(140), 2012.-с.55-60.

2. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Информаци-

онная система распознавания образов переменной структуры // Вестник РГРТУ, №37, 2011,- с. 17-22. Работы, опубликованные в сборниках научных трудов, материалах международных н всероссийских конференций:

3. Скоробогатова Н.Е., Дондик Е.М. Система распознавания и

воспроизведения знаков дактильной речи// Инновационные подходы к применению информационных технологий в профессиональной деятельности: сб. науч. тр. междунар. научно-техн. конф.- Белгород: БРИПК, 2010,- с. 287-291.

4. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Система рас-

познавания и воспроизведения знаков дактильной речи // Труды Российского НТО радиотехники, электроники и связи им. Попова, Научная сессия. - Москва, 2011.- с. 399-401.

5. Скоробогатова Н.Е., Дондик Е.М. Контурный анализ в системе

распознавания дактильной речи // Математические методы и информационные технологии в экономике, социологии и образовании: тез. докл. 25-й междунар. научно-техн. конф,- Пенза: ПГТА, 2010.- с.124-127.

6. Скоробогатова Н.Е., Дондик Е.М. Распознавание знаков дак-

тильной речи на основе контурной согласованной фильтрации // Информационное общество: идеи, технологии, системы: тез. докл. междунар. научно-техн. конф., часть 4,- Таганрог: ТТИ ЮФУ, 2010,- с.24-29.

7. Грицай Е.В., Дондик Е.М., Скоробогатова Н.Е. Распознавание

знаков дактильной речи // Наука и образование в промышленной, социальной и экономической сферах регионов России: тез. докл. 3-й всерос. межвуз. конф,- Муром, 2011.- с.227-228.

8. Дондик Е.М., Скоробогатова Н.Е. Система распознавания дак-

тильной речи // Информационные технологии в образовании: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2010,- с.127-133.

9. Дондик Е.М., Пылькин А.Н., Родригес JI.M., Скоробогатова Н.Е.

Система выделения знаков дактильной речи // математическое и программное обеспечение вычислительных систем: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2011,- с. 153-158.

10. Дондик Е.М., Грицай Е.В., Скоробогатова Н.Е. Система распознавания знаков дактильной речи на основе контурного анализа // Математическое и программное обеспечение вычислительных систем: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2011.-с.153-158.

11. Дондик Е.М., Хватова А.С., Скоробогатова Н.Е. Система распознавания знаков дактильной речи на основе веера векторов // Информационные технологии: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2011,- с. 77-80.

12. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Система распознавания дактильной речи// Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: тез. докл. 16-й межд. научно-техн. конф. - Рязань, 2010,- с.63-65.

13. Скоробогатова Н.Е. Информационные системы распознавания русских дактилем // Новые информационные технологии в научных исследованиях: тез. док. 16-й всерос. научно-техн. конф. - Рязань: РГРТУ, 2011,- с.24-26.

14. Скоробогатова Н.Е. Структура системы распознавания динамических дактилем // Программные информационные системы: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2011.- с.11-15.

15. Агеев К.А., Дондик Е.М., Некрасова Е.В., Скоробогатова Н.Е. Экспериментальные исследования систем распознавания шаговых дактилем // Математическое и программное обеспечения вычислительных систем: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2011. - с.60-64.

16. Дондик Е.М., Литвинова Т.В., Скоробогатова Н.Е. Анализ динамики перехода между знаками дактильной речи // математическое и программное обеспечения вычислительных систем: межвуз. сб. науч. тр.- Рязань: РГРТУ, 2011. - с. 17-21.

17. Skorobogatova N.E., Dondik Е.М. Algorithm Structure of Récognition Dynamic Dactyl // European Science and Technology: 2nd International Scientific Conférence, Bildungszentrum Rdk E.V. Wiesbaden, Germany, 2012. - Vol. II - p.356-360

Скоробогатова Наталия Евгеньевна

МОДЕЛИ ПРЕДСТАВЛЕНИЯ И АЛГОРИТМЫ РАСПОЗНАВАНИЯ РУССКИХ ДАКТИЛЕМ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 22.10.12 Формат бумаги 60x84 1/16. Бумага офисная. Печать трафаретная. Усл.печ.л. 1,0 Тираж 100 экз. Заказ Рязанский государственный радиотехнический университет. 390005, г. Рязань, ул. Гагарина, 59/1. Редакционно-издательский центр РГРТУ

Введение

Глава 1. Анализ проблемы и цели разрабатываемых алгоритмов распознавания дактильных знаков

1.1 Основные понятия и история дактильной речи

1.1.1 Понятие о дактильных знаках и история их появления.

1.1.2 Национальные дактилемы.

1.1.3 Обзор существующих визуальных систем взаимодействия человека с компьютером.

1.2 Проблемы автоматизации распознавания дактилем

1.2.1 Непрерывная последовательность знаков.

1.2.2 Контурное представление

1.2.3 Направления демонстрации знаков

1.2.4 Траектории элементов знака

1.2.5 Селекция дактилем

1.2.6. Выделение слов и предложений

1.3 Проблемы ввода и воспроизведения дактилем.

1.3.1 Ввод дактильных знаков в системы

1.3.2 Демонстрация переводимого текста.

1.3.3 Звуковое воспроизведение

1.4 Общие направления исследований

1.4.1 Национальные различия методов распознавания.

1.4.2 Видеоконференции.'.

1.4.3 Системы взаимодействия человек-компьютер на уровне жестов.

1.4.4 Двуручные дактильные знаки.

1.5 Классификация алгоритмов распознавания дактилем.

1.5.1 Алгоритмы распознавания дактильных и жестовых знаков.

1.5.2 Статическое или шаговое дактилирование.

1.5.3 Динамические дактилемы.

1.5.4 Распознавание растровых изображений дактилем.

1.5.5 Классификация методов распознавания дактилем.

1.6 Особенности распознавания русских дактилем.

1.6.1 Особенности дактилем русского языка.

1.6.2 Цели разрабатываемых шаговых алгоритмов распознавания.

1.6.3 Цели алгоритмов распознавания динамических дактилем.

В области информатизации становится все более востребованной задача разработки алгоритмов и создания систем формирования и ввода в реальном времени сложной смысловой интеллектуальной информации для восприятия ее техническими средствами и, в первую очередь, вычислительными устройствами.

Поэтому пока остается не до конца решенной задача видеообщения человека с компьютером на высоком интеллектуальном уровне с вводом текстовой смысловой информации в реальном масштабе времени.

В настоящее время попытки ввода смысловой видеоинформации в разных странах решаются с использованием знаков существующих, существенно различающихся, национальных дактилем. При этом следует отметить, что сами дактильные знаки легче реализуются и, следовательно, распознаются в одноручном американском, немецком и испанском языке. Значительно сложнее распознаются дактильные знаки в двуручной английской речи.

Еще сложнее формируются дактилемы русского языка, которые хотя и демонстрируются одной рукой, но с разворотом знаков в трех направлениях видеокадра и поэтому сопровождаются увеличенными траекториями движениями элементов (пальцев). Это существенно затрудняет автоматизацию процесса распознавания и, следовательно, ввод в компьютер русской дак-тильной речи.

Замечательно, что ввод в компьютер и распознавание дактильных знаков автоматически решают важную социальную задачу перевода дактильной речи глухих и слабослышащих людей в текст, понятный всем обычным людям.

Количество людей, использующих в качестве средства коммуникации жестовую и дактильную речь, достаточно велико. На учете во Всероссийском обществе глухих состоят более 230 тысяч человек. Такой речью пользуются постоянно до трех процентов населения, а если учесть тех, кто вынужден с ними общаться в семье и других местах, то число людей, использующих этот язык, увеличится [1].

Большинство нормально слышащих людей не знают языка жестов, а число переводчиков катастрофически мало, поэтому глухие и слабослышащие испытывают большие трудности в общении, особенно при посещении любых учреждений социальной сферы, поликлиник, магазинов и т.д.

Одним из путей помощи таким людям в общении с окружающим миром является разработка алгоритмов и создание систем перевода дактильного и жестового языка.

И если недавно разработанная система перевода обычного текста и речи в жестовую или дактильную позволяет донести информацию для аудитории слабослышащих, то обратное направление перевода жестовой и дак-тильной речи в общепринятую, доступную окружающим, пока не решено.

В настоящее время перевод жестовой речи затруднителен из-за необходимости использовать систему многомерного отслеживания и распознавания динамических образов, что требует мощных вычислительных, и скорее всего стационарных, систем. В этом отношении перевод хотя бы только дак-тильной речи выглядит доступнее. Однако, пока неизвестно её практическое решение для русского языка, поэтому остается востребованной проблема автоматизированного перевода русской дактильной речи в обычную, возможно, в побуквенном произношении в реальном или замедленном темпе. А потребность в этом возникает у каждого глухого и слабослышащего, причем как сугубо индивидуальная проблема - при необходимости сказать что-либо врачу, продавцу в магазине или служащему в учреждении.

Поэтому актуальна разработка алгоритмов распознавания дактильных знаков и в конечном счете перевода дактильной речи. Тем более, что рассматриваемые алгоритмы могут быть представлены в качестве приложения к сотовым телефонам, которые функционально готовы к использованию подобной распознающей системы, т.к. обладают функцией видеозаписи изображений демонстрируемых дактильных знаков, а также имеют возможность отображать и воспроизводить с озвучиванием дактильную речь [4,5].

Методы и алгоритмы, положенные в основу и опробованные в разрабатываемых системах распознавания дактильной речи, возможно, смогут быть использованы в дальнейшем для разработки более сложных систем распознавания жестовой речи.

Сложность построения системы перевода дактильных знаков заключается в особенностях демонстрации (дактилирования) самой речи.

Во-первых, дактильная речь в соответствии с правилами дактилирования должна быть непрерывной, плавной, с непрерывными переходами от одного демонстрируемого знака к другому, что требует от системы отслеживания всех переходных промежуточных образов и выбора единственного информационного знака.

Во-вторых, дактильная речь может демонстрироваться на различном расстоянии от видеокамеры и людьми с различными размерами руки, поэтому распознающая система должна быть инвариантна к масштабу изображения дактилемы.

В-третьих, положение руки при демонстрации знака не фиксировано в поле кадра и может смещаться и наклоняться в зависимости от привычки воспроизводящего дактильную речь, поэтому алгоритм распознавания должен быть инвариантен к смещению и повороту анализируемого знака.

В диссертации приводится разработка нескольких алгоритмов распознавания русской дактильной речи, отличающихся методами предварительной обработки и кодирования дактильных знаков, способами селекции дактилем, а также методами их распознавания.

Каждый из рассматриваемых алгоритмов имеет свои особенности, вытекающие из принципа функционирования. В частности, шаговое представление русских дактилем вводит определенную условность их идентификации и накладывает существенные ограничения на действия демонстрирующего.

Безусловно, это замедляет речь, но все-таки позволяет донести мысли до окружающих, для чего собственно и создаются такие системы.

Алгоритмы распознавания динамических знаков дают возможность работать с непрерывным потоком дактилем, включая промежуточные траектории, но имеют повышенную чувствительность к особенностям действий демонстрирующего, к непроизвольным случайным колебаниям или дрожанию руки.

В диссертации приводится подробное описание структур разрабатываемых алгоритмов и их свойств.

Предметом исследования являются дактильные знаки, используемые для визуального дистанционного ввода смысловой текстовой информации в ЭВМ и для перевода дактильной речи глухих и слабослышащих людей, а также модели их представления и алгоритмы распознавания.

Цель диссертационной работы состоит в разработке моделей представления и алгоритмов распознавания в шаговом режиме русских дактильных знаков с помощью компьютера и перевода их в текстовый или звуковой формат.

Для достижения поставленной цели решались следующие задачи: - анализ существующих методов распознавания иностранных национальных дактилем (американских, английских, немецких, испанских, японских и др-);

- разработка математической модели представления русских дактилем;

- разработка алгоритма распознавания статических шаговых дактилем с контурным представлением;

- разработка математической модели описания дактилем с помощью веера векторов;

- разработка алгоритма функционирования и распознавания статических дактилем, представляемых веером векторов;

- разработка математической модели селекции динамического знака на основе изменения направления движения траекторий;

- разработка алгоритма селекции динамического знака на основе анализа интервала демонстрации между знаками.

Методы исследования: решение перечисленных задач основывается на системном анализе, теории распознавания образов, теории контурного анализа изображений, теории цифровой обработки изображений.

Достоверность и обоснованность полученных результатов диссертационной работы подтверждаются компьютерным моделированием и приводимыми результатами компьютерных экспериментальных исследований алгоритмов распознавания шаговых дактилем с контурным и векторным представлением и результатами моделирования алгоритмов селекции динамических дактилем.

Научная новизна диссертационной работы определяется тем, что впервые разработаны способы описания контуров русских дактильных знаков для глухонемых и ввода информации в компьютер с помощью дактильной речи. Конкретно получены следующие научные результаты:

1. Предложена математическая модель представления и распознавания дактильных знаков в виде вектор-контуров, обеспечивающие инвариантность к линейным преобразованиям смещения, поворота и масштаба дактилем.

2. Разработаны алгоритмы представления и распознавания статических и динамических шаговых дактильных знаков с контурным представлением.

3. Предложена математическая модель представления и распознавания дактильных знаков в виде веера векторов, сокращающих объем вычислительных операций и обеспечивающих инвариантность к масштабу.

4. Разработаны алгоритмы представления и распознавания статических и динамических шаговых дактильных знаков в виде веера векторов.

5. Разработан алгоритм выделения (селекции) динамических дактильных-знаков из непрерывной последовательности дактилирования по изме нению направления движения переходных траекторий элементов.

6. Разработан алгоритм выделения динамических дактилем по скорости движения элементов знака. Практическая значимость работы заключается в следующем:

- разработаны на основе предложенных моделей два действующих алгоритма распознавания знаков русской дактильной речи, позволяющих также обеспечить в шаговом режиме визуальный дистанционный ввод текстовой информации в компьютер;

- разработанные алгоритмы перевода знаков русской дактильной речи могут быть установлены на компьютерах в общественных приемных, больницах, магазинах и других местах, где глухим требуется объясняться на дактиле;

- разработанные алгоритмы позволяют пользоваться ими во время дистанционных видеоконференций глухих и слабослышащих людей;

- разработанные алгоритмы распознавания русских дактилем используют ограниченные вычислительные ресурсы и поэтому могут быть применены в виде дополнительной функции перевода речи глухих и слабослышащих людей для сотовых устройств, обладающих видеозаписью и звуковым воспроизведением речи;

- разработанные алгоритмы распознавания динамических дактильных знаков позволяют переводить замедленную или записанную на видеокамеру дактильную речь с выделением дактилем из потока непрерывного дакти-лирования.

Результаты внедрения. Разработанные алгоритмы использованы в Московском психолого-социальном университете (филиал в г.Рязани) в группе глухих слушателей (акт об использовании от 16 февраля 2012 г.), внедрены в учебный процесс на кафедре «Вычислительной и прикладной математики» Рязанского государственного радиотехнического университета и используются студентами специальностей 230105 «Программное обеспечение вычислительной техники и автоматизированных систем» и 080801 «Прикладная информатика (в экономике)» по дисциплинам «Системы искусственного интеллекта», «Интеллектуальные информационные системы» и «Методы и алгоритмы принятия решений»(акт внедрения от 02.02.2012 г.), осуществлена государственная регистрация программного продукта «Программа распознавания русских дактилем» (свидетельство о гос. регистрации программы для ЭВМ № 2012614984 от 4 июня 2012 г.).

На защиту выносятся:

- модель представления дактилем в виде вектор-контура, состоящего из элементарных векторов в комплекснозначном пространстве;

- алгоритм распознавания русских шаговых дактилем на основе контурного представления в комплекснозначном пространстве;

- модель представления дактилем в виде веера векторов комплексного пространства с вершиной в центре тяжести контура дактилемы;

- алгоритм распознавания русских динамических дактилем с контурным представлением и селекцией по изменению направлений траекторий;

- алгоритм распознавания шаговых дактильных знаков с представлением веером векторов;

- алгоритм распознавания динамических дактилем с представлением веером векторов и селекцией по скорости перемещения элементов.

Апробация работы. Результаты диссертационной работы обсуждались на следующих конференциях:

- 16-я международная научно-техническая конференция «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань: РГРТУ, 2010 г.

- международная научно-техническая конференция «Информационное общество: идеи, технологии, системы» ИНФО-Ю, Таганрог: ТТИ ЮФУ, 2010 г.

- 25-я международная научно-техническая конференция «Математические методы и информационные технологии в экономике, социологии и образовании», Пенза: ПГТА , 2010 г.

- международная научно-техническая конференция «Инновационные подходы к применению информационных технологий в профессиональной деятельности», Белгород: БРИПК, 2010 г.

- 66-я международная научно-техническая конференция Российского НТО радиотехники, электроники и связи им. Попова, Научная сессия, Москва, 2011 г.

- 16-я всероссийская НТК «Новые информационные технологии в научных исследованиях», НИТ-2011, Рязань: РГРТУ, 2011 г.

- 3-я всероссийская межвуз. конференция «Наука и образование в промышленной, социальной и экономической сферах регионов России», Муром: РГА, 2011 г.

-2nd International Scientific Conference «European Science and Technology», Wiesbaden, Germany, 2012r.

Публикации. По результатам исследований опубликовано 17 печатных работ, в том числе 2 научные статьи в изданиях, рекомендованных ВАК для публикации трудов на соискание ученых степеней, 8 в сборниках трудов научных конференций, 7 статей в межвузовских сборниках. Получено свидетельство о государственной регистрации.

Объем и структура диссертации. Диссертационная работа включает: введение, 4 главы, заключение и список литературы. Вся работа изложена на 176 страницах текста и включает 65 рисунков, 5 таблиц, 3 приложения. Список литературных источников включает 86 наименований.

Заключение

По результатам диссертационной работы можно сделать следующие выводы:

1. Подтверждена принципиальная возможность автоматизированного распознавания русских дактильных знаков, несмотря на повышенную сложность их демонстрации и схожесть формы некоторых дактилем.

2. Разработанные алгоритмы шагового распознавания с контурным и веерным представлением дактилем показали возможность их использования в реальных условиях для перевода замедленного дакти-лирования при общении глухих и слабослышащих людей с окружающими. Алгоритмы также могут быть использованы для обучения в специализированных школах и самостоятельного обучения дак-тильной азбуке глухих и слабослышащих детей на дому.

3. Структура алгоритмов и программное обеспечение позволяют, при соответствующей доработке, быть реализованными в качестве дополнительной функции мобильных устройств связи, имеющих возможность видеосъемки и воспроизведения.

4. Сравнительный анализ качества распознавания показал повышенную точность выполнения этой операции в алгоритмах с контурным представлением при увеличенном времени обработки. Алгоритмы с веерным представлением дактилем при понижении точности распознавания обладают большим быстродействием.

5. Подтверждена принципиальная возможность предложенного способа селекции динамических знаков из непрерывного дактилирования с помощью анализа суммарной смены направления траекторий элементов.

6. Подтверждена возможность предложенного селектирования динамичных дактильных знаков за счет анализа суммарной скорости движения элементов дактилем при замедленном или предварительно записанном на видеокамеру дактилировании.

7. Проверена и экспериментально подтверждена нецелесообразность использования в алгоритмах распознавания растрового цветного представления дактилем из-за резкого увеличения времени обработки и исключительно высокой чувствительности к режиму освещения.

8. Предложенный алгоритм динамического распознавания дактилем, использующий в качестве объекта векторный анализ траекторий перехода элементов между дактильными знаками, по результатам моделирования показал свою работоспособность и может быть в дальнейшей работе рекомендован к практической реализации. Подтверждена экспериментально возможность озвучивания переведенного текста дактильной речи.

1. Зайцева Г.Л. Дактилогия. Жестовая речь: учеб. пособие для студентов-дефектол. фак. пед. ин-тов. М.: Просвещение, 1991. - 159 с.

2. Введение в контурный анализ; приложение к обработке изображений и сигналов/ Я.А.Фурман и др.; под ред. Я.А. Фурмана.-2-e изд., испр.-М.: ФИЗМАТЛИТ, 2003,- С.592

3. Алпатов Б.А.,Бабаян П.В., Балашев O.E., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление.- М.: Радиотехника, 2008.-176с.

4. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Система распознавания и воспроизведения знаков дактильной речи // Труды Российского НТО радиотехники, электроники и связи им. Попова, Научная сессия. Москва, 2011.-С. 399-401.

5. Скоробогатова Н.Е. Информационные системы распознавания русских дактилем // 16-я Всеросс. НТК «Новые информационные технологии в научных исследованиях». НИТ-2011.- Рязань: РГРТУ, 2011. С. 24-26.

6. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Информационная система распознавания образов переменной структуры / Вестник Рязанского государственного радиотехнического университета. №3, Рязань: РГРТУ, 2011.- С. 17-22.

7. Дондик Е.М., Пылькин А.Н., Скоробогатова Н.Е. Математическое представление селекции распознаваемых знаков дактильной речи// Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. Изд. СПбГПУ. - №1 (140), 2012. - С.55-60.

8. НТК «Информационное общество: идеи, технологии, системы», часть 4. -Таганрог: ТТИ ЮФУ, 2010. С.24-29.

9. Дондик Е.М., Скоробогатова Н.Е. Контурный анализ в системе распознавания дактильной речи // Сб. статей 25-й Международной НТК «Математические методы и информационные технологии в экономике, социологии и образовании». Пенза: ПГТА, 2010. - С. 124-127

10. P. Viola and М. Jones. Rapid object detection using a boosted cascade of simple features. 2001.

11. P.Viola and M. Jones. Robust Real-time Object Detection// 2 International Workshop on Statistical and Computation. Vancouver, Canada, July. 2001.

12. Дондик E.M., Пылькин A.H., Скоробогатова Н.Е. Система распознавания дактильной речи// 16-я между нар. НТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2010. -С.63-65

13. R. Bowden, D. Windridge, Т. Kadir, A. Zisserman, and М. Brady. A linguistic feature vector for the visual interpretation of sign language/ In Proc. ECCV, 2004.

14. R. Lockton and A. W. Fitzgibbon. Real-time gesture recognition using deterministic boosting. In Proc. BMVC. 2002. P. 817-826.

15. Дондик E.M., Хватова А.С., Скоробогатова Н.Е. Система распознавания знаков дактильной речи на основе веера векторов // Межвуз. сб. науч. тр. «Информационные технологии».-Рязань: РГРТУ, 2011. С.77-80.

16. Дондик Е.М., Грицай Е.В., Скоробогатова Н.Е. Система распознавания знаков дактильной речи на основе контурного анализа // Межвуз. сб. на-учн. Тр. «Информационные технологии в образовании». Рязань: РГРТУ, 2011. - С.68-73.

17. Дондик Е.М., Пылькин А.Н., Родригес Л.М., Скоробогатова Н.Е. Система выделения знаков дактильной речи // Межвуз. сборник научных трудов «Математическое и программное обеспечение вычислительных систем». -Рязань, РГРТУ. 2011г. С. 153-158.

18. P. Goh. Automatic recognition of Auslan finger-spelling using hidden Markov models// Undergraduate thesis, University of Western Australia, 2005.

19. P. Goh and E.-J. Holden. Dynamic fingerspelling recognition using geometrimotion features// In Proc. 1С IP. 2006. P. 2741-2744.

20. Грицай E.B., Дондик E M., Скоробогатова H.E. Распознавание знаков дак-тильной речи // III Всерос. межвузовская конференция «Наука и образование в промышленной, социальной и экономической сферах регионов России». Муром: РГА, 2011. - С.227-228.

21. Дондик Е.М, Калякина И.П. Автоматизированная система визуального распознавания фонем// Межвуз. сб. науч. тр. «Программные информационные системы». Рязань, 2010. - С.79-85.

22. М. Lamari, М. Bhuiyan, and A. Iwata. Hand alphabet recognition using morphological pea and neural networks// In Proc.l JCNN, 1999. P. 2839-2844.

23. Дондик Е.М., Муравьева Е.В. Визуальное распознавание дактильной речи с использованием теории вейвлетов // Межвуз. сб. науч. тр. «Математическое и программное обеспечение вычислительных систем». Москва: Горячая линия - Телеком, 2009. - С.94-101.

24. A. Park, S. Yun, J. Kim, S. Min, and K. Jung. Realtime vision-based Korean finger spelling recognition system// Proc. World Academy of SET, 34:293 -298, 2008.

25. E. Ong and R. Bowden. A boosted classifier tree for hand shape detection// In Proc. 15Int. Conf. FG, 2004.

26. Дондик E.M., Муравьева E.B. Математическое и программное обеспечение вычислительных систем: Межвуз. сб. науч. тр. / Под ред. А.Н. Пыль-кина М.:Горячая линия - Телеком, 2009. - С. 156.

27. Дондик Е.М., Муравьева Е.В. Визуальное распознавание дактильных знаков на основе теории вейвлетов: тезисы Всероссийской НТК «Новые информационные технологии в научных исследованиях и в образовании». -Рязань, 2009. С.135-138.

28. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. Вып.ЗЗ.- М.: Наука, 1978.- С. 5-68.

29. Гуревич И.Б., Журавлев Ю.И., Сметанин Ю.Г. Алгебры изображений: исследовательские и прикладные задачи // Труды 4-й конференции РОАИ.-Новосибирск. 1998,- С.74-78.

30. Бакут П.А., Колмогоров Г.С., Ворновицкий Н.Э. Сегментация изображений: методы пороговой обработки // Зарубежная радиоэлекторника.-1987.-№10.- С.6-24.

31. Бакут П.А., Колмогоров Г.С. Сегментация изображений: методы выделения границ областей// Зарубежная электроника.- 1987.- №10.- С.6-24.

32. Дондик Е.М., Вавилова О.С. Распознавание искаженных фонем с использованием нейронных сетей // Всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань. 2009. - С.245-24

33. Фурман Я.А. Основы теории обработки контуров изображений: учебн. пособие.- Йошкар-Ола: МарГТУ, 1997.

34. Дондик Е.М., Вавилова О.С. Применение вейвлетов в системе распознавания искаженных фонем // Труды международной НТК «Информационное общество: идеи, технологии, системы», часть 4. Таганрог. 2010. - С. 1920.

35. Cosgriff R.L. Identification of Shape// Ohio State University Research Foundation, Columbus, Ohio, Report 820-11, AST1A AD-25-4792, December, 1960.

36. Person E., Fu K. Shape discrimination Using Fourier Descriptors // IEEE Transactions, Man and Cybernetics. 1977. - V. SMC-7, №3. - P. 170-179.

37. Richard C.W., Hemani H. Identification of Three-Dimentionall Objects Using Fourier Descriptions of the Boundary Curve // IEEE Transactions on Systems, Vf Man and Cybernetics. 1974. - V. SMC-4. №4. - P. 371-378.

38. Grandlund G.H. Fourier Preprocessing For Hand Print Character Recognition// IEEE Transactions on Computers. 1972. - V. C-21. №2. - P. 195-201.

39. Zahn СТ., Roskies R.Z. Fourier Descriptors For Plane Closed Curves // IEEE Transactions on Computers. 1972. - V. C.-21. №3. - P .269-281.

40. Furman Y.A., Janshin W.W. Spectral Analysis and Filtering of Closed Polygonal Contours of Images/ Pattern Recognition and Image analysis. 1992. - V. 2, №3 - P.06-318.

41. Фурман Я.А., Юрьев А.Л., Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. Красноярск: Изд-во Красноярск.- 1992.

42. Фурман Я.А., Яншин В.В. Многошаговые процедуры принятия решений.- Красноярск: Изд-во Красноярского ун-та, 1989.

43. Фор А. Восприятие и распознавание образов,- М.: Машиностроение, 1989.

44. Яне Б. Цифровая обработка изображений. М.: ТЕХНОСФЕРА, 2007.

45. Сергиенко А.Б. Цифровая обработка сигналов.- СПб.: ПИТЕР, 2002.

46. Юкио Сато. Без паники! Цифровая обработка сигналов,- М.: Издательский дом «Додека-ХХ1», 2010.

47. Обработка и отображение информации в растровых графических системах/ О.И. Семенков, С.В. Абламейко, В.И. Берейщик, И.И. Старовойтов. -Минск: Наука и техника, 1989.

48. Фисенко В.Т., Фисеико Т.Ю. Компьютерная обработка и распознавание изображений,- СПб.: ИТМО, 2008.

49. Гонсалес Р., Вудс Р. Цифровая обработка изображений,- М.: ТЕХНОСФЕРА, 2005.

50. Starner Т., Weaver J., Pentland A. Real-Time American Sign Language recognition using deskland wearable computer based video //Media laboratory perceptual computing section technical report. 1996. - No. 466.

51. Parnini F., Shahoby C. An algorithmic approach for static and dynamic gesture recognition utilising mechanical and biometrical characteristics // Int. J. Bioin-formatics research and applications. 2007. Vol. 03. No 1.

52. Pahaloudi V.N., Margaritis K.G. A perfomance study of recognition system for Greek sign language alphabet letters// Proceeeding of 9 International Cojnference SPECOM 2004. S-Petersburg, Russia.- 2004. - P.545-551.

53. Стольниц Э., ДеРоуз Т., Салезин Д. Вейвлеты в компьютерной графике. Теория и приложения. Ижевск: НИЦ "Регулярная и хаотическая динамика", 2002. - 272 с.

54. Астафьева Н.М. Вейвлет-анализ: Основы теории и примеры применения// Успехи физических наук, 1996. - Т.166, № 11. - С.1145-1170.

55. Переберин А.В. О систематизации вейвлет-преобразований// Вычислительные методы и программирование, 2001. Т.2

56. Зайцева Г.Л. Диалог с Л.С. Выготским о проблемах современной сурдопедагогики // Дефектология. 1998. - № 2.

57. Крак Ю В., Троценко Б.А. Дослидження информацийных процессив для эффективного видтворення дактильной жостовой мовы// МНТК «Искусственный интеллект. Интеллектуальные системы.ИИ-2010».- Донецк: ИЛИИ «Наука I освгга»,-2010,- С.284-289.

58. Крак Ю.В., Шкильнюк Д.В. Выкорыстання контурив зображень для распознавания елементив дактильной мовы// МНТК «Искусственный интеллект. Интеллектуальные системы. ИИ-2010». Донецк: ИЛИИ «Наука I ocBiTa». -2010.- С.291-294.

59. Зайцева Г.Л. Современные подходы к образованию детей с недостатками слуха: основные идеи и перспективы (обзор зарубежной литературы) // Дефектология. 1999. - № 5-6.

60. Pattern classification by Fssembling small Neural networks// IEEE Proceeding of International Joint conference on Neural networks. Montreal, Canada. August 4, 2005.

61. D.Agrafiotis, N.Canagarajah, D.Bull, J. Kyle. A perceptually optimised video coding system for sign language communication at low bit rates. In Signal Processing: Image Communication. No.21. P.531-549. - 2006.

62. Kourosh Khoshelham. Extending the use of Hough Transform to detect 3D objects in laser range data. ISPRS Workshop on Laser Scanning 2007, ESPOO, September 12.14, 2007.

63. Ong.S., and Ranganatth.S. Automatic sign language analysis: a survey and the future beyond lexical meaning// IEEE Transaction on Pattern Analysis and Machine Intelligence. 27(6). - 2005.

64. Ручной интерфейс: перчатки AcceleGlove. http://sofiget.net/295-ruchnoj-interfejs-perchatki-acceleglove.html, 20.03.2011 г.

65. Вежневец В. П. Алгоритмы анализа изображения лица человека для построения интерфейса человек-компьютер. -М.: МГУ, 2004. 156 с.

66. S.Phlung, S. Bouzerdoum,and S.Chai. Skin segmentation using color pixel classification: analysis and comparison// Pattern Analysis and Machine Intelligence, IEEE Transactions on. Vol.27, No.l - P.248-154, jan 2005.

67. Дьяченко И. В. Разработка методов и алгоритмов модульной фильтрации для задач распознавания и классификации образов. М.: МГУ, 2006. -С.176.

68. Елизаров А. И. Алгоритмы и программные средства идентификации полутоновых изображений. Томск: ТГУ, 2003. - С. 126.

69. Солдатов С. А. Чтение по губам: распознавание контуров губ// Тезисы доклада. М.: МГУ, 2004. - С. 5.

70. F.Ciaramello and S.Hemami. Complexity constraintd rate-distortion optimization of sign language video using an objective intelligibility metric. Vol. 6822, 2007.

71. Furman Ya.F., Yanshin V.V. Extraction and Linear Filtering of Closed Polygonal Contours of Images // Pattern Recognition and Image Analysis.-1994. V.4. №2. - P.146-166.

72. Skorobogatova N.E., Dondik E.M. Algorithm Structure of Recognition Dynamic Dactyl // European Science and Technology: 2nd International Scientific Conference, Bildungszentrum Rdk E.V. Wiesbaden, Germany, 2012. Vol. II -p. 356-360