автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Идентификация непрерывных биометрических сигналов на основе нейронных сетей

На правах рукописи

004602544

/ .

КОСТЮЧЕНКО ЕВГЕНИИ ЮРЬЕВИЧ

ИДЕНТИФИКАЦИЯ НЕПРЕРЫВНЫХ БИОМЕТРИЧЕСКИХ СИГНАЛОВ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.01. Системный анализ, управление и обработка информации (отрасль: промышленность)

АВТОРЕФЕРАТ Диссертации на соискание ученой степени кандидата технических наук

2 П 'ЛАМ 2010

Томск-2010

004602544

Диссертация выполнена в Томском государственном университете систем управления и радиоэлектроники.

Научный руководитель -

кандидат технических наук, доцент Мещеряков Роман Валерьевич

Официальные оппоненты:

доктор технических наук, профессор Спицын Владимир Григорьевич

Ведущая организация -

кандидат физико-математических наук, старший научный сотрудник Афонин Геннадий Иванович

Алтайский государственный

университет

Защита диссертации состоится «2» июня 2010 г. в 15 ч. 00 мин. на заседании совета по защите докторских и кандидатских диссертаций Д 212.269.06 при Национальном исследовательском Томском политехническом университете по адресу: 634034, г. Томск, ул. Советская, 84/3, институт «Кибернетический центр».

С диссертацией можно ознакомиться в научно-технической библиотеке Национального исследовательского Томского политехнического университета по адресу: 634034, г. Томск, ул. Белинского, 55.

Автореферат разослан «30» апреля 2010 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций Д 212.269.06, кандидат технических наук, доцент

Сонькин М.А.

Актуальность работы. Проблема анализа биометрических характеристик человека была и остается актуальной. В настоящее время для идентификации пользователей активно применяются статические биометрические характеристики, такие как геометрия ладони, отпечатки пальцев, структура радужной оболочки глаза. Применение динамических характеристик менее распространении в силу низких достигнутых показателей ошибок первого и второго рода. Однако в ряде случаев, например при компрометации пароля в традиционной парольной защите, только такие методы могут позволить предотвратить доступ злоумышленника.

Для анализа биометрических характеристик могут применяться различные подходы, например, статистический анализ, спектральный анализ, применение скрытых сетей Маркова, нейронных сетей и генетических алгоритмов.

Применение нейронных сетей имеет следующие преимущества: решение задач при неизвестных заранее зависимостях между входными и выходными параметрами, возможность построения нелинейных зависимостей, возможность применения для широкого круга задач, возможность одновременного решения нескольких задач одной нейронной сетью при использовании нескольких выходов, относительная простота используемых алгоритмов, легкость распараллеливания при решении задачи.

Нельзя не отметить и недостатки нейронных сетей: сложность определения набора входных параметров и архитектуры нейронной сети, которые обеспечивали не только оптимальный, но даже и требуемый результат, невозможность перебора всех вариантов из-за огромного их количества («проблема размерности»), сложность интерпретации структуры обученной нейронной сети - как правило, модель используется только в качестве «черного ящика», невозможность определения достаточного для обобщения и последующей успешной работы объема и состава входной выборки.

Значительный вклад в применение нейросетевых алгоритмов и решению проблем, возникающих при их применении, внесли следующие ученые: Ф. Розанблатт, С. Хайкин, МЛ. Минский, С. Пэйперт, Т. Кохонен, Дж. Хопфилд, А.И. Галушкин, А.Н. Горбань, В.В. Круглов, Е.М. Миркес, В.А. Дунин-Барковский.

Одной из наиболее существенных и неформализованных проблем при использовании нейронных сетей является выбор параметров для анализа нейронной сетью. Существующие подходы либо не позволяют полностью формализовать этот процесс, либо не учитывают особенность использования нейронной сети в качестве «черного ящика» и реально достигаемые значения при обработке сигналов при помощи нейронной сети.

Цель исследований: построение методик и алгоритмов оценки информативности параметров при анализе сложной естественной характеристики на примере речевого сигнала.

Для достижения поставленной цели необходимо решить следующие задачи:

1) анализ текущего состояния в области анализа естественной информации при помощи нейросетевых технологий;

2) анализ существующих подходов к проблеме оценки информативности параметров;

3) разработка критерия информативности, учитывающего специфику возможного распределения выходов нейронной сети;

4) построение алгоритма выбора параметров для передачи на вход нейронной сети с учетом разработанного критерия;

5) исследование эффективности разработанного алгоритма на примере задачи анализа речевого сигнала и сопоставления результатов работы нейронной сети, полученной на основе разработанного алгоритма и существующих алгоритмов анализа сигнала.

Объектом исследования являются биометрические сигналы вне зависимости от их происхождения (клавиатурный почерк, подпись, речевой сигнал, электрокардиограмма).

Предмет исследования - принципы применения нейронных сетей для анализа биометрических сигналов.

Методы исследований: для решения поставленных задач в работе применялись методы системного анализа, теории вероятностей и математической статистики, цифровой обработки сигналов и численных методов.

Достоверность полученных в работе результатов подтверждается: экспериментальными данными, подтверждающих правильность теоретических выкладок;

- сравнением полученных на основе эксперимента данных с данными, получаемыми при помощи других методов.

Научная новизна полученных в работе результатов заключается в следующем:

- обоснован новый критерий информативности параметров, который использует результаты обработки тестовой выборки при помощи нейронной сети, отличающийся от существующих учетом особенностей распределения значений ошибок на выходах нейронной сети и учитывающий возможные приоритеты ошибок;

- разработан алгоритм выбора параметров для обработки их нейронной сетью при решении задачи анализа биометрической информации с использованием нового критерия;

- показана необходимость учета значения критерия информативности и коэффициента корреляции между параметрами нейронной сети при использовании нескольких параметров, позволяющая получать лучшие результаты на анализе биометрического сигнала по сравнению с классическими решениями.

Практическая значимость работы заключается в разработанном программном комплексе, позволяющем на основе разработанных критерия и алгоритмов осуществлять разработку программного обеспечения, предназначенного для анализа биометрического сигнала с применением нейросетевого подхода.

Применение программного комплекса, реализующего предложенные в диссертационной работе подходы, позволило решить ряд практических задач, а именно:

- сократить время по оценке разборчивости речи на 74% в рамках задач НИИ онкологии СО РАМН и обеспечить накопление речевых сигналов пациентов для дальнейшего исследования;

- автоматизировать процесс тестирования устройств для съема суточной электрокардиограммы «Биоток-3000», позволив в автоматическом режиме осуществлять выделение участков кардиограммы для дальнейшего анализа, что позволило сократить общее время тестирования на 9%.

Положения, выносимые на защиту:

- критерий информативности, основанный на результатах обработки обученной нейронной сетью тестовой выборки, который позволяет осуществлять ранжировки и выбор параметров для передачи на входы нейронной сети и отличается от существующих большей гибкостью за счет учета весовых коэффициентов значимости ошибок первого и второго рода и возможной нелинейности критерия;

- алгоритм ранжировки параметров по информативности на основе разработанного критерия;

- алгоритм выбора параметров для обработки нейронной сети с учетом коэффициента корреляции между ними, позволяющий повысить итоговое значение критерия информативности на 5%.

Внедрение результатов. Результаты работы внедрены в деятельность подразделений ООО «Энергометаллургический завод», НИИ Онкологии СО

РАМН, ООО НПФ «Информационные системы безопасности», ООО «Л.М.Э. «Биоток», в учебный процесс ТУСУР.

Апробация работы. Основные результаты по теме диссертационной работы отражены в 24 публикациях (из них 4 в журналах, рекомендованных ВАК). По результатам работы получено 2 свидетельства о регистрации в Отраслевом фонде алгоритмов и программ (свидетельства №7356 от 18.12.2006 и №8164 от 25.04.2007). Результаты работы представлялись на: XVIII и XIX сессиях Российского акустического общества (Москва, 2006 и 2007 гг.); Всероссийской научно-технической конференции студентов, аспирантов и молодых специалистов «Научная сессия ТУСУР'2003» -«Научная сессия ТУСУР'2008», семинарах Томской секции IEEE.

Личный вклад. В диссертационной работе использованы результаты, в которых автору принадлежит определяющая роль. Некоторые из опубликованных работ написаны в соавторстве с сотрудниками научной группы. В совместных работах диссертант принимал участие в непосредственной разработке подходов к применению нейронных сетей для выделения признаков фонем и их групп, разработке интерпретатора выходов нейронных сетей, теоретических расчетах, постановке и проведении вычислительных экспериментов, в интерпретации результатов. Постановка задачи исследований осуществлялась научным руководителем, к.т.н., доцентом Р.В. Мещеряковым и д.т.н., профессором В.П. Бондаренко.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 88 наименований и 1 приложения. Общий объем работы составляет 171 страницу, в том числе 47 рисунков и 17 таблиц.

Содержание работы.

Во введении обоснована актуальность, научная новизна исследований, определена цель работы и задачи исследований, дана общая характеристика работы, сформулированы основные положения, выносимые на защиту.

В первой главе осуществляется анализ существующих методов анализа биометрической информации. Рассматриваются основные виды непрерывных биометрических сигналов, операции по их представлению в виде, пригодном для дальнейшей обработки в зависимости от происхождения биометрического сигнала (клавиатурный почерк, подпись, речевой сигнал).

После анализа предварительной обработки непрерывных биометрических сигналов производится анализ существующих методов обработки этих сигналов. Рассматриваются статистический анализ, спектральный анализ, анализ на основе аппарата скрытых Марковских моделей, применение генетических алгоритмов, применение аппарата искусственных нейронных сетей. Выделяются преимущества и недостатки нейросетевого подхода.

Для применения нейросетевого метода рассматривается модель представления биометрического сигнала на уровне признаков в виде последовательности участков, на которых присутствует/отсутствует интересующий признак. Выявляется применимость методов для анализа рассматриваемых биометрических сигналов. Сравнение методов, применяемых для решения каждой из задач, представлено в таблице 1.

Можно сделать вывод, что для анализа речевой информации прямое применение нейросетевых методов без предварительной обработки речевого сигнала не представляется возможным.

Предлагается одновременное применение специальных методов, направленных на выделение параметров речевого сигнала и учитывающих особенность слуховой системы человека, разработанных В.П. Бондаренко, и последующую обработку этих параметров с помощью нейронных сетей.

Формулируется основная последовательность действий при обработке непрерывного биометрического сигнала, представленная на Рис. 1.

Исходный непрерывный Дискретизация непрерывного биометрического сигнала Цифровой биометрический сигнал Выделение параметров цифрового биометрического сигнала для анализа

биометрически сигнал

Параметры биометрического сигнала

Обработка параметров сигнала

Оценка качества анализа

Признаки биометрмческфгс ■нала

__ Эталонные признаки биометрического сигнах

Сравнение эталонного и полученного сигнала признаков

Итоговая_оценка_ качества анализа

Рис. 1 — Обработка непрерывного биометрического сигнала Для применения полученной при помощи методов системного анализа процедуры двухуровневого преобразования исходного речевого сигнала к последовательностям на уровне признаков фонем и последовательности на уровне слов необходимо формализовать и решить задачу выбора параметров речевого сигнала, передаваемых на входы нейронной сети. Для этого необходимо разработать критерии выбора параметров речевого сигнала, реализовать алгоритм выбора параметров с применением критериев и провести его исследование.

Во второй главе рассмотрены существующие подходы к определению информативности параметров. Выявлено, что критерии, не использующие в качестве критериев результаты работы нейронной сети (итоговые уровни ошибок первого и второго рода т1 и т2) не являются достоверными применительно к анализу при помощи нейронных сетей. Это связано с отсутствием информации относительно внутренней структуры нейронной сети.

Таблица 1. Применение нейронных сетей для анализа биометрической информации.

Клавиатурный почерк, фиксированная фраза Клавиатурный почерк, произвольная фраза Подпись Речь

Набор входных параметров 100-400 До 1500, но возможно ограничение 1000 Зависит от параметров, для гармоник - до 300 1000 и более, ограничено предельным размером входного слоя нейронной сети

Применение нейронных сетей Двухслойный персептрон Двухслойный персептрон Двухслойный персептрон Прямое решение простым применением двухслойного персептрона невозможно

Комментарии Интервалы между нажатиями, время залипания, количество зависит от длины фразы Зависит от отслеживаемых сочетаний (биграмм, триграмм и т.д.), статистические параметры Параметры -результат анализа Фурье зависимостей изменения координат и давления Выбор параметров не определен. Зависит от окна анализа и частоты дискретизации

В связи с этим предлагается использовать критерии, основанные на результатах обучения нейронной сети и результатах работы, полученных на тестовой выборке.

Существующие критерии этого класса не позволяют учитывать возможный приоритет ошибок первого и второго рода и возможную нелинейность в значимости больших и меньших ошибок. Однако учет приоритета ошибок необходим, например, при последовательном использовании нескольких методов идентификации.

В работе предложен критерий, определяемый по формуле

jur™ ™ л _ (М'Ст^тг), М'Оп^тг) < 1 М(т1,т2) — м'(т1,т2) > 1

i

где М'(т1(т2) = (Onj)5 + (fc х т2)5)*

для случая, когда более важной является ошибка второго рода, или

М'(т1,т2) = ((к х т + (m2)s)* для случая, когда более важной является ошибка первого рода, где к е [1, оо) — коэффициент, учитывающий взаимную значимость ошибок первого и второго рода.

Данный критерий оказывается лишен приведенных выше недостатков. Он позволяет с помощью весового коэффициента учитывать взаимную значимость ошибок первого и второго рода. Кроме того, с помощью коэффициента s можно задавать взаимную значимость больших и меньших ошибок. Максимальное значение критерия искусственно ограничивается значением 1, поскольку данное значение достигается без применения каких-либо методов при простом определении наличия или отсутствия признака на всем сигнале (в этом случае /«1=0, ш2=1 или наоборот)

При таком определение значения критерия Mirn^m^) € [ОД].

После формулировки критериев возникает задача их практического исследования на основе обучения и работы на тестовой выборке. Кроме того, во второй изложены теоретические предпосылки к учету взаимной корреляции между параметрами, подаваемыми на входы нейронной сети.

Более подробно данная зависимость исследуется в третьей главе диссертационной работы.

В третьей главе произведено экспериментальное исследование предложенных критериев.

В таблице 2 приводится среднее значение итоговой ошибки обучения для различных параметров, полученное на основе 5 обучений нейронной сети. Нейронная сеть обучалась для разделения речевого параметра по наличию признака вокализации.

Таблица 2 - Обученность нейронной сети на каждом из параметров

№ эдип <£¡1111 пквр Ьшкр (Шрг тахсЬ тесН суаг суагсопг ргапё

Среднее 0,007 0,012 0,103 0,007 0,098 0,007 0,115 0,006 0,002 0,000

В данной таблице в верхней строке приведены параметры речевого сигнала, выделяемые на основе спектра речевого сигнала, полученного с помощью фильтров, учитывающих особенности речеобразующей системы человека, разработанных профессором В.П. Бондаренко.

Во второй строке - средняя обученность нейронной сети на основании 5 циклов обучения. Данного количества обучений оказывается достаточно для формирования заключения относительно применимости исследуемого критерия.

Исходя из этой таблицы видно, что наилучшие показатели обучения нейронная сеть показывает на основе параметра ргапё, однако данный параметр представляет собой равномерно распределенную случайную величину и не несет в себе информации непосредственно о сигнале. Он применяется только для проверки применимости количественного критерия на основе обучаемости нейронной сети.

На основании полученных результатов количественный критерий преобразуется в качественный, на основе которого определяется обучается ли нейронная сеть на исследуемом параметре в принципе, и если нет -параметр неинформативен, в противном случае - требуется дальнейшее исследование параметра с применением следующего критерия.

Для применения критерия, основанного на результатах обработки необходимо определить параметры интерпретатора выходов нейронной сети.

Для этого применяется следующий алгоритм.

1. Задание параметров критерия к, л, задание параметров нейронной сети.

2. Выбор допустимых пределов значения окна интерпретатора и шага между точками, в которых будут рассчитываться значения критерия.

3. Обучение нейронной сети.

4. Анализ тестовой выборки обученной нейронной сетью.

5. Поиск минимального значения критерия. Если точка минимума находится на границе рассматриваемого интервала значений размера окна интерпретатора - переход на этап 2.

6. Если в точке минимума значение критерия М-1, то переход на этап 1, параметр неинформативен.

7. Координаты точки минимума - выбранные параметры интерпретатора.

8. Значение критерия в точке минимума определяет значение информативности исследуемого параметра.

1,0000 0,9500 0,9000 0,8500 0,8000 0,7500 0,7000 0,6500 0,6000

Рис. 2 - Значение критерия на основе ошибки нейронной сети На рисунке 2 представлены значения критерия для определения их различными способами (среднее значение, медиана и минимальное значение за 20 экспериментов). Выявлено, что способ определения критерия не влияет на ранжировку параметров по информативности.

к=10 5=21 род —Е>-к=10 5-2 2 род -*-к=1 5=2 -К-к=15=1

Рис. 3 - Значение критерия на основе ошибки нейронной сети На рисунке 3 показаны значения минимального значения критерия на основе обработки тестовой выборки 20 нейронными сетями. На основании минимальных наблюдаемых значений можно провести ранжировку признаков, приведенную в таблице 3

Таблица 3 - Ранжировка исследуемых параметров

Приоритет ошибки Приоритет ошибки к=1, б=2 к=1,

первого рода, к=10,8=2 второго рода, к=10, ь=2

Ранг Ранг Ранг Ранг

тахсЬ 1 тахсЬ 1 тахсЬ 1 тахсЬ 1

теШ 8 те<М 3 тсШ 4 теШ 4

то$р 8 ттер 6 пккр 5 товр 5

Ьшкр 3 1оккр 8 1то$р 6 1тозр 7

ЭДИП 8 авш 7 азш 8 а$1т 8

2 4 дошЛ 2 а$ип1 2

сШрг 8 <&рг 2 3 с^рг 3

суаг 4 суаг 6 суаг б суаг 6

Проведено исследование влияния коэффициента корреляции между параметрами на итоговое значение коэффициента информативности при одновременном использовании нескольких параметров. Так, показано снижение значения критерия при использовании более слабо коррелирующих, но менее информативних параметров /Лч,Г1Ц1т1=0,4652, что на 17% ниже по сравнению с более инфомативными по отдельности, но более коррелирующими параметрами /¿,.фл,гасл=0,559. На основе этого построен алгоритм выбора параметров, учитывающий возможность их взаимной корреляции. Среднее снижение значения критерия информативности составило 5%.

На основании предложенных критериев оценена применимость параметров для решения задачи определения наличия вокализации на отсчетах речевого сигнала и произведена ранжировка признаков по информативности на основании количественного критерия. Получены значения ошибок первого и второго рода с точки зрения задачи поиска т!=3%, т2=54%. При двухуровневом анализе для выделения невокализованных щелевых фонем доля ошибок первого и второго рода составила т1=9%, т2=9%, при прямом анализе т1~ 10%, ш2=12%, что показывает превосходство иерархического подхода по сравнению с прямым анализом.

В четвертой главе представлена программная реализация разработанных алгоритмов и описание применения полученного программного комплекса на практике. На Рис. 2 представлена структура обучающей подсистемы программного комплекса.

Выделяемые параметры

воздействий для обучающей подсистемы программного комплекса При обработке сигнала с целью выделения параметров для обучения нейронной сети исходный сигнал подается на блок выделения примеров для обучения нейронной сети (блок «Выделение параметров»). Если в базе данных существуют набор данных параметров и их значения для подаваемого речевого сигнала, то осуществляется создание соответствующей

нейронной сети и её обучение. В противном случае в данном блоке осуществляется фильтрация речевого сигнала с использованием системы не рекурсивных фильтров, учитывающих особенности речеобразующей системы человека, разработанных В.П. Бондаренко.

После получения спектра сигнала на его основе осуществляется синтез параметров для последующей подачи на входы нейронной сети при помощи алгоритмов выделения параметров.

Производится проверка, существуют ли готовая оценка по применимости данных параметров для анализа речевого сигнала, если она существует и параметры пригодны для применения, то осуществляется обучение нейронной сети. В противном случае, осуществляется предварительный прогон нейронной сети и статистический анализ характеристик обучаемости и значения критерия на основе тестовой выборки, полученные данные сохраняются в качестве готовой оценке по применимости и далее работа идет аналогично с ситуацией, когда эти оценки существовали первоначально.

Результаты диссертационной работы внедрены и используются для анализа речи в задачах реабилитации пациентов после операции на языке, возникающих в НИИ онкологии СО РАМН. Применение программного комплекса позволило сократить время по оценке разборчивости речи на 74% и позволило обеспечить накопление речевых сигналов пациентов для дальнейшего исследования.

Кроме того, реализация алгоритмов, предложенных в диссертации, позволила автоматизировать процесс тестирования устройств для съема суточной электрокардиограммы «Биоток-3000». Применение программного комплекса позволило в автоматическом режиме осуществлять выделение участков кардиограммы для дальнейшего анализа, что позволило сократить общее время тестирования на 9%.

На Рис. 3 представлен пример визуализации результатов обработки кардиограммы обученной нейронной сетью с целью выделения

стационарных участков. В ходе проверки не выявлено случаев ложного выделения нестационарных участков при доле пропущенных стационарных участков на более 5%.

Рис. 3 - Визуализация результатов обработки кардиограммы обученной нейронной сетью с целью выделения стационарных участков (верхняя

диаграмма, двоичный сигнал) В заключении приводятся результаты выполненной работы и делаются основополагающие выводы по итогам диссертационной работы.

1. Показана несостоятельность использования количественного значения обученности нейронной сети в качестве критерия для выбора параметров, анализируемых нейронной сетью.

2. Предложен и обоснован новый критерий информативности параметров, который использует результаты обработки тестовой выборки при помощи нейронной сети, отличающийся от существующих учетом особенностей распределения значений ошибок на выходах нейронной сети и учитывающий возможные приоритеты ошибок.

3. Разработан алгоритм ранжировки параметров по информативности на основе разработанного критерия.

4. Разработан алгоритм выбора параметров для обработки нейронной сети с учетом коэффициента корреляции между ними, позволяющий повысить итоговое значение критерия информативности на 5%

5. Реализовано применение изложенных алгоритмов для задачи анализа биометрических характеристик человека на примере анализа сигнала.

Применение программного комплекса позволило решить ряд практических задач:

- анализ речи в задачах реабилитации пациентов после операции на языке, возникающих в НИИ онкологии СО РАМН. Применение программного комплекса позволило сократить время по оценке разборчивости речи на 74% и позволило обеспечить накопление речевых сигналов пациентов для дальнейшего исследования;

- автоматизация процесса тестирования устройств для съема суточной электрокардиограммы «Биоток-3000». Применение программного комплекса позволило в автоматическом режиме осуществлять выделение участков кардиограммы для дальнейшего анализа, что позволило сократить общее время тестирования на 9%.

Основные положения работы опубликованы в 24 работах, в том числе:

В журналах, рецензируемых ВАК:

1. Костюченко Е.Ю. Распознавание пользователя по клавиатурному почерку на фиксированной парольной фразе в компьютерных системах / Е.Ю. Костюченко, Р.В. Мещеряков // Известия ТРТУ. Тематический выпуск. Материалы V Международной научно-практической конференции "Информационная безопасность". Таганрог: Изд-во ТРТУ, 2003. - С. 177-178.

2. Костюченко Е.Ю. Определение оптимального набора ключевых параметров идентификации / Е.Ю. Костюченко // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. Системная интеграция и безопасность. Специальный выпуск. -Красноярск, 2006. - С. 83-85.

3. Костюченко Е.Ю. Идентификация по биометрическим параметрам при использовании аппарата нейронных сетей. / Е.Ю. Костюченко, Р.В. Мещеряков // Журнал: "Нейрокомпьютеры: разработка, применение" -М: РАДИОТЕХНИКА 2007г. - N 7. - С. 39-50.

4. Костюченко Е.Ю. Обработка естественной информации на основе аппарата нейронных сетей / Е.Ю. Костюченко // Доклады Томского государственного университета систем управления и радиоэлектроники. Выпуск 1(19), часть 2 - 2009 г. Томск: Изд-во ТУСУР, 2009. - С. 54-56.

В других изданиях:

5. Костюченко Е.Ю. Идентификация пользователей по клавиатурному почерку на фиксированной парольной фразе / Е.Ю. Костюченко // Сборник трудов конференции "Проблемы безопасности личности, общества, государства", Томск.: ТУСУР - 2003.

6. Костюченко Е.Ю. Определение пользователя по клавиатурному почерку на основе нейросети / Е.Ю. Костюченко, Р.В. Мещеряков // Интеллектуальные системы в управлении, конструировании и образовании. Выпуск 3 / Под ред. A.A. Шелупанова. - Томск: STT, 2004. - С. 153-158.

7. Костюченко Е.Ю. Экспериментальный анализ показателей обучения нейронной сети в задаче идентификации пользователя по клавиатурному почерку / Е.Ю. Костюченко, Р.В. Мещеряков // Электронные средства и системы управления: Материалы Международной научно-практической конференции. Томск.: Издательство Института оптики атмосферы СО РАН, 2004. В трех частях. 4.2. - С. 215-217.

8. Костюченко Е.Ю. Оценка ошибок нейронной сети для задач идентификации / Е.Ю. Костюченко, Р.В. Мещеряков // Интеллектуальные технологии в образовании, экономике и управлении - 2005: Сборник статей II Международной научно-практической конференции. - Воронеж, 2005. - С. 383-386.

9. Костюченко Е.Ю. Влияние параметров речеобразовательной системы на речевой сигнал / А.Н. Квасов, Е.Ю. Костюченко, A.C. Солуянов //

Акустика речи. Медицинская и биологическая акустика. Архитектурная и строительная акустика. Шумы и вибрации. Сборник трудов XVIII сессии Российского акустического общества. Т. 3. - М.: ГЕОС, 2006. - С. 14-17.

10. Костюченко Е.Ю. Программный Комплекс Для Исследования Речи / A.A. Конев, Е.Ю. Костюченко, A.A. Пономарев // Акустика речи. Медицинская и биологическая акустика. Архитектурная и строительная акустика. Шумы и вибрации. Сборник трудов XVIII сессии Российского акустического общества. Т. 3. - М.: ГЕОС, 2006. - С. 23-27.

11. Костюченко Е.Ю. Идентификация пользователей ЭВМ по биометрическим параметрам / Е.Ю. Костюченко, Р.В. Мещеряков // Нейрокомпьютеры в биометрических системах. Кн. 26 / под. Ред. А.И. Галушкина. - М.: Радиотехника, 2007, —192 е.: ил. (Научная серия Нейрокомпьютеры и их применение). - С. 184-192.

12. Костюченко Е.Ю. Пакет программ для идентификации пользователя по клавиатурному почерку «КИБНЕЙРОКЛАВА» / Е.Ю. Костюченко, Р.В. Мещеряков // Журнал «Компьютерные учебные программы и инновации». -М: ГОСКООРЦЕНТР, МФЮА, РУИ - 2007. - N 7. - С. 161162.

13. Костюченко Е.Ю. Анализ пищеводного голоса / Л.Н. Балацкая, Е.Ю. Костюченко, В.П. Коцубинский // Акустика речи. Медицинская и биологическая акустика. Архитектурная и строительная акустика. Шумы и вибрации. Аэроакустика. Сборник трудов XIX сессии Российского акустического общества. Т. 3. - М.: ГЕОС.- 2007. -С. 87-89.

14. Костюченко Е.Ю. Выбор обучающего набора ключевых параметров речевого сигнала / Е.Ю. Костюченко // Научная сессия ТУ СУР -2008: Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. Тематический выпуск «Системная интеграция и безопасность». Томск, 5-8 мая 2008 г.: В пяти частях. Ч. 3. Томск: «В-Спектр», 2008. -248с. С. 152-155.

Тираж 100. Заказ №415. Томский государственный университет систем управления и радиоэлектроники 634050, г. Томск, пр. Ленина, 40. Тел.: 53-30-18.

ВВЕДЕНИЕ.

ГЛАВА 1. МОДЕЛЬ БИОМЕТРИЧЕСКОГО СИГНАЛА И МЕТОДЫ ЕГО

АНАЛИЗА

1.1 Получение и предварительная обработка биометрического сигнала

1.1.1 Анализ клавиатурного почерка.

1.1.2Анализ подписи.

1.1.3 Анализ речевого сигнала.

1.2 Анализ цифрового биометрического сигнала.

1.3 Выбор модели выходного сигнала.

1.4 Постановка задачи.

Выводы по главе:.

ГЛАВА 2. ВЫБОР ПАРАМЕТРОВ, ПОДАВАЕМЫХ ДЛЯ АНАЛИЗА НА ВХОДЫ НЕЙРОННОЙ СЕТИ.

2.1 Формирование нейронной сети.

2.2 Оценка информативности параметров при обработке их при помощи нейронной сети.

2.3 Формирование критерия оценки информативности параметров в зависимости от класса решаемой задачи.

Выводы по главе:.

ГЛАВА 3. ОЦЕНКА ИНФОРМАТИВНОСТИ ПАРАМЕТРОВ РЕЧЕВОГО СИГНАЛА ПРИ ЕГО ОБРАБОТКЕ С ПРИМЕНЕНИЕМ

НЕЙРОННЫХ СЕТЕЙ ПРЯМОГО РАСПРОСТРАНЕНИЯ.

3.1 Условия эксперимента.

3.2 Оценка информативности параметров речевого сигнала по итоговой ошибке обучения нейронной сети.

3.3 Оценка информативности параметров речевого сигнала по уровню критерия, зависящего от результатов обработки тестовой выборки

3.4 Оценка коэффициента корреляции между параметрами и его влияния на совместную информативность применяемых параметров.

Выводы по главе:.

ГЛАВА 4. РЕАЛИЗАЦИЯ ПРОГРАММНОГО КОМПЛЕКСА В ОБЛАСТИ АНАЛИЗА РЕЧЕВОГО СИГНАЛА С ПРИМЕНЕНИЕМ НЕЙРОННЫХ СЕТЕЙ ПРЯМОГО РАСПРОСТРАНЕНИЯ.

4.1 Разработка общей архитектуры программного комплекса для анализа биометрических сигналов на примере системы анализа клавиатурного почерка.

4.2 Структура исследовательского комплекса для анализа речевого сигнала с применением сетей прямого распространения.

4.3 Применение исследовательского комплекса для анализа речевого сигнала пациентов при реабилитации после операции при лечении рака языка.

4.4 Применение исследовательского комплекса для анализа электрокардиограммы при тестировании устройства съема суточной электрокардиограммы.

Выводы по главе.

СПИСОК ИСТОЧНИКОВ.

Автоматизация обработки естественной информации является актуальной проблемой, стоящей перед современным человечеством. Под естественной информацией в данном случае понимается информация, получаемая при осуществлении человеком некоторых операций, например, написание теста «от руки» (рукописный почерк), набор текста на клавиатуре (клавиатурный почерк), простановка подписи, разговор, и т.д. Можно заметить, что естественный сигнал содержит как прямую непосредственную информацию, например, в случае набора текста на клавиатуре - некоторый набранный текст, так и информацию скрытую, например, информацию о личности человека, набирающего этот текст. Можно видеть, что естественные сигналы соответствуют так называемым динамическим биометрическим характеристикам [22] и, как следствие, содержащаяся в них естественная информация может использоваться как для извлечения прямой информации, так и для идентификации личности.

В случае, когда интересующая информация не может быть получена путем однократного применения одного алгоритма, анализ биометрического сигнала носит иерархический характер, когда на каждом уровне анализа выделяются новые обобщенные характеристики сигнала вплоть до этапа, когда будет получена интересующая информация.

Анализ биометрической информации может быть представлен в виде последовательного выполнения следующих шагов:

1. Выбор параметров, по которым будет производиться анализ и извлечение этих параметров из биометрического сигнала.

2. Выбор метода анализа параметров сигнала и применение этого метода к извлеченным параметрам.

3. Анализ результата и либо переход к следующему уровню анализа (результат принимается за новый сигнал и повторяется выполнение шагов 1-3), либо принятие решения.

Методы анализа параметров могут быть разделены на следующие группы:

1) статистический анализ [1,4];

2) спектральный анализ с применением преобразования Фурье, вейвлет-преобразований и др. [5, 18];

3) анализ на основе аппарата скрытых марковских моделей [23, 62];

4) применение аппарата искусственных нейронных сетей [25, 73, 74];

5) применение генетических алгоритмов [13, 69].

При этом, возможно совместное использование этих методов как на одном, так и на различных уровнях анализа.

Применение нейронных сетей обладает рядом преимуществ (универсальность, возможность распараллеливания и др.) и недостатков (проблематичность интерпретации внутренней структуры, «проклятие размерности» и др.).

При использовании для анализа параметров аппарата нейронный сетей на параметры накладываются следующие ограничения:

- в анализируемых параметрах должна содержаться информация, на основании которой возможно определить целевое значение выхода;

- нейронная сеть должна быть способна на основании анализируемых входных параметров обучиться до приемлемого уровня ошибки;

- после обучение нейронная сеть должна быть способна по результатам обучения на анализируемых параметрах быть способной выдавать приемлемый результат на примерах, отсутствующих в обучающей выборке.

Значительный вклад в применение нейросетевых алгоритмов и решению проблем, возникающих при их применении, внесли следующие ученые: Ф. Розанблатт, С. Хайкин, M.JI. Минский, С. Пэйперт, Т. Кохонен, Дж. Хопфилд, А.И. Галушкин, А.Н. Горбань, В.В. Круглов, Е.М. Миркес, В.А. Дунин-Барковский.

Одной из открытых проблем при использовании нейронных сетей является проблема выбора набора входных параметров для передачи их на входы нейронной сети. Кроме того, необходимо осуществить предварительную обработку данных перед подачей их на входы нейронной сети для повышения скорости обучения и снижения итоговой ошибки. Эти проблемы и текущие подходы к их решению представлены в [60, 77, 80]. Однако, эти подходы не учитывают специфику распределения выходных значений нейронной сети и возможность разного приоритета ошибок для различных выходов на этапе выбора входных параметров.

При анализе клавиатурного почерка проблема выбора параметров не является особенно острой, поскольку принципиально различных параметров не так много и возможен учет большинства из них при количестве входов нейронной сети, не превышающих 1500. Описание количества входов нейронной сети и типа используемых параметров для различных задач анализа биометрической информации, построенное на основе [36, 49, 43], представлено на следующей странице.

При решении задач с более широкой возможностью выбора входных параметров, например при анализе речи, проблема выбора становится крайне трудной задачей. Следует учитывать, что общее множество параметров в данной ситуации является открытым: для такого сложного процесса, как человеческая речь существует бесчисленное множество вариантов формирования конкретных параметров на основе имеющегося речевого сигнала.

Клавиатурный почерк, фиксированная фраза Клавиатурный почерк, произвольная фраза Подпись Речь

Набор входных параметров 100-400 До 1500, но возможно ограничение 1000 Зависит от параметров, для гармоник - до 300 1000 и более, ограничено предельным размером входного слоя нейронной сети

Применение нейронных сетей Двухслойный персептрон Двухслойный персептрон Двухслойный персептрон Прямое решение простым применением двухслойного персептрона невозможно

Комментарии Интервалы между нажатиями, время залипания, количество зависит от длины фразы Зависит от отслеживаемых сочетаний (биграмм, триграмм и т.д.), статистические параметры Параметры -результат анализа Фурье зависимостей изменения координат и давления Выбор параметров не определен. Зависит от окна анализа и частоты дискретизации

Однако, даже после того как некоторое ограниченное множество параметров сформировано, проблема выбора из них набора, дающего близкий к оптимальному результат не является тривиальной. В этом случае используется понятие информативности параметра. Под информативностью параметра в рамках данной работы будет пониматься количественная оценка, определяющая эффективность классификации входного сигнала. Классификация основывается на оцениваемом параметре и методе оценки по сравнению с другими параметрами. Ключевыми пунктами в данном определении являются:

- информативность является относительной величиной, приобретающей смысл только при сравнении с другими параметрами;

- информативность может определяться только в рамках методов оценки. Общие оценки информативности представляют некоторый теоретический интерес, примером такой оценки может являться количество информации, однако, их практическая значимость при решении задачи каким-либо конкретным методом представляется сомнительной. Один и тот же параметр может оказаться существенным при одном подходе и малозначимым при другом, а формирование одного подхода, учитывающего все достоинства и недостатки существующих - проблема, как правило, неразрешимая.

Цель исследований: построение методик и алгоритмов оценки информативности параметров при анализе сложной естественной характеристики на примере речевого сигнала.

Для достижения поставленной цели необходимо решить следующие задачи:

1) проведение анализа методов, моделей и критериев в области обработки биометрической информации при помощи нейросетевых технологий;

2) анализ существующих подходов к проблеме оценки информативности параметров;

3) разработка критерия информативности, учитывающего специфику возможного распределения выходов нейронной сети;

4) построение алгоритма выбора параметров сигнала для передачи на вход нейронной сети с учетом разработанного критерия;

5) исследование эффективности разработанного алгоритма на примере задачи анализа речевого сигнала и сопоставления результатов работы нейронной сети, полученной на основе разработанного алгоритма и существующих алгоритмов анализа речевого сигнала.

Объектом исследования являются биометрические сигналы вне зависимости от их происхождения (клавиатурный почерк, подпись, речевой сигнал, электрокардиограмма).

Предмет исследования — принципы применения нейронных сетей для анализа биометрических сигналов.

Методы исследований: для решения поставленных задач в работе применялись методы системного анализа, теории вероятностей и математической статистики, цифровой обработки сигналов и численных методов.

Достоверность полученных в работе результатов подтверждается:

- большим количеством экспериментальных данных, подтверждающих правильность теоретических выкладок;

- сравнением полученных на основе эксперимента данных с данными, полученными при помощи других методов.

Научная новизна полученных в работе результатов заключается в следующем:

- обоснован новый критерий информативности параметров, который использует результаты обработки тестовой выборки при помощи нейронной сети, отличающийся от существующих учетом особенностей распределения значений ошибок на выходах нейронной сети и учитывающий возможные приоритеты ошибок;

- разработан алгоритм выбора параметров для обработки их нейронной сетью при решении задачи анализа биометрической информации с использованием нового критерия;

- показана необходимость учета значения критерия информативности и коэффициента корреляции между параметрами нейронной сети при использовании нескольких параметров. Это позволяет получать лучшие результаты на анализе биометрического сигнала по сравнению с классическими решениями.

Практическая значимость работы заключается в реализованном программном комплексе, позволяющем на основе предложенных критерия и алгоритмов осуществлять разработку программного обеспечения, предназначенного для анализа биометрического сигнала с применением нейросетевого подхода.

Применение программного комплекса, реализующего предложенные в диссертационной работе подходы, позволило решить ряд практических задач, а именно:

- сократить время по оценке разборчивости речи на 74% в рамках задач НИИ онкологии СО РАМН и обеспечить накопление речевых сигналов пациентов для дальнейшего исследования;

- автоматизировать процесс тестирования устройств для съема суточной электрокардиограммы «Биоток-3000», позволив в автоматическом режиме осуществлять выделение участков кардиограммы для дальнейшего анализа, что позволило сократить общее время тестирования на 9%.

Положения, выносимые на защиту:

- критерий информативности, основанный на результатах обработки обученной нейронной сетью тестовой выборки, который позволяет и осуществлять ранжировки и выбор параметров для передачи на входы нейронной сети. Предложенный критерий отличается от существующих большей гибкостью за счет учета весовых коэффициентов значимости ошибок первого и второго рода и возможной нелинейности критерия;

- алгоритм ранжировки параметров по информативности на основе разработанного критерия;

- практическое обоснование необходимости учета коэффициента корреляции между параметрами биометрического сигнала при выборе параметров для обучения нейронной сети, позволяющей повысить итоговое значение критерия информативности на 5%.

Внедрение результатов. Результаты работы внедрены в учебный процесс кафедры КИБЭВС ТУСУР, в деятельность отельных подразделений ООО «Энергометаллургический завод», НИИ онкологии СО РАМН, ООО НПФ «Информационные системы безопасности», НПФ «Биоток».

Апробация работы. Основные результаты по теме диссертационной работы отражены в 24 публикациях (из них 4 в журналах, рекомендованных ВАК). По результатам работы получено 2 свидетельства о регистрации в Отраслевом фонде алгоритмов и программ (свидетельства №7356 от 18.12.2006 и №8164 от 25.04.2007). Результаты работы представлялись на: XVIII и XIX сессиях Российского акустического общества (Москва, 2006 и 2007 гг.); Всероссийской научно-технической конференции студентов, аспирантов и молодых специалистов «Научная сессия ТУСУР'2003» -«Научная сессия ТУСУР'2008», семинарах томской секции IEEE.

Личный вклад. В диссертационной работе использованы результаты, в которых автору принадлежит определяющая роль. Некоторые из опубликованных работ написаны в соавторстве с сотрудниками научной группы. В совместных работах диссертант принимал участие в непосредственной разработке подходов к применению нейронных сетей для выделения признаков фонем и их групп, разработке интерпретатора выходов нейронных сетей, теоретических расчетах, постановке и проведении вычислительных экспериментов, в интерпретации результатов. Постановка задачи исследований осуществлялась научным руководителем, к.т.н., доцентом Р.В. Мещеряковым и д.т.н., профессором В.П. Бондаренко.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы из 88 наименований и 1 приложения. Общий объем работы составляет 171 страниц, в том числе 47 рисунок и 17 таблиц.

Выводы по главе:

1) рассмотрен программный комплекс для идентификации пользователей на основе клавиатурного почерка. Самостоятельное применение данного комплекса неэффективно, однако, в сочетании с парольной защитой оно позволяет предотвратить передачу личной ключевой информации другим пользователям;

2) рассмотрена структура программного комплекса для обработки речевого сигнала с применением нейронных сетей. Подробно рассмотрены основные подсистемы комплекса, их назначение и порядок обработки сигнала при помощи комплекса;

3) представлены примеры использования программного комплекса для анализа речи в задачах реабилитации пациентов после операции на языке, возникающих в НИИ онкологии СО РАМН. Применение программного комплекса позволило сократить время по оценке разборчивости речи на 74% и позволило обеспечить накопление речевых сигналов пациентов для дальнейшего исследования;

4) реализация алгоритмов, предложенных в диссертации, позволила автоматизировать процесс тестирования устройств для съема суточной электрокардиограммы «Биоток-3000». Применение программного комплекса позволило в автоматическом режиме осуществлять выделение участков кардиограммы для дальнейшего анализа, что позволило сократить общее время тестирования на 9%.

ЗАКЛЮЧЕНИЕ

Данная работа направлена на решение задач, возникающих при построении систем анализа биометрических характеристик с помощью нейронных сетей. Изложен подход, позволяющий формализовать процедуру выбора параметров для последующего анализа нейронной сетью на основе значений ошибок первого и второго рода, достигнутых при обработке тестовый выборки.

Цель работы, сформулированная как «построение методик и алгоритмов оценки информативности параметров при анализе сложной естественной характеристики на примере речевого сигнала» достигнута по следующим пунктам.

1. Показана несостоятельность использования количественного значения обученности нейронной сети в качестве критерия для выбора параметров, анализируемых нейронной сетью.

2. Предложен и обоснован новый критерий информативности параметров, который использует результаты обработки тестовой выборки при помощи нейронной сети, отличающийся от существующих учетом особенностей распределения значений ошибок на выходах нейронной сети и учитывающий возможные приоритеты ошибок.

3. Разработан алгоритм ранжировки параметров по информативности на основе разработанного критерия.

4. Разработан алгоритм выбора параметров для обработки нейронной сети с учетом коэффициента корреляции между ними, позволяющий повысить итоговое значение критерия информативности на 5%

5. Реализовано применение изложенных алгоритмов для задачи анализа биометрических характеристик человека на примере анализа речевого сигнала.

Реализованный программный комплекс может служить основой для создания программного обеспечения, предназначенного для анализа речевого сигнала с применением нейронных сетей. В комплексе используются разработанные в диссертационной работе критерии информативности и алгоритмы выбора параметров на его основе. Использование данного комплекса позволило формализовать процедуру выбора параметров для анализа их нейронной сетью. Применение базы данных для хранения параметров, обученных нейронных сетей и результатов их работы позволило автоматизировать процедуру сравнения различных нейронных сетей между собой.

Применение программного комплекса позволило решить ряд практических задач:

- анализ речи в задачах реабилитации пациентов после операции на языке, возникающих в НИИ онкологии СО РАМН. Применение программного комплекса позволило сократить время по оценке разборчивости речи на 74% и позволило обеспечить накопление речевых сигналов пациентов для дальнейшего исследования; автоматизация процесса тестирования устройств для съема суточной электрокардиограммы «Биоток-3000». Применение программного комплекса позволило в автоматическом режиме осуществлять выделение участков кардиограммы для дальнейшего анализа, что привело к сокращению общего времени тестирования на 9%.

1. Айвазян С.А. Прикладная статистика Текст. / С.А. Айвазян, B.C. Мхитарян // Теория вероятностей и прикладная статистика. — М.: Юнити, 2001. —Т.1. —656 с.

2. Акустика: Справочник Текст. / Под ред. М.А. Сапожкова. — 2-е изд., перераб. и доп. — М.: Радио и связь, 1989. — 336 с.

3. Алдошина И.А. Основы психоакустики. Часть 1 Текст. / И.А. Алдошина // Звукорежиссер. — 1999. — №6.

4. Бабич П.Н. Статистика в науке и бизнесе Текст. / П.Н. Бабич, С.Н. Лапач, А.В. Чубенко. — Киев: Морион, 2002. — 640 с.

5. Бендат Дж. Применения корреляционного и спектрального анализа Текст. / Дж. Бендат, А. Пирсол. Перевод с английского. — М.: «Мир», 1983. —312 с.

6. Берсуцкий Я.Г. Принятие решений в управлении экономическими объектами: методы и модели: учебн. Пособие Текст. / Я. Г. Берсуцкий, Н.Н. Лепа, А.Я. Берсуцкий. — Донецк: ИЭП, 2002. — 276 с.

7. Бондаренко В.П. Адаптивный анализ голосового сигнала Текст. / В.П. Бондаренко, В.П. Коцубинский, Р.В. Мещеряков // Интеллектуальные системы в управлении, конструировании и образовании. — Томск, 2004. — Вып.З. — С. 58-61.

8. Бондаренко В.П. Выделение особенностей структуры речевого сигнала Текст. / В.П. Бондаренко, В.П. Коцубинский, Р.В. Мещеряков // Сборник трудов XII сессии Российского акустического общества. — М., 2003.—Т.З. —С. 63-66.

9. Бондаренко В.П. Модель периферии слуховой системы человека Текст. / В.П. Бондаренко, В.М. Разин // VI Всесоюзный семинар "Автоматическое распознавание слуховых образов" (APCO-VI) — Таллин, 1972 —С. 26-29.

10. Бондаренко В.П. Особенности структуры вокализованных звуков в слитной речи Текст. / В.П. Бондаренко, А.А. Конев, Р.В. Мещеряков // Интеллектуальные системы в управлении, конструировании и образовании. — Томск, 2006. — Вып.5. —С. 111-116.

11. Бондарко JI.B. Основы общей фонетики Текст. / JI.B. Бондарко, JT.A. Вербицкая, М.В. Гордина. 4-е изд. — СПб: Академия, 2004. — 160с.

12. Галушкин А.И. Синтез многослойных систем распознавания образов Текст. / А.И. Галушкин. — М.: «Энергия», 1974. — 368 с.

13. Гладков JI.A. Генетические алгоритмы Текст. / JI.A. Гладков, В.В. Курейчик, В.М. Курейчик — М: ФИЗМАТЛИТ, 2006. — 320 с.

14. Голубев Г.А. Современное состояние и перспективы развития биометрических технологий Текст. / Г.А. Голубев, Б.А. Габриелян // Нейрокомпьютеры. Разработка. Применение. — 2004. — № 10. — С. 39-46.

15. Горбач С. А. Компьютерный тренажер для идентификации клавиатурного почерка Текст. / С.А. Горбач, И.В. Минин, О.В. Минин // Сборник научных трудов НГТУ. — 2008. — № 1(51). — С. 73-80.

16. ГОСТ Р 50840-95 Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости Текст. введен 01.01.1997. — М.: Издательство стандартов, 1995. —234 с.

17. Давыдов А.В. Цифровая обработка сигналов: Тематические лекции Электронный ресурс. / А.В. Давыдов // Екатеринбург: УГГУ, ИГиГ, кафедра геоинформатики. — 2007. — Режим доступа: http://www.prodav.narod.ru/dsp/index.html, свободный доступ.

18. Дженкинс Г. Спектральный анализ и его приложения Текст. / Г. Дженкинс, Д. Ватте. —М.: «Мир», 1971. — 317 с.

19. Загоруйко Н.Г. Методы распознавания и их применение Текст. / Н.Г. Загоруйко. — М.: Сов. Радио, 1972. — 208 с.

20. Загоруйко Н.Г. Прикладные методы анализа данных и знаний Текст. / Н.Г. Загоруйко. — Новосибирск: ин-т Математики, 1999.

21. Иванов А.И. Биометрическая идентификация личности по динамике подсознательных движений. Монография. Текст. / А.И. Иванов. — Пенза: Издательство Пензенского государственного университета, 2000. — 188 с.

22. Комашинский В.И. Смирнов Д. А. Нейронные сети и их применение в системах управления и связи Текст. / В.И. Комашинский, Д.А. Смирнов. — М.: Радио и связь, 2003. — 94 с.

23. Конев А.А. Выделение вокализованных звуков в слитной речи Текст. / А.А. Конев, В.И. Тихонова // Сборник трудов XVI сессии Российского акустического общества. Том III — М.: ГЕОС, 2005. — С. 47-50.

24. Конев А.А. Сегментация речевого сигнала Текст. / А.А. Конев, А.А. Пономарёв // Сборник трудов XVI сессии Российского акустического общества. Том III — М.: ГЕОС, 2005. — С. 44-47.

25. Короткий С. Нейронные сети: алгоритм обратного распространения Электронный ресурс. / С. Короткий. — Режим доступа: www.91.ru/Education/Books/Neural, свободный доступ.

26. Костюченко Е.Ю. Выбор обучающего набора ключевых параметров речевого сигнала Текст. / Е.Ю. Костюченко // Научная сессия

27. Костюченко Е.Ю. Идентификация по биометрическим параметрам при использовании аппарата нейронных сетей Текст. / Е.Ю. Костюченко, Р.В. Мещеряков // Журнал: "Нейрокомпьютеры: разработка, применение" — М: РАДИОТЕХНИКА 2007г. — N 7. — С. 39-50.

28. Костюченко Е.Ю. Идентификация пользователей по клавиатурному почерку на фиксированной парольной фразе Текст. / Е.Ю. Костюченко // Сборник трудов конференции "Проблемы безопасности личности, общества, государства", — Томск.: ТУСУР 2003.

29. Костюченко Е.Ю. Идентификация пользователей ЭВМ по биометрическим параметрам Текст. / Е.Ю. Костюченко, Р.В. Мещеряков // Нейрокомпьютеры в биометрических системах. Кн. 26 / под. Ред. А.И. Галушкина. М.: Радиотехника, 2007, — С. 184-192.

30. Костюченко Е.Ю. Пакет программ для идентификациипользователя по клавиатурному почерку «КИБНЕИРОКЛАВА» Текст. / Е.Ю. Костюченко, Р.В. Мещеряков // Журнал «Компьютерные учебные программы и инновации». — М: ГОСКООРЦЕНТР, МФЮА, РУИ 2007. — N7. —С. 161-162.

31. Крамер Г., Математические методы статистики Текст. / Г. Крамер, пер. с англ., 2 изд., — М., 1975. — 648 с.

32. Круглов В.В. Искусственные нейронные сети. Теория и практика Текст. / В.В. Круглов, В.В. Борисов. — М.: Горячая линия Телеком, 2001. — 382 с.

33. Кучин В.В. Система защиты информации и разграничение доступа к ПЭВМ Электронный ресурс. / В.В. Кучин, A.M. Стешкин, С.Н.1. Шумкин. — Режим доступа:http://www.pniei.penza.ru/sbornik/sl519/sl519.htm, свободный доступ.

34. Леман Э. Проверка статистических гипотез Текст. / Э. Леман, пер. с англ. — М., 1979. — 408 с.

35. Миркес Е.М. Нейрокомпьютер: проект стандарта Текст. / Е.М. Миркес. — Новосибирск: Наука, 1999. — 337с.

36. Москаленко A.M. Использование нейросетей для автоматического распознавания и синтеза речи Электронный ресурс. / A.M. Москаленко. — Режим доступа: http://alexmoshp.chat.ru/sas/sas.htm, свободный доступ.

37. Моттль В.В., Мучник И.Б. Скрытые марковские модели в структурном анализе сигналов Текст. / В.В. Моттль, И.Б. Мучник. — М.: ФИЗМАТЛИТ — 352 с.

38. Нгуен М.Т. Разработка алгоритмов построения оценок достоверности для систем распознавания речи: автореф. дис. . канд. тех. Наук Текст. / М.Т. Нгуен. — М., 2008. — 22 с.

39. Рабинер JI.P. Цифровая обработка речевых сигналов Текст. / JI.P. Рабинер, Р.В.Шафер, пер. с англ. — М.: Радио и связь, 1981.— 496 с.

40. Распознавание речи, речевые технологии Электронный ресурс.

41. Режим доступа: http://www.stel.ru/speech/, свободный доступ.

42. Распознавание слуховых образов Текст. / Под ред. Загоруйко Н.Г., Волошин Г.Я. — Москва. 1970. — 338 с.

43. Рамишвили Г.С. Автоматическое опознавание говорящего по голосу Текст. / Г.С. Рамишвили — М.: Радио и связь, 1981. — 224 с.

44. Речевые технологии информационный портал распознавание речи, синтез речи - Game Commander Электронный ресурс. — Режим доступа: http://speech-soft.ru/index.php?a=inf&inf=view&idrazdel=&idinf=l 181098728&idprazdel= 1181097263, свободный доступ.

45. Сапунов Г.В. Система автоматического распознавания речевых команд для параллельных архитектур: автореф. дис. на соиск. учен. степ, канд. тех. наук Текст. / Г.В. Сапунов — Москва, 2006. — 28 с.

46. Сергиенко А.Б. Цифровая обработка сигналов Текст. / А.Б. Сергиенко. — 2-е. — Спб: Питер, 2006. — С. 751.

47. Спортивная метрология Текст. / Под ред. В.М. Зациорского. — М.: ФиС, 1982. —256 с.

48. Технологии-БакгатеЩ-Распознавание речи. Электронный ресурс. — Режим доступа: http://www.sakrament.com/?Lang=m&TopId=20&Category=2, свободный доступ.

49. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика Текст. / Ф. Уоссермен, перевод на русский язык, Ю.А. Зуев, В.А. Точенов.1. М.: Мир, 1992. — 240 с.

50. Хайкин С. Нейронные сети Текст. / С. Хайкин. — Москва: Издательство «Вильяме», 2006 г. — 1104 с.

51. Хемминг Р.В. Цифровые фильтры Текст. / Р.В. Хемминг, пер. с англ. — М Советское радио 1980г. — 224 с.

52. Хуанг Т.С. Быстрые алгоритмы в цифровой обработке изображений Текст. / Т.С. Хуанг и др.— М.: Радио и связь, 1984. — 224 с.

53. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей Текст. / В.Г. Царегородцев // Журнал: "Нейрокомпьютеры: разработка, применение" — М: РАДИОТЕХНИКА 2003. — №7. — С. 3-8.

54. Центр речевых технологий Электронный ресурс. — Режим доступа: http://www.speechpro.ru/, свободный доступ.

55. Электронный учебник StatSoft. Электронный ресурс. — Режим доступа: www.statistica.ru, free access.

56. Federike Dorothea Griess Project Report: On-line signature verification. Электронный ресурс. / Federike Dorothea Griess, Anil K. Jain — Access mode: http://www.cse.msu.edu/cgi-user/web/tech/document?ID=449, free access

57. Gonzalez R.C. Digital Image Processing Text. / R.C. Gonzalez, P. Wintz — Addison-Wesley. Reading. Massachusetts, 1987. — 505 p.

58. IBM Embadded ViaVoice Электронный ресурс. — Режим доступа: http://www-306.ibm.com/software/pervasive/embeddedviavoice/, free access

59. Joseph Picone Signal Modeling Techniques In Speech Recognition / Joseph Picone // Texas Instruments Systems and Information Sciences Laboratory Tsukuba Research and Development Center Tsukuba, Japan, 1993

60. Nuance Dragon NaturallySpeaking 9 Электронный ресурс. — Режим доступа: http://www.nuance.com/naturallyspeaking/, свободный доступ

61. Voicelt (tm) Technologies, LLC. Voice Recognition software Электронный ресурс. — Режим доступа: http://www.groverind.com/, free access

62. Werbos P.J., Beyond regression: New tools for prediction and analysis in the behavioral sciences. / P.J. Werbor//Ph.D. thesis, Harvard University, Cambridge, MA, 1974.