автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Апостериорные алгоритмы распознавания квазипериодических последовательностей

РОССИЙСКАЯ АКАДЕМИЯ НАУК СИБИРСКОЕ ОТДЕЛЕНИЕ ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ГЕОФИЗИКИ

На правах рукописи

РГБ ОД

КУТНЕНКО Ольга Андреевна

Ч П г~ч : '*.!

УДК 519.2:534.4:621.31:621.391

АПОСТЕРИОРНЫЕ АЛГОРИТМЫ РАСПОЗНАВАНИЯ КВАЗИПЕРИОДИЧЕСКИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ

05.13.16 — применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наут<

НОВОСИБИРСК

2000

Работа выполнена в Институте математики Сибирского отделения Российской академии наук

Научный руководитель: доктор физико-математических наук,

старший научный сотрудник Кельманов A.B.

Официальные оппоненты:

доктор технических наук, старший научный сотрудник Хайретдинов М.С.

кандидат физико-математических наук, доцент

Викентьев A.A.

Ведущая организация:

Институт автоматики и электрометрии СО РАН

С диссертацией можно ознакомиться в библиотеке Института вычислительной математики и математической геофизики СО РАН.

и

ал

_2000 г

в Л

а

'Защита состоится ". на заседании Диссертационного совета Д002.10.02 в Институте вычислительной математики и математической геофизики СО РАН по адресу: 630090 Новосибирск, проспект Академика Лаврентьева, 6.

Автореферат разослан "-

. 2000 г.

Ученый секретарь Диссертационного совета кандидат технических наук, доцент

С.Б. Сорокин

) 9ь- Мс, UG, 6

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ3

Актуальность темы. Проблема обработки иесинхронизирован-ных импульсных последовательностей характерна для многих приложений. В системах радиолокации, например, совокупность импульсов может использоваться для принятия решения " свой-чужой", а в системах медицинской и технической диагностики - для установления заболевания и прогнозирования неисправностей. В системах передачи речи по каналам связи зачастую требуется подавление импульсных помех и т.п. Повышение эффективности подобных систем является важной практической задачей. С этой задачей связаны задачи повышения точности, быстродействия и помехоустойчивости алгоритмов обработки несинхронизированных импульсных последовательностей.

Способ задания априорных данных о неизвестных моментах времени начала импульсов определяет специфику алгоритмов решения задач распознавания импульсных последовательностей, их точность, временную и емкостную сложность. Одним из возможных априорных представлений может служить предположение о том, что моменты времени начала импульсов в распознаваемой совокупности - неизвестные детерминированные величины, причем промежутки времени между началами соседних импульсов лежат в некотором заданном интервале. Исходя из физических соображений, подобную совокупность импульсов можно интерпретировать как квазипериодическую последовательность, а дискретные отсчеты такой импульсной последовательности - как числовую квазипериодическую последовательность.

До последнего времени среди существующих алгоритмов отсутствовали алгоритмы распознавания несинхронизированных импульсных последовательностей, ориентированные на обработку числовых квазипериодических последовательностей. Очевидно, что алгоритмы распознавания, учитывающие квазипериодичность несинхронизированных данных, будут эффективнее своих аналогов в ситуациях, когда квазипериодичность импульсной последовательности действительно имеет место. Поэтому тема диссертационной работы, направленной на построение и исследование алгоритмов распознавания числовых квазипериодических последовательностей, представляется актуальной.

Цель работы и задачи исследований. Целью работы является разработка и исследование апостериорных вычислительных алгоритмов распознавания числовых квазипериодических последовательностей.

Для достижения цели решаются следующие задачи:

1 Работа выполнена в рамках проектов №94-01-00169а, №97-07-90302 к №97-01-00866, поддержанных РФФИ.

- анализ подходов к решению проблемы распознавания квазипериодических последовательностей;

- разработка и исследование алгоритмов (обучения и классификации), обеспечивающих распознавание квазипериодических после-дсдаательностей;

- получение границ вероятности ошибки распознавания;

- анализ временной и емкостной сложности разработанных алгоритмов;

- численное моделирование и применение разработанных алгоритмов для решения прикладных задач.

Методы исследований опираются на аппарат теории вероятностей, математической статистики, теоретической кибернетики, а также математическое моделирование.

Работа является частью общего направления исследований но разработке методов и вычислительных алгоритмов обработки квазипериодических последовательностей, развиваемого Кельмаповым A.B. Научная новизна работы состоит в следующем.

1. В рабо те получены приоритетные результаты по решению проблемы распознавания числовых квазипериодических последовательностей, включающих одинаковые подпоследовательности, ориентированные на обработку данных в условиях, когда моменты времени начала подпоследовательностей - неизвестные детерминированные величины. Этими результатами являются решения двух новых, ранее не исследованных задач:

1) решение задачи классификации квазипериодических последовательностей, включающее:

- точный вычислительный алгоритм, обеспечивающий принятие решения по критериям Байеса и максимального правдоподобия за полиномиальное время с линейными затратами по памяти,

- выражения для верхней и нижней границ вероятности ошибки распознавания, а также оценки временной и емкостной сложности алгоритма, увязанные с параметрами задачи;

2) решение задачи восстановления подпоследовательности, порождающей квазипериодическую последовательность, включающее:

- приближенный вычислительный алгоритм, обеспечивающий сближение оценок членов подпоследовательности с оценками максимального правдоподобия за полиномиальное время с линейными затратами по памяти,

- оценки временной и емкостной сложности алгоритма, связанные с параметрами задачи.

2. Созданы новые средства речевых информационных технологий, включающие алгоритмическое и программное обеспечение для:

1) очистки речевых сигналов от квазипериодических импульсных

помех, что дает возможность эффективно восстанавливать речевые сигналы, утратившие разборчивость;

2) сегментации речевых сигналов на квазипериодические участки, что позволило создать синтезатор русской речи но тексту, генерирующий сигнал, близкий к естественному по натуральности речи. Практическая ценность результатов работы состоит в том, что найденные решения задач, а также предложенное алгоритмическое и программное обеспечение может быть использовано для создания более совершенных продуктов в области обработки сигналов различной природы, в частности, для автоматической обработки речевых сигналов. Научные результаты, полученные в диссертации, внедрены в в/ч 45807-Э.

Связь с государственными программами и НИР. Работа выполнена в рамках проектов №94-01-001G9-a (1994-1996гт), №9707-90302 (1997-1998гг) и №97-01-00866 (1997-1999п), поддержанных РФФИ. Результаты диссертационной работы в виде алгоритмического и программного обеспечения для очистки речевых сигналов от помех были использованы при выполнении НИР по теме "ЧИНАРА-СО" (1994-1996гг), которая проводилась по постановлению правительства РФ в соответствии с планом МО РФ.

Апробация работы. Основные положения работы докладывались на Второй и Третьей Всероссийских конференциях "Распознавание образов и анализ изображений: новые информационные технологии" (РОЛИ-2-95, г.Ульяновск, 1995 г., РОАИ-3-97, г.Нижний Новгород, 1997 г.); Седьмой и Восьмой Всероссийских конференциях "Математические методы распознавания образов" (ММРО-7, ММРО-8, г.Москва, 1995, 1997 гг.);-Втором Сибирском конгрессе по Прикладной и Индустриальной Математике (ШШРИМ-96), г.Новосибирск, 1996 г.

Результаты ра.боты обсуждались на научных семинарах Института математики Сибирского отделения РАН, Института вычислительной математики и математической геофизики Сибирского отделения РАН, Новосибирского Государственного университета.

Личный вклад. Выносимые на защиту результаты получены сооискателем лично. В опубликованных совместных работах участие автора заключалось в разработке и исследовании алгоритмов, их программной реализации и численном моделировании.

Создание и внедрение прикладных разработок осуществлено сотрудниками Института математики СО РАН при непосредственном участии соискателя.

Публикации. Но теме диссертации опубликовано 17 работ, включая 3 отчета по научно-исследовательским работам. На защиту выносятся:

1. Совокупность результатов по решению проблемы распознава-

нпя числовых квазнпериодических последовательностей, содержащая:

- точный апостериорный вычислительный алгоритм решения задачи статистической классификации, включая оценки его временной и емкостной сложности, а также оценки сверху и снизу для вероятности ошибочной классификации;

- приближенный вычислительный алгоритм апостериорного типа для решения задачи восстановления подпоследовательности по искаженным данным (задачи обучения) вместе с оценками его временной и емкостной сложности.

2. Комплекс научно-технических средств в составе действующих систем обработки (<с8реесЬЬаЬ>-) и синтеза (<СТекстофонЗ>) речевых сигналов, разработанных в Институте математики СО РАН, включающий:

- алгоритмическое и программное обеспечение подсистемы очистки речевых сигналов от квазипериодических импульсных помех, позволяющее восстанавливать сигналы, утратившие разборчивость;

- новое конструктивное решение подсистемы сегментации и маркировки речевых сигналов, позволившее улучшить естественность синтезированной устной речи.

Объем и структура работы. Диссертационная работа изложена на 126 страницах и состоит из введения, четырех глав, заключения и двух приложений. Основной текст занимает 107 страниц, приложения - 6 страниц. Иллюстративный материал включает 29 рисунков. Список литературы состоит из 165 наименований.

Содержание работы

Во воедении обоснована актуальность темы диссертационной работы, сформулированы цель работы и задачи исследований, указана связь работы с государственными программами, приведены основные положения, выносимые на защиту, и краткое содержание по главам.

В первой главе изложена сущность и дана содержательная постановка задачи распознавания числовых квазнпериодических последовательностей; выявлена особенность рассматриваемой задачи и проанализированы возможные подходы к ее решению.

Под числовой квазипериодической последовательностью подразумевается всякая числовая последовательность, образованная из подпоследовательностей, в которой величина интервала между моментами времени начала двух последовательных подпоследовательностей лежит в заданном промежутке. При этом номер члена в числовой последовательности интерпретируется как момент времени, а номера первых членов подпоследовательностей - как моменты времени начала

подпоследовательностей. Предполагается, что искаженная аддитивной некоррелированной гауссовской помехой квазипериодическая последовательность составлена из одинаковых подпоследовательностей (далее также называемых импульсами) из неизвестного класса. Анализируется случай, когда моменты времени начала подпоследовательностей являются детерминированными, но неизвестными величинами. Задача классификации состоит в том, чтобы отнести наблюдаемую зашумленную квазипериодическую последовательность к одному из нескольких классов. Задача обучения состоит п восстановлении подпоследовательности, порождающей ненаблюдаемую квазипериодическую последовательность. Совокупность этих задач образует задачу распознавания квазипериодических последовательностей.

На верхних графиках рис.1, 2 изображены компоненты квазипериодических последовательностей, образованных прямоугольным и треугольным импульсами. На нижних графиках указанных рисунков изображены компоненты этих же последовательностей, искаженных аддитивной некоррелированной гауссовской помехой. Совокупность компонент зашумлениой квазипериодической импульсной последовательности соответствует наблюдаемой последовательности, подлежащей распознаванию.

В диссертационной работе выявлена особенность рассматриваемой проблемы: необходимость решения с каждой из классических задач - классификации и обучения - сопутствующей задачи обнаружения моментов "разладки" квазипериодической последовательности. В результате анализа возможных подходов к решению проблемы, состоящих либо в раздельном, либо в совместном решении с каждой из составных задач - классификации и обучения - задачи о квазипериодической разладке, установлено следующее. В известных работах задача обнаружения квазипериодической разладки ранее не исследовалась. Специфика проблемы - квазипериодичность последовательностей - приводит к новым постановкам задач обнаружения разладки, классификации и обучения, для которых эффективные алгоритмы решения еще не построены и не изучены.

В работе выбран подход, заключающийся в совместном решении задач классификации/обучения и обнаружения.

""дал ДА

п

Рис. 1

Рис. 2

Во второй главе дана математическая постановка задачи классификации квазипериодических последовательностей, искаженных аддитивной гауссовской некоррелированной помехой. Показано, что рассматриваемая задача является задачей проверки гипотез о среднем гауссовского случайного вектора. Приведено решение задачи и обоснован байесовский апостериорный вычислительный алгоритм. Проведен анализ временной и емкостной сложности разработанного алгоритма. Найдены границы вероятности ошибки классификации. Теоретические результаты подтверждены данными численного моделирования.

Пусть на числовой прямой Ж заданы К > 1 различных последовательностей ип(к) 6 Ж, п — 0, ±1,±2,..., к — 1, К, таких что для всех к = 1, Я : ип(к) = 0 при п < 0, п > q - I; 0 < <

Вектор и(к) = [ио{к),...,щ-1{к)) будем называть эталонным импульсом к—го класса, к ~ номером класса, (] - длительностью импульса, а множество Л = {V :11 (к), к — 1, Л'} - алфавитом эталонных импульсов. Определим вектор к — ...,пм) с целочисленными компонентами как элемент множества

п г ^таХ) ч) - {(«1, • • •, пм) : N > Ттах + ц - 1;

1 - 9 < «1 < Ттаг - N - Ттах < пм < N - 1;

Ч < Ттт < Щ - ТЦ_1 < Ттах, « = '¿,М}.

Зафиксируем V Е А п предположим, что наблюдается случайный вектор (анализируемый кадр сигнала) У = (уо,..■, г/«-1) такой, что V = X(1г, [7) -+ Е, где Е - гауссовский вектор, компоненты которого независимы, одинаково распределены и имеют нулевое математическое ожидание и дисперсию а2 < оо, а компоненты вектора А'(/г,(7) — («о, • • •, ялг-1) при каждом к € £2 и II 6 А образуют последовательность, составленную из М импульсов II, такую, что хп — ип-п,> п — О, N — 1. Величины п\,..., пм будем интерпретировать как моменты времени начала М импульсов I/, охваченных анализируемым кадром. Натуральные

числа Тт{„ и '{'гпах задают минимальный и максимальный интервалы между началами двух последовательных импульсов. Полным импульсом в анализируемом кадре будем называть импульс, не разбитый на части границей кадра, неполным, соответственно,- импульс, разбитый на части, границей кадра.

Задача классификации состоит в том, чтобы по наблюдаемому кадру сигнала определить тот эталонный импульс [I 6 А, компоненты которого в виде М подпоследовательностей образуют последовательность компонент лп, « = 0,АГ — 1, ненаблюдаемого вектора Х(к,и). Параметры задачи q, И, Тт;п и Ттах считаются известными, а набор

А = {U : U(k), к = 1, А'} - заданным. Число М членов последовательности п1,...,пд/ и сами члены этой последовательности предполагаются неизвестными.

Поскольку набор («i, ...,пи) и его размерность М неизвестны, поставленная задача является задачей совместного распознавания квазипериодической последовательности импульсов и обнаружения моментов времени их начала. В работе доказано, что минимальное н максимальное число импульсов (включая неполные) в анализируемом кадре задается формулами М„{п = [(iV + q — 1)/Tmar|, Мтах — [(TV +q — 2)/Ттих\ + 1. В случае, когда все импульсы полные,

Кип = № - q + l)/Tm0B], М*тах = [(iV - q + Tmin)/TminJ.

Полученные оценки дали возможность определить и связать между собой множество всевозможных наборов моментов времени начала импульсов и множество всевозможных векторов, порождаемых эталонным импульсом, что позволило трактовать задачу совместного распознавания и обнаружения как задачу проверки гипотез H{U) = {У е Фл>>/; X € T(l/)}, 17 6 А, где через Т(U) = {X{h,U) ■ хп =

YhiL 1 "«-ил п — 0,ЛГ— 1,А £ fi}, U € А, обозначено множество всевозможных векторов X(h, U) размерности N, порождаемых эталонным импульсом U Е А, а через Фх.ст2/ ~ нормальное распределение с параметрами (X, cr2l); I- единичная матрица.

Поскольку в вычислительном плане байесовский алгоритм классификации отличается от алгоритма классификации по критерию максимального правдоподобия только тем, что для принятия байесовского решения необходимо условные по классу максимумы функции правдоподобия умножить на различные (в общем случае) весовые коэффициенты, соответствующие априорным вероятностям классов, изложение алгоритма ограничено обоснованием вычислительной процедуры, соответствующей критерию максимального правдоподобия.

В работе показано, что максимизация функции правдоподобия эквивалентна минимизации целевой функции D(h,U) = YliLi

где f1{щ,и) = Y^nZa nn-m(un-ni - 2yn), на множествах A, Q. Минимизация целевой функции D(h, U) сведена к решению К = ||Л||

однотипных задач условной оптимизации D(h/U) —> min (I этап)

h

и затем к нахождению глобального минимума среди К найденных условных: Dmin{U/h(U)) —> min (II этап). Здесь через h(U) обозначен условно-оптимальный набор моментов времени начала импульсов. Для нахождения условных экстремумов получены рекуррентные формулы. Искомая пара (ГУ,/г) находится по правилу: U =

arg min Dmin(U/h(U)), h = h(U). Трудоемкость алгоритма есть ве-U

личина 0[КN(<1 + Ттах — Т^,^)] при затратах по памяти 0[!\' + Kq}■

В работе установлено, что в случае Т„^п > 2ц для байесовского критерия вероятность ошибки распознавания двух классов удовлетворяет неравенствам < а < а", где

= [-¿МгааД||[/(1)||2 + ||С/(2)||2- 2Лга„,)]}*,

а" - (Р1Р2Р ехр{-~М^п(Ц[/(1)Ц2 + ||[/(2)||2 - 2Дгаах)},

— гспп ) ип(1)иг1+1{2),

йшах = шах > у ип11)ип+1(2)}

а через ¡ц-, к ~ 1,2, обозначены априорные вероятности предъявления последовательностей к— го класса или априорные вероятности гипотез.

Найденные границы позволяют контролировать изменение вероятности ошибки в зависимости от параметров задачи. Данные численных экспериментов показали, с одной стороны, высокую эффективность алгоритма при обработке квазипериодических последовательностей в условиях интенсивных помех, а с другой, - согласованность теоретических и экспериментальных результатов.

Особенностью предложенного алгоритма является апостериорный способ обработки наблюдений, учитывающий неполные импульсы на границах кадра, что позволяет применять изложенный алгоритм для организации обработки данных в режиме скользящего кадра фиксированной длины.

В третьей 1\паве рассматривается задача восстановления подпоследовательности, порождающей квазиперподическую последовательность. Поставленная задача сводится к задаче совместного распознавания и обнаружения. Описаны варианты приближенного вычислительного алгоритма обучения, ориентированные на случаи заданного и неизвестного числа полных импульсов в анализируемом кадре. Дан анализ временной и емкостной сложности алгоритма, приведены результаты численного моделирования.

Задача обучения состоит в том, чтобы по наблюдаемому кадру сигнала или вектору У определить форму исходного эталонного импульса V, то есть найти оценку и. Параметры задачи q, N, Тт,„, Ттах считаются известными. В случае, когда анализируемый кадр содержит только полные импульсы, («1,..., пм) £ О, где

0 = &(М,Тт{п/1гпа1с:^) = {(пь.. .,пм) ■ N > Ттах\

о < П1 < Ттах - г, м- Тта1С < пм < N - q; Я < Тгтп < Щ - п,-_1 < Ттах, г - 2, М).

При этом'0 = \Jm=m2" гДе через 9(*/М) обозначено мно-

жество всевозможных наборов (ru, ..., пм) заданной размерности А/, а через М„ип и Мта1; - минимальное и, соответственно, максимальное число полных импульсов в анализируемом кадре. В работе показано, что Mmln = {(N + q- l)/rmezJ, Мтах = l(N -q + Tmin)/TminJ.

Для получения искомой оценки U используется принцип максимального правдоподобия. Показано, что максимизация функции правдоподобия эквивалентна максимизации целевой функции H(h) =

W (Z)f=i У'инУ на множестве Э (при h £ 0) или 0(»/М) (при

Л £ 0(*/Af)). Существует гипотеза, что максимизация #(/i), Л 6 0 (или /г € О(*/М)), является iVP—полной задачей. В связи с этим в работе разработан приближенный алгоритм для решения поставленной задачи. Сущность подхода состоит в сведении задачи обучения к задаче совместного распознавания и обнаружения.

При решении задачи совместного распознавания и обнаружения предполагается заданным алфавит эталонных импульсов. Для задачи обучения этот алфавит неизвестен. Для формирования алфавита В эталонных образцов (импульсов) V используется критерий максимума

Е™ - Emt'n 1 Ут> п = 0> Т-тах ~ ?• Для получения фОрМЫ ИСХОДНОГО эталонного импульса, образующего квазипериодическую последовательность, используется критерий минимума квадрата евклидова расстояния между наблюдаемой последовательностью и квазипериодической импульсной последовательностью на множестве всевозможных квазипериодических импульсных последовательностей, образованных одинаковыми импульсами из сформированного алфавита. Минимизация квадрата евклидова расстояния сведена к минимизации аддитивной функции S(h, V) = viivj ~~ 2t/ni+j) и а, множествах Б и Q (или 6(•¡М)).

При неизвестном числе полных импульсов в анализируемом кадре, то есть при h £ 0, первые два этапа алгоритма обучения аналогичны соответствующим этапам алгоритма совместного распознавания и обнаружения. На третьем этапе алгоритма определяются искомые

оценки компонент эталонного импульса U : щ = (У<~и+з)/М> 3 — О, q — 1. Трудоемкость данного варианта алгоритма обучения есть величина 0[L(N - q + 1)(<г + Ттах - Тт{п)], где L = ||£||, при затратах по памяти 0[N].

При заданном числе полных импульсов в анализируемом кадре, то есть при h £ 0(*/М), минимизация S(h,V) сведена к решению

L экстремальных задач условной оптимизации D(h/V) —► min, где

h

d(n{/V) = —12 Y^jZo Z/n., + ji 11 затем к отысканию глобального мшш-

мума = ппп{Бт,-„(У/Л(7)) + 1У(У)}, где = М

На первом этапе алгоритма обучения минимизируется целевая функция П(к/У) на множестве 0(«/Л/) при каждом К £ На втором этапе методом простого перебора определяется глобальный экстремум Пара (\г,к) находится по правилу: V - arg ш)п{Д,^„(У/Л(У))-Ь

Ш(У)}, к — к(У). На третьем этапе алгоритма искомые оценки компонент эталонного импульса 17 определяются формулами й7- =

= 1 Упх+з)/М, ] — о,д — 1. Трудоемкость данного варианта алгоритма обучения есть величина 0[Х</(ГтЯ1 — г/ + 1)] при М = 1 и 0[ЫLq-{■ М{Ттах — Тт,-„ + 1)] при М > 1, затраты по памяти -0[МЛГ].

Описанные варианты алгоритма реализованы программно и опробованы в серии численных экспериментов. Для анализа точности работы алгоритма рассматривалась нормированная квадратичная ошибка а = ||17 — С^Р/Н^Н2 оценивания. Результаты численного моделирования показывают сближение (с ростом числа импульсов в анализируемом кадре) полученных оценок с. оценкой максимального правдоподобия, что позволяет использовать разработанные варианты приближенного алгоритма для решения задачи обучения.

Четвертая глава посвящена применению и адаптации полученных результатов к решению задач автоматической обработки речевых сигналов. В данной главе изложен алгоритм подавления аддитивной квазипериодической импульсной помехи. Здесь же дано краткое описание разработанной в Институте математики СО РАН инструментальной системы С БреесЬЬаЬ для обработки и анализа речевых сигналов, в которой задействованы предложенные автором алгоритмы. Описаны результаты применения алгоритма обучения для сегментации и разметки (маркировки) речевых сигналов, использовавшихся в речевом синтезаторе Текстофон созданном в Институте математики СО РАН.

Для очистки речевого сигнала от аддитивной квазипериодической импульсной помехи в работе предложен апостернорно-последовательный алгоритм, то есть алгоритм обработки сигнала в режиме скользящего кадра фиксированной длины. При выделении полезного сигнала используется критерий минимума квадрата евклидова расстояния между наблюдаемым вектором и вектором помехи на множестве всевозможных векторов, компоненты которых образуют квазипериодические импульсные последовательности.

Для обеспечения обработки наблюдаемого временного ряда в режиме скользящего кадра в работе решена задача выбора оптимальной длины кадра, установлено правило сдвига анализируемого кадра, реа-

лизованы три варианта стыковки результатов обработки соседних кадров. Трудоемкость алгоритма есть величина 0[KN(q-+Tm^ — Tm¡п)], где К - число анализируемых кадров.

Алгоритм опробован при выделении речевого сигнала из смеси с аддитивной квазипериодической помехой. Для получения объективной оценки точности алгоритма в зависимости от параметров задачи и формы импульса помехи анализировались следующие величины: «1 = ||А — ,Y||2/||X||2, характеризующая отношение квадратичной ошибки оценивания помехи к энергии помехи, и cv2 = ||5 — £>||2/Ц5||2, характеризующая отношение квадратичной ошибки оценивания сигнала к энергии сигнала. Кроме того, проводилась субъективная (экспертная) оценка эффективности алгоритма, то есть анализ качества восстановленного речевого сигнала на слух.

Установлено, что характеристики а\ и ао хорошо соотносятся с субъективным восприятием речи человеком. Алгоритм позволяет восстанавливать речевые сигналы полностью утратившие свою разборчивость, и, кроме того, может использоваться для скрытой передачи речи по каналам связи.

Рис.3 иллюстрирует результаты применения алгоритма обучения для сегментации и маркировки речевых сигналов, использовавшихся в речевом синтезаторе <сТекстофон^> . В качестве примера представлен фрагмент работы инстру-рис. з ментального комплекса по

обработке речевых сигналов в режиме "Редактирование сигнала". Нижний график - осциллограмма исходного речевого сигнала, на верхнем графике представлен результат разметки выделенного участка сигнала. Прямоугольные рамки соответствуют найденным с помощью алгоритма обучения импульсам.

В приложении 1 приведены данные численного моделирования, дополняющие главу 2, а в приложении 2 - акт о внедрении результатов работы. Наконец, в заключении сформулированы основные научные и практические результаты диссертационной работы.

ш»

■4 »>

Основные результаты работы и выводы

1. Из множества проблем обработки данных в работе выделена актуальная проблема распознавания квазипериодических последовательностей и выявлена особенность этой проблемы: необходимость

решения с каждой из классических задач - классификации и обучения - задачи обнаружения моментов разладки квазинериоднческой последовательности.

2. Поскольку вопросы распознавания квазипериодических последовательностей ранее не были изучены, в работе проведены соответствующие исследования. При этом получены приоритетные результаты, ориентированные на обработку данных в условиях, когда моменты времени начала подпоследовательностей - неизвестные детерминированные величины. К этим результатам относятся решения двух новых, ранее не исследованных задач:

1) решение задачи классификации квазипериодических последовательностей, включающее:

- точный вычислительный алгоритм, обеспечивающий принятие решения по критериям Байеса и максимального правдоподобия за полиномиальное время с линейными затратами по памяти,

- выражения для верхней и нижней границ вероятности ошибки распознавания, а также оценки временной и емкостной сложности алгоритма, увязанные с параметрами задачи;

2) решение задачи восстановления подпоследовательности, порождающей квазипериодическую последовательность, включающее:

- приближенный вычислительный алгоритм, обеспечивающий сближение оценок членов подпоследовательности с оценками максимального правдоподобия за полиномиальное время с линейными затратами по памяти,

- оценки временной и емкостной сложности алгоритма, связанные с параметрами задачи.

3. Найденные решения позволили создать новые средства речевых информационных технологий, включающие алгоритмическое и программное обеспечение для:

1) очистки речевых сигналов от квазипериодических импульсных помех, что дает возможность эффективно восстанавливать речевые сигналы, утратившие разборчивость;

2) сегментации речевых сигналов на квазипериодические участки, что позволило создать синтезатор русской речи по тексту, генерирующий сигнал, близкий к естественному по натуральности речи. Подводя итог, можно сделать вывод о том, что в работе найдено решение проблемы распознавания числовых квазипериодических последовательностей; разработаны полиномиальные вычислительные алгоритмы, которые могут быть использованы для повышения эффективности систем автоматической обработки сигналов.

Содержание диссертации отражено в следующих работах:

1. Кельмапов A.B., Кутненко O.A. Оценки максимального правдоподобия моментов начала известных детерминированных импульсов фиксированной длительности в квазипериодической последовательности // Анализ последовательностей и таблиц данных. Новосибирск, 1994. Вып. 150: Вычислительные системы. С. 184-196.

2. Загоруйко Н.Г., Кельмапов A.B., Кутненко O.A. и др. Исследование возможности разработки человеко-машинных систем для распознавания речевых сообщений в условиях шумов и искажений // Отчет о НИР ИМ СО РАН по теме "Чинара-СО" (1-й этап). Новосибирск, 1994. 123 с.

3. Кельмапов A.B., Кутненко O.A., Саломатина Н.В., Хамидул-лнн С.А. Исследование возможности разработки человеко-машинных систем для распознавания речевых сообщений в условиях шумов и искажений // Отчет о НИР ИМ СО РАН по теме " Чинара-СО" (2-й этап). Новосибирск, 1995. 122 с.

4. Кельмапов A.B., Кутненко O.A. Оптимальные алгоритмы оценивания моментов начала и длительностей импульсов с усеченным окончанием в квазипериодической последовательности // Тез. докл. 2-й Всерос. коиф. "Распознавание образов и анализ изображений: новые информационные технологии" РОАИ-2-95. Ч.З. Ульяновск, 1995. С. 118-120.

5. Кельмапов A.B., Кутненко O.A., Саломатина Н.В. и др. Ма-кроволповый синтез речи по тексту // Там же, с. 121-123.

6. Кельманов A.B., Кутненко O.A. Совместное распознавание и обнаружение импульсов фиксированной длительности по квазиперио-днческим последовательностям наблюдений // Тез. докл. 7-й Всерос. конф. "Математические методы распознавания образов" (ММРО-7). Москва, 1995. С. 99-100.

7. Кельманов A.B., Кутненко O.A. Алгоритм распознавания ква-знпериодической последовательности им пульсов и обнаружения моментов их начала в гауссонском шуме // Методы обработки информации. Новосибирск, 1996. Вып. 157: Вычислительные системы. С. 137-180.

8. Кельманов A.B., Кутненко O.A., Хамидуллип С.А. Исследование возможности разработки человеко-машинных систем для распознавания речевых сообщений в условиях шумов и искажений // Отчет о НИР ИМ СО РАН по теме "Чинара-СО" (3-й этап). Новосибирск, 1996. 48 с.

9. Кельманов A.B., Кутненко O.A. Обнаружение импульсов фиксированной длительности в квазиперноднческоп последовательности нелинейно искаженных наблюдений //Тез. докл. Второго Сибирского

конгресса по прикладной и индустриальной математике (ИНПРИМ-96). Новосибирск, 1996. С. 177.

10. Кельманов A.B., Кутненко O.A. Верхняя и нижняя границы вероятности ошибки распознавания квазипериодической последовательности импульсов, искаженной гауссовскпм шумом // Тез. докл. 8-ой Всерос. конф. " Математические методы распознавания образов" (ММРО-8). Москва, ВЦ РАН, 1997. С. 52-54.

11. Кутненко O.A. Алгоритм очистки речевого сигнала от квазипериодической помехи // Там же, с. 182-183.

12. Кельманов A.B., Кутненко O.A. О границах вероятности ошибки групповой классификации квазипериодических последовательностей импульсов // Тез. докл. 3-ей Всерос. конф. "Распознавание образов и анализ изображений: новые информационные технологии" РОАИ-3-97. 4.1. Нижний Новгород, НИИ прикладной математики и кибернетики при ННГУ, 1997. С. 36-39.

13. Кельманов A.B., Кутненко O.A., Хамидуллин С.А. Инструментальная система для обработки и анализа речевых сигналов // Тез. докл. 3-ей Всерос. конф. "Распознавание образов и анализ изображений: новые информационные технологии" РОАН-3-97. 4.2. Нижний Новгород, НИИ прикладной математики и кибернетики при ННГУ, 1997. С. 132-135.

14. Кельманов A.B., Кутненко O.A. Нижняя граница вероятности ошибки распознавания квазипериодической последовательности импульсов, искаженной гауссовской некоррелированной помехой // Сибирский журнал индустриальной математики, 1998. Т.1. №2. С. 113-126.

15. Кутненко O.A. Алгоритм очистки речевого сигнала от квазипериодической помехи //Анализ данных и сигналов. Новосибирск, 199S. Выи. 163: Вычислительные системы. С. 63-81.

1С. A.V.Kel'manov, O.A.Kutnenko. On the Bounds of the Error Probability in Group Classification of Quasi-Periodic Sequences // Pattern Recognition and Image Analysis, 1998. Vol. 8. №2. P. 125-127.

17. A.V.Kel'manov, O.A.Ivutnenko, S.A.Khamidullin. Instrumental System for Processing and Analysis of Speech Signals // Pattern Recognition and Image Analysis, 1998. Vol. 8. №3. P. 361-362.

Введение

Глава 1. Сущность и особенности проблемы распознавания числовых квазипериодических последовательностей.

1.1. Содержательная постановка задачи

1.2. Специфика задачи классификации

1.3. Особенности задачи обучения

1.4. Выводы

Глава 2. Классификация квазипериодических яоследовател ьностей

Введение.

2.1. Постановка задачи.

2.2. Задача классификации последовательности как задала проверки гипотез о среднем.

2.3. Функция правдоподобия и целевая функция.

2.4. Алгоритм совместного распознавания и обнаружения

2.5. Временная и емкостная сложность алгоритма

2.6. Границы вероятности ошибки распознавания.

2,7, Численное моделирование и анализ результатов . . . 50 2.8. Выводы.

Глава 3. Восстановление подпоследовательности ко квазилериоднческим данным

Введение.

3.1. Постановка задачи

3.2. Ограничения на число полных импульсов в анализируемом кадре

3.3. Критерий решения задачи обучения.

3.4. Алгоритм обучения при заданном числе импульсов

3.5. Временная и емкостная сложность алгоритма обучения при заданном числе импульсов.

3.6. Алгоритм обучения при неизвестном числе импульсов.

3.7. Временная и емкостная сложность алгоритма обучения при неизвестном числе импульсов.

3.8. Численное моделирование

3.9. Выводы.

Глава 4. Применение разработанных алгоритмов к решению некоторых задач автоматической обработки сигналов.

Введение.

4.1. Очистка, речевых сигналов от квазипериодической помехи.

4Л.1. Постановка задачи

4Л.2. Критерий решения задачи

4.1.3. Алгоритм очистки

4.1.4. Экспериментальные результаты

4.2. Инструментальная система для обработки и анализа речевых сигналов.

4.2.1, Краткое описание системы

4.2.2. Разметка (маркировка) речевых сигналов

4.3. Выводы.

Актуальность темы. Проблема обработки несинхронизироваиных импульсных последовательностей характерна для многих приложений. В системах радиолокации, например, совокупность импульсов может использоваться для принятия решения "свой-чужой*, а в системах медицинской ж технической диагностики -- для. установления заболевания и прогнозирования неисправностей, В системах передали речи ж? каналам связи зачастую требуется подавление импульсных помех и т.н. Повышение эффективности подобных систем является важной практической ;зада.чей, С этой' задачей связаны задали иовм-г^лчрч« ^т^ *>*уг'ррлЯРА^Г-трпи 1 ¥ Т'т|^\пугТ0ЙЧйВОСТИ аЛШрИТМОВ С о » ч е I» с*г** » I ( >»• 1 1, „и 5ч последовательностей. ч* > * ^« * » «' 5, <» * «г >* и я местных моментах вре-> < ч " и * и."* 1 рч ^ » , ! 1 < > чос! I алгоритмов решения

I 1 «, 'И'», . ^ и1' < ¡Ъ »»» тъностей. мх точность, I Ч и '^/и и, 1 1 ' А, ¿3 возможных алриор

1 , ' < * * ч -^и « -1 < мл ззше о том, что момен-» х*»м * 1 я . ! и ' л н | а 14 " й совокупности - неизвестные детерминированные величины, причем промежутки времени между началами соседних импульсов лежат б некотором заданном интервале. Исходя мч физических соображений, подобную совокупность импульсов можно ммтернретировать как. жвазшериодмческую последовательность ? а дискретные отсчеты такой импульсной тгоследова.

Ц ■ 1 1 IV! > Ч > >»| Ц 5 I к Т 'Г } " " " <

Д г Т ■ < ' ,П (и Ьч к Я , ** 1 \ щ 1У> ЧгЬ Ч ! * Х" V » о * " ( "Ч^ < гА П<| 1 и <1 > К < >И 4« 1, Ч|Д 1 МИ.и ¡'Ы V И >! 'ч ¡н л. с 1С 1 > пг>л - с* ее ' «.л г* • >"( щ*' >г / (« %к '

I % к г ь ' г -» 1 1 |, с \ ?

I >1 - I Чк т > ч 'Л , < ' 4 ^ /кг <1 ч ? ' * 1 Ду и?« и Оч. VI, V ' I А \ ч > ' х-" а <« Ч ? ¡^ 6 ч Г< и > " V5 п< Н К » X " ГИ * 1 < Г » Ц < Ч

П ^ ! 1*1 Т( ' , ? 4*"»» ¡п ? р г г г ',1 !

V > 011., , ч , < г I» | 1 | .4 е * я ' « *<, у>о< 4 4 < ; 1 !, + 4 I. <- 8« » Ь 1л4 1 лг1 Со «. ~ а ' I' «а

Дс,ш И йсисдозаши.» Цч-ЛЬдЗ -М.Ч,Л>>.€л ся разработка ж исследование апостериорных вычислительных алгоритмов распознавания числовых квазишериодяческих последовательностей.

Для достижения цели решаются следующие задачи;

- анализ подходов к решению проблемы распознавания квазипериодических последовательностей;

- разработка и исследование алгоритмов (обучения и классификации). обеспечивающих распознавание квазипериодических последовательностей;

- полу чение границ вероятности ошибки распознавания;

- анализ временной м емкостной сложности разработанных алгоритмов; численное моделирование и применение разработанных, алгоритмов для решения прикладных задач.

Методы исследований опираются на аппарат теории вероятностей. математической статистики, теоретической кибернетики, а также математическое моделирование.

Работа является частью общего направления исследований по разработке методов и вычислительных алгоритмов обработки квазинери-одических последовательностей, развиваемого Кельмановым A.B. Научная новизна работы состоит б следующем, 1. В работе получены приоритетные результаты по решению проблемы распознавания числовых квазинермодмческих последовательностей . включающих одинаковые подпоследовательности, ориентированные на обработку данных в условиях, когда моменты времени яа~ чала подпоследовательностей - неизвестные детерминированные величины. Этими результатами являются решения двух новых, ранее не исследованных задач:

1) решение задачи классификации квазияериодических последовательностей , вкл юч ающее:

- точный вычислительный алгоритм, обеспечивающий принятие решения по критериям Вайеса и максимального правдоподобия за полиномиальное время с линейными затратами по памяти, выражения для верхней и нижней границ вероятности ошибки распознавания, а также оценки временной и емкостной сложности алгоритма, увязанные с параметрами задачи;

2) решение задачи восстановления подпоследовательности, порождающей квазипериодическую последовательность, включающее:

- приближенный вычислительный алгоритм, обеспечивающий сближение оценок членов подпоследовательности с оценками максимального правдоподобия за полиномиальное время с линейными затратами по памяти,

-•• оценки временной и емкостной с,ложности алгоритма, связанные с параметрами задали.

2. Созданы новые средства речевых информационных технологий, включающие алгоритмическое и программное обеспечение для: 1) очистки речевых сигналов от квазмнериодичеошх импульсных помех, что дает возможность эффективно восстанавливать речевые сшччалы? утратившие разборчивость;

Т) сегментация речевых сигналов на квазипериодичесжие участки., что позволило создать синтезатор русской речи яо тексту, генерирующий сигнал, близкий к естественному но назурадьносхи речи. Практическая цеянос'гь результатов работы соектт и 'шм, что найденные решения тдзч,, а также предложенное алгоритмическое и программное обеспечение может быть использовано для создания белее совершенных продуктов в облает?! обработки сигналов различной природы, & частности, для автоматической обработки речевых сигналов. Научные результаты, полученные в диссертаиии, внедрены б в/ч 45807-Э,

Стгзь с гасударствеипммн программами и НИР. Работа вы-поЛ№Я<Х .6 рамках проектов №94-О]~О0169~а (Ш4~1996гг){ №37-07-30302 ; Ш77Р.99мт) и №97-01-00866 (Ш7-Ш9гг>, поддержанных РФФИ, Результаты джхертал.шшно?-! работы в в»де алгоритмического к тгро-граммного обеепечемш! для сч. истки речевых сигналов от помех Рыли использованы яри въш^лтнш Н'ЙР по тем« "ЧИНАРА-СО" (1994-199вгтр которая проводилась по постановлению правительства РФ в соответствия с планом МО РФ.

Апробация работы. Основные положения работы докладывалась на Второй м Третьей Всероссьгйскнх конференциях РРаглюзнава-яме образов и анализ изображений: новые информационные -технологии" !.РОАИ~У-95; г.Ульяткчвск. 1995 г. РО А. И-3-97, сНижка? Новгород, 1997 п); Седьмой к Восьмой Всероссийских конференциях "Математические методы распознавания обра-зов" (ММРО-7. ММРО-8, г. Москва. 1995, 1397 гг.}; Втором. Сибирском конгрессе но Прикладной и Индустриальной Математике (ИНПРИМ~У6*, г-Новосибирск, г, Результаты работы обсуждались на- научных семинарах йнстштта математики Сибирского отделения РАН, Института вычислительной математики и математической геофидики Сибирского отделения РАН,

Вошеибирсжого 1 осударетвеннсго университета. у,

Личный вклад. Выносимые на защиту результаты получены сооискателем лично. В опубликованных совместных работах участке автора заключалось в разработке и исследовании алгоритмов, их программной реализации и численном моделировании.

Создание и внедрение прикладных разработок осуществлено сотрудниками Института математики СО РАН при непосредственном участии соискателя.

Публикации. По теме диссертации опубликовано 18 работ, включая 3 отчета но научно-исследовательским работам. На защиту выносятся:

1. Совокупность результатов но решению проблемы распознавания числовых квазипериодических последовательностей, содержащая:

- точный апостериорный вычислительна алгоритм решения задачи статистической классификации, включая оценки его временной и емкостной сложности, а также оценки сверху и снизу для вероятности ошибочной классификаций;

- приближенный вычислительный алгоритм апостериорного типа для решения задачи восстановления подпоследовательности по искаженным данным (задачи обучения) вместе с оценками его временной и емкостной сложности.

2. Комплекс научно-технических средств в составе действующих систем обработки (•СВреесЬЬаЬ>') и синтеза (<СТекстофон>) речевых сигналов, разработанных в Институте математики СО РАН, включающий:

- алгоритмическое и программное обеспечение подсистемы очистки речевых сигналов от квазипериодических импульсных помех, позволяющее восстанавливать сигналы, утратившие разборчивость;

- новое конструктивное решение подсистемы сегментации и маркировки речевых сигналов, позволившее улучшить естественность синтезированной устной речи.

Объем и структура работы. Диссертационная работа изложена на 126 страницах и состоит из введения, четырех глав, заключения и двух приложений. Основной текст занимает 107 страниц, приложения 6 страниц. Иллюстративный материал включает 29 рисунков. Список литературы состоит из 165 наименований.

4.3. Выводы

Данная глава посвящена вопросам практического использования разработанных алгоритмов при решении следующих задач автоматической обработки сигналов: 1) задачи очистки речевого сигнала от аддитивной квазипериодической импульсной помехи; 2) для автоматической разметки речевых сигналов, необходимой для управления мелодическим контуром синтезированной речи.

В 1 параграфе предложен новый алгоритм выделения или детектирования полезного (речевого) сигнала из смеси с аддитивной квазипериодической помехой. Приведенное решение задачи опирается на, результаты главы 2 и относится к алостериорно-последовательным методам решения подобных задач, т.е. к методам обработки сигнала, в режиме скользящего кадра фиксированной длины. Для очистки сигнала в каждом последовательном кадре используется критерий минимума квадрата евклидова расстояния между наблюдаемым вектором и вектором помехи на, множестве всевозможных векторов, компоненты которых образуют квазипериодические импульсные последовательности. Данный критерий является оптимальным, если речевой сигнал рассматривать как некоррелированный гаус-совский процесс с нулевым математическим ожиданием и конечной дисперсией. Несмотря на то, что подобная модель речевого сигнала является довольно упрощенной, она вполне приемлема для практики.

В работе показано, что минимизация квадрата евклидова расстояния эквивалентна нахождению экстремума аддитивной целевой функции с ограничениями в виде линейных неравенств и, таким образом, для подавления квазипериодической помехи можно воспользоваться результатами 2 главы. Для обеспечения обработки наблюдаемого временного ряда в режиме скользящего кадра решена задача выбора оптимальной длины кадра, установлено правило сдвига анализируемого кадра, реализованы три варианта стыковки результатов обработки соседних кадров. В работе приведены оценки трудоемкости алгоритма, увязанные с параметрами задачи.

Работоспособность алгоритма подтверждена результатами численного моделирования и обработкой зашумленных речевых сигналов. Алгоритм позволяет восстанавливать речевые сигналы полностью утратившие свою разборчивость из-за наличия аддитивной квазипериодической помехи и, кроме того, может использоваться для скрытой передачи речи по каналам связи. Алгоритм внедрен в В/Ч 45807-Э.

Во 2 параграфе дано краткое описание разработанной в Институте математики СО РАН инструментальной системы <СЗреесЬЬаЬ^> для обработки и анализа речевых сигналов, в которой задействованы разработанные автором алгоритмы; описаны результаты применения алгоритма восстановления подпоследовательности для сегментации и маркировки речевых сигналов, использовавшихся в речевом синтезаторе ^Текстофон1», созданном в Институте математики СО РАН. Применение данного алгоритма позволило создать синтезатор русской речи по тексту, генерирующий сигнал, близкий к естественному по натуральности речи.

Разработанное алгоритмическое и программное обеспечение может быть использовано в разнообразных приложениях, связанных с автоматической обработкой и распознаванием несинхронизированных по времени данных.

ЗАКЛЮЧЕНИЕ

1. Из множества проблем обработки данных в работе выделена актуальная проблема распознавания квазипериодических последовательностей и выявлена особенность этой проблемы: необходимость решения с каждой кз классических задач - классификации и обучения - задали обнаружения моментов разладки квазипериодической последовательности,

2. Поскольку вопросы распознавания квазипериодических последовательностей ранее не были изучены, в работе "проведены: соответствующие исследования. При этом получены приоритетные результаты, ориентированные на обработку данных в условиях, когда моменты времени начала подпоследовательностей - неизвестные детерминированные величины. К этим результатам относятся решения двух новых, ранее не исследованных задач:

1) классификации квазипериодических последовательностей, включающее:

- точный вычислительный алгоритм, обеспечивающий принятие решения но критериям Байеса и максимального правдоподобия за полиномиальное время с линейными затратами по памяти,

- выражения для верхней и нижней границ вероятности ошибки распознавания, а также оценки временной и емкостной сложности алгоритма, увязанные с параметрами задачи;

2) восстановления подпоследовательности, порождающей квазипериодическую последовательность, включающее:

- приближенный вычислительный алгоритм, обеспечивающий сближение оценок членов подпоследовательности с оценками максимального правдоподобия за полиномиальное время с линейными затратами по памяти.

- оценки временной и емкостной сложности алгоритма, связанные с параметрами задачи.

3. Найденные решения позволили создать новые средства речевых информационных технологий, включающие алгоритмическое и программное обеспечение для:

1) очистки речевых сигналов от квазипериодических импульсных помех, которое дает возможность эффективно восстанавливать речевые сигналы, утратившие разборчивость;

2) сегментации речевых сигналов на, квазипериодические участки, которое позволило создать синтезатор русской речи по тексту, ге

1. Айвазян С .А., Вежаева З.Й., Староверов О.В. Классификация многомерных наблюдений -М.:Статистика, 1974240с.

2. Бонгард М.М. Проблема узнавания.-М.:Наука,'1967-320с.

3. Вапник В.Н., Червоненкис С.А. Теория распознавания образов. Статистические проблемы обучения.- МлНаука, 1974.--415с.

4. Горелик А.А., Скринкин В.А. Методы распозиавания.-М. :Высжаяшкола, 1984.-208с.

5. Дуда Р., Харт П. Распознавание образов и анализ сцен.- МлМир,1976.-511с.

6. Журавлев Ю.А., Камилов М.М. Алгоритмы вычисления оценок и их и рименение .-Ташкент: Фан,1974.-190с.

7. Журавлев Ю.А., Экстремальные алгоритмы в математических моделях для задач распознавания, ж классифижацжи //Докл. АН СССР.-М,: Н аука, 1976.-Т. 231 .-№3.-с.532-535.

8. Загоруйко Н.Г. Методы распознавания и их применение- М,:Сов.радио,1972.-207с.

9. Загоруйко Н.Г. Прикладные методы анализа данных и знаний Новосибирск: Изд-во ИМ,1999.-270с.

10. Мазуров В.Д. Математические методы распознавания образов.-Свердловск: Изд-во Ур.ГУД982.-83с.

11. Ту Дж., Гонсалес Р. Принципы распознавания образов.- М.:Мир, 1978.-416с.

12. Фу К. Структурные методы в распознавании образов.- М.:Мнр,1977.-319с.

13. Пушкин Я.З. Основы теории обучающих систем.- М.:НаукаД970.252с.

14. Айвазян С .А., Бухштабер В.М., Енюков И.О., Мешалкин Л .Д.

15. Прикладная статистика: Классификация и снижение размерности .-М.гФинансы и статистик а, 1989.-60 8с.

16. Андерсон Т. Введение в многомерный статистический анализ.-М.:Физматгиз, 1963.-500с.

17. Вапник В.H. Восстановление зависимостей по эмпирическим дан-ным.-М. : Наука, 1979 .-448с.

18. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа.-М.¡Финансы и статистика,!986 .-232с.

19. Патрик Э.А. Основы теории распознавания образов. М.:Сов. радио, 1980.-408C.

20. Фукунага К. Введение в статистическую теорию распознавания образов.~М.:Наука, 1979.-367с.

21. Абусев P.A. О сравнении поточечной и групповой классификации в случае многомерного распределения //Статистические методы.-Пермь,1982.-е. 3.(Перм. ун-т).

22. Абусев P.A., Лумельский Я .П. Несмещенные оценки и задачи классификации многомерных нормальных совокупностей //Теория вероятностей и ее применения-1980.-№2,-с.381~389.

23. Абусев P.A., Лумельский Я IL Статистическая групповая классификация- Пермь,1987.-92с.(Перм. ун-т).

24. Абусев P.A. О групповом подходе в распознавании образов //IV Всес.конф. "Мат. методы распознавания образов" (MMPO-ÏV): Тез. докл.-Рига, 1989.-Ч. 1.-С.З-5.

25. Клигис В.И. Групповая классификация многомерных марковских последовательностей //Статистические проблемы управления.- Вильнюс, 198 1 .-ВЫП.50.-С.57.

26. Клише В.И, Групповая кл ассифмкация серий многомерных наблюдений //Тез.докл. /Перм. ун-т.-Пермь, 1984.-с.81.

27. Абусев P.A. Групповая классификация,. Решающие правила и их характеристикиПермь: йзд-во Перм. уа~та,1992.~ 219с.

28. Duncan A.J. Quality control and industrial statistics.- N.Y.i Irwin, 1974.- 992p.

29. Page E.S. Continuons inspection schemes /YBiometrika.--1954.-Vol.41, .-p.lOG-l 15.

30. Page E.S. A test for a change in a parameter occiirmg at an unknown point // Biometrika,-1955Vol 42, IN.-p.523-527.

31. Ashish Sen, Mini S. Srivastava. On multivariate tests for detectingchange in mean //Sankhya.-1973 .-ser.A.-Vol.35Д*2,-р. 173-186.

32. Ashish Sen, Mini S. Srivastava. Some one-sided test for change in level / /Teclmometrics.-1975 .-Vol. 17 1 .-p.61-64.

33. Ashish Sen, Mini S. Srivastava. On tests for detecting change in mean //Ann. of Stat.-1975.-Vol.3,M.-p.98-108.

34. Вородкин Л .И., Моттль В.В. Алгоритм обнаружения моментов изменения параметров уравнения случайного процесса //Автоматика и телемеханика.-197б .-№«б,-с.23~32.

35. Hinkley D.V. Inference about the change-point from cumulative sum tests //Biometrika.-1971.-Voi.58,M3.-p.509-523.

36. Hinkley D.V. Time-ordered classification //Biometrika.-1972.-Vol.59, jV*3.-p.509-523.

37. Johnson R.A., Bagshaw M.L. The effect of serial correlation on the per-fomance ofCUSOM tests. i,H //Tedmometiics.-1974.- Vol. 16,^1.-p.73-80,1975 Vol. 17 ,JM .-p.103-112.

38. Johnson R.A., Bagshaw M.L. Sequential procedures for detecting parameter changes in a time-series model //JASA -1977 .-VoL72,N»359 -p.593597.

39. Липейкеяе И. Определение момента изменения свойств случайной последовательности, описываемой моделью авторегрессии скользящего среднего //Статистические проблемы управления-Вильнюс, 1973-ВЫП.7.-С.65-75 (йн-т физики и математики АН ЛитССР).

40. Никифоров И.В. Применение последовательного анализа к процессам авторегрессии //Автоматика и телемеханика-1975.-Л"й8.-с. 174-177.

41. Никифоров Й.В. Применение кумулятивных сумм для обнаружения и изменения характеристик случайного процесса //Автоматика и. телемеханика -1979 ~Ng2.-c.48-58.

42. Никифоров И.В. Модификация и исследование процедуры кумулятивных сумм //Автоматика и телемеханика.-1980.-^й9.-с.74-80.

43. Pettit A.N. A simple cumulative sum type statistic for the change point with zerooue observations //Biometrika.-1980-Vol.67,Ksl.-p.79-84.

44. Cobb W.G. The problem of the Nile; condiyional solution to a change-point problems //Biometrika.-1978.-VoL65,;^2.-p.243-25L

45. Hinkley D.V. Inference about the change-point in a sequence of ¡random variables //Biometrika.-1970-Vol.57Д«1.-р.1-17.

46. Hinkley D.V. inference about the change point in a sequence of binomial variables //Biometrika.-1970.^ol.57,N*3.-p.477-488.

47. Клигене Н.й. Определение момента изменения свойств авторегрессивной последовательности //Техническая кибернетика. Материалы XXII республиканской науч.-техн. конф. Каунас: Каунасский политехи. ин-т, 1972.-е.222-225.

48. Клигене Н.И. Решение задачи об изменении неизвестных параметров последовательности авторегрессии //Литовск. матем. сб.-1973.-т.ХН I ,№2 .-с. 217-218.

49. Клигене Н.И. Точное распределение оценки максимального правдоподобия момента изменения параметров авторегрессии //Статистические проблемы управления.- Вильнюс, 1978.-вып-31.-е.9-29 (йн-т математики и кибернетики АН ЛитССР).

50. Линейка. А.К, Оценка точности момента изменения свойств случайной последовательности //Статистические проблемы управления.-Вильнюс. 1973.-ВЫП.7.-С.76-87 (йн-т физики и математики АН ЛитССР).

51. Линейка- А,К. Определение изменений свойств последовательностей авторегрессии //Статистические проблемы управления.-Вядышс, 1975 -выи.12.-е.27-41 (Йн-т физики и математики АН ЛитССР).

52. Линейка А.К. Определение моментов изменения свойств авторегрессионной последовательности //Статистические проблемы унра.-вления.-Вйльнюс, 1977.-вып.24.~с.27-71 (йн-т математики и кибернетики АН ЛитССР).

53. Ляяейка А.К. Об определении моментов изменения свойств авторегрессионной последовательности //Статистические проблемы управления-Вильнюс , 1979.-вып.39.--c.9-23 (йн-т математики и кибернетики АН ЛитССР).

54. Липейкене И.К. Определение момента изменения свойств последовательности авторегрессии скользящего среднего //Статистическ иепроблемы упра.вления.-Вжльнюс, 1977.-вын.19.-с.9-27 (йн-т математики и кибернетики АН ЛитССР).

55. Сенкус А. Об опенке момента изменения параметров авто регрессионной последовательности //Статистические проблемы управления.™ Вильнюс, 1973.-вып.7.-с.19-29 (Ин-т физики и математики АН ЛитССР).

56. Cbernoff Н», Zacs S, Estimating the current, mean of normal distribution which is subjected to change in time //Ann. Math. Stat.,- 1964.-Уо1.35ДаЗ.-р.999-1018.

57. Дарховский B.C. Непараметрический метод для апостериорного обяару жения момента " разладки" последовател ьности независимых случайных, величин //Теория вероятностей ж ее применения.- 1976.-т.ХХ1,выпЛ.-с.180-184!

58. Дарховский B.C. Бродский Б.Е. Апостериорное обнаружение момента "разладки" случайной последовательности //Теория вероятностей и ее применения.- 1.980.-T.XXV,вып.3.-с.476-489.

59. Линкин В.И., Наумов В.Н. Один адаптивный алгоритм определения изменений характеристик наблюдаемого случайного процесса //Проблемы передачи информацни.~1972.-t.V1I.-c.40-45.

60. Smith А,F. Bayeeian approach to inference about the change-point in a sequence of random variables? //Biometrika.~1975.-VoL62,K83.-p.407~416.

61. Бродский Б.Е., Дарховский B.C. Сравнительный анализ некоторых непараметрических методов скорейшего обнаружения момента "разладки" случайной последовательности //Теория вероятностей и ее применения.-1990 -т.XXXV ,вып.4.-с.655-668,

62. Бродский Б.Е., Дарховский B.C. О задаче скорейшего обнаружения момента изменения вероятностных характеристик случайной последовательности //Автоматика и телемеханика.-1983.-Ж81.0 .-с.101-108.

63. Lordert G. Procedures of reacting to a change in distribution //Ann. Math. Statist.-1971 .-Vol.42Д£б ~p.1897-1908.

64. Polla,к M., Siegrmmd D. Approximation to the expected sample size of certain sequenyial tests //Ann. Statist.-1975.-Vol.3.-p.l267-1282.

65. Poliak M. Optimal detection of a change in distribution //Ann. Statist.-1985 .-Vol. 13 Д® 1 .~p .206-227.

66. Дарховский Б.С. О двух задачах оценивания моментов изменения вероятностных характеристик случайной последовательности //Теория вероятностей и ее применения.-1984.-т.ХХ1Х,вьш.З.-с.464-473.

67. Дарховский B.C. Ненараметрический метод оценивания интервалов однородности случайной последовательности //Теория вероятностей и ее применения.-1985.-т.ХХХ?выи.4.-с.795-799.

68. Willsky A.S. A survey of design methods for failure detection in dynamic systems //Atttomatica, Journal ofIPAC.-1976.-VoL12.-p.601-611.

69. Телькснис Л .А. О применении оптимального байесова алгоритма обучения при определении моментов времени изменения свойств случайных сигналов //Автоматика и телемеханика -19б9.-Ха6.-с.52-58.

70. Gardner L.A. On detecting change in the mean of normal variables //Ann. Math. Statist.-1969.-\'о1.40Д51.-p. 116-126,

71. Hinkley D.V., Hinkley Б .A. Inference about the change-point in a sequence of binomial variables //Biometnka -1970-Vol.57,K«3-p.477-488.

72. Pettit A.N. A ncm-pai'ainetric approachto the change-point problem //Appl. Statist1979.-Vol .28 Д*2 ~p.126-135.

73. Клигине 14., Телькснис Л. Методы обнаружения моментов изменения свойств случайных процессов //Автоматика и телемеханика-1983.~Яа10.-с.5-66.

74. Jones R.H., Crowe!! DJHL, Kapimiai L.E. A method for detecting change in a time series applied to newborn BEG //Electroencephalography and Clinical Neurophysiology.-1969.-Vol.27.~ p.436-440.

75. Jones RiL, Crowell D.H., Kapuniai L.E. Change detection model for seriaiy correlated multivariate data //Biometrics.-1970.-Vol.26,Ks2.-p.269-280.

76. Каминскас B.A., Шепените Д.А. Обнаружение изменения параметров процесса, авторегрессии //Тр. АН ЛитССР.-1975.-сер. В.-т.4(89)с.143-147.

77. ГХреториус. Х.М. Боденштайн Г. Выделение признаков из электроэнцефалограммы методом адаптивной сегментации //ТИИЭЕ-1977 .-т.65 Да5 .-с .59-71.

78. Монтвилас. A.M. Определение изменения свойств случайных сигналов при неизвестных параметрах этих сигналов //Статистические проблемы управления .-Вильнюс, 1973.- вып. 7.- с. 8 -20 (Ин-т физики и математики АН ЛитССР).

79. Телькснис Л., Черняускас В. Определение наиболее вероятного момента изменения характера одного класса, случайных процессов при неполных априорных данных //Материалы науч. конф. молодых ученых Литовской ССР.- Вильнюс,1967.-с.239-242.

80. Телькснис Л .А. Определение наиболее вероятных моментов времени изменения свойств случайных сигналов //Автоиатика и вычислительная техника.~1970.~вын Л .-с.24-27.

81. Телькснис Л .А., Черняускас В.Ю. Определение изменений свойств случайных сигналов- //Статистические проблемы управления.- Вильнюс,'1971 -ВЫН.1.-С.9-30 (Ин-т физики и математики АН ЛитССР).

82. Монтвнлас А. Определение изменения состояний стохастической системьгв начале интервала наблюдения //Статистические проблемы управления,- Вильнюс, 1976.-вып. 15.-е. 103-11.6 (йн-т физики и математики АН ЛитССР).

83. Клигине Н.И. Сравнительный анализ оценок момента изменения параметров авторегрессии //Статистические проблемы управления.-Вильнюс,1980.-вып.44.-с.9-27 (йн-т математики и кибернетики АН1. ЛитССР).

84. Монтвнлас A.M. Определение изменения свойств авторегрессионной последовательности прн неизвестных параметрах //Статистические проблемы управления.- Вильнюс,1973.-вып.7 -с,21-39 (йн-т физики и математики АН ЛитССР).

85. Телькснис Л,А, Изменение параметров распределений случайных процессов методом Вайеса // Теория и практика измерений статистический (вероятностных) характеристик: Материалы I Всес. конф., Ленинград, 1973.-е,87-96.

86. Ширяев А.Н. Статистический носледовательный анализ.- М.: Наука,'1969.-231C.

87. Линейка А.К. Классификация автерегрессионных последовательностей со скачкообразно меняющимися параметрами //Статистические проблемы управления.-Вильнюс, 1978.-вып.30.-с.9-28 (йн-т математики ж кибернетики АН ЛитССР).

88. Клигене Н., Клише В. Исследование локально стационарной модели авторегрессии при помощи информационного критерия АЮ //Статистические проблемы унравления.-Вильнюс, 1979.-вып.39.~с.25-44

89. Ин-т математики и кибернетики АН ЛитССР).

90. Линейка А. Определение моментов изменения свойств авторегрессионных последовательностей с неизвестными параметрами //Статистические проблемы управления-Вильнюс, 1982.-вып.54.-е.9-27 (йя~т математики и кибернетики АН ЛитССР).

91. Монтвилас А. Обработка результатов наблюдений при определении изменения свойств случайных сигналов //Статистические проблемы управления.- Вильнюс, 1973.-вып.7.~с.41 -53 (Нн~т физики и математики АН ЛитССР).

92. Дарховский B.C., Бродский Б.Е. Апостериорное обнаружение момента "разладки" случайной последовательности //Теория вероятностей ж ее применения.- 1980.-т.ХХ"У,вып.З.-с.476-489.

93. Wise J.D., Capiio J.R., Parks T.W. Maximum likelihood pitch esti-matkm //IRRR Trans, on acoustics, speech and signal processing-1976 Vol. ASSP-24 Д®5 (October) .-p.418-423.

94. Трифонов АЛ., Беспалова М.Б. Оценка периода следования прямоугольных импульсов с неизвестными амплитудами //Радиоэлектро-ника.--1995 L-c.3-13,

95. Ширяев А.Н. Об оптимальных методах в зада,чах скорейшего обнаружения //Теория вероятностей и ее применения.- 1963.-t.VIII,вып. 1.-е. 26-51.

96. Ширяев А.Н. Некоторые точные формулы в задаче о "разладке" //Теория вероятностей и ее применения,- 1965.-вьш.2.-с.380-385.

97. Ширяев А.Н. Стохастические уравнения нелинейной фильтрации скачкообразных марковских процессов //Проблемы передачи информации- 1966 .-т. 2, выи .3.-е,,3-22.

98. Ширяев А.Н. Обнаружение спонтанно возникающих эффектов

99. Докл. АН СССР -1961 -т. 138 J4-с.799-801.

100. Ширяев АЛ. Задача, скорейшего обнаружения нарушения стационарного режима //Докл. АН СССР.-1961.-т.138^5.-с.1039-1042.

101. Newbold P.M., Ya Chi Ho. Detection of changes in the characteristics of a Gauss- Markov process //IEEE Trans. Aerospace and Electronic Systems.- 1968.-Vol. AES-4^5.-p.707-718.

102. Davis M.H.A. The application of nonlinear filtering to fault detection in linear systems //IEEE Trans. Automat. Control.-1975.-Vol.АС~20Дй2.p.257-259.

103. Никифоров И.В. Об оптимальности первого порядка алгоритмаобнаружения разладки в векторном случае //Автоматика и телемеха-ника.-1994.-№1.-с.87-105.

104. Величко В.М., Загоруйко Н.Г. Автоматическое распознаваниеограниченного набора устных команд //Вычислительные системы.-Новосибирск 51969 .-вып .36. -с Л 01-110.

105. ПО. Винцюк Т.К. Распознавание слов устной речи методами динамического программирования //Кибернетша.-1968.~№1.-с.$1-88.

106. Винцюк Т.К. Анализ, распознавание и смысловая интерпретация речевых сигналов.- Киев:Наукова думжа,1987.-262с.

107. Сакоэ X., Чиба С. Оценка подобия речевых образов методом динамического программирования (на японском языке)// Dig. 1970 Nat.Meeting, Inst.Electron.Comm.Eng.-Japan, 1970, July.-p.136.

108. Salioe H., Chiba S. A dynamic programming approach to continuos speech recognition //Proc. 7-th Int. Congi. Acoustics, Budapest, Aug.,-1971. -Vol.3.-p .65-68.

109. Тихонов В .И. Оптимальный прием сигналов.- Мл Радио и связь, 1983.-320с.

110. Левин В,Р. Теоретические основы статистической радиотехники. Книга 2.~М.:Сов. радио,1975-392с,,

111. Куликов Б,И. Вопросы оценок параметров сигналов при наличиипомех.- Мл Сов. радио,.969.~244с„

112. Миддлтон Д. Введение в статистическую теорию связи, т. IL M.: Сов. радио, 1962-832с.

113. Миддлтон Д. Очерки теории связи.- М.: Сов. радио,1966.-18ÛC.

114. Фалькович С.Е. Оценка параметров сигнала- М.: Сов. радио, .1970 .-336с.

115. Вопросы статистической теории радиолокации /Под ред. Тарта.-ковского Г.П., т.Н.-М.:Сов. радио. 1964.

116. Ширман Я .Д., Голиков В.Н. Основы теории обнаружения радиолокационных сигналов и измерения их параметров.- Мл Сов. радио, 1963.-278с.

117. Келли Е. Радиолокационное измерение дальности, скорости и ускоренин //Зарубежная раддоэлектроника.-1962.-Ж«2.-с.35~47.

118. Sage А .P., Melsa J.L. Estimation theory with applications to communications and control.- Ms. Graw~HUi~i971.

119. Вакут П.А., Жилина Ю.В., йванчук H.A. Обнаружение движущихся объектов.- МлСов. радио,1980.-288с.

120. Большаков И.А. Статистические проблемы выделения потокасигналов из шума- М.гСов. радиоД969.-464с.

121. Сосулин Ю.Г. Теория обнаружения и оценивания стохастических сигналов,- М.:Сов. радио,1978.-32ÖC.

122. Трифонов А.П., Шинаков Ю.С. Совместное различение сигналов и оценка их параметров на фоне помех.- М.:Радио и связь,1986.-264с.

123. Миддлтон Д. Эспозито Р. Новые результаты, в теории одновременного обнаружения сигналов и оценки их параметров в шуме //Проблемы передач и информации-1970 -W2 -с .3-12.

124. Кай лат Т. Метод порождающего процесса в применении к теории обнаружения и оценки //ТййЭР.-197$.-№5.

125. Сосулин Ю.Г., Стратонович Р.Л, Оптимальное обнаружение диффузионного процесса в белом шуме //Радиотехника и шюктроника.-196о.-№5.

126. Сосулин Ю.Г. Оптимальное обнаружение марковских сигналов на фоне марковских помех при дискретном времени //Техническая кибернетика-1966-№4.

127. Стратонович Р.Л., Сосулин Ю.Г. Оптимальное обнаружение марковского процесса в шуме //Техническая, кибернетика.- 1964.-К?6.

128. Репин В.Г., Тартаковский Г.П. Статистический синтез яри априорной неопределенности м адаптации информационных систем.- М.: Сов. радио, 1977,'-432с.

129. Бухалев В.А. Распознавание, оценивание ж управление в системах со случайной скачкообразной структурой.- М.:Наука,Физматлит.-1996.

130. Кельманов А.В., Кутненжо О.А. Нижняя граница вероятности ошибки распознавания квазипериодической последовательности импульсов, искаженной гауссовсжой некоррелированной помехой //Сибирский журнал индустриальной математ лки.~3 998 ,-т. 1 ,-с. 113-126.

131. A.V.KeTraanov, O.A.Kutnenko. On the Bounds, of the Error Probability in Group Classification of Quasi-Periodic Sequences //Pattern Recognition and Image Analysis. 1998rVol.S-p. 125-127.

132. Кельманов А.В., Кутненко О.А., Садоматина Н.В,, Хайретдино-ва А.Р., Хамидуллин С .A. M акроволновый синтез речи по тексту /'/ Тез. докл. 2-й Всероссийской с участием стран СНГ конференции

133. Распознавание образов и анализ изображений: новые информационные технологии" РОАИ-2-95, Ульяновск, август-сентябрь 1995. Ч.З. - Ульяновск, 1995.-c.121-123.

134. Кутненко О.А. Алгоритм очистки речевого сигнала от квазипериодической помехи .// Тез. докл. 8-ой Всероссийской конференции "Математические методы распознавания образов" (ММРО-8), Москва, 1997,- Москва, ВЦ РАН, 1997.-еЛ82-183.

135. Кутненко О.А. Алгоритм очистки речевого сигнала от квазипериодической помехи // Вычислительные системы / РАН. Сиб. отд. Институт математики. Новосибирск, 1998.- выл Л 63: Анализ данных и сигналов.-с.63-81.

136. A.V.Kel'manov, O.A.Kutnenko, S.A.Khamidullin. Instrumental System for Processing and Analysis of Speech Signals //Pattern Recognition and Image Analysis, 1998.-Vol.8,№3-p.361-362.

137. Сапожков M.A. Речевой сигнал в кибернетике и связи М.: Связь-издат,1963.-452 с.

138. Рабинер Л .Р., Шафер Р.В. Цифровая обработка речевых сигна,-лов.- М.: Радио и связь,1981.-495 с.

139. Лим Дж.С., Оппенхайм А.В. Коррекция и сжатие спектра за-шумленных речевых сигналов //ТИИЭР. -1979.-Т.67.~Ш2.-с.5-26.

140. Parsons T.W. Separation of speech from, interfering speech by means of harmonic selection //J. Aamst.Soc.Amer-1976.-Vol.60, Oct.- p.911-918.

141. Sambur M.R. Adaptive noise cancelling for speech signals //ШВЕ Trans.Acoust.,Speech,Signal Proc.-1978.-Vol .ASSP-26, Oct.- p.419-423.

142. Kaunitz J. Adaptive filtering of broadband signals as applied to noise cancelling.- Stanford Electronics Lab., Stanford Univ., Stanford Calif., Rep. SU-SEL-72-038, Aug. 1972 (Ph.Dissertation).

143. Адаптивные компенсаторы помех. Принципы построения и применения /Уидроу, Гловер, Маккул и др. //ТЙИЭР.-1975.-Т.63,-*Г*12.-с.69-98,

144. Маркел Дж.Д., Грей А.Х. Линейное предсказание речи: Пер. с англ. /Под ред. ЮЛ. Прохорова, B.C. Звездина.- М.:Радио и связь.1980.-308 с.

145. Rabiner L.R., Cheng MJL, Rosenberg А.Ё., Mcgonegal A.M. A comparative perfomance study of several pitch detection algorithms //IEEE Trans. Acous. Speech, Signal Processing.-1976.-Vol.ASSP-24, Oct.-p.399-418.

146. Келъмамов А.В. Алгоритм выделения основного тона по разностной функции ряда остаточных ошибок модели авторегрессии // Ме тоды обнаружения закономерностей с помощью ЭВМ.- Новосибирск,1981,- вып. 91: .Вычислительные системы .-с. 113-124.

147. Dologlou L., Carayannis G. Pith detection based on zero-phase filtering //Speech Communication.-Vol.8,.^4,- Dec. 1989- p.309-319.