автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Методы обработки нестационарных сигналов, основанные на скрытых марковских моделях

На правах рукописи

Королёв Алексей Викторович

иО3462204

МЕТОДЫ ОБРАБОТКИ НЕСТАЦИОНАРНЫХ СИГНАЛОВ, ОСНОВАННЫЕ НА СКРЫТЫХ МАРКОВСКИХ МОДЕЛЯХ

05.12.04 - Радиотехника, в том числе системы и устройства телевидения

Автореферат диссертации на соискание ученой степени кандидата технических наук

/I о себ

Нижний Новгород - 2009

003462204

Работа выполнена на кафедре «Электроника и сети ЭВМ» Нижегородского государственного технического университета им. P.E. Алексеева

Научный руководитель: кандидат технических наук, доцент

Семашко Алексей Владимирович

Официальные оппоненты: доктор технических наук, профессор

Плужников Анатолий Дмитриевич

кандидат физико-математических наук Шапошников Дмитрий Евгеньевич

Ведущая организация: ФГУП «НЛП Полет»

Защита состоится 12 марта 2009 года в 15 часов на заседании диссертационного совета Д 212.165.01 при Нижегородском государственном техническом университете им. P.E. Алексеева по адресу: 603950, г. Нижний Новгород, ул. Минина, 24

С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. P.E. Алексеева.

Автореферат разослан » февраля 2009 г.

Ученый секретарь диссертационного совета ■Stp JW-Jjffi-, Назаров A.B.

Ф

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы: Работа посвящена исследованию и разработке методов анализа и обработки нестационарных случайных сигналов на основе применения скрытых марковских моделей со случайными скачкообразными изменениями параметров.

Скрытые марковские модели являются методологической основой для исследования многих современных радиотехнических систем: они активно используются для фильтрации сигналов, для нахождения оценок состояний радиотехнических систем, а также применяются в разных задачах структурного анализа. Скрытые марковские процессы нашли широкое применение в сфере телекоммуникаций, они используются для оценивания параметров сигналов при неизвестных характеристиках каналов связи.

При решении задач обработки скрытых марковских моделей обычно предполагается, что статистические характеристики информационных сигналов и структура наблюдений известны и постоянны во времени или же изменяются во времени, однако закон этого изменения заранее известен. Вместе с тем в большинстве практических задач различные измерительные радиотехнические системы работают в условиях нестационарной обстановки со скачкообразными изменениями параметров или импульсными возмущениями, возникающими в случайные заранее неизвестные моменты времени. Учет скачкообразных изменений параметров или импульсных возмущений сигналов необходим в системах связи при резком изменении уровня помех или случайных замираниях сигнала, в системах распознавания изменяющихся образов, в следящих системах сопровождения при маневрах цели. Таким образом, можно сделать вывод об актуальности, рассматриваемых в диссертации методов обработки и анализа структуры случайных нестационарных сигналов со скачкообразно изменяющимися параметрами в дискретном времени.

Цель работы: Разработать и исследовать алгоритмы обработки сигналов для скрытых марковские моделей со случайным скачком

параметров, которые бы позволяли, выбирая априорную статистку момента появления скачка, находить момент скачкообразного изменения параметров сигналов, оценивать последовательность скрытых состояний и вычислять параметры как для модели с дискретными наблюдениями, так и для модели с непрерывными наблюдениями на фоне адцитивных шумов. Задачи работы:

1. Получить уравнения алгоритма декодирования сигналов для скрытых марковских моделей, обобщающих алгоритм Витерби на случай скачкообразного изменения параметров в случайный момент времени для модели с дискретнозначными наблюдениями. С целью проверки работоспособности провести моделирование синтезированного алгоритма.

2. Получить уравнения обобщенного алгоритма Витерби для скрытых марковских моделей со случайным скачком параметров, который позволяет оценивать последовательность состояний по данным непрерывных наблюдений принимаемых на фоне аддитивных гауссовых шумов. Провести моделирование синтезированного алгоритма.

3. Разработать алгоритм интерполяции сигналов и оценивания момента появления скачка параметров для скрытых марковских моделей, со скачкообразным изменением параметра в случайный момент времени.

4. Получить уравнения для оценки параметров скрытых марковских моделей, обобщающих алгоритм Баума-Уелша на случай скачкообразного изменения параметров модели в случайных момент времени с дискренозначными наблюдениями. Получить уравнения для оценки апостериорной вероятности момента появления скачка. Исследовать зависимость точности оценивания параметров модели от числа их последовательных корректировок. Исследовать зависимость точности оценивания параметров от момента появления скачка

параметров. Исследовать работу алгоритма при условии малой вероятности скачка параметров.

5. Синтезировать алгоритм для оценки скачкообразно изменяющихся параметров скрытых марковских моделей для случая приема смеси наблюдаемой величины и аддитивного гауссовского шума. С целью проверки работоспособности провести моделирование алгоритма.

Методы решения. При решении поставленных задач использовались методы теории оптимальной обработки сигналов, методы марковской теории нелинейной фильтрации случайных процессов, методы обработки скрытых марковских процессов, а также общие методы теории вероятностей и теории статистической радиотехники.

Научная новизна работы заключается в следующем:

1. Исследованы модели скрытых марковских процессов со скачкообразным изменением параметров модели в случайный момент времени и получены уравнения обобщенного алгоритма Витерби для оценивания последовательности скрытых состояний.

2. Для оценивания скрытых марковских процессов в обобщенной модели со скачкообразным изменением параметров был применен аппарат теории оптимальной нелинейной фильтрации сигналов, что позволило:

Разработать алгоритмы оптимального оценивания последовательности скрытых состояний и момента появления скачка параметров путем интерполяции, т.е. анализа данных всей последовательности наблюдений;

- Разработать алгоритмы оценивания параметров обобщенной марковской цепи до момента и после момента их случайного скачкообразного изменения как для случая приема дискретнозначных наблюдений, так и для случая приема смеси наблюдаемой величины и аддитивного гауссова шума.

Практическая ценность. Полученные алгоритмы могут существенно улучшить качество и расширить область применения скрытых марковских

моделей в радиотехнических системах с существенно нестационарной обстановкой со случайными скачкообразными изменениями параметров, а именно:

1. В системах связи при резком изменении уровня помех или случайных замираниях сигнала.

2. При случайном возникновении помех в системах распознавания речи и образов.

3. При диагностике сложных технических систем, где часто необходимо оценивать переменные, характеризующие состояние системы, и своевременно обнаруживать скачки параметров, приводящие к нарушению нормального режима ее работы.

Разработана схема оценивания характеристик канала связи и приема данных на базе скрытых марковских моделей со случайным скачкообразным изменением параметров задачах оценивания характеристик канала связи без использования тренировочных последовательностей. Показано, что использование алгортимов обработки скрытых марковских моделей со случайными скачкообразными изменениями параметров в системах связи без использования тренировочных последовательностей позволяет улучшить качество приема и при этом обеспечить устойчивость относительно временных изменений характеристик канала связи. Положения, выносимые на защиту

1. Алгоритм оценки состояний процесса позволяет по данным реализации наблюдений {ук,к = ¡7?} и при известных параметрах модели отыскать оценку удовлетворяющую критерию максимума апостериорной вероятности

£1 = аг%тах.Р(х1\у1) для сигналов, описываемых скрытой марковской

4

моделью, со скачкообразным изменением параметров в случайный момент времени.

2. Алгоритм интерполяции позволяет по данным реализации наблюдений = и ПРИ известных параметрах модели вычислять апостериорные

вероятности Р(хк\у1), Р(к = г|у]) состояний скачкообразно изменяющихся скрытых марковских моделей и момента их скачка.

3. Алгоритм оценки параметров позволяет по реализации наблюдений путем коррекции априорных значений параметров найти оценки условных вероятностей переходов и параметры распределения наблюдаемых величин, удовлетворяющих критерию локального максимума функции правдоподобия

таха |{л-01}, {в,01}, а также вычислить оценку момента

дискретного времени г, при котором происходит скачок параметров.

Публикация результатов

По теме диссертационной работы опубликованы семнадцать работ из них пять статей, тезисы одиннадцати докладов, в том числе пять статьей в изданиях рекомендованных ВАК.

Апробация результатов

Основные результаты диссертации докладывались на VII Международной научно-технической конференции «Математические методы и информационные технологии в экономике», на седьмой нижегородской сессии молодых ученных, на 6-й Международной конференции «Цифровая обработка сигналов и ее применение 08РА», на тринадцатой Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве», на научных конференциях по радиофизике, на научных семинарах Института радиотехники и информационных технологий НГТУ.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и библиографического списка. Объем работы составляет 183 листа и содержит 37 рисунков. Список литературы включает 87 наименований.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении к диссертации обосновывается актуальность темы исследований, приведен краткий обзор работ по методам обработки скрытых марковских процессов и ' методам теории оптимального оценивания сигналов. Сформулированы цели работы, в аннотированном виде изложены основные результаты диссертационной работы.

В первой главе диссертации делается обзор существующих методов обработки скрытых марковских моделей и их использования в системах распознавания речи.

В п. 1.1 дается определение скрытых марковских моделей и их основных элементов и рассмотрен пример перехода от модели, описываемой марковской цепью, к скрытой марковской модели. Показана связь между состояниями наблюдениями и парамтрами СММ (рисунок 1).

Рисунок 1. Графическое представление зависимостей между состояниями и наблюдениями в скрытой марковской модели.

Во втором параграфе рассмотрены основные задачи обработки СММ и приведены методы решения трех основных задач обработки скрытых марковских моделей.

В п. 1.3 рассмотрена возможность применения СММ на примере системы распознавания речевых команд. Рассмотрена общая схема распознавания речи с испольованием СММ и основные принципы распознавания речи на базе скрытых марковских моделей и методы их использования при построении систем распознавания.

Показана общая схема распознавания речи и описаны элементы системы распознавания речи. Рассмотрена различные типы скрытых моделей используемых в практических задача.

Во второй главе рассматриваются задачи оптимального оценивания последовательности состояний для моделей скрытых марковских процессов, обобщенных на случай скачкообразного изменения параметров в случайный момент времени.

В п. 2.1, п. 2.3 предполагается, что в дискретном времени последовательность наблюдений {укУк = \,Т} статистически связана с

последовательностью скрытых состояний {хк,к = 1,Т} следующими условными вероятностями:

Р{Ук=¥т\хк=Хрк) = Ь^к,¥т) =

_ 'Ь°(к,¥а) = Р°(ук=¥т\хк=Х;) при 1 <А<г, (1)

Ь)(к, ¥я) = Р\ук =¥п\хк=Х;) при т<к< Т,

Здесь Р°(ук=¥т\хк=Х;), Р\Ук=¥т\хк=Х;) - известные условные вероятности наблюдений, ¥т - наблюдаемая дискретная величина из набора т = \,М значений, X) - скрытое состояние из набора у = значений, г - неизвестный момент времени, при котором происходит скачкообразное изменение параметров модели.

Марковская последовательность скрытых состояний описывается вероятностью переходов следующего вида:

Р(хк=Х]\хкА=Х1,к) = а11(к) =

а°(к) = Р\хк=Х,\хк_,=Хпт) при \<к<т, (2)

а\(к)^р\хк=Х^хк,1=Х1) при т <к<Т,

0,7 = 1,^); и вероятностью начальных состояний:

\п^Р\х(> = Х1) при г >О, Р(х0 = Х/) = л,=\ (3)

[7г'^р\х0 = Х1) при г < 0,

■(/=Плг).

Здесь Р\хк=Х,\хк_х=Х1), Р\х„=Х^хк.х=Х,), />° (*„=*,■),

Р\х0 =Х!) - априорно известные вероятности в рассматриваемой модели.

Графически описанную модель при к = т можно представить в виде, показанном на рисунке 2.

Рисунок 2. Графическое представление зависимостей между состояниями и наблюдениями в скрытой марковской модели со скачком параметров.

В п. 2.1 выводятся уравнения обобщенного алгоритма Витерби для фильтрации сигналов, основанных на скрытых марковских моделях со скачкообразным изменением параметров в случайный момент времени (1)-(3). Алгоритм позволяет находить оптимальные по критерию максимального правдоподобия последовательности состояний модели

х1 = ащтахР(х1\у{).

*0

Рассматривается частный случай скачкообразного изменения матрицы переходов в случайный момент времени. Для рассматриваемого случая с целью проверки работоспособности проводится моделирование обобщенного алгоритма Витерби и исследуется зависимость точности оценивания

состояний процесса от частоты переключений между состояниями, определяемой матрицей условных вероятностей переходов.

Основываясь на результатах моделирования, можно сделать вывод, что полученный обобщенный алгоритм Витерби для оценивания скрытых марковских процессов в модели с неизвестным временем скачка параметров характеризуется высокой точностью оценивания и хорошим быстродействием.

В п. 2.2 рассматривается задача оценивания апостериорных вероятностей состояния модели Р(.хк\у]) и неизвестного момента появления скачка параметров Рт(т\у1). Данная задача является более общей, чем задача отыскания максимально правдоподобной оценки последовательности состояний {хк,к- О,Г}, т.к. наиболее полную информацию об оцениваемом состоянии модели содержит апостериорная вероятность Р(хк |_у(г), найденная при условии, что на интервале времени к = 1, Т наблюдается процесс {ук, к = 1, Г}.

Выбирая затем критерий оптимальности, по вероятностям Р(хк Рг(т | у^) можно находить оптимальные оценки момента появления скачка параметров и оценки состояний модели, а также исследовать точности формируемых оценок.

В п. 2.2 для модели (1) - (3), используя математический аппарат теории нелинейной фильтрации марковских случайных процессов, выводятся уравнения алгоритма оценивания апостериорных вероятностей состояния модели Р(хк I у,г) и неизвестного момента появления скачка параметров Рт(г\у[). С целью проверки работоспособности проводится моделирование работы алгоритма для частного случая скачкообразного изменения матрицы переходов в случайный момент времени. По критерию максимального правдоподобия вычисляются оптимальные оценки последовательности скрытых состояний и момент времени появления скачка параметров.

В третьей главе рассматривается задача оценивания изменяющихся параметров модели и времени скачка параметров в модели нестационарных скрытых марковских процессов.

Как и во второй главе, модель задается уравнениями (6)-(8), но при этом предполагается, что параметры модели до момента появления скачка (при к < г) и после появления скачка (при к > т) не зависят от времени, т.е. 4(к) = 4, 4(к)=4, Ь](Гя,к)=ЬХГа), Ь)(Ут,к)=Ь)(Ут),

(/,} — 1 = 1 ,М), но являются неизвестными параметрами модели. Также

неизвестны вероятности начальных значений л° и ж], (/' = 1,А^). Задача

состоит в том, чтобы по реализации наблюдений у\ = {ук,к = \,Т^ путем

коррекции априорных значений найти оценки параметров, удовлетворяющих критерию локального максимума функции правдоподобия:

{ПЙКМ '' '' ^'а также вычислить оценку

момента дискретного времени г, при котором происходит скачок параметров. Априорные вероятности случайного момента г считаются известными и равными Рг(т), г>0.

В п. 3.1 путем обобщения алгоритма Баума-Уелша и используя аппарат марковской теории оптимальной нелинейной фильтрации получены рекуррентные уравнения для нахождения условных вероятностей наблюдений и условных вероятностей переходов между состояниями до и после скачка параметров. Получены уравнения для вычисления апостериорных вероятностей моментов появления скачка параметров. В параграфе представлены результаты моделирования работы алгоритма. В результате последовательных корректировок параметров получены оценки условных вероятностей переходов между состояниями и условных вероятностей наблюдений. Вводя величины суммарных квадратичных ошибок параметров, исследуется точность формируемых оценок условных вероятностей наблюдений, условных вероятностей переходов между

12

состояниями и момента появления скачка в зависимости от количества последовательных корректировок параметров. Показано, что точность оценивания можно значительно улучшить, увеличивая число последовательных корректировок (переоценок) параметров модели.

В п. 3.2 рассматривается задача оценивания параметров для СММ с непрерывными наблюдениями на фоне аддитивных гауссовых шумов. Здесь предполагается, что распределение наблюдаемой величины может быть представлено суперпозицией гауссовых функций, т.е. условные вероятности наблюдений имеют следующий вид:

I

171=1

где 0(У,/А<х) - функция вида: П(У,Ц,<т) = ■ ехр а для , с\т выполняются следующие условия:

м К1

т=\ «=1

с)т>0,с)т>0 Ц = \^,т = Щ).

В п. 3.2 выводятся рекуррентные уравнения для нахождения скачкообразно изменяющихся условных вероятностей наблюдений и условных вероятностей переходов между состояниями до и после скачка параметров для скрытых марковских моделей с непрерывными наблюдениями на фоне аддитивных гауссовых шумов и проводится моделирование полученного алгоритма.

В четвертой главе рассматривается вопрос практического применения разработанных алгоритмов в задачах связи для оценивания характеристик каналов без использования тренировочных последовательностей.

В п. 4.1 рассматривается применение алгоритма Баума-Уэлша в задачах оценивания параметров канала связи на примере сетей GSM (рисунок 3).

Рисунок 3. Коммуникационная подсистема с GMSK модулятором и детектором на базе скрытых марковских моделей для сетей GSM. Одним из существенных преимуществ использования подобных систем оценивания параметров канала связи является возможность увеличения емкости канала за счет использования тренировочных последовательностей. Так в случае сети GSM 17% передаваемых данных составляет тренировочные последовательности. Одним из ограничений использования алгоритма Баума-Уэлша является требование стационарности скрытой марковской модели. Однако прием может происходить в условиях резкого изменения характеристик передающего тракта. Для избежания высокого уровня ошибок при нестационарном приеме в ряде работ проводилось разбиение поступающий данных на сегменты.

Проведенное исследование показывает, что при разбиение данных на сегменты возникает проблема недостаточности данных для оценивания характеристик канала связи. Результаты моделирования демонстрируют чем больше длительность наблюдаемой последовательности, тем точнее будет сформирована оценка параметров, тем ниже будет уровень битовых ошибок. При этом, увелечение размера сегмента приводит к ухудшению устойчивости относительно временных изменений характеристик GSM канала. Разработана схема оценивания характеристик канала связи и приема данных на базе скрытых марковских моделей со случайным скачкообразным изменением параметров, которая позволяет задействовать больший объем данных и при этом сохранить устойчивости относительно изменений временных

характеристик GSM канала. Учитывая, что подобная проблема является распространенниой, можно сделать вывод о целесообразности применения методов обработки скрытых марковских моделей со случайными скачкообразными изменениями параметров в задачах оценивания характеристик канала связи без использования тренировочных последовательностей.

В заключении приводятся основные результаты работы.

1. Получены уравнения обобщенного алгоритма Витерби для скачкообразно изменяющихся скрытых марковских моделей с дискретными наблюдениями. Проведено моделирование и исследование полученного алгоритма. Проведено сравнение точности оценивания полученного обобщенного алгоритма Витерби и необобщенного алгоритма Витерби в предположении, что момент скачка известен.

2. Получены уравнения обобщенного алгоритма Витерби для скачкообразно изменяющихся скрытых марковских моделей с непрерывными наблюдениями. Проведено численное моделирования полученного алгоритма.

3. Разработан алгоритм для нахождения оптимальных оценок последовательности скрытых состояний дискретнозначных марковских процессов со скачкообразно изменяющимися параметрами в неизвестный момент времени. Оптимальные оценки состояний марковских процессов и момента появления скачка параметров получены в результате интерполяции путем обработки всей последовательности наблюдений. Проведено моделирование полученного алгоритма для частного случая скачкообразного изменения матрицы переходов в случайный момент времени.

4. Получены уравнения алгоритма Баума-Уелша, для оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с дискретнозначными наблюдениями. Методами марковской теории оптимальной нелинейной фильтрации получены рекуррентные

уравнения для нахождения условных вероятностей наблюдений и условных вероятностей переходов между состояниями до и после скачка параметров. Получены уравнения для вычисления апостериорных вероятностей моментов появления скачка параметров. Проведено моделирование и исследована точность формируемых оценок в зависимости от количества последовательных корректировок параметров. Исследована зависимость точности оценивания параметров от момента появления скачка параметров. Рассмотрен случай оценивания параметров при малой вероятности появления скачка.

5. Выведены уравнения алгоритма оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с непрерывными наблюдениями на фоне аддитивных гауссовых шумов. Алгоритм позволяет по реализации наблюдений путем коррекции априорных значений параметров найти оценки условных вероятностей переходов и параметры распределения наблюдаемых величин, удовлетворяющих критерию локального максимума функции правдоподобия, а также вычислить оценку момента дискретного времени

6. Рассмотрен вопрос практического применения методов обрабоки скрытых марковских моделей в задачах оценивания характеристик канала связи без использования тренировочных последовательностей на примере GSM системы. Рассмотрены результаты влияния характера местности и соотношения сигнал шум на уровень битовых ошибок при приеме сигнала.

7. Проведено исследование точности оценивания параметров в зависимости от длины сегмента данных. Показано что, чем больше длительность наблюдаемой последовательности, тем точнее будет сформирована оценка параметров, тем ниже будет уровень битовых ошибок. При этом, увелечение размера сегмента приводит к ухудшению относительно временных изменений характеристик GSM канала.

8. Разработана схема оценивания характеристик канала связи и приема данных на базе скрытых марковских моделей со случайным

скачкообразным изменением параметров, которая позволяет задействовать

больший объем данных и при этом сохранить устойчивости относительно

изменений временных характеристик канала передачи данных.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Королев A.B., Самылин С.А., Силаев A.M. Исследование алгоритма оценивания импульсных сигналов со случайными моментами появления. //Труды четвертой научной конференции по радиофизике. 5 мая 2000 г. - Ред. А. В. Якимов, С. 269-270.

2. Королев A.B., Силаев A.M. Оптимальное оценивание моментов появления импульсных сигналов в дискретном времени. //Труды (пятой) научной конференции по радиофизике, посвященной 100-летию со дня рождения А.А.Андронова. 7 мая 2001 г. - Ред. А.ВЛкимов. - Нижний Новгород: ТАЛАМ, 2001. С. 197-198.

3. Королев A.B., Силаев A.M. Оптимальное оценивание моментов скачкообразных изменений параметров временных рядов. //Сборник материалов VII Международной научно-техническая конференции «Математические методы и информационные технологии в экономике». Пенза, 2001. Ч. 1. С. 31 - 32.

4. Королев A.B., Силаев A.M. Исследование алгоритма обнаружения пачки импульсов со случайными моментами появления. //Сборник тезисов докладов. Седьмая нижегородская сессия молодых ученых. Н. Новгород, 2002. С. 23-25

5. Королев A.B., Силаев A.M. Алгоритм оптимального оценивания моментов появления импульсных сигналов в дискретном времени. // Изв. вузов - Радиофизика. 2002. Т. 45. № 3. С. 254 - 262.

6. Королев A.B., Силаев A.M. Analysis of the algorithm for detecting group pulses with random moments of appearance. // Тезисы докладов шестой научной конференции по радиофизике. Н.Новгород, ННГУ, 2002, С. 226-227.

7. Королев A.B., Силаев A.M. Алгоритм оценки последовательности состояний скрытых марковских процессов с неизвестным моментом появления скачка параметров. // Сборник докладов 6-й Международной конференции и выставки «Цифровая обработка сигналов и ее применение», Москва, 2004, Т. 1, С. 51-54.

8. Королев A.B., Силаев A.M. Алгоритм обнаружения последовательности импульсных сигналов со случайными моментами появления. //Изв. вузов - Радиофизика. 2004. Т.47. № 2. С. 155 - 162.

9. Королев A.B., Силаев A.M. Алгоритм Витерби для модели нестационарных скрытых марковских процессов со случайным скачком параметров. // Материалы тринадцатой Всероссийской научно-технической конференции «Информационные технологии в науке, проектировании и производстве», Н.Новгород, МВВО АТН РФ, 2004., С 28-29.

Ю.Королев A.B., Силаев A.M. Алгоритм оценки состояний и времени скачка параметров в модели нестационарных скрытых марковских процессов. //Тезисы докладов восьмой научной конференции по радиофизике". Н.Новгород, ННГУ, 2004, С. 152-153.

П.Королев A.B., Силаев А.М Алгоритм Витерби для моделей скрытых марковских процессов с неизвестным моментом появления скачка параметров. // Изв. вузов - Радиофизика. 2005. Т.48. № 4. С. 358-366.

12.Королев A.B., Силаев А.М Оценивание марковских последовательностей со скачкообразным изменением параметров методом интерполяции. // Изв. вузов - Радиофизика. 2005. Т.48. № 7. С. 620-629.

13.Королев A.B., Семашко A.B. Оценивание скачкообразно изменяющихся параметров в модели нестационарных скрытых марковских процессов. //Тезисы докладов пятой международной молодежной научно-технической конференции «Будущее технической науки». - Н.Новгород, 2006, С. 30

14.Королев A.B., Семашко A.B. Алгоритм оценивания скачкообразно изменяющихся параметров скрытых марковских моделей. //Тезисы докладов международной научно-технической конференции «Информационные системы и технологии (ИСТ-2006)». - Н.Новгород, 2006, С.39

15.Королев A.B., Семашко A.B. Обобщенный алгоритм Витерби для непрерывных скрытых марковских процессов со случайным скачкообразным изменением параметров. //Тезисы докладов международной научно-технической конференции «Информационные системы и технологии (ИСТ-2007)». - Н.Новгород, 2007, С.54

16.Королев A.B., Семашко A.B. Алгоритм оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с непрерывными наблюдениями на фоне аддитивных гауссовых шумов. // Тезисы докладов международной научно-технической конференции «Информационные системы и технологии (ИСТ-2008)». - Н.Новгород, 2008, С. 38

17. Семашко A.B., Королев A.B. Оценивание скачкообразно изменяющихся параметров в модели нестационарных скрытых марковских процессов. // Информация и космос. - С. Петербург, - 2008, №3 - с. 10-16.

Подписано в печать 09.02.2009. Формат 60 х 84 Бумага офсетная. Печать офсетная. Уч.-изд. л. 1,0. Тираж 75 экз. Заказ 80.

Нижегородский государственный технический университет им. P.E. Алексеева. Типография НГТУ. 603950, г. Нижний Новгород, ул. Минина, 24.

Введение

1. Обзор методов обработки скрытых марковских моделей

1.1. Определение скрытых марковских моделей

1.2. Постановка и методы решения основных задач СММ

1.3. Практическое использование СММ на примерах систем распознавания речи

2. Оценивание последовательности состояний для скрытых марковских моделей с неизвестным моментом появления скачка параметров

2.1. Обобщенный алгоритм Витерби для скачкообразно изменяющихся скрытых марковских моделей с дискретными наблюдениями

2.2. Обобщенный алгоритм Витерби для скачкообразно изменяющихся скрытых марковских моделей с непрерывными наблюдениями

2.3. Алгоритм оценивания последовательности состояний и момента появления скачка параметров для нестационарных скрытых марковских процессов

3. Оценивание скачкообразно изменяющихся параметров модели для нестационарных скрытых марковских процессов

3.1. Алгоритм оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с дискретнозначными наблюдениями

3.2. Алгоритм оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с непрерывными наблюдениями на фоне аддитивных гауссовых шумов

4. Практическое применение скрытых марковских моделей со скачкообразно изменяющимися параметрами 152 4.1. Скрытые Марковские модели в задачах оценивания характеристик канала связи без использования тренировочных последовательностей

Актуальность диссертации и краткий обзор литературы. В технике, связи, радиолокации, технической диагностике и в ряде других разделов науки и техники существует целый ряд практически важных задач обработки и анализа структуры случайных сигналов, со скачкообразно изменяющейся структурой в случайные моменты времени. Подобные задачи имеют место, например, в системах связи при резком изменении уровня помех или случайных замираниях сигнала, в системах распознавания изменяющихся образов, в следящих системах сопровождения при маневрах цели. При диагностике сложных технических систем часто необходимо оценивать переменные, характеризующие состояние системы, и своевременно обнаруживать скачки параметров, приводящие к нарушению нормального режима работы. При этом, наблюдение за состояниями физических объектов происходит при действии шумов, а сами сигналы, несущие полезную информацию носят случайных характер.

В настоящее время одним из наиболее распространенных подходов к обработке случайных сигналов является аппарат теории оптимального оценивания сигналов, который базируется на методах теории случайных процессов и математической статистики. С развитием вычислительной техники возрос интерес к обработке дискретнозначных сигналов и появились перспективные методы статистической обработки сигналов, основанных на использовании дискретнозначных моделей случайных процессов, описываемых стохастическими уравнениями в дискретном времени. Среди них наибольшее распространение получили методы обработки сигналов, основанные на моделях описываемых дискретнозначными марковскими случайными процессами (марковскими цепями).

Основы теории оптимальной фильтрации случайных процессов были сформулированы в работах [1,2] . В работе [3] впервые была поставлена задача статистического синтеза оптимальных приемных устройств и дано решение классической проблемы обнаружения детерминированных сигналов на фоне помех. В дальнейшем теория оптимального приема сигналов получила свое развитие на основе исследований все более сложных видов случайных сигналов и помех и в связи с совершенствованием цифровой вычислительной техники, которая позволяет непосредственно реализовать синтезированные оптимальные алгоритмы обработки сигналов.

В ранних работах, посвященных оптимальному приему сигналов, сигналы и помехи предполагались стационарными и стационарно связанными случайными процессами. Однако условие стационарности не выполняется в большинстве практических задач. Провести оптимальное оценивание линейных нестационарных процессов позволил подход, предложенный в [4, 5]. При этом для математического описания случайных сигналов использовались переменные в пространстве состояний, удовлетворяющие некоторой априори известной системе линейных дифференциальных или разностных стохастических уравнений, правые части которых содержат возмущения типа белого шума. Модель наблюдаемого процесса в виде полезного сигнала на фоне аддитивного шума также предполагается известной. С применением данного подхода в [4,5] были найдены удобные для реализации на ЭВМ рекуррентные процедуры (фильтры Калмана-Бьюси) для оптимального оценивания линейных процессов с априорно известными законами изменения во времени их статистических характеристик. В работах [6-8] была разработана общая теория оптимальной нелинейной фильтрации марковских случайных процессов, которая в предположении гауссовости шумовых воздействий как частный случай включает в себя линейную теорию [4, 5]. Математическое рассмотрение проблем оптимальной нелинейной фильтрации дано в [9]. Более подробно вопросы применения марковской теории фильтрации к обработке радиосигналов исследованы в [10, 11]. Аппарат марковской теории нелинейной фильтрации позволяет эффективно решать задачи синтеза оптимальных систем обработки сложных нестационарных сигналов при действии разнообразных помех [12-25].

Наряду с методами теории оптимальной фильтрации, с начала 60-х годов XX века стали развиваться методы обработки марковских процессов с конечным числом состояний. В настоящее время в практических приложениях привлекают наибольшее внимание методы обработки скрытых марковских процессов. Скрытая марковская модель представляет собой конечный автомат (марковскую цепь), изменяющий свое состояние в дискретные моменты времени. Переход из состояния в состояние осуществляется случайным образом с определенной вероятностью. В каждый дискретный момент времени модель в соответствии с текущим состоянием и с определенной условной вероятностью наблюдений порождает вектор наблюдений. В первых работах по скрытым марковским процессам [26, 27] были сформулированы основы оценивания последовательностей состояний и анализа структуры наблюдений. В последующих работах были разработаны методы обработки скрытых марковских процессов для конкретных практических задач [28 - 29]. В настоящее время теория скрытых марковских процессов активно развивается, обширная литература посвящена рассмотрению более сложных моделей и разработке новых методов [32 - 38]. Скрытые марковские процессы являются основой для большинства современных систем распознавания речи и символов [28, 29, 39 - 42], они активно используются для распознавания образов в задачах компьютерного видения [43, 44], в задачах анализа микробиологических структур [45 - 47], в эконометрических задачах [48, 49]. Скрытые марковские процессы нашли широкое применение в сфере телекоммуникаций, они используются для декодирования данных и оценивания сигналов с учетом неизвестных характеристик каналов связи [50- 59]. Рассматривается возможность использования скрытых марковских процессов в задачах стохастического управления потоками передачи данных [60-61]

При этом, как при решении задач обработки скрытых марковских процессов, так и при решении задач оптимальной фильтрации сигналов обычно предполагается, что статистические характеристики информационных сигналов и структура наблюдений известны и постоянны во времени (стационарны) или же изменяются во времени (нестационарны), однако закон этого изменения заранее известен.

Вместе с тем в большинстве практических задач различные измерительные системы работают в условиях существенно нестационарной обстановки со скачкообразными изменениями параметров или импульсными возмущениями, возникающими в случайные заранее неизвестные моменты времени. Учет скачкообразных изменений параметров или импульсных возмущений сигналов, например, необходим в системах связи при резком изменении уровня помех или случайных замираниях сигнала, в системах распознавания изменяющихся образов, в следящих системах сопровождения при маневрах цели. При диагностике сложных технических систем часто необходимо оценивать переменные, характеризующие состояние системы, и своевременно обнаруживать скачки параметров, приводящие к нарушению нормального режима ее работы (отказу). Таким образом, можно сделать вывод об актуальности, рассматриваемых в диссертации методов обработки и анализа структуры случайных нестационарных сигналов в дискретном времени со скачкообразно изменяющимися параметрами.

Цель работы: Разработать и исследовать алгоритмы обработки сигналов для скрытых марковские моделей со случайным скачком параметров, которые бы позволяли, выбирая априорную статистку момента появления скачка, находить момент скачкообразного изменения параметров сигналов, оценивать последовательность скрытых состояний и вычислять параметры как для модели с дискретными наблюдениями, так и для модели с непрерывными наблюдениями на фоне аддитивных шумов. Задачи работы:

Получить уравнения алгоритма декодирования сигналов для скрытых марковских моделей, обобщающих алгоритм Витерби на случай скачкообразного изменения параметров в случайный момент времени для модели с дискретнозначными наблюдениями. С целью проверки работоспособности провести моделирование синтезированного алгоритма.

Получить уравнения обобщенного алгоритма Витерби для скрытых марковских моделей со случайным скачком параметров, который позволяет оценивать последовательность состояний по данным непрерывных наблюдений принимаемых на фоне аддитивных гауссовых шумов. Провести моделирование синтезированного алгоритма.

Разработать алгоритм интерполяции сигналов и оценивания момента появления скачка параметров для скрытых марковских моделей, со скачкообразным изменением параметра в случайный момент времени. Получить уравнения для оценки параметров скрытых марковских моделей, обобщающих алгоритм Баума-Уелша на случай скачкообразного изменения параметров модели в случайных момент времени с дискренозначными наблюдениями. Получить уравнения для оценки апостериорной вероятности момента появления скачка. Исследовать зависимость точности оценивания параметров модели от числа их последовательных корректировок. Исследовать зависимость точности оценивания параметров от момента появления скачка параметров. Исследовать работу алгоритма при условии малой вероятности скачка параметров.

Синтезировать алгоритм для оценки скачкообразно изменяющихся параметров скрытых марковских моделей для случая приема смеси наблюдаемой величины и аддитивного гауссовского шума. С целью проверки работоспособности провести моделирование алгоритма.

Научная новизна работы заключается в следующем:

1. Исследованы модели скрытых марковских процессов со скачкообразным изменением параметров модели в случайный момент времени и получены уравнения обобщенного алгоритма Витерби для оценивания последовательности скрытых состояний.

2. Для оценивания скрытых марковских процессов в обобщенной модели со скачкообразным изменением параметров был применен аппарат теории оптимальной нелинейной фильтрации сигналов, что позволило:

Разработать алгоритмы оптимального оценивания последовательности скрытых состояний и момента появления скачка параметров путем интерполяции, т.е. анализа данных всей последовательности наблюдений;

- Разработать алгоритмы оценивания параметров обобщенной марковской цепи до момента и после момента их случайного скачкообразного изменения как для случая приема дискретнозначных наблюдений, так и для случая приема смеси наблюдаемой величины и аддитивного гауссова шума. Практическая ценность.

Полученные алгоритмы могут существенно улучшить качество и расширить область применения скрытых марковских моделей в радиотехнических системах с существенно нестационарной обстановкой со случайными скачкообразными изменениями параметров. Например:

1. В системах связи при резком изменении уровня помех или случайных замираниях сигнала.

2. При случайном возникновении помех в системах распознавания речи и образов.

3. При диагностике сложных технических систем, где часто необходимо оценивать переменные, характеризующие состояние системы, и своевременно обнаруживать скачки параметров, приводящие к нарушению нормального режима ее работы.

Положения, выносимые на защиту

1. Алгоритм оценки состояний процесса позволяет по данным реализации наблюдений {ук,к = \,Т} и при известных параметрах модели отыскать оценку удовлетворяющую критерию максимума апостериорной вероятности хо = шах Р{%1 \ у[) для сигналов, описываемых скрытой марковской моделью, со скачкообразным изменением параметров в случайный момент времени.

2. Алгоритм интерполяции позволяет по данным реализации наблюдений {ук,к = \,Т} и при известных параметрах модели вычислять апостериорные вероятности Р(хк I у[ ) 5 Р(к = т | у1) состояний скачкообразно изменяющихся скрытых марковских моделей и момента их скачка.

3. Алгоритм оценки параметров позволяет по реализации наблюдений путем коррекции априорных значений параметров найти оценки условных вероятностей переходов и параметры распределения наблюдаемых величин, удовлетворяющих критерию локального максимума функции правдоподобия момента дискретного времени г, при котором происходит скачок параметров. шах а также вычислить оценку

Методы решения. При решении поставленных задач использовались методы теории оптимальной обработки сигналов, методы марковской теории нелинейной фильтрации случайных процессов [6-11], методы обработки скрытых марковских процессов [28-31], а также общие методы теории вероятностей и теории статистической радиотехники [62 - 71].

Краткий обзор содержания работы. Диссертация состоит из введения, четырех глав, заключения, библиографического списка и приложения.

Основные результаты диссертации заключаются в следующем:

1. Получены уравнения обобщенного алгоритма Витерби для скачкообразно изменяющихся скрытых марковских моделей с дискретными наблюдениями. Проведено моделирование и исследование полученного алгоритма. Проведено сравнение точности оценивания полученного обобщенного алгоритма Витерби и необобщенного алгоритма Витерби в предположении, что момент скачка известен.

2. Получены уравнения обобщенного алгоритма Витерби для скачкообразно изменяющихся скрытых марковских моделей с непрерывными наблюдениями. Проведено численное моделирования полученного алгоритма.

3. Разработан алгоритм для нахождения оптимальных оценок последовательности скрытых состояний дискретнозначных марковских процессов со скачкообразно изменяющимися параметрами в неизвестный момент времени. Оптимальные оценки состояний марковских процессов и момента появления скачка параметров получены в результате интерполяции путем обработки всей последовательности наблюдений. Проведено моделирование полученного алгоритма для частного случая скачкообразного изменения матрицы переходов в случайный момент времени.

4. Получены уравнения алгоритма Баума-Уелша, для оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с дискретнозначными наблюдениями. Методами марковской теории оптимальной нелинейной фильтрации получены рекуррентные уравнения для нахождения условных вероятностей наблюдений и условных вероятностей переходов между состояниями до и после скачка параметров. Получены уравнения для вычисления апостериорных вероятностей моментов появления скачка параметров. Проведено моделирование и исследована точность формируемых оценок в зависимости от количества последовательных корректировок параметров. Исследована зависимость точности оценивания параметров от момента появления скачка параметров. Рассмотрен случай оценивания параметров при малой вероятности появления скачка.

5. Выведены уравнения алгоритма оценивания изменяющихся параметров и времени скачка для скрытых марковских моделей с непрерывными наблюдениями на фоне аддитивных гауссовых пгумов. Алгоритм позволяет по реализации наблюдений путем коррекции априорных значений параметров найти оценки условных вероятностей переходов и параметры распределения наблюдаемых величин, удовлетворяющих критерию локального максимума функции правдоподобия, а также вычислить оценку момента дискретного времени

6. Рассмотрен вопрос практического применения методов обрабоки скрытых марковских моделей в задачах оценивания характеристик канала связи без использования тренировочных последовательностей на примере GSM системы. Рассмотрены результаты влияния характера местности и соотношения сигнал шум на уровень битовых ошибок при приеме сигнала.

7. Проведено исследование точности оценивания параметров в зависимости от длины сегмента данных. Показано что, чем больше длительность наблюдаемой последовательности, тем точнее будет сформирована оценка параметров, тем ниже будет уровень битовых ошибок. При этом, увелечение размера сегмента приводит к ухудшению относительно временных изменений характеристик GSM канала.

Разработана схема оценивания характеристик канала связи и приема данных на базе скрытых марковских моделей со случайным скачкообразным изменением параметров, которая позволяет задействовать больший объем данных и при этом сохранить устойчивости относительно изменений временных характеристик канала передачи данных.

Таким образом, решены основные задачи обработки обобщенных нестационарных скрытых марковских моделей со случайным скачком параметров. Полученные алгоритмы позволяют выбирать априорную статистку момента появления скачка и находить момент скачкообразного изменения параметров, оценивать последовательность скрытых состояний и вычислять параметры как для модели с дискретными наблюдениями, так и для модели с непрерывными наблюдениями на фоне аддитивных гауссовых шумов. Результаты исследования алгоритма и компьютерное моделирование подтвердило работоспособность и высокую точность оценивания полученных алгоритмов, что позволяет применять их на практике. Изучена возможность применения полученных алгоритмов в практических задачах. Показано, что использование алгортимов обработки скрытых марковских моделей со случайными скачкообразными изменениями параметров в системах связи без использования тренировочных последовательностей позволяет улучшить качество приема и при этом обеспечить устойчивость относительно временных изменений характеристик канала связи.

Полученные алгоритмы могут значительно улучшить качество и расширить область применения скрытых марковских моделей в системах с существенно нестационарной обстановкой. В системах связи при резком изменении уровня помех или случайных замираниях сигнала. При случайном возникновении помех в системах распознавания речи и образов. При диагностике сложных технических систем, где часто необходимо оценивать переменные, характеризующие состояние системы, и своевременно обнаруживать скачки параметров, приводящие к нарушению нормального режима ее работы.

ЗАКЛЮЧЕНИЕ

1. Колмогоров А.Н. Интерполирование и экстраполирование стационарных последовательностей. Изв. АН СССР. Сер. математ., 1941, № 5, 314 с.

2. Wiener N. Extrapolation, interpolation and smoothing of stationary time series with engineering applications. -N.Y.: Wiley, 1949 -162p.

3. Котельников В.А. Теория потенциальной помехоустойчивости. М.: Госэнергоиздат, 1956. - 152 с.

4. Kalman R.E, A new approach to linear filtering and prediction problem. // J. Basic Eng. ASME, ser. D, 1960, v.82, №1, p. 35-45.

5. Kalman R.E.,Busy R.S. New results in linear filtering and prediction theory. //J. Basic Eng. ASME, ser. D, 1961, v.8, №1, p.95-108

6. Стратонович P.Jl. К теории оптимальной нелинейной фильтрации случайных функций. //Теория вероятностей и ее применения, 1959, т. 4, вып. 2, с. 239-242.

7. Стратонович Р.Л. Применение теории марковских процессов для оптимальной фильтрации сигналов. //Радиотехника и электроника, 1960, т. 5, № 11, с. 1751-1763.

8. Стратонович Р.Л. Условные марковские процессы и их применение к теории оптимального управления. М. : МГУ, 1966. - 319 с.

9. Липцер Р.Ш. , Ширяев А.Н. Статистика случайных процессов (нелинейная фильтрация и смежные вопросы). М.: Наука, 1974. - 696 с.

10. Ю.Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 2004. - 436 с.

11. Ярлыков М.С. Применение марковской теории нелинейной фильтрации в радиотехнике. М. : Сов. радио, 1980. -360 с.

12. Ван Трис Г. Теория обнаружения, оценок и модуляции. В 3 -х т. / Пер. с англ. под ред. В.И.Тихонова. М.: Сов. радио, 1972. Т. I - 744 с.

13. Левин Б.Р. Теоретические основы статистической радиотехники. В 3-х кн. М.: Сов, радио, 1975. Кн. 2 - 392 е.; 1976. Кн. 3. - 288 с.

14. И.Куликов Е.И., Трифонов А.П. Оценка параметров сигналов на фоне помех. М.: Сов. радио, 1978. - 296 с.

15. Сосулин Ю.Г. Теория обнаружения и оценивания стохастических сигналов. М.: Сов. радио, 1978. - 320 с.

16. Бакут П.А., Жулина Ю.В., Иванчук H.A. Обнаружение движущихся объектов / Под ред. П.А-Бакута. М.: Сов. радио, 1980. - 288 с.

17. Тихонов В.И. Оптимальный прием сигналов. М.: Радио и связь, 1983. - 320с.

18. Теория обнаружения сигналов / П.С.Акимов, П.А.Бакут, В.А.Богданович и др. Под ред. П.А.Бакута. М.: Радио и связь, 1984. -440 с.

19. Фильтрация и стохастическое управление в динамических системах / Под ред. К. Т. Леондеса. Пер. с англ. М.: Мир, 1980. - 408 с.

20. Тихонов В.И., Степанов A.C. Совместная фильтрация непрерывных: и дискретных марковских процессов. // Радиотехника и электроника, 1973, т. 18, №7, с. 1376-1383.

21. Миронов М.А., Смирнов В.А., Харисов В.Н. Оптимальная фильтрация квантованных по времени непрерывных сигналов. //Радиотехника и электроника, 1980, т. 25, № И, с. 2349-2365.

22. Силаев A.M. Алгоритм оптимального оценивания состояния динамической системы при пуассоновском потоке импульсных возмущений. // Радиотехника и электроника, 1996, т 41, №3, с. 322-327.

23. Ванжа A.B., Мальцев A.A., Силаев A.M. Оптимальное оценивание в дискретном времени момента появления импульсного возмущения в случайном сигнале. // Изв. вузов Радиофизика, 1993, т. 36, № 6, с. 498-510.

24. Польдин О.В., Силаев A.M. Исследование алгоритмов оценивания сигналов при потоке импульсных возмущений. // Известия вузов -Радиофизика. 2001. Т. 44. № 12. С. 1070 1076.

25. Мальцев А.А., Силаев A.M. Оптимальное обнаружение сигналов со случайными скачкообразными изменениями параметров. //Радиотехника и электроника. 1987. Т. 32. № 6. С. 1241 1250.

26. Baum, L.E. and Petrie, Т. Statistical inference for probabilistic functions of finite state Markov chains. //Ann. Math. Statist., 1966, V.37, pp. 1554 -1563.

27. Baum L.E., Petrie Т., Soules G., Weiss N., A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains, //Ann. Math. Statist. 1970, V.41, pp. 164 171.

28. MacDonald I.L., Zucchini W., Hidden Markov and Other Models for Discrete-valued Time Series. CRC Press, 1997 p. 369.

29. Rabiner L. A tutorial on hidden Markov models and selected applications in speech recognition. // IEEE. Proc. 1989. V. 77. pp. 257 298.

30. Juang B.H., Rabiner L.R., A probabilistic distance measure for hidden Markov models. // AT&T Tech. Journal, V.64(2), pp. 391- 408, Feb. 1985

31. Juang B.H., Katagiri S., Discriminative learning for minimum error classification. // IEEE Trans. Signal Process. 1992, V. 12, pp. 3043 3054.

32. Robert, C. P., Rydhen, T. and Titterington, D. M. Bayesian inference in hidden Markov models through the reversible jump Markov chain Monte Carlo method. // J. R. Stat. Soc, Series B, 2000, V. 62, pp. 57-75.

33. Meeden G., Vardeman S. A Simple Hidden Markov Model for Bayesian Modeling with Time Dependent Data. // Communications in statistics, 2000, V. 29(8), pp. 1801 1826.

34. Kim N.S., Kim D.K., Filtering on Hidden Markov Models. //IEEE Trans. Signal Processing letters, V. 7(9), p. 253, Sep. 2000.

35. Giudici P., Ryden, T. Vandekerkhove P. Likelihood-Ratio Tests for Hidden Markov Models. // Biometrics, 56(3), p. 742, Sep. 2000.

36. Anderson B.D.O. From Wiener to Hidden Markov Models, // IEEE Control systems magazine., V. 19(3), p. 41, Jun. 1999.

37. Leroux B.,Maximum-likelihood estimation for hidden Markov models. // Stochastic processes and their applications, V. 40(1), Feb. 1992.

38. Dempster A. P., Laird N. M. and Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm. // J. R. Stat. Soc. Series B., 1977, V. 39, pp 1 38.

39. Digalakis V., Rohlicek J. R. and Ostendorf M., ML estimation of a stochastic linear system with the EM algorithm and its application to speech recognition. // IEEE Trans. Speech Audio Process., V. 4, 1993, pp. 431-442.

40. Hu J., Brown M., Turin W., HMM Based On-Line Handwriting Recognition. // IEEE Tran. on Pattern Analysis and Machine Intelligence, V. 18(10), 1996, pp. 1039-1045

41. Mohamed M., Gader P., Handwritten Word Recognition Using Segmentation-Free Hidden Markov Modeling and Segmentation-Based Dynamic Programming Techniques. // IEEE Trans, on Pattern Analysis and Machine Intelligence, V. 18(5), pp. 548 554, May 1996.

42. Veltman S., Prasad R., Hidden Markov Models Applied to On-Line Handwritten Isolated Character Recognition. //IEEE Trans, on Image Processing, V. 3(3), pp. 314-318., May 1994.

43. Li J., Najmi A., Gray R.M., Image Classification by a Two-Dimensional Hidden Markov Model. // IEEE Trans, on Signal Processing, V. 48(2), p. 517, Feb. 2000.

44. Li J., Gray R. M., Olshen R. A., Multiresolution Image Classification by Hierarchical Modeling with Two-Dimensional Hidden Markov Models. // IEEE Trans, on Information Theory, V. 46(5), p. 1826, Aug. 2000.

45. Birney E., Hidden Markov models in biological sequence analyzing //IBM J. Res. & Dev. V.45(3/4) p. 449 Jul. 2001.

46. Muri F., Modelling Bacterial genomes using hidden Markov models. // Proceedings in Computational Statistics, 1998 (eds. R. W. Payne and P. J. Green), pp. 89 100.

47. Garcia-Frias J., Crespo P. M., Hidden Markov Models for Burst Error Characterization in Indoor Radio Channels. //IEEE Trans, on vehicular technology, V. 46(4), p. 1006, Nov. 1997.

48. Gregoir S., Lenglart F., Measuring the Probability of a Business Cycle Turning Point by Using a Multivariate Qualitative Hidden Markov Model. // Journal of forecasting, V. 19(2), p. 81, Mar 2000.

49. Ryden T., Terasvirta T., Asbrink S., Stylized Facts of Daily Return Series and the Hidden Markov Model. // Journal of applied econometrics, V.13(3), p. 217, May 1998.

50. Anton-Haro C., Fonollosa J., Fonollosa J. Blind Channel Estimation and Data Detection Using Hidden Markov Models. //IEEE Trans, on Signal processing, V. 45(1), pp. 241 246, Jan. 1997.

51. Gao F. Blind Channel Estimation for OFDM Systems via a Generalized Precoding // IEEE Trans, on Signal on vehicular technology, V. 56(3) pp. 1155-1164, May 2007

52. Meurer M., Lu Y., Weber T. Blind Channel Estimation for Time-slotted Code Division Multiple Access Mobile Radio Systems // IEEE 7-th Int. Symp. on Spread-Spectrum Tech. & Appl., pp. 49 54, June 2002

53. Proakis J. G., and C. L. Nikias, Blind equalization. //Proc. SPIE Adaptive Signal Processing, vol. 1565, pp. 76-87, 1991

54. Shynk J., et al.,A comparative performance study of several blind equalization algorithm // Proc. SPIE Adaptive Signal Processing, vol. 1565, pp. 102-117., 1991

55. Mendel J. M., Tutorial on higher-order statistics (Spectra) in signal processing and system theory: Theoretical results and some applications //Proc. IEEE, vol. 79(3), pp. 277-305, Mar. 1991.

56. Ghosh M., Weber С. L., Maximum likelihood blind equalization, //Proc. SPIE Adaptive Signal Processing, vol. 1565, pp. 188-195. 1991

57. Fonollosa J. A. R., Vidal J., Application of hidden Markov models to blind channel characterization and data detection //Proc. IEEE Int. Conf. Acoust. Speech Signal Procesisng, Australia, pp. 185-188., Apr. 1994

58. Murota H., Hirade K., GMSK modulation for mobile radio telephony, // IEEE Trans. Commun, vol. COM-29(7), pp. 1044-1050, July 1981.

59. Steele R., Mobile Radio Communications. Pentech, London, U.K. 1992, pp. 677-768.

60. Миллер Б.М. Степанян K.B. Оптимизация потока передачи данных в TCP/IP методами теории стохастического управления // Информационые процессы. Электронный научный журнал, 2004, Т 4. -№2.-С. 133-140.

61. Миллер Б.М. Авраченков К.Е. Степанян К.В. Миллер Г.Б. Задача оптимального стохастического упраления потоком данных по неполной информации // Пробл. передачи информ., 2005, Т. 41. - №2. -С. 89-110

62. Малахов А.Н. Кумулянтный анализ негауссовых случайных процессов и их преобразований. М.: Сов. радио, 1978. - 376 с.

63. Ахманов С.А., Дьяков Ю.Е., Чиркин А.С. Введение в статистическую радиофизику и оптику. М.: Наука, 1981. -640 с.

64. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. радио, 1977. - 488 с.

65. Тихонов В. И. Статистическая радиотехника. М.: Радио и связь, 1982. - 624 с.

66. Рытов С.М., Кравцов Ю.А., Татарский В.И. Введение в статистическую радиофизику, ч.2. Случайные поля. М.: Наука, 1978. - 464 с.

67. Андерсон Т. Статистический анализ временных рядов / Пер. с англ. под ред. Ю.К. Беляева. М.: Мир, 1976. - 756 с.

68. Прокис Д. Цифровая связь /Пер. с англ. под ред. Д.Д. Кловского М.: Радио и связь, 2000. - 797с.

69. Forney G.D.Jr., "The Viterbi Algorithm", //Proc. of the IEEE, Vol. 61, No. 3, March 1973, pp. 268-278.

70. Forney G.D. Jr., "Maximum-Likelihood Sequence Estimation Of Digital Sequences In The Presence Of Intersymbol Interference", //IEEE Trans, on Information Technology, Vol. 18, No. 3, pp. 363-378, 1972

71. A. J. Viterbi and J. K. Omura, Principles of Digital Communication and Coding. New York: McGraw-Hill, 1979

72. Baum L. E., Petre T. , Statistical inference for probabilistic functions of finite state Markov chains. // Ann. Math. Stat, V. 37, p. 1554-1563, 1966.

73. Baum L. E., Egon J. A., An inequality with applications to statistical estimations for probabilistic functions of a Markov process and to a model ecology. //Amer. Meteorol. Soc., V73, p. 360-363, 1967

74. Baum L. E., Sell G. R., Growth functions for transformations of manifolds. // Pac.J. Math, V27(2), p. 211-225, 1968

75. Baum L. E., Petrie Т., Soules G., Weiss N., A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains. //Ann. Math. Stat., V41(l),p. 164-171, 1970

76. Baker J. K., The dragon system an overview. // IEEE Trans. Accoust. Speech Signal Processing, V23(l), p. 24-29, 1975

77. Jelinek F., A fast sequential decoding algorithm using a stack. //IBM J. Res. Develop. VI3 p. 675-685, 1969

78. Королев A.B., Силаев A.M. Алгоритм оптимального оценивания моментов появления импульсных сигналов в дискретном времени. // Изв. вузов Радиофизика. 2002. Т. 45. № 3. С. 254 - 262.

79. Королев А.В., Силаев А.М Оценивание марковских последовательностей со скачкообразным изменением параметров методом интерполяции. // Изв. вузов Радиофизика. 2005. Т.48. № 7. С. 620-629.

80. Королев A.B., Силаев A.M. Алгоритм оценки состояний и времени скачка параметров в модели нестационарных скрытых марковских процессов. // Тезисы докладов восьмой научной конференции по радиофизике". Н.Новгород, ННГУ, 2004, С. 152-153.

81. Королев A.B., Силаев А.М Алгоритм Витерби для моделей скрытых марковских процессов с неизвестным моментом появления скачка параметров. // Изв. вузов Радиофизика. 2005. Т.48. № 4. С. 358-366.

82. Королев A.B., Силаев А.М Оценивание марковских последовательностей со скачкообразным изменением параметров методом интерполяции. //Изв. вузов Радиофизика. 2005. Т.48. № 7. С. 620-629.

83. Королев A.B., Семашко A.B. Алгоритм оценивания скачкообразно изменяющихся параметров скрытых марковских моделей. //Тезисы докладов международной научно-технической конференции «Информационные системы и технологии (ИСТ-2006)». Н.Новгород, 2006, С.39

84. Семашко A.B., Королев A.B. Оценивание скачкообразно изменяющихся параметров в модели нестационарных скрытых марковских процессов. //Труды НГТУ. 2007. Т. 65. № 14. С.21-24.

85. Семашко A.B., Королев A.B. Оценивание скачкообразно изменяющихся параметров в модели нестационарных скрытых марковских процессов. // Информация и космос. С.Петербург, - 2008, №3 - с.10-16.

86. УТВЕРЖДАЮ: ьный директор ОАО «ПКБ»1. Гурбич В.Г. 2009

87. В.Д. Ястребов А.Г. Тихонычев A.C. Волчков1. УТВЕРЖДАЮ1. AIvx

88. Использования результатов диссертационной работы Королева A.B. по теме «Методы обработки нестационарных сигналов, основанные на скрытыхмарковских моделях»

89. Палочкин Ю.П. Бармак B.C. Кириллов В.К.