автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка методов и алгоритмов предварительной цифровой обработки стохастических процессов

На правах рукописи

Попов Илья Олегович

РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ПРЕДВАРИТЕЛЬНОЙ ЦИФРОВОЙ ОБРАБОТКИ СТОХАСТИЧЕСКИХ ПРОЦЕССОВ

Специальность:

05.13.01 «Системный анализ, управление и обработка информации (по отраслям)»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 9 НОЯ 2012

МОСКВА 2012 г.

005055992

Работа выполнена на кафедре Управления и информатики в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Национальный исследовательский университет «МЭИ»

Научный руководитель: доктор технических наук,

профессор,

Филаретов Геннадий Федорович

Официальные оппоненты: доктор технических наук, профессор, заведующий кафедрой «Автоматизированные системы управления» ФГБОУ ВПО МГУПС (МИИТ)

Лецкий Эдуард Константинович

кандидат технических наук, профессор кафедры «Технической эксплуатации авиационных электросистем и пилотажно-навигационных комплексов» ФГБОУ ВПО МГТУ ГА, Глухое Вячеслав Васильевич

Ведущая организация: ФГБОУ ВПО Московский Государственный

Технологический Университет «Станкин»

Защита состоится «20» декабря 2012 г. в 16 часов 00 мин. на заседании диссертационного совета Д 212.157.08 при НИУ МЭИ по адресу: 111250, Москва, ул. Красноказарменная, д. 14, Малый актовый зал.

С диссертацией можно ознакомиться в библиотеке НИУ МЭИ.

Отзывы в двух экземплярах, заверенные печатью, просьба направлять по адресу: 111250, Москва, ул. Красноказарменная, д. 14, Ученый совет НИУ МЭИ.

Автореферат разослан «й?» ноября 2012 года Ученый секретарь

диссертационного совета Д 212.157.08 кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Решение многих важных прикладных задач связано с анализом стохастических процессов. Обрабатываемые данные при этом чаще всего представляют собой дискретные цифровые сигналы (временные рады). Обычно различают предварительную (первичную) обработку сигналов и основную, или вторичную. Назначение предварительной обработки - повышение достоверности данных, выяснение особенностей временнбго ряда, приведение его к виду, позволяющему корректно использовать процедуры основной обработки. Именно предварительная обработка во многом определяет успешность последующего анализа данных и всего исследования в целом.

Методы цифровой предварительной обработки весьма многообразны. К числу наиболее часто используемых можно отнести методы обнаружения наличия трендовой составляющей наблюдаемого процесса, выявления аномальных наблюдений, спонтанного изменения свойств временнбго ряда - так называемой, разладки процесса.

Обозначенная область является достаточно хорошо проработанной, о чем свидетельствует большое число касающихся данного вопроса классических монографий и отдельных работ отечественных и зарубежных авторов (Бокс Дж., Дженкинс Г., Бендат Д., Пирсол А., Айвазян С.А., Мхитарян B.C., Енюков И.С., Мешалкин Л.Д. и др.). Многие работы опубликованы сравнительно недавно, что говорит о значимости рассматриваемой задачи как в теоретическом, так и в прикладном плане.

Вместе с тем, следует подчеркнуть, что практически все известные хорошо изученные методы решения перечисленных задач предварительной обработки используют в качестве предпосылки предположение о некоррелированности отсчетов временнбго ряда. На практике большинство исследуемых процессов, естественно, не удовлетворяют данному требованию, в связи с чем формальное применение известных процедур предварительной обработки может привести к серьезным ошибкам.

Диссертационная работа посвящена анализу влияния нарушений предпосылки о некоррелированности данных, развитию существующей алгоритмической базы, разработке новых методов предварительной обработки применительно к процессам с коррелированными отсчетами. Отсюда вытекает актуальность проведения исследований в обозначенной области и темы диссертационной работы.

Цель работы. Целью настоящей работы является разработка методов и алгоритмов предварительной цифровой обработки коррелированных стохастических процессов, предназначенных для выявления в них трендовой составляющей, выделения серий аномальных наблюдений и обнаружения разладки.

Задачи исследования. В соответствии с поставленной целью сформулированы и

решены следующие задачи:

1. Обзор существующих методов предварительной обработки стохастических процессов, решающих задачи обнаружения тренда, выделения аномальных наблюдений и обнаружения разладки.

2. Сравнительный анализ непараметрических критериев обнаружения трендовой составляющей в стохастических временных рядах; исследование свойств указанных критериев при тестировании коррелированных данных с последующей выработкой рекомендаций, позволяющих снизить негативное влияние коррелированности на качество результатов.

3. Разработка алгоритмов выделения серий аномальных наблюдений в коррелированных временных рядах на основе критерия нарушения гладкости их траектории.

4. Исследование поведения алгоритма кумулятивных сумм при решении задачи о разладке по среднему значению коррелированных последовательностей и выработка рекомендаций по настройке алгоритма с учетом коррелированности отсчетов.

5. Разработка программно-технического комплекса оперативного статистического анализа цифровых сигналов с целью практического использования предложенных методов предварительной обработки на реальных сигналах.

6. Разработка программного обеспечения лабораторных работ по методам предварительной обработки стохастических процессов и его апробация в учебном процессе.

Научная новизна.

1. Доказана существенная зависимость уровня значимости непараметрических критериев, наиболее часто используемых для обнаружения трендовой составляющей дискретного случайного процесса, от коррелированности его отсчетов и проведено сопоставление критериев по характеру и степени выраженности этой зависимости;

2. Предложен метод коррекции рассмотренных непараметрических критериев, позволяющий учесть наличие корреляции отсчетов и повысить надежность выводов, получаемых с их помощью.

3. Разработаны три алгоритма обнаружения серий аномальных наблюдений, значимо нарушающих гладкость траектории дискретного коррелированного процесса, основанные на анализе сезонных разностей и цифровой фильтрации.

4. Исследована зависимость рабочих характеристик алгоритма кумулятивных сумм от параметров корреляционной функции анализируемого процесса и показана необходимость учета этой информации при синтезе АКС.

5. Получены расчетные формулы, обеспечивающие настройку АКС с учетом коррелированное™ процесса при решении задачи обнаружения его разладки по среднему значению.

Методы исследования. Полученные в диссертации результаты основываются на применении аппарата теории вероятностей, математической статистики, теории случайных процессов, методов имитационного моделирования и цифровой обработки сигналов.

Обоснованность и достоверность научных положений, выводов и результатов подтверждается данными имитационного моделирования, которые в частном (предельном) случае некоррелированных отсчетов совпадают с известными теоретическими результатами, данными о применении разработанных методов и алгоритмов в программно-техническом комплексе оперативного статистического анализа реальных цифровых сигналов, апробацией полученных результатов среди квалифицированных специалистов на ХХХХ юбилейной международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе ГГ+8Е'2012», Украина, Крым, Ялта-Гурзуф, 2012 г.

Практическая значимость работы.

Полученные результаты исследований позволяют более эффективно использовать алгоритмы предварительной обработки при решении задач обнаружения тренда, аномальных наблюдений и разладки процессов по среднему значению с учетом корреляционных свойств наблюдаемых временных рядов. Кроме того, предложенные новые методы и подходы, учитывающие специфику работы с коррелированными процессами, способны расширить имеющуюся методологическую базу и вооружить исследователя работоспособными средствами решения рассмотренных в работе задач. Созданные алгоритмы могут применяться в технической диагностике, в научных исследованиях, при решении прикладных задач в различных предметных областях, связанных с цифровой обработкой сигналов. В частности, они нашли применение в разработанном программно-техническом комплексе предварительной обработки цифровых сигналов и легли в основу созданного программного и методического обеспечения для проведения курса лабораторных работ по данной тематике.

Реализация результатов. Результаты работы были использованы: • при разработке программно-технического комплекса оперативного статистического анализа цифровых сигналов, включающего в себя аппаратную часть в виде программных модулей для программируемых логических интегральных схем и программную часть в виде специализированного приложения для ПК;

5

• для расширения возможностей лабораторного практикума по курсу «Анализ стохастических процессов» в Национальном исследовательском университете МЭИ в виде программного и методического обеспечения.

Апробация работы. Результаты работы и ее основные положения докладывались на международных конференциях «Радиоэлектроника, электротехника и энергетика» (Москва, 2010), «Информационные средства и технологии» (Москва, 2010), «ХХХХ юбилейной международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+5Е'2012» (Украина, Крым, Ялта-Гурзуф), на заседании кафедры «Управления и Информатгики» Национального исследовательского университета МЭИ.

Публикации. По результатам выполненных исследований опубликовано 11 работ, в том числе 1 статья в рецензируемых журналах из списка ВАК, 6 тезисов докладов и 4 доклада в материалах Международных конференций.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и списка литературы из 100 наименований, включает 181 страницу текста, 81 рисунок, 25 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность решаемой в диссертационной работе проблемы, формулируется цель и задачи исследования. Приводятся основные полученные результаты, выносимые на защиту и определяющие новизну работы, излагается практическая ценность проведенных исследований.

В первой главе приводится краткий обзор задач, решаемых на этапе предварительной обработки дискретных стохастических процессов (временных рядов). Отмечается, что особого внимания на этом этапе заслуживают задачи обнаружения аддитивного тренда, выделения аномальных наблюдений и выявления разладки.

На основе анализа различных научных публикаций перечисляются способы обнаружения различных видов тренда, в том числе и одного из наиболее распространенных на практике - аддитивного тренда среднего значения процесса. Отмечается, что важное место в ряду методов, решающих эту задачу, занимают специализированные непараметрические критерии, представляющие собой формальный математический инструмент, позволяющий выносить обоснованные суждения о наличии тренда. Приводится обзор подобных критериев, на основании которого для дальнейшего исследования выделены

наиболее популярные и удобные в использовании критерии: Аббе-Линника, Фостера-Опоарта, инверсий, Кокс-Споарта, серий и тест ир&Оо\уп.

Приводится краткий обзор методов выявления аномальных наблюдений. Отмечается, что большинство из традиционных подходов к их выявлению основано на предположении, что аномальными следует считать наблюдения, которые по своей амплитуде существенно отличаются от основной массы экспериментальных точек. В такой ситуации оказывается возможным использовать специальные критерии значимости, достаточно надежно работающие в условиях некоррелированности отсчетов процесса. Акцентируется внимание на том, что для коррелированных процессов применение таких критериев, опирающихся на фиксации максимального или минимального по амплитуде наблюдения, оказываются малопродуктивным. Обсуждается сравнительно недавно появившийся иной подход, в котором аномальными считаются точки, существенным образом нарушающие гладкость траектории коррелированного процесса. Этот подход был развит для решения задачи выделения одиночных аномальных наблюдений. Однако зачастую такого рода аномальные наблюдения объединяются в серии различной длины, вследствие чего алгоритм, ориентированный на выявление одиночных аномалий, теряет свою работоспособность и нуждается в модификации.

Рассматриваются способы обнаружения изменения статистических характеристик наблюдаемого процесса, используемые при решении задачи наискорейшего обнаружения разладки процесса. Подчеркивается, что одним из наиболее распространенных последовательных алгоритмов обнаружения разладки и, в частности, разладки по математическому ожиданию, является обладающий свойством оптимальности алгоритм кумулятивных сумм (АКС).

Отмечается, что корректное использование как известных критериев обнаружения тренда, так и методов настройки алгоритма кумулятивных сумм возможно при условии выполнения предпосылки о некоррелированности наблюдений, что значительно сужает сферу их практического использования. Очевидно, что нарушение этой предпосылки способно существенно повлиять на качество результатов обработки.

Делается вывод об актуальности разработки методов и алгоритмов предварительной цифровой обработки коррелированных стохастических процессов, предназначенных для выявления в них трендовой составляющей, выделения серий аномальных наблюдений, обнаружения разладки и уточняется постановка задач исследования.

Вторая глава посвящена решению задачи обнаружения тренда. Задача решалась с помощью имитационного моделирования, для реализации которого были разработаны

необходимые программные средства. Они позволяют в ходе моделирования генерировать гауссовские случайные последовательности с заданными корреляционными свойствами (независимые отсчеты, процессы авторегрессии (АР) и скользящего среднего (СС) различных порядков), формировать тренды линейного и гармонического видов с заданными параметрами, создавать реализации анализируемого процесса различной длины без тренда и с наличием той или иной трендовой составляющей, применить исследуемые критерии к анализу свойств данной реализации, проводить статистическую обработку данных о результатах тестирования при многократном повторении имитационного эксперимента для фиксированных условий его проведения.

С помощью указанной программы в первую очередь был проведен сравнительный анализ выделенных ранее непараметрических критериев при решении задачи обнаружения аддитивного тренда среднего в исходном варианте дискретного белого шума. По кривым мощности критериев выявлены их сравнительные возможности. В частности, обнаружено, что наиболее чувствительным к появлению как монотонного, так и знакопеременного тренда является критерий инверсий.

Исследовано влияние коррелированности отсчетов тестируемого процесса на свойства рассматриваемых критериев. Типичный образец таблицы с результатами исследования приведен ниже (табл. 1).

Таблица 1

Оценки вероятности ошибки первого рода при тестировании процесса скользящего

среднего 1-го порядка (р„(1) = 0,5) в условиях отсутствия тренда

Критерий Длина реализации

50 100 200 500 1000

Аббе-Линника 0,9766 1 1 1 1

Фостера-Стюарта 0,1401 0,1341 0,1203 0,1406 0,1225

инверсий 0,1528 0,161 0,1647 0,1592 0,1566

Кокс-Стюарта 0,0646 0,0695 0,0719 0,0713 0,0659

серий 0,7033 0,9518 0,9995 1 1

тест ир&Ооит 0,8349 0,9916 1 1 1

Анализ полученных данных свидетельствует в пользу наличия существенной зависимости вероятности ошибки первого рода от корреляционных свойств процесса: для всех критериев она увеличивается, причем для некоторых из них настолько сильно, что делает эти критерии практически неработоспособными.

Одним из известных способов, позволяющих уменьшить влияние коррелированности отсчетов, является разбиение исходной реализации на несколько интервалов с длиной, большей, чем максимальный интервал корреляции тм„ с последующим вычислением новых отсчетов как средних значений на каждом интервале. Такой подход ввиду умень-

> 8

I

шения длины реализации может негативно сказаться па мощности критериев. Однако этот вопрос требует проработки.

Предлагается другой способ уменьшения вероятности ошибочных решений при тестировании коррелированных данных, связанный с внесением изменений в границы критической области. С этой целью исследовано влияние коррелированное™ отсчетов на функции распределения решающих статистик критериев. На основании проведенного исследования делается вывод о существенном влиянии коррелированное™ процесса на значения математических ожиданий и среднеквадратических отклонений (СКО) распределений статистик критериев, которые в свою очередь определяют границы критической области.

На основании экспериментов с процессами СС(1) получены представленные на рис.2 графики, отражающие изменение оценок математического ожидания ^ и СКО ст^ статистик рассматриваемых критериев по отношению к их аналитическим значениям ¡¡м и (Г^о для некоррелированной выборки (для критерия Фостера-Стюарта изменение оценки математического ожидания представлено на рис. 1).

На примере процессов СС(1) для пересчета параметров распределения предлагается использовать корректирующие множители, зависящие от величины рх{ 1), которые, как показал анализ, остаются неизменными для различных длин реализаций. Для расчета множителей математического ожидания и СКО статистик используются эмпирические

Р„<1)

Рис. 1. Характер изменения математического ожидания решающей статистики критерия Фостера-Стюарта от коэффициента корреляции рЛУ) (длина реализации 50 отсчетов)

а)

Р,(1> б)

Рис. 2. Характер изменения а) математического ожидания и б) СКО решающих статистик критериев от коэффициента корреляции рх(\) (длина реализации 50 отсчетов)

(0} = (1 )+°гР1 0)+о,. (1)

Расчетные значения коэффициентов аппроксимирующих полиномов для множителей математического ожидания и СКО сведены в табл. 2 и 3.

Проведен анализ работоспособности двух рассмотренных подходов к учету корре-лированности отсчетов случайного процесса. Выявлена меньшая эффективность метода,

Таблица 2

Коэффициенты полинома, аппроксимирующего зависимость множителя _математического ожидания от рг(1)_

Критерий а, «2 а\ со

Аббе-Линника 0 -0,09414 -0,935 1

инверсий 0 0 0 1

Кокса-Стюарта 0 0 0 1

Фостера-Споарта 9,15 9,055 3,363 0

серий 0 - 0,02332 -0,6285 1

тест ир<Ы)о\уп 0 -0,6134 -0,1769 1

Таблица 3

Коэффициенты полинома, аппроксимирующего зависимость множителя СКО от рх( 1)

Критерий аз «2 а\ ао

Аббе-Линника 1,87 -2,336 0,1388 1

инверсий 0 - 0,08737 0,8322 1

Кокса-Стюарта 0,3536 -0,3206 0,3093 1

Фостера-Стюарта 0 0 0 1

серий 0,4976 - 0,9555 0,04689 1

тест ир<5Шо\та - 1,764 0,2677 0,07019 1

связанного с разбиением исследуемой реализации на некоррелированные участки. Показано, что модифицированные с помощью метода корректирующих множителей критерии по своим характеристикам в условиях коррелированности отсчетов оказываются близки к аналогичным характеристикам для некоррелированной выборки.

Выработаны рекомендации по выбору наилучшего критерия для обнаружения аддитивных трендов на фоне коррелированных стохастических данных.

В третьей главе приводится формальная постановка задачи выделения серий аномальных наблюдений, появляющихся в коррелированных временных рядах. Доказывается принципиальная возможность использования сезонных разностей первого порядка = с временным лагом с! для анализа наличия серий аномальных наблюдений

длительностьюг/ (¿1 = 1,2,... с1тш).

В развитие существующего метода выделения точечных аномальных наблюдений (г/ = 1) для упрощения обнаружения выбросов с использованием анализа сезонных разностей предлагается использовать подход, связанный с построением эллипса рассеяния приращений на плоскости (УДг,), УДг(+</)), который представляет собой границу области, вероятность попадания в которую двумерной случайной величины (У¿(г!), У^г,^)) соответствует фиксированному наперед заданному значению доверительной вероятности Р = 1 - а. Выражение, описывающее такой эллипс, имеет вид:

(*,) -2Л< (¿) V, (*,) V, Ы+V2, (2), (2)

где 2я(2) -Р-квантиль хи-квадрат распределения с двумя степенями свободы.

Отмечается, что на плоскости появление в выборке аномального

наблюдения = хк + ;'ь приводит к изменению местоположения трех точек согласно рис. 3, две из которых являются сателлитными. Для них появление импульса ведет к искажению только одной координаты.

Для учета выявленных особенностей поведения анализируемых разностей в условиях появления серий аномальных наблюдений представлен алгоритм, позволяющий обнаруживать серии аномальных наблюдений определенной длины <1.

Для улучшения качества алгоритма предлагается придавать ему итерационный характер. После каждой итерации обнаруженные аномальные наблюдения корректируются путем интерполяции по соседним точкам. Итерационный процесс продолжается до тех пор, пока на очередной итерации не будет выявлено ни одного нового аномального наблюдения или их количество резко уменьшится по сравнению с предыдущими итерациями.

У процедуру требуется производить для различных значений величины г/, начиная с поиска одиночных наблюдений. После завершения обнаружения серий выбросов максимальной длины целесообразно возвратиться обратно к обнаружению одиночных аномальных наблюдений и реализовать новый прогон итерационных процедур и т.д. до тех пор, пока не перестанут выявляться новые серии выбросов для каждого из рассматриваемых значений

Выражение для минимальной амплитуды импульсной помехи, влияние которой удается обнаружить, записывается в следующем виде:

«и = (3)

где а - уровень значимости, <т, и рж - СКО и нормированная АКФ стохастической компоненты анализируемого процесса.

Рис. 3. Смещение математических ожиданий положений точек под воздействием импульсной помехи амплитуды а

Для решения задачи выделения серий аномальных наблюдений предлагаются еще два основанных на использовании цифровых фильтров подхода. В их основе лежит применение интерполирующего и аппроксимирующего цифровых фильтров.

Принцип, положенный в основу использования интерполяционных фильтров, заключается в разбиении исследуемой последовательности на несколько новых, которые получаются из исходной путем децимации в <1 + 1 раз с различным выбором начальной точки, и последующим повышением частоты дискретизации прореженных отсчетов в два раза с интерполяцией в промежуточных точках. Приводится методика построения фильтра, выполняющего указанные операции. В качестве критерия используется близость полученных интерполированных точек к отсчетам, полученным усреднением исходных наблюдений.

В фильтрованном сигнале при наличии серий аномальных наблюдений появляются характерные участки, поиск которых с точки зрения формы предлагается осуществлять анализируя знаки разностей первого порядка. В качестве дополнительного условия предлагается задаться амплитудой разности между основным пиком и двумя побочными. Нижняя граница этого значения определяется величиной:

Л = 2, (4)

где г, ио,- корреляционная матрица и СКО исследуемого временного ряда, а й - вектор коэффициентов построенного согласно приведенной в работе методике фильтра. Минимальное значение амплитуды а импульсной помехи длительности с1 отсчетов, которую удается обнаружить с использованием фильтра порядка 2п + 1, определяется соотношением:

(5)

Аппроксимирующий цифровой сглаживающий фильтр аппроксимирует ряд на каждом участке полиномом 2-3 степени таким образом, что на его выходе формируется последовательность несмещенных оценок трендовой составляющей. Отсчеты симметричной относительно 0 весовой функции такого фильтра порядка 2л + 1 определяются соотношением:

3(3л2 +Зл-1)-15лг „,

и>,=>у ,=—---; «=0,1...,и (6)

' (2л - 1)(2л+1)(2 л+3)

Для целей обнаружения серии выбросов длиной <1 используется разность между усредненным значением по серии отсчетов исходного ряда длиной с/ и аналогичным по-

казателем для ряда, снимаемого с выхода сглаживающего фильтра. Приводится методика построения фильтра, выполняющего указанные операции.

Порядок фильтра предлагается выбирать исходя из условия п~<1 при <1> 1 и п = 2 при 1. В этом случае обеспечивается наиболее удобная для обнаружения характерных для наличия серий аномальных наблюдений участков фильтрованного сигнала ситуация. Анализ реакции фильтра производится с использованием принципов, полностью аналогичных описанным ранее для случая использования интерполяционных фильтров.

Минимальное значение амплитуды а импульсной помехи длительности с! отсчетов, которое удается обнаружить с использованием описанного подхода, определяется соотношением (9)

4с, /_ .

(7)

где w - вектор коэффициентов построенного согласно приведенной в работе методике фильтра, abac- математическое ожидание амплитуды основного пика и двух побочных пиков фильтрованного сигнала:

1-2 £

N¿-0/2

1-2 Z

2-1

d-нечетное d—четное

Ь =

¿"0 d-1

»-(<M)/2-i>

d-нечетное

d—четное

(8)

(9)

где - коэффициенты исходного аппроксимирующего фильтра (8).

На модельном примере демонстрируется работоспособность предлагаемых методов и проводится сопоставление их свойств.

В четвертой главе исследуется влияние коррелированности отсчетов на отклонение обеспечивающего заданный уровень между ложными тревогами Тш порога А алгоритма кумулятивных сумм от значения й0> рассчитанного для случая независимых отсчетов, при обнаружении разладки процесса по математическому ожиданию.

Практически во всех случаях отмечается необходимость увеличения значения порога вместе с усилением взаимосвязи, причем с ростом Тгт порог А возрастает более быстрыми темпами. В связи с этим наблюдается увеличение среднего времени запаздывания в обнаружений разладки т„ что свидетельствует об ухудшении свойств метода с ростом

коррешрованности соседних отсчетов. Чем большее значение Тлт используется для подбора порога А, тем сильнее увеличивается среднее время запаздывания в зависимости от степени корреляции. При этом наблюдается монотонное уменьшение отношения Тш/х, (см рис. 4). Кроме того, отмечается и увеличение значения СКО в значениях г,. 160

140

120

100

В 80

60

40

20

0

0 10 20 30 40 50 60

в

Рис. 4. Зависимость отношения Тлтот коррелированности данных для процесса АР(1)

Показывается бблыпая эффективность подхода, связанного с варьированием значения порога А, в сравнении с искусственным уменьшением коррелированности между отсчетами путем их децимации в сочетании с использованием значений порогов для некоррелированных отсчетов.

В результате исследования процессов с АКФ различных видов доказывается, что определяющее влияние на значение порога А, которое необходимо использовать для сохранения уровня между ложными тревогами на постоянном уровне, оказывает ширина основного пика автокорреляционной функции. В качестве показателя в, характеризующего эту ширину, предлагается использовать лаг нормированной АКФ, на котором основной пик пересекает уровень 0,05.

Получена эмпирическая формула, позволяющая рассчитать значение порога А, соответствующее процессу с заданными корреляционными свойствами:

а=\ (1+вРл+<?р2а+ег^ри + <?ттРг1+вт1рп+0>р„) (10)

где А0 - значение порога, соответствующее настройке АКС для некоррелированных отсчетов, а значения коэффициентов рц указаны в табл. 4.

Таблица 4

Значения коэффициентов в выражении для пересчета порога к_

коэффициент значение

Рю 0,199

Р20 4,59x10"5

Рп -8,99x100

Рзо 1,32x10"5

Р21 1,64x10"*

Рп -3,39хЮ'8

Выявлено, что эффективность использования стандартного алгоритма кумулятивных сумм когда 9 составляет больше 20 дискретных единиц невысока. Отмечается также, что влияние коррелированности отсчетов уменьшается с увеличением значения номинальной разладки <5. Представленные в работе выводы справедливы при условии работы в малых окрестностях точки <5 = 1.

Приводится описание другого предлагаемого подхода, связанного с уменьшением коррелированности исходных данных путем построения одним из известных способов АРСС модели вида (11).

Далее предлагается синтезировать контролирующий алгоритм, используя практически некорелированные оценки текущих значений £к, оценив их СКО &с, и выбирая в качестве порога величину Л0. При этом параметр номинальной разладки <5 будет определяться с помощью соотношения:

6 _.("■ -".)('-А(12) д. (1-(!>,-...(?,)

Отмечается, что такой метод оказывается несколько менее эффективным по сравнению с рассмотренным ранее, в том числе и для сильно коррелированных процессов. Однако метод позволяет выбирать порог с использованием классического подхода.

Анализируется работоспособность предлагаемых методов и их сравнение с классическим подходом.

В пятой главе рассматриваются задачи практического применения предложенных методов. Приводится описание разработанного программно-технического комплекса, применяемого для оперативного анализа цифровых сигналов на основе программируемых логических интегральных схем (ПЛИС). Комплекс включает программные средства, позволяющие решать рассматриваемые в работе задачи применительно к цифровым сигналам, на аппаратной базе вычислительной платы с ПЛИС и персонального компьютера, соединенных сетевым кабелем. Комплекс реализует средства выявления тренда, серий ! 16

аномальных наблюдений и разладки по среднему значению и нашел применение в составе рабочих мест для контрольно-проверочной аппаратуры для бортовой платформы цифровой спутниковой связи в ОАО «Российские космические системы». Приводится пример использования разработанных средств оперативной предварительной обработки сигналов.

Излагаются принципы применения разработанных алгоритмических и -программных средств для проведения лабораторных работ в учебных курсах, рассматривающих вопросы предварительной обработки стохастических процессов. Приводится описание курса из трех лабораторных работ по изучению и применению исследованных в работе методов и программ, дополненных графическим пользовательским интерфейсом, и данные по его практической аппробации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен обзор и анализ известных методов предварительной обработки стохастических процессов, решающих задачи обнаружения тренда, выделения аномальных наблюдений и обнаружения разладки. Выявлено, что сферой их применимости являются, в основном, только процессы с некоррелированными отсчетами. На базе проведенного анализа уточнены основные направления и задачи исследования.

2. С помощью имитационного моделирования доказана существенная зависимость уровня значимости непараметрических критериев, наиболее часто используемых для обнаружения аддитивного тренда дискретного случайного процесса, от коррелированности его отсчетов. Проведено сопоставление критериев по степени их устойчивости к нарушению предпосылки некоррелированности отсчетов. Предложен метод коррекции критериев, позволяющий учесть наличие корреляции отсчетов с помощью введения корректирующих множителей для математического ожидания и СКО исходной решающей статистики критерия. Продемонстрирована эффективность предложенного метода в сравнении с искусственным уменьшением корреляции путем децимации исходных данных.

3. Доказана принципиальная возможность использования сезонных разностей первого порядка для выявления серий аномальных наблюдений в коррелированных временных рядах с использованием критерия нарушения гладкости наблюдаемых траекторией процесса и разработан алгоритм выделения таких серий. Для решения данной задачи предложены также два других алгоритма, основанные на применении цифровых фильтров. Приведена методика построения фильтров и анализа сигналов на их выходах для выяв-

ления аномальных наблюдений в виде серий заданной длины. На модельном примере показана работоспособность разработанных алгоритмов.

4. Исследована зависимость рабочих характеристик алгоритма кумулятивных сумм от параметров корреляционной функции анализируемого процесса и доказана необходимость учета этой информации при синтезе АКС. Для сохранения среднего времени между ложными тревогами на неизменном уровне при усилении взаимосвязи между отсчетами процесса показана необходимость соответствующего увеличения порога решающей функции. Получена эмпирическая формула, позволяющая вычислить значение порога при известной степени взаимосвязи отсчетов исследуемого процесса, в качестве которой рекомендовано использовать ширину основного пика автокорреляционной функции. Предложен метод использования алгоритма кумулятивных сумм в сочетании с параметрической идентификацией АРСС-модели процесса и построением ряда ошибок прогноза на шаг вперед; сформулированы указания по настройке его параметров.

5. Разработан специализированный программно-технический комплекс оперативного статистического анализа цифровых сигналов, в рамках которого применяются предложенные методы и алгоритмы предварительной обработки. Комплекс успешно использовался для оперативного анализа реальных сигналов, относящихся к категории коррелированных стохастических процессов.

6. Разработанные в ходе проведения исследований библиотеки программных модулей адаптированы и дополнены пользовательским графическим интерфейсом для проведения лабораторных работ в учебных курсах, рассматривающих вопросы предварительной обработки стохастических процессов. Подготовлено и успешно апробировано методическое обеспечение трех лабораторных работ по данной тематике.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК:

1. Попов И.О., Филаретов Г.Ф. Выделение серий аномальных наблюдений в коррелированных временных радах // Вестник Московского энергетического института. 2011. № 2. с. 72-77.

Другие статьи и материалы конференций:

2. Попов И.О., Виноградова, Н. А. Разработка интерфейса обмена данными на программируемых логических интегральных схемах. // Современные технологии в задачах управления и обработки информации: труды XVI Международного научно-технического семинара. Сентябрь 2007 г., Алушта. - Тула: Изд-во ТулГУ, 2007. - с.

222-223.

3. Попов И.О., Филаретов Г.Ф. Сегментация реализации процесса для оценки его постоянной составляющей. // Радиоэлектроника, электротехника и энергетика: Пятнадцатая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. докл. В 3-х т. Т. 1. М.: Издательский дом МЭИ, 2009. с. 341-342.

4. Попов И.О., Филаретов Г.Ф. Исследование тестов на наличие тренда в условиях коррелированное™ тестируемых данных. // Современные технологии в задачах управления, автоматики и обработки информации: Труды XVIII Международного научно-технического семинара. Сентябрь 2009 г., Алушта. - М.: МИРЭА, 2009, с. 214.

5. Попов И.О., Филаретов Г.Ф. Выделение серий аномальных наблюдений в коррелированных временных рядах. // Радиоэлектроника, электротехника и энергетика: Шестнадцатая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. докл. В 3 т. Т.1. М.: Издательский дом МЭИ, 2010. с. 438-439.

6. Попов И.О., Филаретов Г.Ф. Выделение серий аномальных наблюдений в коррелированных временных рядах. // Современные технологии в задачах управления, автоматики и обработки информации: Труды XIX Международного научно-технического семинара. (Сентябрь 2010 г., Алушта). - М.: Издательский дом МЭИ. с. 293-294.

7. Попов И.О., Филаретов Г.Ф. О влиянии коррелированности отсчетов на параметры алгоритма кумулятивных сумм при решении задачи разладки. // Радиоэлектроника, электротехника и энергетика: Восемнадцатая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. докл. В 4 т. Т.2. М.: Издательский дом МЭИ, 2012. с. 96.

8. Попов И.О., Филаретов Г.Ф. Исследование тестов на наличие тренда в условиях коррелированности тестируемых данных. // Труды XVII международной научно-технической конференции "Информационные средства и технологии". 20-22 октября 2009 г., Москва. В 3 томах. Т.З. - М.: Издательский дом МЭИ, с. 223-229.

9. Попов И.О., Филаретов Г.Ф. Применение цифровых фильтров для обнаружения серий выбросов в коррелированных временных рядах. // Труды XVIII международной научно-технической конференции "Информационные средства и технологии". 19-21 октября 2010 г., Москва. В 3 томах. Т.З. - М.: Издательский дом МЭИ, с. 345-350.

Ю.Попов И.О., Филаретов Г.Ф. Выделение серий аномальных наблюдений в коррелированных временных рядах. // Информационные технологии, энергетика и экономика (информационные технологии, математическое моделирование технологических процессов, электроника) Сб. трудов 7-ой Межрег. (межд.) науч.-техн. конф. студентов и аспирантов. В 3 т. Т 2. - 2010. с. 63-68.

П.Попов И.О., Филаретов Г.Ф. Обнаружение разладки в коррелированных временных рядах с использованием алгоритма кумулятивных сумм. Материалы ХХХХ юбилейной международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT+SE'2012» (Приложение к журналу «Открытое образование»), 25.05 - 4.06.2012, Украина, Крым, Ялта-Гурзуф, стр. 253 - 255.

Подписано в печать ЦП, lit ■ Зак. his Тир. юо Полиграфический центр МЭИ(ТУ) Красноказарменная ул.,д.13

Введение.

Глава 1. Задачи предварительной обработки и методы их решения.

1.1. Общая характеристика задач предварительной обработки.

1.2. Способы обнаружения тренда.

1.3. Способы выделения аномальных наблюдений.

1.4. Методы выявления разладки процесса по математическому ожиданию.

1.5. Уточнение постановки задачи исследования.

1.6. Выводы по главе.

Глава 2. Обнаружение тренда в коррелированных временных рядах.

2.1. Сравнение непараметрических тестов наличия тренда.

2.2. Анализ влияния коррелированности данных на результаты тестирования.

2.3. Разработка метода коррекции критериев.

2.4. Сравнение методов учета корреляционных свойств процесса.

2.5. Выводы по главе.

Глава 3. Выделение серий аномальных наблюдений.

3.1. Основная идея и предпосылки.

3.2. Описание алгоритма обнаружения серий импульсов.

3.3. Использование цифровых фильтров.

3.4. Демонстрация работоспособности и сравнение предложенных методов.

3.5. Выводы по главе.

Глава 4. Выявление разладки по математическому ожиданию в коррелированных временных рядах с использованием АКС.

4.1. Анализ влияния коррелированности данных на результаты поиска разладки процесса по среднему значению.

4.2. Метод уменьшения влияния коррелированности.

4.3. Анализ свойств предложенных методов.

4.4. Выводы по главе.

Глава 5. Практическое применение Теоретических результатов работы.

5.1 Разработка программно-технического комплекса оперативного статистического анализа цифровых сигналов.

5.2 Результаты работы разработанного комплекса.

5.3 Разработка программного обеспечения для обучения методам предварительной обработки.

5.4 Выводы по главе.

Актуальность работы. При проведении любого научного исследования необходимо уделять особое внимание обработке данных наблюдений. Анализ один из ключевых компонентов обработки данных. Его теоретические основы рассматриваются в большом числе книг от учебников и учебных пособий до фундаментальных монографий. Применяемые при этом математические методы и алгоритмы, а также характер обработки, в первую очередь определяются спецификой конкретной исследовательской задачи и особенностями изучаемого процесса, а также поставленными целями.

Несмотря на различную физическую сущность изучаемых процессов можно указать общие и необходимые этапы обработки информации. Обычно различают первичную (оперативную) обработку информации и вторичную (основную) обработку. На этапах первичной обработки проводится анализ достоверности данных, выяснение предполагаемого состава временного ряда, выделение отдельных компонент ряда. Этот вид обработки непосредственно связан с учетом характеристик измерительного тракта и анализом свойств наблюдаемых сигналов (процессов). Вторичный анализ, как правило, включает методы статистического параметрического и непараметрического анализа временных рядов, а также построение динамических моделей исследуемого объекта, процесса, явления. Следует иметь в виду всю условность подобного деления, поскольку в ряде случаев методы и алгоритмы оперативной обработки могут составлять и суть основной обработки и наоборот.

Методы первичной обработки зачастую приходится использовать ещё на этапе предпроектных разработок, связанных с созданием соответствующей системы автоматизации экспериментальных исследований; при этом результаты предпроектного этапа могут во многом определить требования к техническому и программному обеспечению системы, выбору технологических параметров и режимов работы аппаратуры. От качества выполнения первичной обработки данных, как на этапе предпроектных разработок, так и непосредственно в ходе проведения эксперимента напрямую зависит и качество конечного научного результата. Несмотря на необходимость применения в ряде случаев специальных частных методов анализа, методы и алгоритмы первичной обработки в значительной меньшей степени зависят от особенностей конкретного объекта исследования по сравнению с используемыми при вторичной обработке, что позволяет говорить о возможности построения достаточно универсальных подходов и методик первичной обработки.

Стоит отметить, что обозначенная область является достаточно хорошо проработанной, о чем говорит огромное число уже ставших классическими монографий (например [1-4]) и отдельных работ, затрагивающих данный вопрос. Многие работы опубликованы сравнительно недавно, что подтверждает неувядающий интерес к этой теме и подчеркивает важность и актуальность решаемых проблем. Задачи предварительной обработки весьма разнообразны, и для их решения используются общие статистические методы, которые также применяются и при вторичном анализе. Вместе с тем, большая часть из известных и хорошо изученных подходов к решению тех или иных задач использует в качестве предпосылки предположение о близости рассматриваемого процесса к последовательности независимых случайных величин, что выполняется не всегда, и является достаточно серьезным ограничением класса процессов, к которым подход может быть применен на практике.

За несколько последних десятилетий технический прогресс дал мощный толчок развитию вычислительных средств. Повышение производительности и уменьшение размеров современных средств цифровой обработки данных сделало возможным использование для предварительной обработки более сложные и ресурсоемкие методы анализа, применение которых ранее для этих целей казалось неоправданным. В сжатые сроки можно получить дополнительную информацию об обрабатываемых данных, применение которой способно существенным образом отразиться на достоверности получаемых результатов. Кроме того с развитием техники усложняются и решаемые с ее помощью задачи, повышаются требования к скорости и качеству обработки данных.

Таким образом, актуальным является развитие существующей алгоритмической базы и разработка новых средств предварительной обработки применительно к процессам с зависимыми значениями, а так же анализ предложенных методов.

Цель работы. Целью настоящей работы является разработка методов и алгоритмов предварительной цифровой обработки коррелированных стохастических процессов, предназначенных для выявления в них трендовой составляющей, выделения серий аномальных наблюдений и обнаружения разладки.

Задачи исследования. В соответствии с поставленной целью сформулированы и решены следующие задачи:

1. Обзор существующих методов предварительной обработки стохастических процессов, решающих задачи обнаружения тренда, выделения аномальных наблюдений и обнаружения разладки.

2. Сравнительный анализ непараметрических критериев обнаружения трендовой составляющей в стохастических временных рядах; исследование свойств указанных критериев при тестировании коррелированных данных с последующей выработкой рекомендаций, позволяющих снизить негативное влияние коррелированности на качество результатов.

3. Разработка алгоритмов выделения серий аномальных наблюдений в коррелированных временных рядах на основе критерия нарушения гладкости их траектории.

4. Исследование поведения алгоритма кумулятивных сумм при решении задачи о разладке по среднему значению коррелированных последовательностей и выработка рекомендаций по настройке алгоритма с учетом коррелированности отсчетов.

5. Разработка программно-технического комплекса оперативного статистического анализа цифровых сигналов с целью практического использования предложенных методов предварительной обработки на реальных сигналах.

6. Разработка программного обеспечения лабораторных работ по методам предварительной обработки стохастических процессов и его апробация в учебном процессе.

Научная новизна.

1. Доказана существенная зависимость уровня значимости непараметрических критериев, наиболее часто используемых для обнаружения трендовой составляющей дискретного случайного процесса, от коррелированное™ его отсчетов и проведено сопоставление критериев по характеру и степени выраженности этой зависимости;

2. Предложен метод коррекции рассмотренных непараметрических критериев, позволяющий учесть наличие корреляции отсчетов и повысить надежность выводов, получаемых с их помощью.

3. Разработаны три алгоритма обнаружения серий аномальных наблюдений, значимо нарушающих гладкость траектории дискретного коррелированного процесса, основанные на анализе сезонных разностей и цифровой фильтрации.

4. Исследована зависимость рабочих характеристик алгоритма кумулятивных сумм от параметров корреляционной функции анализируемого процесса и показана необходимость учета этой информации при синтезе АКС.

5. Получены расчетные формулы, обеспечивающие настройку АКС с учетом коррелированности процесса при решении задачи обнаружения его разладки по среднему значению.

Методы исследования. Полученные в диссертации результаты основываются на применении аппарата теории вероятностей, математической статистики, теории случайных процессов, методов имитационного моделирования и цифровой обработки сигналов.

Обоснованность и достоверность научных положений, выводов и результатов подтверждается данными имитационного моделирования, которые в частном (предельном) случае некоррелированных отсчетов совпадают с известными теоретическими результатами, данными о применении разработанных методов и алгоритмов в программно-техническом комплексе оперативного статистического анализа реальных цифровых сигналов, апробацией полученных результатов среди квалифицированных специалистов на ХХХХ юбилейной международной конференции • «Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+8Е'2012», Украина, Крым, Ялта-Гурзуф, 2012 г.

Практическая значимость работы.

Полученные результаты исследований позволяют более эффективно использовать алгоритмы предварительной обработки при решении задач обнаружения тренда, аномальных наблюдений и разладки процессов по среднему значению с учетом корреляционных свойств наблюдаемых временных рядов. Кроме того, предложенные новые методы и подходы, учитывающие специфику работы с коррелированными процессами, способны расширить имеющуюся методологическую базу и вооружить исследователя работоспособными средствами решения рассмотренных в работе задач. Созданные алгоритмы могут применяться в технической диагностике, в научных исследованиях, при решении прикладных задач в различных предметных областях, связанных с цифровой обработкой сигналов. В частности, они нашли применение в разработанном программно-техническом комплексе предварительной обработки цифровых сигналов и легли в основу созданного программного и методического обеспечения для проведения курса лабораторных работ по данной тематике.

Реализация результатов. Результаты работы были использованы:

• при разработке программно-технического комплекса оперативного статистического анализа цифровых сигналов, включающего в себя аппаратную часть в виде программных модулей для программируемых логических интегральных схем и программную часть в виде специализированного приложения для персонального компьютера (ПК);

• для расширения возможностей лабораторного практикума по курсу «Анализ стохастических процессов» в Национальном исследовательском университете МЭИ в виде программного и методического обеспечения.

Апробация работы. Результаты работы и ее основные положения докладывались на международных конференциях «Радиоэлектроника, электротехника и энергетика» (Москва, 2010), «Информационные средства и технологии» (Москва, 2010), «ХХХХ юбилейной международной конференции

Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+8Е'2012» (Украина, Крым, -Ялта-Гурзуф), на заседании кафедры «Управления и Информаттики» Национального исследовательского университета МЭИ.

Публикации. По результатам выполненных исследований опубликовано 11 работ, в том числе 1 статья в рецензируемых журналах из списка ВАК [5], 7 тезисов докладов [6-12] и 3 доклада [13-15] в материалах Международных конференций.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и списка литературы из 100 наименований, включает 181 страницу текста, 81 рисунок, 25 таблиц.

5.4 Выводы по главе

1) Разработан программно-технический комплекс, позволяющий использовать полученные в работе результаты для оперативного анализа цифровых сигналов присутствующих внутри ПЛИС; комплекс включает вычислительную плату на базе ПЛИС Xilinx Virtex-4 и ПК, соединенные сетевым кабелем, битовый массив конфигурации ПЛИС и запускаемые на ПК программные средства для управления системой и взаимодействия с пользователем.

2) Для целей предварительной обработки анализируемого сигнала разработаны отдельные HDL модули, которые использованы в составе комплекса, но могут иметь и самостоятельное применение.

3) Разработаны средства автономного статистического анализа полученной из ПЛИС реализации сигнала длиной до 16384 отсчета с использованием рассматриваемых в работе методов.

4) Проведено тестирование разработанного комплекса на отладочном тестовом сигнале, генерируемого самой системой, и на принимаемом внешнем сигнале; тестирование доказало эффективность использования разработанных средств оперативной предварительной обработки сигналов.

5) Разработанная для проведения исследований библиотека программных функций адаптирована для использования при проведении лабораторных работ в учебных курсах, рассматривающих вопросы предварительной обработки стохастических процессов, на инженерных специальностях высших учебных заведений.

6) Разработан курс из трех лабораторных работ по изучению и применению рассматриваемых в настоящей работе методов; предложена методика проведения лабораторных работ с использованием разработанных программных средств.

7) Спроектированы программные средства с графическим пользовательским интерфейсом, позволяющие в полном объеме выполнить разработанный курс лабораторных работ.

ЗАКЛЮЧЕНИЕ

1. Проведен обзор и анализ известных методов предварительной обработки стохастических процессов, решающих задачи обнаружения тренда, выделения аномальных наблюдений и обнаружения разладки. Выявлено, что сферой их применимости являются, в основном, только процессы с некоррелированными отсчетами. На базе проведенного анализа уточнены основные направления и задачи исследования.

2. С помощью имитационного моделирования доказана существенная зависимость уровня значимости непараметрических критериев, наиболее часто используемых для обнаружения аддитивного тренда дискретного случайного процесса, от коррелированности его отсчетов. Проведено сопоставление критериев по степени их устойчивости к нарушению предпосылки некоррелированности отсчетов. Предложен метод коррекции критериев, позволяющий учесть наличие корреляции отсчетов с помощью введения корректирующих множителей для математического ожидания и СКО исходной решающей статистики критерия. Продемонстрирована эффективность предложенного метода в сравнении с искусственным уменьшением корреляции путем децимации исходных данных.

3. Доказана принципиальная возможность использования сезонных разностей первого порядка для выявления серий аномальных наблюдений в коррелированных временных рядах с использованием критерия нарушения гладкости наблюдаемых траекторией процесса и разработан алгоритм выделения таких серий. Для решения данной задачи предложены также два других алгоритма, основанные на применении цифровых фильтров. Приведена методика построения фильтров и анализа сигналов на их выходах для выявления аномальных наблюдений в виде серий заданной длины. На модельном примере показана работоспособность разработанных алгоритмов.

4. Исследована зависимость рабочих характеристик алгоритма кумулятивных сумм от параметров корреляционной функции анализируемого процесса и доказана необходимость учета этой информации при синтезе АКС. Для сохранения среднего времени между ложными тревогами на неизменном уровне при усилении взаимосвязи между отсчетами процесса показана необходимость соответствующего увеличения порога решающей функции. Получена эмпирическая формула, позволяющая вычислить значение порога при известной степени взаимосвязи отсчетов исследуемого процесса, в качестве которой рекомендовано использовать ширину основного пика автокорреляционной функции. Предложен метод использования алгоритма кумулятивных сумм в сочетании с параметрической идентификацией АРСС-модели процесса и построением ряда ошибок прогноза на шаг вперед; сформулированы указания по настройке его параметров.

5. Разработан специализированный программно-технический комплекс оперативного статистического анализа цифровых сигналов, в рамках которого применяются предложенные методы и алгоритмы предварительной обработки. Комплекс успешно использовался для оперативного анализа реальных сигналов, относящихся к категории коррелированных стохастических процессов.

6. Разработанные в ходе проведения исследований библиотеки программных модулей адаптированы и дополнены пользовательским графическим интерфейсом для проведения лабораторных работ в учебных курсах, рассматривающих вопросы предварительной обработки стохастических процессов. Подготовлено и успешно апробировано методическое обеспечение трех лабораторных работ по данной тематике.

1. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление: Пер. с англ. // Под ред. В.Ф. Писаренко. М.: Мир, 1974, кн. 1. - 406 е.; кн. 2. - 197 с.

2. Андерсон Т. Статистический анализ временных рядов. М: Мир, 1976. 755 с.

3. Бендат Д., Пирсол А. Прикладной анализ случайных данных; Пер. с англ. -М: Мир, 1989. 540 с.

4. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных. М: Финансы и статистика 1983. 487 с.

5. Попов И.О., Филаретов Г.Ф. Выделение серий аномальных наблюдений в коррелированных временных рядах // Вестник Московского энергетического института. 2011. № 2. с. 72-77.

6. Электронный ресурс http://ru.wikipedia.org/wiki/BpeMeHHofipHA.

7. П.Виноградова Н.А., Филаретов Г.Ф. Анализ стохастических процессов: учебное пособие / под ред. Г.Ф. Филаретова. М: Издательский дом МЭИ, 2007. 116 с.

8. Суслов В.И., Ибрагимов Н.М., Талышева Л.П., Цыплаков А.А. Эконометрия: Учебное пособие. Новосибирск: Издательство СО РАН, 2005. 744 с.

9. Smith RL. Extreme value analysis of environmental time series: an application to trend detection in ground-level ozone. Stat Sci 1989; 4:367-93.

10. Avent, R. K. and J. D. Charlton (1990). "A Critical Review of Trend-Detection Methodologies for Biomedical Monitoring Systems." Critical Reviews in Biomedical Engineering, 17(6): 621-659.

11. Hess, A., Iyer, H. & Malm, W. (2001) Linear trend analysis: a comparison of methods. Atmos. Environment 35, 5211-5222.

12. Khaled H. Hamed, (2008) Trend detection in hydrologic data: The Mann-Kendall trend test under the scaling hypothesis. Journal of Hydrology 349:3-4, pages 350-363.

13. Exploratory Analysis // Statistical Methods for Trend Detection and Analysis in the Environmental Sciences / R.E. Chandler, E.M. Scott. Chichester, UK: John Wiley & Sons, Ltd, 2011. p. 25-59.

14. M. Ермилов. Проблемы выделения тренда и сезонной составляющей. Электронный ресурс http://scipeople.ru/publication/67907/

15. Vyushin, D. I., V. Е. Fioletov, and Т. G. Shepherd (2007), Impact of long-range correlations on trend detection in total ozone, J. Geophys. Res., 112, D14307, doi: 10.1029/2006JD008168.

16. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. М: ФИЗМАТЛИТ, 2006. 816 с.

17. Лемешко Б.Ю. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход: монография / Б.Ю. Лемешко, С.Б. Лемешко, С.Н. Постовалов, Е.В. Чимитова. Новосибирск: Изд-во НГТУ, 2011. - 888 с.

18. F. G. Foster and A. Stuart. Distribution-Free Tests in Time-Series Based on the Breaking of Records // Journal of the Royal Statistical Society. Series В (Methodological) Vol. 16, No. 1 (1954), pp. 1-22

19. Cox D. R., Stuart A. Quick sing tests for trend in location and dispersion // Biometrika. 1955.

20. A. Wald and J. Wolfowitz. An Exact Test for Randomness in the Non-Parametric Case Based on Serial Correlation // The Annals of Mathematical Statistics Vol. 14, No. 4 (Dec., 1943), pp. 378-388.

21. Peter W. Shaughnessy. Multiple Runs Distributions: Recurrences and Critical Values // Journal of the American Statistical Association Vol. 76, No. 375 (Sep., 1981), pp. 732-736

22. Olmsted P. S. Runs determined in a sample by an arbitrary cut // Bell System Technical Journal. 1958. Vol. 37.

23. Хальд А. Математическая статистика с техническими приложениями. М: ИЛ, 1956. 664 с.

24. W. Allen Wallis and Geoffrey H. Moore. A Significance Test for Time Series Analysis // Journal of the American Statistical Association Vol. 36, No. 215 (Sep., 1941), pp. 401-409.

25. Д. Химмельблау, В.Д. Скаржинский. Анализ процессов статистическими методами. М: Мир, 1973. 957 с.

26. Woodward R. Н, Goldsmith P. L. Monograph No. 3, Cumulative Sum Techniques. London: Oliver & Boyd, 1966.

27. McGilchrist C.A., Woodyer K.D. Note on a Distribution-Free CUSUM Technique // Technometrics. 1975. Vol. 17. No 3. pp. 321-325.

28. Шеффе Г. Дисперсионный анализ; Пер. с англ. Б.А. Севастьянова, В.П. Чистякова. М: Гос. изд-во физ.-мат. лит., 1963. 625 с.

29. Yue, S., Pilon, P., Phinney, В. and Cavadias, G. (2002), The influence of autocorrelation on the ability to detect trend in hydrological series. Hydrol. Process., 16: 1807-1829. doi: 10.1002/hyp.l095

30. Sheng Yue, Paul Pilon, Bob Phinney. Canadian streamflow trend detection:impacts of serial and cross-correlation // Hydrological Sciences Journal. 2003. Vol. 48, Iss. 1.

31. Kulkarni, A. & von Storch, H. (1995) Monte Carlo experiments on the effect of serial correlation on the Mann-Kendall test of trend. Meteorol. Z., 4 (2), 82-85.

32. Yue, S. & Pilon, P. (2003) Interaction between deterministic trend and autoregressive process. Water Resour. Res., 39 (4), doi:10.1029/2001WR001210.

33. Ira J. Haimowitz , Isaac S. Kohane, Automated trend detection with alternate temporal hypotheses, Proceedings of the 13th international joint conference on Artifical intelligence, p. 146-151, August 28-September 03, 1993, Chambery, France.

34. Марчук В.И., Токарева C.B. Способы обнаружения аномальных значений при анализе нестационарных случайных процессов. Монография. Шахты: ЮРГУЭС, 2009. 209 с.

35. Barnett, V., Lewis, Т.: Outliers in Statistical Data. John Wiley and Sons, New York (1994).

36. Лайонс P. Цифровая обработка сигналов. 2-е изд. Пер. с англ. М.: ООО «Бином-Пресс», 2006. -656 е.: ил.

37. Jieqi Yu , Haipeng Zheng , Sanjeev R. Kulkarni , H. Vincent Poor, Two-stage outlier elimination for robust curve and surface fitting, EURASIP Journal on Advances in Signal Processing, 2010, p. 1-13, February 2010.

38. Faraz Rasheed , Peter Peng , Reda Alhajj , Jon Rokne, Fourier transform based spatial outlier mining, Proceedings of the 10th international conference on Intelligent data engineering and automated learning, September 23-26, 2009, Burgos, Spain.

39. Grubbs F.E. Sample Criteria for Testing Outlying Observations // Ann. Math. Statist. 1950. Vol. 21. No 1. pp. 27-58.

40. Смирнов H.B. Об оценке максимального члена в ряду наблюдений, ДАН СССР, XXXIII (1941), с 346-349.

41. Thompson W.A. The Problem of Negative Estimates of Variance Components // Ann. Math. Statist. 1962. Vol. 33. No 1. pp. 273-289.

42. T.S. Ferguson. On the rejection of outliers // Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability. 1961. pp. 253-287.

43. Б.Ю. Лемешко, С.Б. Лемешко. Расширение области применения критериев типа Граббса, используемых при отбраковке аномальных измерений // Измерительная техника. 2005. № 6. С. 13-19.

44. Э.И. Цветков. Основы теории статистических измерений. Л.: Энергоатомиздат, 1986. 288 с.

45. Новицкий, П.В., Зограф, И.А., Лабунец, B.C. Динамика погрешностей средств измерений. Л.: Энергоатомиздат, 1990. 190 с.

46. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. Л.: Энергоатомиздат, 1991. 248 с.

47. Г. Дэйвид. Порядковые статистики / под ред. В.В. Петров. М: Наука. Главная редакция физико-математической литературы, 1979. 336 с.

48. Manqi Zhao , Venkatesh Saligrama, Outlier detection via localized p-value estimation, Proceedings of the 47th annual Allerton conference on Communication, control, and computing, September 30-0ctober 02, 2009, Monticello, Illinois, USA.

49. Ширяев A.H. Статистический последовательный анализ: Оптимальные правила остановки.: ФИЗМАТЛИТ, 1979. 272 С.

50. Савченко B.B. Обнаружение и прогнозирование разладки случайного процесса на основе спектрального оценивания // Автометрия. 1996. № 2. с. 77-84.

51. Тихонов В.И., Хименко В.И. Выбросы траекторий случайных процессов. -Л.: Наука, 1987.-304 с.

52. Ефимов А.Н. Методы порядковых статистик и рангов в задачах обработки надлюдений // Научно-технический реферативный сборник Измерения, контроль, автоматизация. 1981. с 19-27.

53. Л.И. Жадан. К процедуре исключения аномальных измерений // Автометрия. 1985. № 2. С. 25-29.

54. Фомин А.Ф., Новоселов О.Н., Плющев A.B. Отбраковка аномальных результатов измерений. М: Энергоатомиздат, 1985. 200 с.

55. Авшалумов А.Ш., Филаретов Г.Ф. Алгоритмы обнаружения аномальных наблюдений в коррелированных временных рядах // Вестник Московского энергетического института. 2007. № 3. с. 118-125.

56. Hossein Tabari, P. Hosseinzadeh Talaee, Azadeh Ezani, B. Shifteh Some'e, (2012) Shift changes and monotonie trends in autocorrelated temperature series over Iran. Theoretical and Applied Climatology 109:1-2, pages 95-108.

57. С. Э. Воробейчиков, "Об обнаружении изменения среднего в последовательности случайных величин", Автомат, и телемех., 1998, № 3, 50-56.

58. Е. А. Гребешок, "Обнаружение изменений свойств нестационарных случайных процессов", Автомат, и телемех., 2003, № 12, 44-59.

59. Бродский Б.Б. Асимптотически оптимальные методы в задаче скорейшего обнаружения разладки. // Автоматика и телемеханика. 1995. № I.e. 60-72.

60. Драгалин В.П. Асимптотические решения задачи обнаружения разладки при неизвестном параметре // Статистические проблемы управления. 1988. № 83. с. 4751.

61. Бродский Б.Е., Дарховский Б.С. Асимптотический анализ некоторых оценок в апостериорной задаче о разладке // Теория вероятностей и ее применение. 1990. 35:3. с. 551-557.

62. Ширяев А.Н. Статистический последовательный анализ. М.: Наука, 1976. -272 с.

63. Ширяев А.Н. Вероятность. М.: Наука, 1980. - 576 с.

64. Бродский Б.Е., Дарховский Б.С. Сравнительный анализ некоторых непараметрических методов скорейшего обнаружения момента разладки случайной последовательности // Теория вероятностей и ее применение. 1990. 35:4. с. 655668.

65. Сосулин Ю.Г., Фишман М.М. Теория последовательных решений и ее применения. М.: Радио и связь, 1985. 272 с.

66. Телькснис JI.A. Определение изменений свойств случайных процессов при неполных априорных данных // Статистические проблемы управления. Вильнюс: 1977. №12. с. 10-26.

67. Pollak М. Average Run Lengths of an Optimal Method of Detecting a Change in Distribution // Ann. Statist. 1987. Vol. 15. No 2. pp. 749-779.

68. Lavielle M. Detection of multiple changes in a sequence of dependent variables // Stochastic Processes and their Applications. 1999. Vol. 83. No 1. pp. 79-102.

69. Kokoszka P. Teyssiere G. Change-point detection in GARCH models: asymptotic and bootstrap tests // EconPapers. 2002. No 62.

70. Бассвиль M. и др. Обнаружение изменения свойств сигналов и динамических сис- тем. М.: Мир, 1989.

71. Lorden G. Procedures for Reacting to a Change in Distribution // The Annals of Mathematical Statistics. 1971. Vol. 42. No 6. pp. 1897-1908.

72. Pollak M. Optimal detection of a change in distribution // Annals of statistics. Vol. 13. No l.pp. 206-227.

73. Moustakides G.V. Optimal Stopping Times for Detecting Changes in Distributions // Ann. Statist. 1986. Vol. 14. No 4. pp. 1379-1387.

74. Page E.S. Continuous Inspection Schemes // Biometrika. 1954. Vol. 41. No 1/2. pp. 100-115.

75. Филатов A.C. Исследование и разработка алгоритмов кумулятивных сумм в задаче обнаружения разладки дискретного случайного процесса // к.т.н. МЭИ 1983.

76. Филаретов Г.Ф. Диалоговая программная система «STATCON» // Приборы и системы управления, 1998, № 5.

77. Никифоров И.В. Последовательное обнаружение изменения свойств временных рядов.-М.: Наука, 1983. 199 с.

78. Basseville, M., and Nikiforov, I. V. 1993. Detection of Abrupt Changes: Theory and Application. Englewood Cliffs, N.J.: Prentice Hall.

79. Кабанова T.B. Обнаружение момента разладки процесса авторегрессии первого порядка // Региональная научная конференция студентов, аспирантов и молодых ученых "Наука. Техника. Инновации"(НТИ-2002). Новосибирск, НГТУ: Изд-во НГТУ. 2002.- С. 50.

80. Бернард С. Цифровая связь. Теоретические основы и практическое применение. Изд. 2-е, испр.: Пер англ. М.: Издательский дом «Вильяме», 2003. -1104 с.

81. В. Олифер, Н. Олифер. Компьютерные сети. Принципы, технологии, протоколы. СПб: Питер, 2010. Издание. 4. 944 с.

82. Гук М. Аппаратные интерфейсы ПК. СПб: Питер, 2002. 528 с.

83. Описание микросхемы DP83847 DsPHYTER II Single 10/100 Ethernet Transceiver. Электронный ресурс. http://www.ti.eom/product/DP83847#technicaldocuments.

84. Зотов В.Ю. Проектирование встраиваемых микропроцессорных систем на основе ПЛИС фирмы XILINX. М: Современная электроника, 2006. 520 с.