автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.14, диссертация на тему:Анализ временных рядов при измерениях в случайные моменты времени

Красноярский Государственный Технический Университет

РГБ ОД

2-, л ., _ На правах рукописи

1 ОКТ 1398

УДК 519.2

Идрисов Фарит Фатыхович

Анализ временных рядов

при измерениях в случайные моменты времени

05.13.14 - системы обработки информации и управления

Автореферат

диссертации на соискание учёной степени доктора технических наук

Красноярск - 1998

Работа выполнена в Томском Государственном Педагогическом Университете.

Официальные оппоненты: доктор технических наук, профессор доктор технических наук, профессор доктор физико-математических наук, профессор

A.В.Лапко

B.С.Муха В.А.Топчий

Ведущая организация - Сибирский Физико-Технический Институт им. акад. В.Д.Кузнецова (г. Томск).

Защита диссертации состоится 20 ноября 1998 г. в 14 часов на заседании Диссертационного Совета Д 064.54.01 по защите диссертаций на соискание учёной степени доктора наук в Красноярском государственном техническом университете по адресу: 660074, г. Красноярск, ул. Киренского, 26.

Отзывы на автореферат просьба присылать по адресу: 660074, г. Красноярск, ул. Киренского, 26, учёному секретарю Совета Д 064.54.01 Ловчикову А.Н.

С диссертацией можно ознакомится в библиотеке Красноярского государственного технического университета.

Автореферат разослан октября 1998 г.

Учёный секретарь Диссертационного Совета

Д 064.54.01, д.т.н., профессор

Ловчиков А.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Временные ряды встречаются очень часто в самых разнообразных областях науки, техники, экономики, медицины и т.д., так что потребность в статистической обработке таких рядов возникает постоянно у многих специалистов.

Алгоритмам статистической обработки временных рядов посвящена обширная литература. Но при этом необходимо отметить, что подавляющая часть публикаций посвящена ситуации, когда измерения, образующие временной ряд, производятся через равные промежутки времени.

Однако на практике часто встречаются ситуации, когда моменты измерений, образующие временной ряд, случайны. Это происходит, в частности, при измерениях в полевых условиях из-за, так называемого, «дрожжания» таймеров, задающих моменты измерений. В системах телеметрии замеры осуществляются всякий раз, когда на борту спутника происходит какое-то событие (срабатывание датчика, выход контролируемого параметра за допустимые пределы и т.д.), а подобные события происходят в случайные моменты времени. И особенно часто такие ситуации возникают в экономических системах — в торговле, системах управления запасами, страховых компаниях, банках и т.д., где приход клиентов происходит в случайные моменты времени и объем операции, производимой клиентом, есть также случайная величина.

Вместе с тем, публикаций, посвященных анализу таких ситуаций, мало (среди гак необходимо упомянуть работы Трофимчука С.Ю., Степановой Н.В., Высоцкого В.И., Тривоженко Б.Е., в которых исследуются отдельные аспекты данной проблемы).

Все это делает актуальным разработку теории и алгоритмов анализа временных рядов при измерениях, производимых в случайные моменты времени, а также создание программного обеспечения, реализующего эти алгоритмы.

Работа проводилась в соответствии с планом госбюджетных научно-исследовательских работ Анжеро-Судженекого филиала Томского государственного педагогического университета, которым автор руководил в 1991-1997 годах, а также в порядке личной инициативы.

Цель работы

Целью работы является решение актуальной научно-технической проблемы — разработке алгоритмов анализа (и программного обеспечения для них) временных рядов, в которых моменты измерений образуют пуассоновский или рекуррентный поток событий. В частности

- разработка алгоритмов выделения трендов таких рядов, алгоритмов оценки функции корреляции и спектра мощности измеряемого процесса;

- разработка алгоритмов оценки функции корреляции и спектра мощности интенсивности дважды стохастических пуассоновских потоков;

- разработка алгоритмов оценки параметров многомерных авторегрессионных моделей при случайных пропусках и аномальных ошибках измерений;

- разработка программного обеспечения, реализующего эти алгоритмы, ориентированного для работы на ПЭВМ в операционной системе Л¥цк1о\У5-95 (и более ранних ее версиях) в интерактивном режиме с удобной графикой и дружественным сервисом.

Научная новизна

В диссертационной работе предложены и исследованы новые алгоритмы выделения трендов временных рядов, оценки функции корреляции и спектра мощности изучаемых процессов, когда они измеряются в моменты времени, образующие пуассоновский или рекуррентный поток событий. Все алгоритмы разработаны в трех вариантах:

- моменты измерений известны точно;

- моменты измерений известны с ошибками;.

- относительно моментов измерений известен только их порядок.

В работе также изучены алгоритмы оценки функции корреляции и спектра мощности интенсивности дважды стохастического пуассоновского потока по моментам наступления событий в этом потоке.

Кроме того, в работе предложены и исследованы алгоритмы оценки элементов переходной матрицы многомерной авторегрессионной модели при наличии пропусков и аномальных ошибок в измерениях.

Теоретическая ценность работы заключается в исследовании с единых позиций и по единой методике основных вопросов анализа временных рядов, когда моменты измерений образуют пуассоновский или рекуррентный поток событий. Эта методика может быть применена также к анализу других вопросов обработки временных рядов, измеряемых в случайные моменты времени.

Практическая ценность работы состоит в применимости полученных алгоритмов для обработай и анализа реальных данных, возникающих в технических, экономических и других системах, что позволит более точно исследовать работу таких систем и прогнозировать их поведение.

Реализация результатов и их внедрение

Большинство разработанных алгоритмов анализа временных рядов [ри измерениях в случайные моменты времени реализовано в виде пакета [рограмм, работающего в системе Delphi под управлением операционной истемы Windows 3.x, либо Windows 95 (русифицированные версии) в оответствни с необходимыми стандартами.

Данный пакет программ передан следующим организациям (акты об IX использовании имеются в работе):

Нефтсэнергобанк;

Томский филиал Газпромбанка;

Ипотечный банк «Кемерово»;

Сибирская инвестиционная компания;

Томский территориальный фонд обязательного медицинского

страхования;

Институт оптики атмосферы СО РАН ;

Институт фармакологии ТФ РАМН.

Научные результаты, выносимые на защиту:

1. Вид оценок параметров тренда временных рядов, когда моменты вмеренпй образуют пуассоновский или рекуррентный поток событий стя случаев, когда: а) моменты измерений известны точно; б) моменты ллмереиии известны с ошибками; is) относительно моментов измерений известен лишь их порядок.

Асимптотические свойства этих оценок — асимптотическая несмещенность, асимптотическая нормальность, сходимость в средне квадратичном и почта наверное.

Вид ковариационной матрицы для этих оценок и оценка этой ковариационной матрицы.

2. Оценки треидп временных рядов в виде рекуррентных сплайнов nqjBoro, второго и третьего порядков при тех же вариантах относительно моментов измерений, что и в п.1. Асимптотические свойства этих оценок. Выражение для неустранимой ошибки при аппроксимации тренда произвольного вида сплайнами указанного выше типа.

3. Вид следующих оценок функции корреляции стационарного гауссовского случайного процесса:

- ядерной оценки;

- полиномиальной оценки;

- оценки в виде частной суммы ряда Фурье;

- сплайнов ой оценки,

когда моменты измерений образуют пуассоновский или рекуррентный поток событий, а относительно самих моментов измерений рассматриваются те же варианты, что и в п. 1. Асимптотическое смещение и асимптотическая дисперсия этих оценок.

Вид тестовой статистики для проверки гипотезы об адекватности полученной оценки функции корреляции экспериментальным данным.

4. Вид следующих оценок спектра мощности стационарного гауссовского случайного процесса:

- ядерной оценки;

- оценки в ввде частной суммы ряда Фурье;

- сплайновой оценки

для тех же случаев, что и в п.З. Асимптотическое смещение и асимптотическая дисперсия этих оценок.

5. Вид ядерных, полиномиальных и сплайновых оценок функции корреляции и спектра мощности интенсивности дважды стохастического пуассоновского потока, а также вид асимптотического смещения, дисперсии и ковариации этих оценок.

6. Корреляционная оценка и оценка по методу наименьших квадратов переходной матрицы в многомерной авторегрессионной модели, когда имеются пропуски измерений и количество пропусков перед каждым измерением образует рекуррентный поток.

Асимптотические свойства этих оценок при неограниченном увеличении объема выборки: асимптотическая нормальность, сходимость почти наверное, асимптотическая ковариационная матрица оценок. Оценка асимптотической ковариационной матрицы полученных оценок.

7. Устойчивый алгоритм оценки переходной матрицы многомерной авторегрессиокной модели при наличии аномальных ошибок измерений. Сходимость полученных оценок почти наверное при неограниченном увеличении объема выборки и выражения для асимптотических ковариации предложенных оценок.

Методика исследования

Теоретическое исследование предложенных оценок проведено строго математически с использованием аппарата теории вероятностей, теории случайных процессов и математической статистики.

Правильность и работоспособность предложенных оценок подтверждена результатами имитационного моделирования этих оценок на ЭВМ.

Апробация работы Основные научные результаты работы докладывались и обсуждались на X Белорусской зимней школе-семинаре по теории массового обслуживания (Минск, 1994); IX Международной конференции «Компьютерный анализ данных и моделирование» (Минск, 1995); XII Пражской конференции по теории информации, статистическим решающим функциям и случайным процессам (Прага, 1994); Международной научно-технической конференции «Идентификация, измерение характеристик и имитация случайных сигналов» (Новосибирск, 1994);

Международной научной конференции по робастным методам в математической статистике (Красноярск, 1995); региональной научно-методической конференции «Наука и образование: теория, практика, инновации» (Анжеро-Судженск, 1996); V Международной конференции «Компьютерный анализ данных и моделирование» (Минск, 1998); XIII Пражской конференции по теории информации, статистическим решающим правилам и случайным процессам (Прага, 1998); III Сибирском конгрессе по прикладной и индустриальной математике (Новосибирск, 1998).

Публикации

Результаты работы опубликованы в 12 статьях и 10 тезисах докладов на научных конференциях, полное название которых приведено в конце автореферата.

Структура н объем работы

Диссертация состоит из введения, 9 глав основного текста, заключения, списка литературы и актов о внедрении. Общий объем диссертации — 444 страницы, из которых основной текст занимает 334

страницы, рисунки — 61 страницу. Список литературы содержит 122 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введешш к диссертации отражены: актуальность работы и цели, поставленные nq^ej ней; состояние проблемы; пересечение результатов автора с результатами других авторов; дано краткое изложение содержания диссертации; перечислены основные научные положения, полученные а работе; дана сжатая характеристика методики исследования с указанием теоретической и практической ценности работы, описаны реализация и внедрение полученных результатов, перечислены публикации по работе, а также приведен перечет конференций, на которых докладывались и обсуждались выносимые на защиту результаты работы.

Первая глава диссертации «Математические модели потока случайных моментов измерений» посвящена изложению некоторых математических результатов, систематически используемых далее в последующих главах.

Пусть измерения производятся на интервале [0,'/'] в моменты

/,./ = !, Л'!". Отметим, что число измерений N есть случайная величина. В главе рассматриваются свойства статистик вида

Si = £/(/,), s2 =£/(',-,'Л ifihJjAl 0) 1=1 i,j=1 i,j,k=l

и так далее.

В п. 1.2 излагается методика вычисления математических ожиданий от подобных статистик, когда моменты измерений образуют пуассоновский поток событий интенсивности X(t) (эта методика основана на работе Н.Ю.Марголис) и частный случай получающихся формул при 7,[t) = ?.= const. В п. 1.3 излагается асимптотическое поведение этих статистик при X -> со. Основные результаты: 1 Т

Теорема 1. Пусть — jf4(u)du <+оо и рассматривается серия опытов

Т о

при ).„ = ла.0. Тогда при статистика S]/XT сходится почти

1 Т

наверное к — .

Т о

т

Теорема 2. Пусть J f2{ii)du < +оо. Тогда при X со статистика

о

N Т ^

S = ЫХ

It f(t,)-if(u)du

Ai=l 0 /

сходится по распределению к нормальной случайной величине с нулевым

т

математическим ожиданием и дисперсией |/2(и)<1и.

о

Вн. 1.5 излагается методика вычисления математических ожиданий от этих же статистик в случае, когда поток моментов измерений является рекуррентным потоком с известной плотностью вероятностей р{т) для интервалов т между измерениями. Основную роль в ней играет фикция

со , , к=1

где есть ¿-кратная свертка р(х) с самой собой. В работе

излагается методика вычисления к(т) и в качестве примера эта функция вычислена для эрланговского потока моментов измерений. Посредством функции получены выражения для математического ожидания

статистик вида (1) и их дисперсий.

В п. 1.6 рассматривается асимптотическое поведение статистики .V

£/(г;)> когда р(т) имеет вид />(т) = Л./70(лт) , где X — 1=1

интенсивность рекуррентного потока, а функция р0(т) обладает свойствами

ОО се оо

ООО При >. -> т получено асимптотическое разложение -л(и) в ряд по 5 -функциям и ее производным вида

71 (и) = А. + \ (с2 -1)5(1/) + ^ б '(И) + ^ 5 "(«)+...

ь V / к х

(в работе приводится явный вид а1, а2) и с его помощью доказаны теоремы, аналогичные приведенным выше теоремам 1 и 2.

Вторая глава — «Выделение трендов временных рядов при измерениях в случайные моменты времени», посвящена оценке

параметров 0/,. к - Г. .у, когда измд>еипые значения представимы в виде

х, -*(/,) =

к=\

где щЦг) — известные функции, а п,— независимые одинаково распределенные случайные величины с математическим ожиданием Л/{я, ] = 0 и дисперсией ] = <т2 .

Для построения оценок параметров А;. в данных ситуациях предлагается использовать модификацию метода наименьших квадратов, суть которой заключается в замене матрицы планирования эксперимента ее математическим ожиданием. Введем векторы

и матрицу ф = |ф£(0||, £ = ¡ = 1,~А'- При пуассоновском потоке

моментов измерений интенсивности л предлагаемые оценки имеют вид

17

где Ф— матрица с элементами = —|фЛ(м)фг(м)^/и. В работе

^ о

показывается, что

1. Эти оценки несмещенные, то есть мЩ = б .

2. Ковариационная матрица V этих оценок имеет вид

<Т2Ф+ £ егвр<рМр Ьр=1

где

1т

Ч>ЫР = у / ФЛ: (")Фл (")ф/ («)фр ("Vм •

Ф

о

Доказываются теоремы о том, что

1. При Л со оценки 8 сходятся к 9 почти наверное.

2. Величины при Х-»оо являются асимптотически

нормальными с нулевым математическим ожиданием и ковариационной матрицей У0 = /.ТУ.

Предлагается оценка матрицы У0 в виде ^ = ,

где & — матрица с элементами

1 ^

Показывается, что = У0и при оценка сходится

к У0 в среднеквадратичном и почти наверное.

Аналогичные результаты получены и для случая, когда моменты измерений образуют рекуррентный поток событий.

В п.2.3 рассматривается проблема оценка параметров Э, когда

сами моменты ti неизвестны, а известно лишь то,

что 0 </( <<-...<< Т■ Тогда предлагается брать оценки

0 вектора параметров 8 в виде

N

где —есть вектор столбец с элементами

N

N+1

Показывается асимптотическая несмещенность этих оценок при

А'-»ос, их ковариационная матрица асимптотически (при Л- ->ос) равна

1 " * ! у ~ ф^кф*-», я = Ео*^

Л 13Лг,/=1

где

1 ' '

гтпП = -у 11фт(х)ф„(•у)ф(.(х)ф} (у)[г• 1Шп(х.у) - ху]сЫу.

Т 00

В работе строится асимптотически несмещенная оценка & = матрицы в виде

^ .V 5 .5

&тп = Хф т1(РП1х^ + ХХб^УД^лИ-Угтпы) > где ф , = фм 7"-

N ;=1 "' к=и=Х

N + Ъ

Аналогичные результаты получены также для случая, когда мо.мешы измерений образуют рекуррентный пот ок событии.

В п.2.4 рассматривается задача оценки вектора параметров б , когда мометы измерении г, неизвестны, а известны величины где -— независимые одинаково распределенные

нормальные случайные величины с А/{с; } = 0 и } .

Предложены и исследованы два типа оценок.

Для первого типа оценок используются величины

ОО

—оО

где /?(/,■ |т/) —нормальное распределение с в которых

(ЛГ + 1)2(АГ+2)

Сами оценки имеют вид

АГ

Доказывается асимптотическая несмещенность подобных оценок, определяется явное выражете для их ковариационной матрицы, а также строится оценка ковариационной матрицы как для луассоновского, так и для рекуррентного потока событий. Второй тип оценок имеет вид

1

N

где Ф = :Фтк| есть матрица с элементами

1Т 00 О -00

В работе доказывается сходимость таких оценок к истинным

значениям параметров 9 в средне-квадратичном смысле и почти наверное, их асимптотическая нормальность, находится явное выражение для их ковариационной матрицы и строится оценка этой матрицы.

С целью проверки работоспособности исследованных алгоритмов, а также с целью проверки приложимости нормальной аппроксимации полученных оценок было проведено их имитационное моделирование. Ниже приведены для примера два графика.

х(1)

4)

Рис, 1

— в #

---с А 1/Г

.......Б

- .....Е М

- Л

- Т-г— а0-1

20 <0 60 Рис. 2

На рис. 1 приведены результаты выделения линейного тренда

вида х(Г):=3 + 2~ при Т =100, X =1. Здесь В — это данные

моделирования, соединенные отрезками прямых, С - истинный тренд, О — оценка тренда, когда известны точно, Е — оценка

тренда, когда относительно моментов {л} известен лишь их порядок

(на рисунках не нанесены доверительные интервалы, но во всех случаях истинный тренд попадает в 95% доверительный интервал).

На рис. 2 приведены результаты моделирования ситуации, когда г, известны с ошибками. Здесь В — это данные моделирования, С — истинный тренд, О — тренд, выделенный по первому алгоритму и Е — тренд, выделенный по второму алгоритму.

В общем, имитационное моделирование подтвердило работоспособность предложенных алгоритмов при объемах выборки ХТ > 100 для линейных трендов и при ХТ > 200 для квадратичных.

Третья глава — «Выделение трендов временных рядов сплайнами». Использование сплайнов обусловлено стремлением найти компромисс между необходимостью выделения тренда на большом временном интервале и нежелательностью описания тренда полиномом высокого порядка.

В этом случае весь интервал наблюдения [0, Г| разбивается на

интервалы [о,?о]> [ТоЛТу ],..., [0;-1)7^я7о] 11 на каждом таком

штурвале тренд оцешгвается в виде полинома невысокого порядка. На границах интервалов эти полиномы «сшиваются» так, чтобы получалась непрерывная кривая.

Б данной ¡лаве обсуждаются два подхода к решению указанной задачи. Суть первого подхода — представить тренд также в виде сплайна, построить оценку коэффициентов этого сплайна, а затем получившийся алгоритм использовать и в случае произвольного тренда.

Идея второго подхода заключается в том, чтобы сплайн строить не весь сразу, а последовательно (рекуррентно), участок за участком, начиная с первого. Эта идея аналогична фильтрации сигналов и поэтому алгоритмы данной главы можно рассматривать как фильтрацию при помощи сплайнов.

Опишем подробнее результаты датой главы для сплайнов первого порядка. Рассмотрим отрезок [г7'0,(г+ 1)7,0]. Если момент ц

1-го измерения лежит на г-м отрезке, то результат измерения запишем в виде

где

так что хг (гТ0) = аг,хг((г + 1)Г0) = аг+1.

Пусть моменты измерений известны точно. Тогда оценки йг коэффициентов аг предлагается брать в виде

где Мг — множество индексов

Мг = {г. гТй< < (г + 1)70}. В работе показано, что Л/} = аг и дисперсия оценки йг

имеет вид

2 ^

Для пуассоновского потока моментов измерений оценка величины } имеет вид

Если относительно моментов измерений {/, } известен только их порядок, то все Аг измерений разбиваются на и групп по Аг0 измерений в каждой (N = NN0). Тогда в к~ ой группе (к = 0~н"1) индекс /' меняется в пределах кАг0 <1<(к + 1)М0. Обозначая I = + у представим измеренные значения в к - он группе в виде

Г' 1 / ( 1

к + \- \

ХШ0+; -«¿+1 +ак то )

+п

Предлагается оценки % коэффициентов ак брать в виде

1 ^о

1 I

N.

0/=1

4-6

}

Эта оценка асимптотически (при Л' да) несмещенная. Ее дисперсия имеет вид

Асимптотически несмещенная оценка 1){йк } величины 0{йк} имеет вид

-йк)2к[\-~)-~{зба2к +1щик+1 +юа|+1) .

Если измеренные значения х, = x(tj) представимы в виде

хг = х(!, )= /(!, )+", >

где /(/) — произвольная функция, то при выделении такого тренда сплайнами возникает неустранимая ошибка (не стремящаяся к нулю при \''п -> ос), обусловленная тем, что /(г) не является сплайном.

Среднеквадратичная пгнрешносп, выделения тренда в таком случае имегг ¿ид

1 '[ • )2 = - £ I\Л)% +Щ)-ак+\V) "*=о о1 ■ 3

где

1

"к =1/(^0 +/;Т0)И-6х)Лх. о

Б главе приводится явный вид для /(/)=е~а'. Там же излагаются аналогичные результаты для рекуррентного потока моментов измерений, а так же для сплайнов второго и третьего порядков дефекта 2.

Результаты имитационного моделирования подтверждают работоспособность изложенных выше алгоритмов. На рисунках 3 и 4

приведен пример выделения тренда вида /(?) = е""00'' сплайнами первого

порядка, когда моменты измерений известны точно (рис. 3) и когда моменты измерений неизвестны, известен лишь их порядок (рис. 4). Как видно, выделение тренда достаточно хорошее.

Четвертая глава — «Оценка функции корреляции стационарного случайного процесса» посвящена оценке функции корреляции Д(т) стационарного гауссовского случайного процесса с нулевым математическим ожиданием Л/{х(/)} = 0.

x(t) 1.0-i

у -в -С ---D

\

ч

л hJ к, и,

о so ico во m so Рис. 3

\ —в -С

\

X

1

ч

о so m m zo so Рис. 4

Основная трудность этой задачи заключается в ее некорректности, так как функция корреляции может быть полностью описана лишь счетным множеством коэффициентов (например, коэффициентов ее разложения в ряд Фурье), а для ее оценки всегда имеется выборка лишь конечного объема. Поэтому необходимы некоторые регуляризирующие процедуры.

В работе рассматриваются несколько типов оценки R(x). В п.4.2 рассматриваются ядерные оценки, то есть оценки вида (дои пуассоновского потока моментов измерений)

1

к Th

N-1 N

-I Ic

'Г 1=1 ,/=j+I

Ч-ь-А

XjXj )

где функция ф(х) удовлетворяет условиям

а) ф(-х) - ф(*); б) ф(х) = 0 V* «[-1,1]; 1

в) ф(х)>0; г) |ф(х)£& = 1, -1

а параметр кт, определяющий «ширину ядра» и зависящий от длительности интервала наблюдения Т, играет роль параметра регуляризации.

В работе показано, что при 7" -»=с

так что при Т оо должно быть И? 0. Далее, в работе показано, что

' ПШ1

ьт

) Я2(0) +2Я2(т) г 2 Г1

Фс*)) = /<р2(*)Л + 0^

и для состоятельности оценки необходимо, чтобы > х при Т->оо. Условие минимальности вариации оценки

ф(т)} = Л/{(Д(т)-Л<г))2}:

позволяет определить асимптотическое поведение 1:т

Ит = С/54\1 ,

где С — некоторая константа. Получено выражение для функции ф(х)

<р(х) = -х2) при < 1,

минимизирующее вариацию оценки.

В случае рекуррентного потока моментов измерений ядерная оценка Л(т) имеет вид

£ -?, -О х,х.

1 IФ

Г-1'Ч V

•Г ы ^Л ьт с аналогичными свойствами.

Для случая, когда относительно моментов измерений известен лишь

гТ

их порядок, в точках х-- . г - 0.1.2,.... предлагается использовать

Л' +1

стандартную оценку вида

/=1

Эта оценка имеет смещение

2

которое, по-видимому, принципиально неустранимо. Асимптотическая (при Л' -> со) дисперсия этой оценки имеет вид

и убывает как 1/М.

В п.4.3 рассматриваются оценки, названные автором оценками по методу полиномиальной аппроксимации. Они имеют вид

и функция ср(х) выбирается из нижеследующих соображений.

Аппроксимируем в окрестности точки х-х полиномом

степени п

2 „

й(г) = а0 + а, (г - х) +«! (г - х) +...+а„ (г -1)". Очевидно, что а0=/?(х). Подберем фунщию <р(х) так, чтобы в выражешш для коэффициент при а0 оказался равным 1, а

коэффициенты при аи а2,...ап равными нулю. Тогда Й(х) будет иметь смещение, пропорщюнальное ап+1 и следующим за ним коэффициентам. Если эти коэффициенты малы, то и смещение будет мало.

Если в качестве ф(х) взять четную функцию, то в выражешш для

А/{$(т)} все коэффициенты при к = 0,1,... окажутся равными

нулю. Высказанное выше требование можно записать в виде следующего условия

00 оо 00

—00 —00 —00 В работе приведен набор конкретных функций ф(г), удовлетворяющих

этому условию. Так, например, при п = 1 (исчезает коэффициент а2,

остается

Ф(*) =

2\

Я2У

1

ехр

где а — параметр регуляризации.

Если моменты измерений ti известны с ошибками, то есть если

известны лишь г,- - , то соответствующие оценки имеют вид

и условие для ф(л;) в этом случае принимают вид

|гр(м)£/м = 1; ¡и2$ (и)с1и = 0;...; |и2"ср(к)</и = 0,

1

4

\

В работе выписаны ф(м) для различных п .

Если о моментах измерений известен лишь их порядок, то полиномиальные оценки строятся на основе статистик вида

2

и имеют вид

- 2>*А+г ■

где коэффициенты Ькг находятся из системы уравнений " [1, если = О,

11ЬкгОк,г,р |а есл11 р 12п '

П = _! V, \)Рскп к Р-ч И' .

" ' ' (А' + г-Ш

д-о

В рабохе приводите.': яг.ный вид таким оценок при п = 1,2,3,4 . Подобные оценки предлагаются и для произвольных значений аргумента т * к/}..

В ¡1.4.4 рассмотрена оценка ф)11К1 иш корреляции частными суммами ряда Фурье. ГКсгь {ф;-(т). к = 1.ос| — ортонормированная на интервале

[О, °о) полная система функций, так что й(т) может бьпъ разложена в

ряд Фурье

ДО = ХС«Фи(т) •

п=1

Оценку функции Я(т) следует брать в виде

= 2&Ф„Ф.

л=1

где число слагаемых М играет роль регуляризирующего параметра.

Когда моменты измерений {/,} образуют рекуррентный поток

событий и известны точно, оценки <?„ коэффициентов Фурье предлагается брать в виде

2 ЛГ—1 N

В работе исследуются асимптотические свойства этих оценок и даются рекомендации по выбору числа слагаемых М.

Если относительно моментов измерений известен лишь их порядок, а поток моментов измерений — пуассоновский, то оценки <?„ коэффициентов сп предлагается брать в виде

Я>„(>, -'/)

ХТ ~ J п(tj-ti)

N-l N

л. I ¡=1 /=,-+!

где коэффициенты ц/„(к) следует находитьиз соотношения

1 -г

Ы1

здесь ф* (z) — преобразовать Лапласа от ф„(х). В работе найден явный вид Ц1„{к) для частного случая, когда

ф„(т) = 'j2aLn(2ar)c"ax, х > 0, где £„(•) —полиномы Лагерра.

В п.4.5 изучаются сплайновые оценки функции корреляции. В этом случае вся ось % (т > 0) разбивается на отрезки

[0,хо],[т0,2т0],...,[(«- 1)т0,ят0] данной Х0 и на каждом отрезке функция R(x) описывается полиномом небольшого порядка.

Опишем подробнее результаты, когда Д(т) аппроксимирустся сплайном первого порядка, то есть

.....

х0 т0 на интервале (к - 1)т0 < х < .

Если моменты измерений образуют пуассоновский поток событий и точно известны, то оценки R^ параметров R^ предлагается брать в виде

Х2Тх01>;ещ

Z X,Xj

Ч

2тл

где

Мк = {('.У): (* - ])т0 5 0 - К < Ато) •

Аналогичные оценки построены также для сплайнов второго и третьего порядков дефекта 2, а также для рекуррентного потока моментов измерений и дая ситуации, когда моменты измерений известны с ошибками.

Когда относительно моментов измерений известен лишь их порядок, то ось х разбивается на отрезки длины т0 = Щ/Х и на интервале

(к -1)— < т < к —функция корреляции описывается сплайном первого Л А

порядка /?(т) + -к + 1^ .

Коэффициешы Кь оцениваются по формулам

Анялол«чные опенки пострсены и дга сплайнов второго и третьего порядков дефекта 2.

В п 4.6 рассматривается проверка гипотез о виде функции корреляции. Такая проблема может возникнуть при проверке гипотезы об адекватности полученной оценки функции корреляции жеперимента.тьным данным Она формулируется как проверка гипотезы вида

//0: ^е[п.70] Л(т)=Ло(т), Я,: Зте[О.Г0] Я(т) */?0(т), где Ло(т) • - заданна); функция (и.-тример, полученная оценка), а Д(х) — истинная функция корреляции.

Для проверки этой гипотезы предлагается использовать статистику

1 \х2т2 4 1

Я = -ТТГ X ) -~ ,-0*,*,+ Су -> -. где А/ = {(;,;):У'} и

4-6

* л

N N

/=и=1

¡,/еМ к,1еМ

N

-41 (',-'/) +

1=1к,1еМ

в которой = ^ 1 .

Эта статистика обладает следующим экстремальным свойством Л-/{5|Я0} = 0,М{5|Я1}>0

и дополнительным свойством = 1, так что решающее правило

имеет вид:

если $ < Са — принять Я0, если 5 > Са — отвергнуть Н\, здесь Са — константа, зависящая от уровня значимости а.

Правильность предложенных алгоритмов проверена методом имитационного моделирования. Ниже (в качестве примера) дои экспоненциальной функции корреляции (пунктирная кривая) приведены полиномиальные оценки при п~ 2 (рис. 5 — моменты измерений известны точно, рис. 6 — о моментах измерений известен лишь их порядок) и оценки сплайнами первого порядка (рис. 7 — моменты измерений известны точно, рис. 8 — о моментах измерений известен лишь их порядок).

№

1.0-

\ а'1

\ к

\

Ч

--

10 В 20 25 аз

г-1

\

\

Л. N

0 г I ] 2 Я

Рис. 5

Рис. 6

Rix)

О 5 10 15 X S 30 Рис. 7

\!

\ 1

|

— 1 ;

——

О 5 10 15 X S 30 Ряс. 8

Пятая глава — «Оценка спектра мощности стационарного случайного процесса», где под спектром мощности 5(и) понимается косинус — преобразование Фурье от функции корреляции

= \ Р.(1)С05Ф1с1т .

о

В п,:\2 раосмклшваются ядерные оценки спек фа мощности, имеющие при точно известных моментах измерений {г,} следующий вид

| £ x(t,)x(t ) (l -/,

Л hr /

Функция vyiz), называемая «спектральным окном», обладает следующими свойс'1 ¡«ми

a)i|/(0) = L б)у(-х) = v|/(x),

в) fЧ'2(x)dx < +оо, r)3к * 0, q > 0 lim il^W = к

о

В работе показано, что при 7"->-оо асимптотически

COS &)(t, -t, ) .

к 00 ( Г

A/{S(to)} = S(rn)--— Jr9Ä(z)cos©z<fe + Ol-] , hT о

так что для • асимптотической несмещенности оценки должно выполняться условие /г^ оо при Г да.

Асимптотическая дисперсия такой оценки имеет вид

£>{£(<»)} = \Я(х)п(х)со$ахс{х ]\|/2(х)Л:,

^ Т чо у о

■ кт

то есть оценка будет состоятельной, если -~->0 при Г-» оо.

Условие минимума вариации оценки определяет асимптотику И-р при оо

где С —некоторая константа.

Если о моментах измерений известен лишь их порядок, то ядерные оценки $(со) имеют вид

\2Г

л'-!

г=1

¿Мг

N ~г

И-т 1=1

Х.-4.

в которой у(-) — то же спектральное окно, что и выше. Эта оценка смещенная

Л/{5(ю)} = Я(а>) - ^-р(ю) + со£' (ш)]-

со

/ о о

где 5(со) = |Л(х)зтютг/х и это смещение, по-видимому, принципиально о

не устранимо.

В п.5.3 рассматривается оценка спектра мощности частными суммами ряда Фурье. Пусть {ч'л-(®)> к = I,03} — полная система

ортонормированных на [0,+оо) функций и ук (т) — косинус -

преобразование Фурье от . Тогда

оо м

£(®)= 2/% Ф*(<в), £(щ) = ХАФ&(Ш) к=1 к=1 и оценки Ск коэффициентов Фурье ск, когда моменты измерений известны точно, предлагается брать в виде

г

1

Л'-1 N

¿к = >т X !*('/)*('/)

,=1у=,Ч1 7 ^У-О ' Их смещение и дисперсия убывают как 1/Т.

Когда относительно моментов измерений известен лишь их порядок, то оценки Су, предлагается брать в виде

Ы-г

N-1 .

- -1)4/ -7Г

А'-г

^ » ' Л.1

где — обычное спектральное окно, а -//.(л) определяются из

соотношения

И

'.Г ^

Е п.л.4 рассматривается онлайновая оценка спектра мощности. В »'п.ч ч;!.- ;:с,". ось частот 'й разбивается на отрезки [0,0|,[Д2П],... д «¡ной И и, в случал сплайна первого порядка, из отрезке [(А- -1)£1, Ш] ф\нкгия ¿(о) представляется в виде

= 1

АИ-ш с со ~ (к -

-5

а л о.

Показывается, что оценки коэффициентов следует брать в виде

¿Л. 1 ¡Ф}

где

-6

сокЮт - - !)От

БШ А"ПТ С05ЮТ - С05(А' - 1)От

От

ИЛИ

втОг

Ог

. бшА^ОХ _

3-+С08Ог

От

Аналогичные оценки построены и для сплайна второго порядка дефекта 2, а также для случая, когда моменты измерений известны с ошибками.

Если относительно моментов измерений известен лишь их порядок, то оценки следует брать в виде

1 Я'1 X (

Л / ;=! /=/+1 4 Л

с той же весовой функцией (т), что и вьппе. Однако теперь эти оценки имеют смещение, которое, по-видимому, принципиально неустранимо.

5(»)

Охно Парзена

0.0 01 0.2 0.3 0.4 0.5 Рис. 9

ч \

\

\

Ч|

V 1

ао о.1 о.2 о.з а-) оз Рис. 10

5(<о)

о.о й1 аг аз &4 ау Рис. 11

V О-0.1

\

\

\ \

V

—— .--.-

0.0 0.1 0.2 0.3 а4 0.5 Рис. 12

Работоспособность изложенных выше оценок была также проверена методом имитационного моделирования. Для примера, на рис 9 и 10 приведены ядерные оценки, когда моменты измерений известны точно (рис. 9) и когда о моментах измерений известен лишь их порядок

(pire. 10, a на рис. 11 и 12 приведены сплайновые оценки (сплаГшы первого порядка).

Шестая глава — «Оценка функции корреляции и спектра мощности интенсивности дважды стохастического пуассоновского потока». Под дважды стохастическим пуассоновским потоком событий понимается пуассоновский поток, интенсивность которого /.(/) сама является стационарным случайным процессом с

математическим ожиданием А/{/.(/)} = ля. функцией корреляции R(х) -- Л/{л(1)л(>+ т)} - >.q и спектром мощности S(s>), Этот поток наблюдается на интервале [0,7'] и результатами наблюдений являются моменты I, наступления событий изучаемого потока. По выборке {/,, / = 1, A' j (здесь А" —случайная величина) необходимо

построить оценки Й(х) и S (а) функций R(x) и S(m ).

В п.6.2 изучается ядерная оценка функции корреляции 1<(х), которая берется в виде

i ^ Г i (h-t>-A 2

= Sj, Ф -"1--¡-т

, ic ip(x) обладает rev,it же свойствами, что и в главе 4. В работе в асимптотике 1 -> т. получены

1 , .

.\/[Л(т)| = R(x)+hfR"(x)jr2(p(z)dz + o\ — о

,„ > /Д +Я(т) !- , (

ф(т)} = -fj^-1 J Ф2 {г)<к + о[

и при Г -V оо hf должно убывать как l/5/Г.

Полиномиальные оценки (п.6.3) функщпг корреляции берутся в

виде

N(N-1)

где N —число событий на отрезке [0,Г]. Длянее

и в качестве функции ср(к) можно брать те же функции> что и в главе 4.

Наконец, дата сшгайновых оценок функции корреляции (п,6.4) (при использовании сплайнов первого порядка) оценки параметров

Як следует брать в виде

iT0 i,jeMk

'jZl1 У ч

■~к +1

-2

к-

íV(ÍV-I)

Аналогичные оценки построены и дая сплайнов второго порядка дефекта 2.

Ядерные оценки спектра мощности 5(ш) берутся в виде (п.6.5)

1 (tj-tA S(ю) = JfLm ~т— cosco(tj -t,)-

.V(Ar-l)ff

•JJví

2Г

oo

hf

cosco (u-v)dud\',

где спектральное окно у(-) обладает теми же свойствами, что и в главе 5. Для таких оценок асимптотически при Т оо

к 7

MÍS(cü)} = S(o>)--f zqR(z)coswdz ,

Лг о

Лт

£>{S(co)) = 4 ~ S2 (as) / y2 (x)dx о

и при Т -»аз ширина спектрального окна должна расти как Т^*1.

При оценивании спектра мощности сплайнами первого порядка оценки коэффициентов сплайна ^ следует брать в виде

¡*) А1 0 0 с теми же функциями /к (/), что и в главе 5.

Пригодность предложенных в данной главе оценок была также проверена методом имитационного моделирования. В качестве примера, на рис. 13 приведена полиномиальная оценка функции корреляции, а на рис. 14 — ядерная оценка спектра мощности.

4

/

вд

1.0

а» о.б

0.4 0.2 0.0-

Р-Г"

г 1

-М-

т;

-и

—(ю л з?

Рис 13

-4___и

8(»)

\ | | 1кт"зв!

\' ! 1

\ 1

\1 1

! IV 1 1 1 д___

0.0 0.1 0.2 0.3 0.4 0.5 Рис. 14

Седьмая глава — «Оценка параметров матричной авторегрессионной модели при случайных пропусках измерений». Пусть х{ — вектор размерности к, то есть

шмеряемын в дискретны;: моменты времени /--2,-1,0.3.2. . . Будем с п,г;)■•,, чго процесс изменения .г, по времени представляет собой .'¡гпорегрессионный процесс, ю ссгь

хы = Вх; +п,+х,

где В — матрица размерности к у. к, а п{ — независимые по г одинаково распределенные случайные векторы с А/{иг}=0 и

ковариационной матрицей Л/|н(«гг| = Яп .

Исследуется ситуация, когда при измерениях процесса х( возможны пропуски. Модель образования пропусков следующая: пусть в какой-то момент времени ? наблюдалось значение процесса х(. Обозначим это значение как у0 ■ Пусть после этого были

пропущены щачсния .т(+ьх(+.2,...,хт , и наблюдалось лишь значение г(+5] +1. Обозначим наблюденное значение как >ч н отметим, что перед ним было Л) пропусков. Далее, допустим, что и после хг+Л[+1 снова было пропущено значений и наблюдалось лишь значение ,

которое обозначим как у2. Продолжая этот процесс и дальше, можно сказать, что наблюдения имеют вид

Уо> (¿ьЛ), С*2>У2)> (^Лы) (2)

где }>1 — наблюдаемые значения процесса х( и $ — количество пропущенных наблюдений перед ^.

В работе предполагается, что sí — независимые одинаково распределенные случайные величины, принимающие значение .у, с вероятностью />0(). Сами вероятности могут быть неизвестны и оцениваются в процессе наблюдений. В некотором смысле поток моментов измерений можно считать рекуррентным. Таким образом в данной главе ставится задача построения и исследования оценок В матрицы В.

В п.7.3 рассматривается простая оценка матрицы В, которая может служить в качестве исходного приближения дня более точных, хотя и более сложных оценок. Такая оценка получается из решения уравнения

1

'И'

N { л N

/=1

М-1

<=1

1

N

т Елл7

!=0

(-1)

О)

В работе доказываются следующие теоремы.

Теорема 1. При N сс имеет место сходимость почти наверное

1 м

ИТ

N1

т

->М

1=1

1

А|=0

Теорема 2. Если все собственные числа матрицы Ё по модулю

1 н

меньше 1, то при Ы-*<хз выражение — Х-®1'

+1

сходится почти

I +1

наверное к

$=0

Теорема 3. При N

N

> оо с вероятностью 1 уравнение

1 N ( 1 N

Т71

N .

¡=1

\ 1

1

N

(-1)

имеет корень Ё~В.

Кроме того, в работе приводится численный алгоритм решения уравнегшя (3).

В п.7.5 рассматривается оценка матрицы В по методу наименьших квадратов из условия

Ф08) - ¿¿и - V» Г (у, - ПИП .

¡-1 ь

приведенного к виду

(4)

^ ¡-]к-0

Теорема 4. При N ооуравнение (4) с вероятностью 1 имеет

корень й = В.

Теорема 5. При Л' т матричная случайная величина

сходится по распределению к матричной случайной величине нулевым математическим ожиданием.

Тг^ема 6. При Л' ->» случайная матртха Х{В-В) сходится по распределению к :;орма.п,ной случайной матрице с нулевым мзтемьтяческнм ежнданпем.

Далее в работе (п.7.7) получена система уравнений, определяются элементы ковариационной матрицы оценки В и изложен итеративный численный алгоритм решения уравнения (4), где в качестве пеходаого приближения берется решение уравнения (3).

Восьмая глава — «Оценка параметров многомерной авторегресо-юннол модели при наличии аномальных ошибок измерений"4, носвящсна оценке ма грицы В в той же модели, что и в предыдущей главе

хм = Вх, +п!+1,

но для случая, когда наблюдаемыми являются не векторы , а векторы у>

V/ = +у,г,,

где у I — последовательность независимых случайных величин, принимающих значение 0 с вероятностью 1-е и 1 с вероятностью в, а — независимые по г случайные векторы с

М\г{ } = 0 и | - Иг . Последнее слагаемое как раз и описывает

аномальные ошибки, которые

хотя и появляются с малой вероятностью (е «1), но могут быть

большими, так как Ег»Лп = |.

Исследуемые в работе оценки сравниваются с оценками, предложенными В.А.Морозовым

" , // V , 4Г V""1)

N-3

(=3

Так как В.А.Морозовым не была вычислена ковариационная матрица этой оценки, то она была определена в реферируемой работе. Ее вид достаточно сложен, но главным является присутствие в выражении для элементов ковариационной матрицы слагаемых с сомножителями к -Лг, которые могут бьггь велики несмотря на малость б .

В качестве устойчивого алгоритма оценки элементов Ь1р матрицы

В предлагается нахождение их из уравнения

v \

т

„(О ..(/>>

1

N-3

sign

р=1

vO) У/-2

- О, i,j = \,m,

(5)

г=з

где 51£п(х) —знаковая функция.

В работе доказывается, что при N ~> с» система (5) имеет корень В = В и при малых 8 он — единственный.

Основным результатом в главе 8 является вычисление

ковариационной матрицы оценок £1р элементов матрицы В - Цб^Ц и

сравнение дисперсии построенных оценок с дисперсиями оценок В.А.Морозова. В результате можно утверждать, что в отсутствии аномальных ошибок и в предположении о нормальности векторов п(

устойчивый алгоритм увеличивает дисперсию оценок элементов „2

матрицы В в

я

■■ 2,46 раз. Но при наличии аномальных ошибок

устойчивый алгоритм может давать существенно меньшие дисперсии ошибок, чем алгоритм В.А.Морозова.

Девятая глава — «Программное обеспечение разработанных алгоритмов». Результаты теоретических исследований были реализованы в программном комплексе Proekt (v.1.0), написанном в системе Delphi для работы в операционной системе Windows З.хх или Windows-95 (Далее в целях удобства данный комплекс программ будем именовать коротко «Программой»). В программе реализованы алгоритмы, разработанные в главах 2, 3, 4 и 5, то есть алгоритмы выделения трендов временных рядов,

оценки функции корреляции и спектра моншости стационарного случайного процесса, когда моменты измерений образуют пуассоновский поток событий.

Для работы программы требуется IBM - совместимый компьютер с процессором 386 и выше, с объемом оперативной памяти 16 Mb.

Инсталляция производится с гибкого диска запуском файла setup.bat.

После запуска программы появляется диалоговое окно. Программа позволяет создавать новый документ пли открыть уже существующий. Можно создать несколько документов и работать с ними одновременно. Количество создаваемых документов зависит только от наличия в системе свободной памяти. Новый документ представляет собой таблицу пар , если моменты измерении /г известны точно или с ошибками,

и таблицу {х,}, если /, неизвестны. Исходные данные можно вводить с

пульта или импортировать из файлов, имеющих расширение .dat. Количество строк данных не должно превышать 10000. После ввода зозможна коррекция данных с пульт а.

Для обработки данных необходимо выбрать желаемый раздел меню. После входа в раздел появляется диалоговые окна, в которых прелдагас-гся выбрить необходимые параметры (например, степень по.'пшома при выделении полиномиальных трендов, величину с0, определяющую дисперсию ошибок в измерениях г, и т.д.). По умолчанию предлагаются значения этих параметров (например, степень полинома ~ 4, а0 = 0 п т.д.).

В процессе работы программы при обработке данных появляется окно, показываюптес процент сделанной работы на текущий момент. Обработку данных можно прервать н тогда будут выданы имеющиеся на этот момент результаты.

Результаты обработки появляются в отдельных окнах в двух видах: в виде таблицы результатов и в виде графика. Предусмотрена настройка графика — можно указан, название графика н осей координат, установить желаемый шрифт и цвет для каждого названия, размеры трафика в процентах от размера листа и способ выравнивания изображения на листе. Можно укачать и другие свойства графика — число делений сетки, толщину и цвет линий и т.д.

Все результаты расчетов могут быть выведены на печать и (или) сохранены в документе (с расширением .iff).

К программе прилагается набор файлов с демонстрационными примерами, содержащий четыре файла с исходными данными и шесть файлов с результатами их обработки.

Полный текст программы приведен в приложении к диссертации вместе с дискетой, на которой записана сама программа и контрольные примеры к ней.

В настоящее время автор осуществляет эксплуатацию программы РгоеЙ на коммерческой основе, по результатам которой будет выноситься решение о целесообразности разработки дальнейших ее версий.

Копии актов о внедрешш и справок об использовании программы приведены в конце диссертации.

Заключение

В диссертационной работе представлены алгоритмы анализа временных рядов, когда

а) моменты измерений образуют пуассоновский или рекуррентный поток событий;

б) моменты измерений известны точно; моменты измерений известны с ошибками; моменты измерений не известны — известен лишь только их порядок.

В работе получены и теоретически исследованы следующие группы алгоритмов:

1. Алгоритмы выделения трендов временных рядов, в частности, алгоритмы выделения полиномиальных трендов.

2. Алгоритмы выделения трендов сплайнами первого порядка и сплайнами второго и третьего порядка дефекта 2.

3. Алгоритмы оценки функции корреляции и спектра мощности стационарного гауссовского случайного процесса.

4. Алгоритмы оценки функции корреляции и спектра мощности интенсивности дважды стохастического пуассоновского потока.

5. Алгоритмы оценки переходной матрицы многомерной авторегрессионной модели при наличии пропусков измерений, когда моменты измерений образуют рекуррентный поток событий.

6. Устойчивый алгоритм оценки переходной матрицы многомерной авторегресионной модели при наличии аномальных ошибок в измерениях.

Разработан, опробован и передан заинтересованным организациям программный комплекс «Ргоекг», реализующий алгоритм выделения трендов временных рядов и анализа их корреляционных функций и спектров мощности когда моменты измерений образуют пуассоновский поток событий.

Литература

Основное содержание работы отражено в следующих публикациях: Статьи

1. Идрисов Ф.Ф. Оценка параметров многомерной авторегрессионной модели при наличии аномальных ошибок // Изв. высш. учеби. завед., сер. Физика, 1993. Т.36. № 12. С. 86-92.

2. Идрисов Ф.Ф. Оценка параметров многомерной авторегрессионной модели при случайных пропусках измерений II Изв. высш. учебн. завед., сер. Физика, 1994. Т.37. № 2. С.43-54.

3. Идрисов Ф.Ф., Ткаченко В.Н. Ядерные оценки функции корреляции и спектра мощности случайного процесса при измерениях в случайные моменты времени II Изв. высш. учебн. завед., сер. Физика, 1994. Т.32. №2. С.55-66.

4. Идрисов Ф.Ф. Выделение трендов временных рядов при измерениях в случайные моменты времени // Изв. высш. учебн. завед. сер. Физика, 1995. T.3S. №3. С.3-10.

5. Идрисов Ф.Ф. Оценка футекции корреляции стучаииого процесса при ¡меретьту у случайные моменты времени // Изв. счсш. учебн. i«mc,i., сер. Физика. 1995. Т.38. № 3. C.i 1-16.

6. Идрисов Ф.Ф. Опенка фупкшш корреляции и спектра мощности гауссовского случайного процесса при измерениях в случайные моменты времени /<' Радиотехника, 1995. №9. С.3-9.

7. Идрисов Ф.Ф. Выделение трендов временных рядов при наличии ошибок в измерениях моментов времени // Изв. высш. учебн. завед., сер. Физика, 1996. Т.39. №4. С.11-16.

8. Идрисов Ф.Ф. Полиномиальные оценки функции корреляции при измерениях в случайные моменты времени // Изв. высш. учебн. завед, сер. Физика, 1996. Т.39. №4. С. 17-22.

9. Идрисов Ф.Ф. Оценка функции корреляции и спектра интенсивности дважды стохастического пуассоновского потока Н Радиотехника, 1996. №2. С.3-7.

10. Идрисов Ф.Ф. Сплайповая оценка спектра мощности при измерениях в случайные моменты времени // Изв. высш. учебн. завед, сер. Физика, 1997. Т.40. №4. С.27-31.

11. Идрисов Ф.Ф.Оцениванне сплайнами функции корреляции и спектра мощности при измерениях в случайные моменты времени // Изв. высш. учебн. завед., сер. Физика, 1997. Т.40. №4. С.32-37.

12. Идрисов Ф.Ф. Проверка гипотез о виде функции корреляции стационарного случайного процесса // Изв. высш. учебн. завед., сер. Физика, 1998. Т.41. №4. С.10-15.

Тезисы докладов на конференциях

1. Идрисов Ф.Ф. Оценка параметров многомерной авторегрессионной модели при случайных пропусках измерений // Тезисы докладов международной научно-технической конференции «Идентификация, измерение характеристик и имитация случайных сигналов», Новосибирск, 1994. С.56-57.

2. Идрисов Ф.Ф. Оценка статистических характеристик интенсивности дважды стохастического пуассоновского потока // Тезисы докладов десятой Белорусской зимней школы-семинара по теории массового обслуживания, Минск, 1994. С.57-58.

3. Идрисов Ф.Ф., Ткаченко В.Н. Оценка функции корреляции и спектра мощности случайного процесса, когда моменты измерений образуют рекуррентный поток событий // Тезисы докладов десятой Белорусской зимней школы-семинара по теории массового обслуживания, Минск, 1994. С.59-60.

4. Idrisov F.F. Polynomial estimation of correlation function from measurements at random points of time // Proceedings of the International Conference «Computing Data Analysis and Modelling», Minsk, 1995, Vol.l. P.38-42.

5. Idrisov F.F. Estimation of the correlation and spectral density of the intensity of double stochastic Poison point process // Transactions of the twelfth Prague conference on Information Theory, Statistical Decision Function and Random Process», Prague, 1994. P.l 16-118.

6. Idrisov F.F. Filtering of the time series trend by the first order spline while measurements at the random points of time // Computer Data Analysis and Modelling: Proc. of the Fifth International Conference (June 8-12, 1998, Minsk). Vol. 1: A-M. Minsk, BSU, 1998, p.81-86.

7. Идрисов Ф.Ф. Комплекс программ для анализа временных рядов при измерениях в случайные моменты времени И Компьютерный анализ данных и моделирование: Сборник научных статей V международной конференции (8-12 июня 1998 года, Минск). Часть 3: А-М. Минск, БГУ, 1998, 173-176.

8. Idrisov F.F. Identification of the trend of time series in measurements at random times // Transactions of the twelfth Prague conference on Information Theory, Statistical Decision Function and Random Process», August 23 to 28,1998, Prague, vol. 1, pp.247-252.

9. Идрисов Ф.Ф. Оценка характеристик управляющего процесса в дважды стохастическом пуассоновском потоке // Тезисы докладов III Сибирского конгресса по прикладной и индустриальной математике, Новосибирск, 1998, часть III, с.135-136.

1С.

10. Идрисов Ф.Ф. Оценивание сплайнами функции корреляции при измерениях в случайные моменты времени // Теория, практика, инновации: Тез.докладов. — Анжеро-Судженск, 1996, 1996, с.63-65.

л '

МИНИСТЕРСТВО ОБЩЕГО И ПРОФЕССИОНАЛЬНОГО

ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ТОМСКИЙ ГОСУДАРСТВЕННЫЙ ПЕДАГОГИЧЕСКИЙ

^УНИВЕРСИТЕТ

Пр* ^ л. " *

!!

"{! ОТ " А. " Ш Г, ^ ^Д/Ы ^

стеньг.,В А /л.';. В .А*'А ^ .........—............................................................У

ФОЩ8Ш1К ВАК Напрааа^

......_........Ш5,;

(рукописи

. 24

Идрисов Фарит Фатыхович

АНАЛИЗ ВРЕМЕННЫХ РЯДОВ ПРИ ИЗМЕРЕНИЯХ В СЛУЧАЙНЫЕ МОМЕНТЫ ВРЕМЕНИ

Диссертация на соискание ученой степени доктора технических наук

Специальность 05.13.14-системы обработки информации и управления

Томск, 1998 г.

ОГЛАВЛЕНИЕ

Введение 6

1. Математические модели потока случайных моментов измерений 28

1.1. Пуассоновский поток моментов измерений 28

1.2. Техника усреднения при пуассоновском потоке моментов измерений 31

1.3. Асимптотическое поведение статистик 39

1.4. Рекуррентный поток моментов измерений 45

1.5. Техника усреднения при рекуррентном потоке моментов измерений 46

1.6. Асимптотическое поведение статистик 54

1.7. Имитационное моделирование потока моментов измерений 60 Резюме 62

2. Выделение трендов временных рядов при измерениях в случайные моменты времени 63

2.1. Постановка задачи 63

2.2. Выделение тренда при известных моментах измерений 64

2.2.1. Метод наименьших квадратов 64

2.2.2. Упрощенный алгоритм оценки параметров ~ 67

2.2.3. Исследование упрощенных оценок при пуассоновском потоке моментов измерений 69

2.2.4. Исследование упрощенных оценок при рекуррентном потоке моментов измерений 80

2.3. Выделение тренда при неизвестных моментах измерений 86

2.3.1. Построение оценок при пуассоновском потоке моментов измерений 86

2.3.2. Исследование свойств оценок при пуассоновском потоке моментов измерений 92

2.3.3. Оценка параметров при рекуррентном потоке моментов измерений 99

2.4. Выделение тренда при наличии ошибок в моментах измерений 103

2.4.1. Построение оценок при пуассоновском потоке моментов измерений 103

2.4.2. Свойства оценок параметров тренда 106

2.4.3. Свойства оценок для рекуррентного потока событий 109

2.4.4. Упрощенные оценки 110

2.5. Имитационное моделирование 119 Резюме 122

3. Выделение трендов временных рядов сплайнами 132

3.1. Постановка проблемы 132

3.2. Выделение тренда в виде сплайна первого порядка 133

3.2.1. Случай, когда моменты измерений известны точно 133

3.2.2. Случай, когда относительно моментов измерений известен только их порядок 137

3.2.3. Оценка сплайном первого порядка тренда произвольного вида 143

3.3. Выделение тренда сплайном второго порядка дефекта 2 145

3.3.1. Случай, когда моменты измерений известны точно 146

3.3.2. Случай, когда относительно моментов измерений известен только их порядок 148

3.3.3. Оценка сплайном второго порядка тренда произвольного вида 151

3.4. Выделение тренда сплайном третьего порядка дефекта 2 153

3.5. Имитационное моделирование 157 Резюме 158

4. Оценка функции корреляции стационарного случайного процесса 163

4.1. Постановка задачи 163

4.2. Ядерные оценки 164

4.2.1. Ядерные оценки функции корреляции при пуассоновском потоке моментов измерений 164

4.2.2. Ядерные оценки функции корреляции при рекуррентном потоке моментов измерений 172

4.2.3. Оценка функции корреляции при неизвестных моментах измерений 177

4.3. Оценки методом полиномиальной аппроксимации 183

4.3.1. Случай, когда моменты измерений известны точно 184

4.3.2. Полиномиальные оценки при наличии ошибок в моментах измерений189

4.3.3. Оценка функции корреляции, когда о моментах измерений известен только их порядок 192

4.4. Оценка функции корреляции рядами Фурье 199

4.4.1. Оценка функции корреляции, когда моменты измерений известны точно 200

4.4.2. Оценка функции корреляции, когда известен лишь порядок производства измерений 206

4.5. Сплайновая оценка функции корреляции 212

4.5.1. Сплайновая оценка, когда моменты измерений известны точно 213

4.5.2. Сплайновая оценка функции корреляции, когда моменты измерений известны с ошибками 220

4.5.3. Случай, когда моменты измерений неизвестны 222

4.6. Проверка гипотез о виде функции корреляции стационарного гауссовского случайного процесса 227

4.7. Имитационное моделирование 233 Резюме 237

5. Оценка спектра мощности стационарного случайного процесса 257

5.1. Постановка задачи 257

5.2. Ядерные оценки 258

5.2.1. Случай, когда моменты измерений известны точно 258

5.2.2. Случай, когда о моментах измерений известен лишь их порядок 265

5.3. Оценка спектра мощности частными суммами ряда Фурье 268

5.3.1. Случай, когда моменты измерений известны точно 268

5.3.2. Случай, когда о моментах измерений известен лишь их порядок 277

5.4. Сплайновая оценка спектра мощности 280

5.4.1. Случай, когда моменты измерений известны точно 280

5.4.2. Случай, когда моменты измерений известны с ошибками 285

5.4.3. Случай, когда о моментах измерений известен лишь их порядок 288

5.5. Имитационное моделирование оценок спектра мощности 290 Резюме 292

6. Оценка функции корреляции и спектра мощности интенсивности дважды стохастического пуассоновского потока 312

6.1. Описание объекта исследования 312

6.2. Ядерные оценки функции корреляции интенсивности потока 313

6.3. Полиномиальные оценки функции корреляции 319

6.4. Сплайновые оценки функции корреляции 320

6.5. Ядерные оценки спектра мощности интенсивности потока 324

6.6. Сплайновые оценки спектра мощности интенсивности потока 329

6.7. Имитационное моделирование 330 Резюме 332

7. Оценка параметров матричной авторегрессионной модели при случайных пропусках измерений 346

7.1. Математическая модель процесса и ее описание 346

7.2. Модель процесса наблюдений 351

7.3. Оценка матрицы В 353

7.4. Сходимость построенной оценки почти наверное 355

7.5. Оценка матрицы В по методу наименьших квадратов 358

7.6. Асимптотическая нормальность оценки матрицы В 361

7.7. Вычисление дисперсий и ковариаций элементов матрицы В 369

7.8. Оценка элементов ковариационной матрицы величин АЬг5 371

7.9. Численная реализация алгоритма МНК-оценивания матрицы В Ъ1Ъ Резюме 374

8. Оценка параметров многомерной авторегрессионной модели при наличии аномальных ошибок измерений 375

8.1. Математическая модель процесса и его измерений 375

8.2. Алгоритм для сравнения 376

8.3. Устойчивый алгоритм оценивания матрицы В 380

8.4. Вычисление некоторых характеристик 385

8.5. Ковариации оценок В1р параметров Ъ1р 390

8.6. Сравнение алгоритмов оценки 398 Резюме 400

9. Программное обеспечение разработанных алгоритмов 401

9.1 Общая характеристика программы 401

9.2 Основы работы с программой 403

9.3 Работа с документом 404

9.4 Работа с таблицами и графиками 409

9.5 Обработка данных 411

9.6 Описание примеров 419 Резюме 422 Заключение 423 Литература 425 Справки о внедрении 435

ВВЕДЕНИЕ АКТУАЛЬНОСТЬ РАБОТЫ

Временные ряды встречаются очень часто в самых разнообразных областях науки, техники, экономики, медицины и т.д., так что вопросы статистической обработки этих рядов постоянно встречаются в практической деятельности многих людей.

Алгоритмам статистической обработки временных рядов посвящена обширная литература, среди которой, уже ставшие классическими, монографии [см. например 3, 8, 10, 23]. При этом надо отметить, что подавляющее большинство этой литературы посвящено ситуации, когда измерения, образующие временной ряд, производятся через равные промежутки времени.

Однако на практике часто встречаются ситуации, когда моменты измерений, порождающие временной ряд, случайны. Это имеет место в технике из-за так называемого "дрожания" моментов измерений. Случайные моменты производства измерений имеют место в телеметрических системах съема данных со спутников, где, кроме регулярных измерений, замеры осуществляются всякий раз, когда на борту наступает какое-то событие (срабатывание датчика, выход контролируемого параметра за определенные пределы и т.п.). И особенно часто такие ситуации возникают в экономических системах - в торговле, управления запасами, страховых компаниях, банках и т.д., где приход клиента происходит в случайные моменты времени и величина операции, производимой с этим клиентом, есть также случайная величина. Все это приводит к необходимости разработки теории и алгоритмов анализа временных рядов при измерениях, производимых в случайные моменты времени, что и определяет актуальность данной работы.

Работа проводилась в соответствии с планом госбюджетных научно-исследовательских работ Анжеро-Судженского филиала Томского государственного педагогического университета, которым автор руководил в 1991-1997 годах, а также в порядке личной инициативы.

ЦЕЛЬ РАБОТЫ

Целью данной работы являлось:

1. Разработка алгоритмов анализа временных рядов, когда моменты измерений образуют пуассоновский или рекуррентный поток событий, что характерно для экономических и технических систем, а именно:

■ выделение трендов временных рядов;

■ оценка функции корреляции;

■ оценка спектра мощности.

2. Разработка алгоритмов оценки функции корреляции и спектра мощности интенсивности дважды стохастических пуассоновских потоков.

3. Разработка алгоритмов оценки параметров многомерных авторегрессионных моделей при случайных пропусках и аномальных ошибках измерений.

4. Разработка программного обеспечения на современном уровне, реализующего эти алгоритмы на персональных ЭВМ в операционных системах Windows 3. X, Windows-95.

СОСТОЯНИЕ ПРОБЛЕМЫ

Отличительной особенностью данной работы является то, что в ней рассматриваются ситуации, когда:

а) моменты измерений образуют пуассоновский или реккурентный поток событий с известными характеристиками ;

б) моменты измерений могут быть известны точно; известны с ошибками и с известным порядком их производства; о моментах измерений может быть известен только порядок их осуществления.

Поэтому прежде всего еще раз укажем на те практические ситуации, где подобные ограничения могут реализовываться.

Во-первых, в таких ситуациях часто находятся системы съема телеметрической информации со спутников. Обычно в таких системах заложены две программы. По одной из них производится съем информации о состоянии бортовых систем во вполне определенные промежутки времени, как правило, отстоящие друг от друга на одинаковом расстоянии по времени. Вторая программа производит съем информации всякий раз, когда на борту спутника происходит какое-то "событие", как-то: срабатывание датчика; включение

(или выключение) какой-то системы. Кроме того, есть группа важнейших параметров, за которыми осуществляется постоянное слежение, и как только хотя бы один их этих параметров выходит за определенные границы, на всякий случай производится съем значений и других параметров. Так как такие события происходят случайно, то это приводит к тому, что моменты измерений образуют обычно пуассоновский поток событий.

Во-вторых, такие ситуации возникают в экономических системах, связанных с обслуживанием клиентов. К ним относятся: системы торговли, складирования, страховые и инвестиционные компании, банки и т.д. Обычно в такие системы приход клиентов осуществляется независимо друг от друга, так что поток моментов прихода, как правило, является пуассоновским (по крайней мере на небольших интервалах времени) [75, 93]. Поэтому возникает ситуация, когда измерения, образующие временной ряд, формируются в случайные моменты времени. Нередко момент обращения клиента фиксируется с ошибкой или вообще не фиксируется, так что известен лишь порядок обращения клиентов в компанию. Все это приводит к ситуации, изучаемой в данной работе. Более того, если рассматривать большие интервалы времени, то интенсивность потока обращений клиентов в компанию изменяется, причем случайным образом. И когда интенсивность пуассоновского потока сама является случайным процессом, это приводит к ситуации так называемого дважды стохастического пуассоновского потока [105, 119]. Такой объект также изучается в данной работе, так как знание статистических свойств интенсивности может помочь при прогнозировании работы экономической системы.

Дадим теперь краткий обзор работ других авторов, тематика которых близка к данной работе. Основная цель этого обзора - показать место данной работы среди аналогичных работ, указать на пересечение результатов в приведенных работах, а также на их отличие.

Как уже подчеркивалось выше, большинство исследований по анализу временных рядов посвящено исследованию случая, когда измерения (составляющие временной ряд) получены через равные промежутки времени. Работ по этому направлению так много, что укажем лишь на монографии [3, 1, 8, 30, 48].

Одним из главных направлений в исследованиях временных рядов, измерения в которых были получены в случайные моменты времени, являлись исследования временных рядов при наличии пропуска данных. Как на обобщающую можно указать на монографию Дж. А. Литтла и Д.В. Рубина [64], где суммированы результаты подобных исследований.

Однако есть один объект, оценок которого, при наличии пропусков измерений, автору не удалось найти в доступной ему научной литературе - это многомерная (матричная) авторегрессионная модель. Оценки матрицы этой модели в литературе исследовались [11, 68. 114]. В целом матричное оценивание привлекает внимание исследователей [71]. Что касается авторегрессионной модели, то при наличии пропусков была построена оценка параметра только одномерной авторегрессионной модели, да и то лишь для бернуллиев-ской схемы пропусков, когда отдельные измерения пропадают независимо друг от друга [82, 102, 122]. Поэтому в данной работе построены и исследованы оценки параметров многомерной авторегрессионной модели при схеме пропусков, аналогичной рекуррентному потоку событий, а также для случая наличия аномальных ошибок измерений.

Большая часть работы посвящена оценке характеристик случайных процессов, когда моменты измерений случайны. Автору неизвестны обобщающие монографии по этим исследованиям. Дадим лишь краткий обзор статей по этой проблеме.

Первые работы в этом направлении появились в связи с введением цифровой обработки в радиотехнических системах и системах связи. Для такой обработки производится дискретизация (взятие отсчетов) сигнала через равные промежутки времени А(. Однако в силу погрешностей аппаратуры происходит так называемое "дрожание" (рШгщ) этих моментов, в результате которого истинный момент измерения + где 2,п - независимые случайные величины. При этом сам момент обычно неизвестен, а известна

лишь величина п • Д?.

В работах изучалось влияние этого эффекта на характеристики получающегося после измерений процесса [97, 99, 100, 104], оценка параметров исходного процесса [110], интерполяция процесса в интервалах между измере-

ниями [111, 112, 113], фильтрация процессов [101] и некоторые другие вопросы, связанные с последующей обработкой и восстановлением сигнала [95].

В более поздних работах начали изучаться те же временные ряды, что и в работе автора - то есть изучался случай, когда моменты измерений образуют рекуррентный поток событий.

Среди~работ, посвященных выделению тренда рядов, в которой рассматривалась задача выделения тренда при наличии пропусков в измерениях, отметим [96]. Алгоритмы выделения трендов, когда моменты измерений образуют рекуррентный поток событий, впервые были предложены в статье [121]; однако эти алгоритмы совершенно не исследовались с вероятностных позиций. В работе [87] рассматривались свойства оценок параметров полиноми-ального^^енда, полученных по методу наименьших квадратов, когда моменты измерений образуют случайный точечный процесс. Автора в основном интересовали вопросы сходимости получающихся оценок.

Более подробно выделение полиномиальных трендов, когда моменты измерений образуют рекуррентный или пуассоновский поток событий, в предположении, что сами моменты измерений неизвестны, было исследовано в работе Н.В. Степановой [80], результаты которой частично пересекайся с результатами автора. Аналогичная задача рассматривалась в работах Б.Е. Три- j воженко [85, 86], в которой были подняты проблемы выделения трендов при помощи сплайнов, хотя и в другой постановке, чем в данной работе. Его ре- ^ зультаты также частично пересекаются с работами автора. Близка к этой тематике и работа [56], в которой постановка задачи совсем иная. Созвучными с этой тематикой являются исследования по фильтрации случайных процессов, измеряемых в случайные моменты времени [59, 74].

Первыми работами по оценке характеристик второго порядка (функции корреляции, спектра мощности) в случае измерений, образующих пуассоновский или рекуррентный поток событий, были, по-видимому, работы [117, 24], но в этих работах предлагался лишь вид оценок и не было приведено их математическое исследование.

Частичное исследование ядерных оценок функции корреляции и спектра мощности, когда моменты измерений образуют рекуррентный поток событий

и точно известны, было сделано в работах В.И. Высоцкого [12, 13], результаты которого частично пересекаются с результатами автора.

Из тех направлений, которые не затронуты в данной работе, отметим работы, связанные �