автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.02, диссертация на тему:Асимптотические свойства оценок параметров стохастических дискретных динамических систем

Введение

1. Дискретные динамические модели

1.1. Асимптотические свойства оценок параметров в моделях авторегрессии-скользящего среднего

1.2. Особенности представления временных рядов обобщенными схемами авторегрессии и постановки задач .II

1.3. Существование и измеримость оценок

2. Оценивание параметров в обобщенных авторегрессионных схемах

2.1. Устойчивый случай

2.2. Неустойчивый случай (состоятельность)

2.3. Неустойчивый случай (предельное распределение)

2.4. Доказательство вспомогательных утверждений

3. Асимптотическая эффективность оценок и прогноз при нормальных шумах

3.1. Асимптотическая эффективность оценок

3.2. Асимптотическая эффективность прогноза

3.3. Доказательство вспомогательных утверждений

4. Оценивание параметров в нелинейной авторегрессии

4.1. Неустойчивый случай

4.2. Устойчивый случай

4.3. Доказательство вспомогательных утверждений

Актуальность проблемы. Параметрические модели находят широкое применение при решении различных задач, связанных в временными рядами, главным образом, для прогнозирования и автоматического регулирования, Как отмечалось в [4,5] , примерами таких задач могут быть оценивание передаточной функции линейного фильтра, выработка стратегии оптимального управления, проектирование простых схем управления с прямой и обратной связью.

Одними из наиболее часто используемых для анализа временных рядов параметрическими моделями являются модели авторегрессии-сколь-зящего среднего (AFCC), т.е. линейные разностные уравнения с постоянными коэффициентами и случайной правой частью (шумом). Однако применение этих моделей ограничено следующими обстоятельствами. Во-первых, на всем интервале наблюдения реальная система описывается одной и той же моделью. Во-вторых, наблюдения проведены в равноотстоящие моменты времени. В-третьих, параметры разностного уравнения не связаны с параметрами шума.

На многие модели, в том числе и на модели АРСС, можно смотреть как на дискретные динамические системы, подвергающиеся случайным воздействиям (шумам). В[задачах, возникающих, например, в эконометрике, естественно предполагать, что на разных интервалах наблюдения эти динамические системы различны, а их параметры связаны с параметрами шума. К таким моделям приводят, например, наблюдения над объектами, описываемыми стохастическими дифференциальными уравнениями в дискретные моменты времени, модели авторегрессионного типа при пропущенных и неравноотстоящих наблюдениях.

Модели, о которых шла речь выше - линейные. В практических задачах часто приходится сталкиваться с временными рядами, описываемыми нелинейными моделями. Общего математического аппарата для решения подобных задач в настоящее время не существует. При изучении этих моделей вид нелинейности предполагается известным £21,36,39] • С другой стороны бывает естественным предположение о малости, в том или ином смысле, случайных возмущений. Задача изучения малых случайных возмущений динамических систем ставилась в работах [3,15] • Эффективность использования параметрических моделей для описания динамических систем в значительной мере зависит от уровня разработанности методов оценивания и исследования статистических свойств оценок их параметров.

Б связи с вышесказанным, актуальными являются рассматриваемые в настоящей работе проблемы.

1. Обоснование и описание нового, более широкого по отношению к моделям АРСС, класса линейных параметрических моделей.

2. Исследование асимптотических свойств оценок параметров этих моделей, а именно, состоятельности, предельного распределения, асимптотической эффективности.

3. Прогнозирование временного ряда, порожденного введенным классом моделей.

4. Получение и исследование статистических свойств оценок параметров нелинейных динамических систем, подвергающихся малым случайным воздействиям.

Предмет исследования - оценивание параметров и прогноз при зависимых наблюдениях авторегрессионного типа.

Цель исследования состоит в развитиии раздела теории статистического оценивания в дискретных динамических системах, подвергающихся случайным воздействиям.

Теоретической и методологической основой работы служат:

- анализ временных рядов,

- асимптотические методы математической статистики.

Научная новизна. Рассмотрен новый класс линейных параметрических моделей для анализа временных рядов. Для оценивания параметров этих моделей предложено использовать широко распространенные методы: метод наименьших квадратов (МНК) и гауссовы оценки [38,52] . Доказана состоятельность этих оценок и найдено предельное распределение.

Доказано, что предложенные оценки являются асимптотически наилучшими (эффективными) среди всех оценок и найдена нижняя граница для предельного риска при условии, что вектор наблюдений распределен нормально.

Рассмотрен вопрос о прогнозировании временного ряда, порожденного введенным классом моделей. Доказано, что предложенный в работе прогноз является асимптотически наилучшим среди всех прогнозов при условии, что вектор наблюдений распределен нормально.

Для нелинейных стохастичнских разностных уравнений предложена оценка их параметров и доказана её состоятельность в предположении малости шума.

Апробация работы. Результаты работы докладывались на научных семинарах БНИИСИ ГКНТ и АН СССР, на Советско-французском симпозиуме по прикладной математической статистике / г. Сочи, 1982 г./, на 7-ой Всесоюзной конференции по планированию эксперимента в научных исследованиях / г.Москва, 1883 г./, на 5-ой конференции молодых ученых БНИИСИ / г; Москва, 1982 г./, на семинаре "Многомерный статистический анализ и моделирование реальных процессов" в ЦЭМИ АН СССР, на семинаре "Планирование эксперимента и анализ данных", проводимом совместно МГУ им. М.В.Ломоносова и Научным советом по комплексной проблеме "Кибернетика" АН СССР.

Апробация диссертации в целом проводилась на семинаре направления "Математические методы в системных исследованиях" ЕНИИСИ ГКНТ и Ш СССР. По материалам диссертации опубликованы 3 научные работы [11,12 ДЗ] .

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и библиографического списка, включающего 61 наименование. Текст изложен на 92 страницах машинописного текста. В первой главе работы приведен обзор публикаций, близких к теме диссертации, предложен новый класс параметрических моделей - обобщенных авторегрессионных схем - для анализа временных рядов, введены понятия устойчивости и неустойчивости этих моделей и сформулированы постановки задач диссертации.

ЗАКЛЮЧЕНИЕ

1. Предложен новый класс линейных параметрических моделей -обобщенных авторегрессионных схем - для анализа временных рядов. Введены понятия устойчивости и неустойчивости этих моделей. Для оценивания параметров устойчивых обобщенных авторегрессионных схем предложено использовать гауссовы оценки; доказана их слабая состоятельность. Для оценивания параметров неустойчивых обобщенных авто-регрессионныз схем предложено использовать оценки метода наименьших квадратов; доказана их сильная состоятельность и найдено предельное распределение нормированного отклонения этих оценок от истинного значения.

2. Получены асимптотически минимаксные границы рисков произвольных оценок параметров неустойчивых обобщенных авторегрессионных схем и доказана асимптотическая эффективность оценки максимального правдоподобия при условии, что вектор наблюдений распределен нормально.

3. Рассмотрен вопрос о прогнозировании временного ряда, порожденного неустойчивой обобщенной авторегрессионной схемой, в ситуации, когда истинные значения параметров неизвестны. Получены асимптотически минимаксные границы рисков для произвольных прогнозов и доказана асимптотическая эффективность предложенного прогноза при условии, что вектор наблюдений распределен нормально.

4. Для нелинейных стохастических разностных уравнений предложена оценка их параметров и доказана её состоятельность в предположении малости случайных возмущений.

1. Альтшулер С.В, Методы оценки параметров процессов авторегрессии-скользящего среднего.- Автоматика и телемеханика, 1982,8, с. 5-18.

2. Андерсон Т. Статистический анализ временных рядов.- М.: Мир, 1976.- 760 с.

3. Благовещенский Ю.Н., Фрейдлин М.И. Некоторые свойства диффузионных процессов, зависящих от параметра.- ДАЙ СССР, 1961, 138 , 3, с. 508-511.

4. Бокс Дж., Дженкинс Г. Анализ временных рядов.- М.: Мир, 1974.200 с.

5. Бокс Дк., Дженкинс Г. Анализ временных рядов. Прогноз и управление.- М.: Мир, 1974.- 480 с.

6. Вентцель А.Д., Фрейдлин М.И. Флуктуации в динамических системах под действием малых случайных возмущений.- М.: Наука, 1979.424 с.

7. Воеводин В.В. Вычислительные основы линейной алгебры.- М.: Наука, 1977.- 303 с.

8. Гантмахер Ф.Р. Теория матриц.- М.: Наука, 1966.- 576 с.

9. Гельфонд А.О. Исчисление конечных разностей.- М.: Наука, 1967.376 с.

10. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания.- М.: Наука, 1979.- 528 с.

11. Лепский О.В. Оценивание параметра в обобщенной схеме авторегрессии.- В сб.: Методы исследования сложных систем. Труды конференции молодых ученых.- М.: БНИИСИ, 1983, с. 24-29.

12. Лепский О.В. Асимптотические свойства оценок параметров обобщенной авторегрессионной схемы в неустойчивом случае.- В сб.: Проблемы устойчивости стохастических моделей.Труды семинара.-М.:1. ВНИИСИ, 1983, с. 61-71.

13. Лепский О.В., Федоров В.В. Оценивание параметра в нелинейной авторегрессии при малых шумах.- В кн.: Тезисы докладов 7-ой Всесоюзной конференции по планированию эксперимента в научных исследованиях.- М.: МЭИ, 1983, с. 54-55.

14. Острем К. Введение в стохастическую теорию управления.- М.: Мир, 1973.- 324 с.

15. Понтрягин Л.С., Андронов А.А., Витт А.А. О статистическом рассмотрении динамических систем.- ЖЭТФ, 1933, 3, №3, с. 165-180.

16. Слуцкий Е.Е. Сложение случайных величин, как источник циклических процессов.- Вопросы конъюнктуры, 1927, 3, ЖЕ, с. 34-64.

17. Хеннан Э. Многомерные временные ряды.- ГЛ.: Мир,' 1974.- 576 с.

18. Хеннекен П.Л., Тортра А. Теория вероятностей и некоторые её приложения.- М.: Наука, 1974.- 472 с.

19. Феллер В. Введение в теорию вероятностей и её приложения.- М.: Мир, 1967, т. 2,- 752 с.

20. Эйкхофф П. Основы идентификации систем управления.- М.: Мир, 1975.- 688 с.

21. Aase К.К. Recursive estimation in nonlinear time series models of autoregressive type.- J.R.Statist.Soc., 1982, B44.

22. Anderson T.W. On asymptotic distribution of estimate of parameter of stochastic difference equation.- Ann.Math.Statist., 1959, 30, pp. 676-687.

23. Anderson T.W. The integral of symmetric unimodal function.-Proc.Amer.Math.Soc., 1955, 6, pp. 170-176.

24. Aoki M., Yue P.O. On certain convergence questions in system identification.- SIAM J. Control, 1970, 2, 8, pp. 239- 256.

25. Dickey D.A., Puller V/.A. Distribution of the estimators forautoregressive time series with unit roots.- Ann.Statist., 1979, 5, pp. 428-441.

26. Durbin J. Efficient estimation of parameters in moving-average models.- Biometrica, 1959, 46, pp. 306-316.

27. Durbin J. Estimation of parameters in the time series regression models.- J.R.Stat.Soc., 1960, 22, pp. 139-153.

28. Dunsmuir W., Hannan E.J. Vector linear time series models.-Adv. of App. Prob., 1976, 8, pp. 339-364.

29. Dunsmuir W., Robinson P.M. Parametric estimation for stationary time series with missing observations.- Adv. of App. Prob., 13, 1, 1981, pp. 128-146.

30. Pu-Wu C. Asymptotic theory of nonlinear least squares estimation.- Ann. Stat. , 1981, 9, 3, pp. 501-513.

31. Hajek J. Local asymptotic minimax and admissibility in estimation.- In: Proc. Sixth Bercley Symp. on Math. Statist, and Prob., 1972, 1, pp. 175-194.

32. Jennrich R.I. Non-linear least square estimators.- Ann. Math. Stat., 1969, 10, pp. 633-643.

33. Kailath I. Some alternative in recursive estimation.- Internat. J.Control, 1980, 32, pp. 311-329.

34. Kavashima H. Parameter estimation of autoregressive integrated processes by least squares.- Ann.Stat., 1980, 8, pp. 921-930.

35. Kohn R. Asymptotic estimation and hypothesis testing results for vector linear time series models.- Econometrica, 1979»47, pp. 1005-1030.

36. Kushner H.J. Convergence of recursive adaptive and identification procedure via weak convergence theory.- IEEE Trans. Automatic Control, 1977, AC-22, pp. 921-930.

37. Lai Т.Ъ., Wei C.Z. Asymptotic properties of general autoregre-sive models and strong consistency of least-squares estimate of their parameters.- Jour, of Mult. Analis., 1983, 13, pp. 1-23.

38. Igung L. On positive real transfer function and the convergence of some recursive sceme.- IEEE Trans Automatic Control, 1977, AC-22, pp. 539-551.

39. Ljung L. Consistency of the least-squares identification method. IEEE Trans. Automatic Control, 1976, October, pp. 779-781.

40. Mann H.B., ?/ald A. On the statistical treatment of linear stochastic difference equations.- Econometrica, 1943, 11, РР* 173220.

41. Mayer-Kress G., Haken H. The influence of noise on logistic model.- J.Statist.Phys., 1981, 26, pp. 149-171.

42. McGiffin P.В., Murtty D.H. Parameter estimation for autoregressive system with missing observations.- Int.J.Syst.Ski., 1980,11, pt. 1, pp. 1021-1034.

43. McGiffin P.В., Murtty D.H. Parameter estimation for autoregressive system with missing observations.- Int.J.Syst.Ski,, 198O, pt. 2, pp. 657-663.

44. Moore J.B. On strong consistency of least squares identification algorithms.- Automatica, 1978, 14, PP. 505-509.

45. Muench T.J. Consistency of least squares estimates of coefficients of stohastic difference equations.- University of Minnesota, Economic Dept., Tech. Report.- 51 pp.

46. Posnyak A.S. Estimating the parameters of autoregression process by the method of least squares.- Int.J.Syst.Ski., 1980, 11, pp. 577-588.

47. Rao M.M. Consistency and limit distribution of estimators of the parameters in the explosive stochastic difference equations. Ann.Hath.Stat., 1961, 32, pp. 195-218.

48. Rao M.M. Covariance analisis of nonstationary time series.- In: Development and Statistic, Academic Press, New York, 1978, 1, pp. 171-225.

49. Rissanen J., Caines P.E. The strong consistency of maxsimum likelyhood estimators for ARM processes.- Ann.Stat., 1979, 7, pp. 297-315.

50. Robinson P.M. Estimation of a time series model from unequally spased data.- Stochastic Processes and Their Applications, 1977, 6, pp. 9-24.

51. Rubin H. Consistency of maxsimum likelyhood estimates in the explosive case.- In: Statistical Inference in Dynamic Economic Models, Wiley, New York, 1950, pp. 356-364.

52. Stigum R.P. Asymptotic properties of dynamic stochastic parameter estimates.- J.Mult.Analis., 1974, 4, pp. 351-381.

53. Tiao G.C., Tsay R.S. Consistency properties of least squares estimates of autoregressive parameters in ARMA models.- Ann. Stat., 1983, 11, 3, pp. 856-871.

54. Walker A.M. On the periodictly in series of related term.- Proc.

55. Roy.Soc. of London, 1931, A131, pp. 518-532.

56. Walker A.M. Large-sample estimation of parameters for autoregressive processes with moving average residuals,-Biometrica, 1962, 49, PP. 117-131.

57. White J.S. The limiting distribution of serai correlation coefficient in the explosive case.- Ann. Math. S t a-c., 1958, 29, pp. 11tt8-119Y.

58. Wold H.A. A study in the analisis of a stationary time series. Stockholm, Aimqrist and Wiksell, 1953.- 489 pp.

59. Yull G.U. On the method of investigation penodecties in disturbed series with special reference to Wolx'er^s sunsport numbers.- Philosophical Transaction, 1930, A226, pp. 267-298.