автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Гарантированные выводы для процессов авторегрессии-скользящего среднего

Введение

Глава 1. Оценивание параметров процессов, описываемых стохастическими разностными уравнениями. Обзор.

1.1 Введение.

1.2 Результаты асимптотической теории оценивания параметров ARMA процесса.

1.3 Оценивание параметров ARM А модели с экзогенными входами

1.4 Оценивание спектральной плотности ARMA процесса

1.5 Гарантированное оценивание параметров стохастических динамических систем.

1.6 Выводы.

Глава 2. Гарантированное оценивание параметров процесса авторегрессии-скользящего среднего с экзогенными входами

2.1 Введение.

2.2 Предварительные замечания. Постановка задачи.

2.3 Конструкция процедуры.

2.4 Свойства процедуры

2.5 ARM АХ системы с квазистационарными входами.

2.6 Результаты численного моделирования.

2.7 Выводы.

Глава 3. Гарантированное оценивание авторегрессионных параметров процесса авторегрессии-скользящего среднего

3.1 Введение.

3.2 Постановка задачи.

3.3 Случай известной дисперсии.

3.4 Случай неизвестной дисперсии.

3.5 Доказательства вспомогательных результатов.

3.6 Результаты численного моделирования.

3.7 Выводы.

Глава 4. Гарантированное оценивание спектральной плотности процесса авторегрессии-скользящего среднего

4.1 Введение.

4.2 Постановка задачи.

4.3 Построение оценки спектральной плотности.

4.3.1 Конструкция процедуры.

4.3.2 Гарантированные оценки параметров

4.3.3 Гарантированные оценки параметров

4.3.4 Основной результат.

4.4 Средняя длительность процедуры.

4.5 Доказательства вспомогательных результатов.

4.6 Выводы.

Глава 5. Последовательный критерий классификации процессов авторегрессии-скользящего среднего

5.1 Введение.

5.2 Постановка задачи. Процедура классификации

5.3 Свойства процедуры классификации.

5.4 Результаты численного моделирования.

5.5 Выводы.

Во многих прикладных задачах, возникающих в различных отраслях науки и техники, часто встает проблема построения модели изучаемой системы по эмпирическим данным. Решение этой проблемы тесно связано с задачами выбора подходящего параметрического класса моделей и проверки адекватности наилучшей модели выбранного класса. Выбор того или иного класса определяется прежде всего спецификой изучаемого явления и задачами, для решения которых строится модель. Несмотря на то, что реальные системы являются, как правило, сложными, они не обязательно требуют сложных моделей (см. [1, 3, 12, 28] и др.). Часто на практике достаточными оказываются модели авторегрессионного типа, описываемые линейными стохастическими разностными уравнениями. Классическим примером служит авторегрессионная модель второго порядка для описания ежегодных наблюдений за солнечными пятнами [1]. Повышенный интерес к данным моделям объясняется не только их простотой. но и тем, что многие реальные процессы являются стационарными по своей природе, которые в соответствии с теорией стационарных процессов [27, 41] могут быть аппроксимированы процессами авторегрессии (AR) и процессами скользящего среднего (МА). При этом аппроксимация позволяет обеспечить произвольную заданную близость соответствующих спектральных плотностей в равномерной метрике. В данной работе рассматривается одна из наиболее популярных моделей авторегрессионного 1 типа - модель авторегрессии-скользящего среднего (ARMА), которая служит обобщением моделей AR и МА. В ряде случаев при подгонке моделей к реальным данным процесс ARMA оказывается предпочтительней AR и МА, так как требует меньшего числа неизвестных параметров.

После того как выбран параметрический класс моделей, следующий логический шаг в построении модели изучаемой системы состоит в определении наилучшего элемента в рассматриваемом классе (в смысле какого-то критерия). На этом этапе возникает задача оценивания параметров выбранной модели. Существует два альтернативных подхода к проблеме оценивания параметров моделей, описываемых линейными стохастическими разностными уравнениями. Первый из них - классический или асимптотический подход, при котором свойства оценок изучаются в предположении, что объем наблюдений неограниченно возрастает. В Главе 1 представлен обзор некоторых наиболее известных результатов, полученных в данном направлении, для модели ARMA. Второй подход, неасимптотический, ориентирован на использование приемов и методов, разработанных в рамках теории статистического последовательного анализа. Использование последовательного анализа, для которого характерно выносить решения по выборкам не фиксированного заранее (случайного) объема, представляется вполне естественным в задачах оценивания параметров динамических систем, поскольку позволяет учесть при конструировании оценок возможность вариации в широких пределах информации о неизвестных параметрах, содержащейся в каждом отдельном наблюдении в зависимости от эволюции процесса в целом. Обычно применение последовательного анализа к задачам оценивания осуществляется либо с целью сокращения среднего числа необходимых наблюдений, либо для получения оценок такого качества, которое не может быть достигнуто при использовании выборок фиксированного объема. В частности неасимптотический подход позволяет решать задачу гарантированного оценивания параметров в средне-квадратическом смысле. Результаты, полученные в этом направлении, в основном относятся к проблеме оценивания параметров процесса авторегрессии с заданной среднеквадратической точностью. Обзор этих результатов представлен в Главе 1. Следует отметить, что в неасимптотическом подходе практически отсутствуют результаты, посвященные гарантированному оцениванию параметров и характеристик модели авторегрессии-скользящего среднего.

Цель работы. Основная цель работы состоит в том, чтобы получить решение некоторых задач оценивания для модели авторегрессии-скользящего среднего в неасимптотической постановке. В работе рассмотрены задачи гарантированного оценивания параметров, спектральной плотности ARMA процесса и проблема гарантированного различения ARMA процессов.

Методы исследования. В работе использованы методы теории вероятностей, теории случайных процессов, теории статистического последовательного анализа и имитационного моделирования.

Научная новизна. В работе предложена двухэтапная последовательная процедура, позволяющая получать оценки параметров ARMA процесса с любой заданной среднеквадратической точностью. Рассмотрены случаи известной и неизвестной дисперсии помех.

Построена последовательная процедура гарантированного оценивания спектральной плотности ARMA процесса.

Предложен последовательный критерий классификации ARMA процессов с заданной вероятностью правильного решения.

Достоверность полученных результатов. Все полученные в диссертации результаты имеют строгое математическое доказательство.

Практическая ценность. Результаты работы могут быть использованы в различных отраслях науки и техники: радиофизике, экономике, медицине и других в прикладных задачах, связанных с обработкой результатов измерений, прогнозированием, управлением.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих конференциях:

1. XXXVIII Международная научная студенческая конференция "Студент и научно-технический прогресс", г. Новосибирск, 2000 г.

2. XXXIX Международная научная студенческая конференция "Студент и научно-технический прогресс", г. Новосибирск, 2001 г.

3. Восьмая Всероссийская школа-коллоквиум по стохастическим методам, г. Йошкар-Ола, 2001 г.

4. The 15th World Congress IF AC, Barcelona 2002.

По теме диссертации опубликовано 6 печатных работ. Структура диссертации. Работа состоит из введения, пяти глав, заключения и списка литературы. Общий объем диссертации составляет 134 страницы. Библиография содержит 107 наименований.

5.5 Выводы

В главе рассмотрена задача гарантированного различения конечного числа ARMA процессов. Построена последовательная процедура, позволяющая решать задачу классификации ARMA процессов за конечное время с заданной вероятностью правильного решения. Изучено асимптотическое распределение решающих статистик, исследовано асимптотическое поведение средней длительности процедуры классификации. Приведены результаты численного моделирования. Отметим, что результаты главы могут быть обобщены на случай, когда наблюдается не сам процесс авторегрессии-скользящего среднего, а его аддитивная смесь с шумом.

Заключение

В работе представлены некоторые результаты теории неасимптотического оценивания для моделей авторегрессии-скользящего среднего. Рассмотрены задачи оценивания параметров и спектральной плотности ARMA процесса с заданной среднеквадратической точностью, а также проблемы построения решающих процедур для различения ARMA процессов с гарантированной вероятностью правильной классификации. Для решения указанных задач используется подход последовательного анализа, который позволяет контролировать процесс накопления информации о неизвестных параметрах, содержащейся в каждом отдельном наблюдении. Данный подход связан с построением специальных правил прекращения наблюдений в зависимости от требуемой точности оценивания.

В Главе 2 рассмотрена задача гарантированного оценивания параметров процесса авторегрессии-скользящего среднего с экзогенными входами. Построена двухэтапная процедура, которая позволяет при достаточно общих требованиях на распределение помех получать оценки параметров ARMAX процесса с любой заданной среднеквадратической точностью. Конструкция процедуры основывается на последовательных модификациях оценок метода инструментальных переменных.

В Главе 3 исследована возможность применения процедуры из Главы 2 к задачам оценивания авторегрессионных параметров ARMA процесса с заданной среднеквадратической точностью для случаев известной и неизвестной дисперсии помех. Специальный выбор инструментальных переменных позволил провести анализ свойств процедур. При некотором усилении требований на распределение помех (существование момента E\en\i+S < оо, 6 > 0) установлена асимптотическая нормальность оценок, получена асимптотическая формула для средней длительности процедуры.

Задача оценивания спектральной плотности процесса авторегрессии-скользящего среднего с заданной среднеквадратической точностью рассмотрена в Главе 4. На базе оценок авторегрессионных параметров ARMA процесса построена процедура гарантированного оценивания спектральной плотности процесса при существовании конечного четвертого момента для помех. Исследовано асимптотическое поведение средней длительности поцедуры.

Глава 5 посвящена проблеме построения процедур гарантированной классификации процессов авторегрессии-скользящего среднего. В главе предложена последовательная процедура различения конечного числа ARMA процессов с гарантированной вероятностью правильного решения. Проведен анализ свойств процедуры: исследовано асимптотическое распределение решающих статистик, получена асимптотическая формула для средней длительности процедуры.

1. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.

2. Биллингсли П. Сходимость вероятностных мер. М.: Наука, 1977.

3. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, 1974, вып.1, 406 с.

4. Вальд А. Последовательный анализ. М.: Физматгиз, 1960, 328 с.

5. Борисов В.З., Конев В.В. О последовательном оценивании параметра в процессах с дискретным временем. Автоматика и телемеханика, 1977, №10, стр. 58-64.

6. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении. Изв. АН. СССР. Техническая кибернетика, 1982, №6, стр. 145-154.

7. Ватте Д., Дженкинс Г. Спектральный анализ и его приложения. М.: Мир, т. 1, 1971.

8. Воробейчиков С.Э. Конев В.В. Последовательный метод обнаружения разладок случайных процессов рекуррентного типа. Автоматика и телемеханика, 1984, №5, стр. 27-38.

9. Воробейчиков С.Э. Конев В.В. Обнаружение разладок случайных процессов рекуррентного типа. Статистические проблемы управления, 1984, вып. 65, стр. 58-66.

10. Дмитриенко А.А., Конев В.В. О гарантированном оценивании параметров процесса авторегрессии при неизвестной дисперсии шума. -Автоматика и телемеханика, 1994, №2, стр. 87-99.

11. Дмитриенко А.А., Конев В.В. О последовательной классификации процессов авторегрессии с неизвестной дисперсией помех. Проблемы передачи информации, 1995, т.31, вып.4, стр. 51-62.

12. Кашьяп P.JI., Pao Jl.Р. Построение динамических стохастических моделей по экспериментальным данным. М.: Наука, 1983.

13. Конев В.В. Последовательные оценки параметров стохастических динамических систем. Томск: Изд-во Томского ун-та, 1985.

14. Конев В.В., Конева Е.С. Последовательный непараметрический критерий классификации процессов рекуррентного типа. Математическая статистика и ее приложения. Томск: Изд-во Томского ун-та, 1982, Вып. 8, стр. 81-95.

15. Конев В.В., Пергаменщиков С.М. Последовательные планы идентификации динамических систем. Автоматика и телемеханика, 1981, №7, стр. 84-92.

16. Конев В.В., Пергаменщиков С.М. О гарантированном оценивании параметров неустойчивых систем для случая неполных наблюдений. -Автоматика и Телемеханика, 1988, №11, стр. 130-140.

17. Конев В.В., Пергаменщиков С.М. Гарантированное оценивание параметра авторегрессии на основе обобщенного метода наименьших квадратов. Теория вероятн. и ее примен., 1996, том 41, выпуск 4, стр.765784.

18. Конев В.В., Шаповалов Д.В. Гарантированные выводы для процессов авторегрессии-скользящего среднего. Обозрение прикладной и промышленной математики. Восьмая Всероссийская школа-коллоквиум по стохастическим методам, 2001, т. 8, №2, с. 777.

19. Конев В.В., Шаповалов Д.В. О гарантированном оценивании спектральной плотности процесса авторегрессии-скользящего среднего. -Проблемы передачи информации, 2002, т.38, №10, стр. 92-107.

20. Конева Е.С. Последовательная классификация стохастических процессов при зависимых помехах. Автоматика и телемеханика, 1986, №2, стр. 80-91.

21. Липцер Р.Ш., Ширяев А.Н. Теория мартингалов. М.: Наука, 1986, 512 с.

22. Мельников А.В., Новиков А.А. Последовательные выводы с гарантированной точностью для семимартингалов. Теория вероятн. и ее при-мен., 1988, том 33, стр.480-494.

23. Хеннан Э. Многомерные временные ряды. М.: Мир, 1974, 576 с.

24. Шаповалов Д.В. Гарантированное оценивание параметров процесса авторегрессии. Материалы XXXVIII Международной научной студенческой конференции "Студент и научно-технический прогресс", Математика, ч.2, г. Новосибирск, 2000 г., стр. 97-98.

25. Шаповалов Д.В. Гарантированное оценивание авторегрессионных параметров процесса APCC(p,q). Материалы XXXIX Международной научной студенческой конференции "Студент и научно-технический прогресс", Математика, ч.2, г. Новосибирск, 2001 г.

26. Шаповалов Д.В. Последовательная процедура классификации процессов авторегрессии-скользящего среднего. Автометрия, 2002, №5, стр. 49-58.

27. Ширяев А.Н. Вероятность. М.: Наука, 1989, 640с.

28. Яглом A.M. Корреляционная теория стационарных случайных функций. Л.: Гидрометеоиздат, 1981, 280 с.

29. Akaike Н. Power spectrum estimation through autoregressive model fitting. Ann. Statist. Math, 1969, vol. 21, pp. 407-419.

30. Akaike H. Use of an information theoretic quantity for statistical model identification. Proc. 5th Hawaii Inter. Conference on System Sciences, 1972, pp. 249-250.

31. Akaike H. Maximum likelihood identification of gaussian autoregressive moving average models. Biometrika, 1973, vol. 60, pp. 225-265.

32. Akaike H. An objective use of Bayesian models, Ann. Inst. Statist. Math., 1977, vol. 29, pp. 9-20.

33. Astrom K.J., Eykhoff P. System identification a survey. Automatica, 1971, vol.7, pp. 123-167.

34. Beamish N., Priestley M.B. A study of autoregressive and window spectral estimation. Appl. Statist., 1981, vol. 30, pp. 41-58.

35. Berk K.N. Consistent autoregressive spectral estimates. Ann. Statist., 1974, vol. 2, pp. 489-502.

36. Berlekamp E.R. Algebraic Coding Theory. McGraw-Hill, New York, 1968.

37. Bhansali R.J. Linear prediction by autoregressive model fitting in the time domain. Ann. Statist., 1978, vol. 6, pp. 224-231.

38. Blackman R.G., Tukey J.W. The Measurement of Power Srectra from the Point of Communication Engineering. Dover, New York, 1958.

39. Blahut R. Fast Algorithms for Signal Processing. Addison-Wesley, Reading, MA, 1985.

40. Brillinger D.R. Time Series: Data Analysis and Theory. Holden-Day, San Francisco, 1981.

41. Brockwell P., Davis R. Time series: Theory and Methods. 2nd ed. Springer, New York, 1990.

42. Burg J.P. Maximum entropy spectral analysis. Proceedings of the 37th Meeting of the Society of Exploration Geophysics. 1968. Reprinted in Modern Spectrum Analysis, D.G. Childers, Ed. (1978), IEEE Press, New York, pp.42-48.

43. Burg J.P. Maximum entropy spectral analysis. Ph. D. dissertation, Stanford University, Stanford, 1975.

44. Chan N.H., Wei C.Z. Limiting distributions of least squares estimates of unstable autoregressive processes. Ann. Statist., 1988, vol. 16, pp. 367401.

45. Choi B.S. An algorithm for solving the extended Yule-Walker equations of an autoregressive moving-average time series. IEEE Trans. Information Theory, 1986, IT-32, pp. 417-419.

46. Choi B.S. An algorithm for Hannan and Rissanen' ARMA modeling method. Technical Report 178, Department of Statistics, University of California, Santa Barbara, CA 93106, June 20, 1991.

47. Choi B.S. ARMA Model Identification. Springer-Verlag, New York, 1992.

48. Clarke D.W. Generalized least-square estimation of the parameters of a dynamical model. Presented at the IF AC Symp. Identification Automat. Contr. Syst., Prague, 1975.

49. Deistler M., Dunsmuir W.T.M, Hannan E.J. Estimation of vector ARMAX models. J. Multivariate Anal., 1980, vol. 10, pp. 275-295.

50. Deistler M., Hannan E.J. The Statistical Theory of Linear Systems. -Wiley, New York, 1988.

51. Dickey D.A., Fuller W.A. Distribution of the estimators for autoregressive time series with a unit root. J. Amer. Statist. Assoc., 1979, vol. 74, pp. 427-431.

52. Dickey D.A., Fuller W.A. Likelihood ratio statistics for autoregressive time series with a unit root. Econometrica, 1981, vol. 49, pp. 1057-1072.

53. Durbin J. Efficient estimation of parameters in moving average models. -Biometrika, 1959, vol. 46, pp. 306-316.

54. Durbin J. The fitting of time series models. Inter. Statistical Review, 1960a, vol. 28, pp. 233-244.

55. Eykhoff P. System Identification Wiley, London, 1974.

56. Fakhre-Zakeri I., Lee S. Sequential estimation of the mean of a linear process. Sequential Anal., 1992, vol. 11, pp. 181-197.

57. Fuller W.A. Introduction to Statistical Time Series. Wiley, New York, 1976.

58. Greenwood P.E., Shiryaev A.N. Asymptotic minimaxity of a sequential estimation for the first order autoregressive model. Stochastics, 1992, v.38, pp. 49-65.

59. Goodwin G.C., Payne R.L. Dynamic System Identification: Experiment Design and Data Analysis. Academic Press, New York, 1977.

60. Hannan E.J. The identification of vector mixed autoregressive-moving average systems. Biometrika, 1969, vol. 58, pp. 223-225.

61. Hannan E.J., Kavalieris L. A method for autoregressive-moving average estimation. Biometrika, 1984, vol. 72, pp. 273-280.

62. Hannan E.J., Rissanen J. Recursive estimation of mixed autoregressive-moving average order. Biometrika, 1982, vol. 69, pp. 81-94. Correction: vol. 70 (1983), p. 303.

63. Harris F.J. On the use of windows for harmonic analysis with the discrete Fourier transform. Proceedings of the IEEE, 1978, vol. 66, pp. 51- 83.

64. Hsia T.C. On multistage least-squares approach to system identification. Proc. VI World Congress of IFAC, Boston, Massachusetts, 1975.

65. Kashyap R.L., Nasburg R.E. Parameter estimation in multivariate stochastic difference equations. IEEE Trans. Automat. Contr., 1974, AC-19, pp. 784-797.

66. Kashyap R.L., Rao A.R. Real time recursive prediction of river flows. -Automatica, 1973, vol. 9, pp. 175-183.

67. Konev V.V., Lai T.L. Estimation with prescribed precision in stochastic regression models. Sequential Anal., 1995, vol. 14, pp. 179-192.

68. Konev V., Le Breton A. Guaranteed parameter estimation in a first-order autoregressive process with infinite variance. Sequential Anal., 2000, vol. 19, pp. 25-43.

69. Konev V., Pergamenshchikov S. Guaranteed estimation of autoregression parameters on the basis of a sequential correlation method. Proceedings of the Steklov Institute of Mathematics, 1994, vol. 4, pp. 121-137.

70. Konev V.V., Pergamenshchikov S.M. On guaranteed identification of stochastic dynamic systems. Proc. of the 13th World Congress IFAC, San Francisco, 1996, vol. H, pp. 533-538.

71. Konev V., Pergamenshchikov S. On guaranteed estimation of the mean of an autoregressive process. Ann. Statist., 1997, vol.25, No.5, pp. 21272163.

72. Konev V.V., Pergamenshchikov S.M. On Asymptotic Minimaxity of Fixed Accuracy Estimators for Autoregression Parameters. Part 2.Purely Explosive Process. Math. Methods in Statistics, 1998, vol. 7, No. 1, pp. 27-59.

73. Konev V., Shapovalov D. Fixed-accuracy estimation of parameters in the ARMAX system. Proc. of the 15th World Congress IFAC, Barcelona 2002.

74. Koreisha S.G., Pukkila T.M. Identification of nonzero elements in the polynomial matrices of mixed VARMA processes. J. Roy. Statist. Soc. Ser. B, 1987, vol. 49, pp. 112-126.

75. Koreisha S.G., Pukkila T.M. Estimation of the polynomial matrices of vector moving average processes. J. Statist. Comput. Simul., 1988, vol. 28, pp. 313-343.

76. Koreisha S.G., Pukkila T.M. A generalized least-squares approach for estimation of autoregressive moving-average models. J. Time Series Anal., 1990, vol. 11, pp. 139-151.

77. Koreisha S.G., Pukkila T.M. Linear models for estimating ARMA and regression models with serial correlation. Commun. Statist., 1990, B19, pp. 71-102.

78. Lai T.L., Siegmund D. Fixed accuracy estimation of an autoregressive parameter. Ann. Statist., 1983, vol. 11, No. 2, pp. 478-485.

79. Lee S. Sequential estimation for the parameter of a stationary autoregressive model. Sequential Anal., 1994, vol. 13, pp. 301-304.

80. Levinson N. The Wiener RMS (Root Mean Square) error criterion filter design and prediction. J. Mathematics and Physics, vol. 25, pp. 261-278.

81. Ljung L. On the consistency of prediction error identification methods. In R.K. Mehra and D.G. Lainiotis, eds.: System Identification Advances and Case Studies. Academic Press, New York, 1976.

82. Ljung L. Convergence analysis of parametric identification methods. -IEEE Transactions on Automatic Control, 1978, vol. AC-23, pp. 770-783.

83. Ljung L. System identification. Theory for user. Prentice-Hall, Englewood Cliffs, N.J., 1987.

84. Ljung L., Soderstrom T. Theory and Practice of Recursive Identification.- The MIT Press, Cambridge, Massachusets, London, England, 1983.

85. Ljung L., Caines P.E. Asymptotic normality of prediction error estimation for approximate system models. Stochastics, 1979, vol. 3, pp. 29-46.

86. Mayne D.Q. A method for estimating discrete time transfer functions.- Advances of Control, 2nd UKAC Control Convention, University of Bristol, 1967.

87. Panuska V. An adaptive recursive least-square identification algorithm. -Proc. IEEE Symp. Adaptiv Proc., Pennsulvania State Univ., 1969.

88. Parzen E. Multiple Time Series modeling. Multivariate Analysis II, 1969, Academic Press, New York, pp. 389-410.

89. Polak E., Wong K.Y. Identification of linear discrete time systems using the instrumental variable method. IEEE Transactions on Automatic Control, 1967, vol. AC-12, pp. 707-718.

90. Sakrison D.J. The use of stochastic approximation to solve the system identification problem. IEEE Transactions on Automatic Control, 1967, vol. AC-12, pp. 563-567.

91. Saridis G.N. Stein G. Stochastic approximation algorithms for linear discrete time system identification. IEEE Transactions on Automatic Control, 1968, vol. AC-13, pp. 515-523.

92. Shiryaev A.N. and Spokoiny V.G. On a sequential estimation of an autoregressive parameter. Stochastics, 1997, vol. 60, pp. 219-240.

93. Slutsky E. The summation of random causes as the source of cyclic processes. Econometrica, 1927, vol. 5, p. 105.

94. Sriram T.N. Sequential estimation of the mean of a first-order stationary autoregressive process. Ann. Statist., 1987, vol.15, pp. 1079-1090.

95. Sriram T.N. Sequential estimation of the autoregressive parameter in a first-order autoregressive process. Sequential Anal., 1988, vol. 7, pp. 5374.

96. Stoica P., Soderstrom T. Instrumental variable methods for identification of linear and certain nonlinear systems. Report UPTEC 8168R. Institute of Technology, Uppsala University, Uppsala, Sweden, 1981.

97. Stoica P., Soderstrom T. Identification of multivariable systems using instrumental variable methods. Proc. 6th IFAC Symposium on Identification and System Paramater Estimation. Washington, D.C. (Pergamon Press), 1982.

98. Stoica P., Soderstrom T. Optimal instrumental variable estimation and approximate implementations. IEEE Transactions on Automatic Control, 1983a, vol. AC-28.

99. Stoica P., Soderstrom T. Optimal instrumental variable methods for the identification of multivariable linear systems. Automatica, 1983b, vol. 19.

100. Tsypkin Y.Z. Foundation of the Theory of Learning Systems. Academic Press. New York, 1973.

101. Walker A.M. Large sample estimation of parameters for autoregressive processes with moving average residuals. Biometrika, 1962, vol. 49, pp. 117-131.

102. Whittle P. Hypothesis Testing in Time Series Analysis. Upsala: Almqvist and Wiksell, 1951.

103. Young P.С. Process parameter estimation and self-adaptive control. -Proc. IFAC Symposium on Self-Adaptive Systems, Teddington, England (Plenum Press), 1965.

104. Young P.C. Some observations on instrumental variable methods of time-series analysis. International Journal of Control, 1976, vol.23, pp. 593612.

105. Yule G.U. On the method of investigating periodicities in disturbed series with special references to Wolfer's sunspot numbers. Phil. Trans., A, 1927, pp. 226-267.