автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Метод взвешенных полных наименьших квадратов в задачах математического моделирования

Введение.

Г л а в а 1. Взвешенный метод полных наименьших квадратов.

1.1. Формулировка взвешенного ТЬЭ - метода

1.2. БУБ - анализ ЧУТЬБ - метода.

1.3. Геометрическая интерпретация

VTLS - задачи.

1.4. Обусловленность вычислительных

VTLS - задач.

1.5. Статистические свойства

VTLS - метода.

1.6. Выводы.

Г л а в а 2. Вычислительные аспекты взвешенного метода полных наименьших квадратов.

2.1. Обзор численных алгоритмов метода полных наименьших квадратов.

2.1.1. Численные методы и подходы решения задач полных наименьших квадратов

2.1.2. Методы решения плохо обусловленных СЛАУ

2.1.3. Прямой рекуррентный метод

2.1.4. Алгоритмы вычисления собственных значений

2.2. Метод расширенной системы уравнений

2.3. Выводы.

Г л а в а 3. Математическое моделирование процесса растворимости химических веществ

3.1. Формулировка задачи математического моделирования процесса растворимости

3.2. Результаты вычислений

3.3. Выводы.

Общая характеристика работы

Актуальность темы. Почти любая задача математического моделирования, в которой исходных данных достаточно для того, чтобы переопределить решение, требует применения того или иного метода аппроксимаций. По ряду вполне объективных причин наиболее часто в качестве критерия аппроксимации выбирают метод наименьших квадратов. Основной причиной широкого использования для решения многих практических задач математического моделирования критерия наименьших квадратов является его "грубость" по отношению к априорным предположениям, используемым при решении конкретных практических задач [29]. Кроме того, задачи наименьших квадратов часто возникают и как составная часть некоторой более обширной вычислительной проблемы [22]. Например, определение орбиты космического корабля нередко сводится математиками к решению многоточечной краевой задачи для обыкновенного дифференциального уравнения. При этом вычисление орбитальных параметров обычно требует нелинейного оценивания в смысле наименьших квадратов; в последнем используют различные схемы линеаризации. К задаче наименьших квадратов можно подойти как к задаче отыскания для заданной точки функционального пространства ближайшей точки в заданном подпространстве.

В диссертационной работе рассматривается взвешенный вари------—--—ант метода полных наименьших квадратов, который позволяет решать большой класс задач линейного параметрического оценивания с учетом неоднородных ошибок в исходных данных [16].

Задача линейного параметрического оценивания является достаточно общей для широкого класса научных дисциплин, таких, как теория сигналов, автоматическое управление, теория систем, а также часто возникает при решении различных технических, статистических, физических, экономических, медицинских и других проблем.

Впервые метод полных наименьших квадратов был использован для решения задач регрессионного анализа в математической статистике академиком Ю.В. Линником [21]. В дальнейшем исследованию и применению метода полных наименьших квадратов посвящены работы российских ученых В.В. Федорова, А.И. Жданова [8, 10], A.B. Крянева [20], а также известных зарубежных ученых Дж. Голуба (G. Golub) [54 - 56], Ван Лоана (С. Van Loan), Ван Хаффеля (S. Van Huffei), Д. Вандевейла (J. Vandewalle), М. Кендалла, А. Стьюарта [16]. К сожалению, все эти работы основаны на предположении однородности ошибок в исходных данных, в то время как для болыиинства возникающих в практике задач это предположение не выполняется. Это хорошо известно даже на примере использовании обычного метода наименьших квадратов [22, 41]. Однако проблемы, возникающие при применении метода полных наименьших квадратов в условиях неоднородных ошибок в исходных данных существенно сложнее соответствующих проблем, возникающих в обычном взвешенном методе наименьших квадратов.

Поэтому актуальной на сегодняшний день является разработка эффективных численных алгоритмов для взвешенного варианта метода полных наименьших квадратов, предназначенного для решения задач математического моделирования в условиях неоднородности ошибок в исходных данных.

Цель диссертационной работы заключается в исследовании взвешенного варианта метода полных наименьших квадратов, позволяющего решать задачи математического моделирования и линейного параметрического оценивания в условиях неоднородных ошибок в исходных данных и разработке эффективных численных алгоритмов решения этой задачи.

Для достижения поставленной в работе цели были решены следующие задачи: /{/ с''

1. Исследована обусловленность вычислительной WTLS - задачи.

2. На основе сингулярного анализа сформулированной задачи был получен критериальный вид для задачи взвешенных полных наименьших квадратов.

3. Исследованы условия существования и единственности решения задачи взвешенных полных наименьших квадратов. ( -г ' I Л! *

4. Разработан эффективный численный алгоритм для решения \¥ТЬ8 - задачи.

5. Разработан метод математического моделирования процессов растворимости химических веществ, описываемых нелинейными алгебраическими уравнениями в неявном виде.

Научная новизна заключается в следующем.

1. Исследован критерий для \VTLS - задачи в виде отношения двух положительно определенных квадратичных форм.

2. Получены условия существования и единственности рассматриваемой WTLS - задачи.

3. Исследована обусловленность вычислительной ^УТЬЭ - задачи.

4. Для уменьшения числа обусловленности вычислительной задачи \VTLS - метода предложено ее преобразование к эквивалентной задаче решения некоторой совместной системы линейных алгебраических уравнений (СЛАУ).

5. В предположении о стохастическом характере возмущений в исходных данных доказана сильная состоятельность оценок решений, получаемых предложенным \¥ТЬ8 - методом. Этот асимптотический (в статистическом смысле) результат подтверждает обоснованность предложенного WTLS - метода.

6. С применением \¥ТЬ8 - метода решена задача определения параметров математических моделей процессов, описываемых нелинейными алгебраическими уравнениями в неявном виде. Теоретическая и практическая значимость значимость работы состоит в том, что разработанный взвешенный вариант метода полных наименьших квадратов позволяет решать большой класс задач параметрического оценивания и математического моделирования в условиях сильно неоднородных (по точности) экспериментальных данных. Особую теоретическую и практическую значимость полученные результаты имеют для решения задач регрессионного анализа с ошибками в независимых переменных, играющего основополагающую роль в теории идентификации систем, эконометрике и многих других задачах, связанных с обработкой данных. Полученные в работе теоретические результаты применены для решения задачи идентификации параметров математической модели растворимости химических веществ.

Методы исследований. При формулировке и доказательстве результатов в диссертационной работе используются положения линейной алгебры, вычислительной линейной алгебры и современного численного анализа, а также теория параметрической идентификации систем. При разработке программного обеспечения использовался пакет МАТЬАВ (версия 5.3).

Апробация работы. Результаты диссертации докладывались и обсуждались на:

1) Международной конференции "Математическое моделирование

ММ-2001" (г. Самара, 2001 г.);

2) Всероссийской конференции по прикладной и промышленной математике (г. Самара, 2001 г.);

3) 12-й научной межвузовской конференции "Математическое моделирование и краевые задачи" (г. Самара, 2002 г.);

4) 3-й Международной конференции молодых ученых и студентов "Актуальные проблемы современной науки" (г. Самара, 2002г.)

Личный вклад. Основные теоретические положения разработаны совместно с научным руководителем проф. А.И. Ждановым. Доказательство всех утверждений и теорем, исследование приложений, анализ результатов и выводы из них выполнены автором самостоятельно.

Публикации. По теме диссертации опубликовано 5 работ [16 -19,

30].

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка литературы из 89 наименований источников отечественных и зарубежных авторов. Общий объем диссертации составляет 100 страниц.

Основные результаты и выводы по диссертационной работе:

1. Получены условия существования и единственности для взвешенного метода полных наименьших квадратов.

2. Приведена стохастическая формулировка \¥ТЬ8 - задачи и доказана сильная состоятельность оценок получаемых этим методом.

3. Проведен анализ обусловленности вычислительной задачи взвешенных полных наименьших квадратов.

4. WTLS - задача преобразована к эквивалентной задаче, состоящей в решении некоторой совместной СЛАУ, что позволяет значительно уменьшить число обусловленности исходной вычислительной \VTLS - задачи.

5. Разработан алгоритм основанный на прямом проекционном методе, позволяющий наиболее эффективно решать расширенную СЛАУ для ^МТЬ/Б - задачи.

6. Решена задача определения оценок параметров математических моделей процессов растворимости химических веществ, описываемых нелинейными алгебраическими уравнениями в неявной форме, с применением \yTLS - метода.

Заключение

1. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. М.: Наука, 1977.

2. Абаффи Й., Спедикато Э. Математические методы для линейных и нелинейных уравнений: Проекционные АВБ-алгоритмы.- М.: Мир, 1996. 268 с.

3. Беклемишев Д.В. Дополнительные главы линейной алгебры.1. М.: Наука, 1983. 336 с.

4. Бронштейн И.Н., Семендяев К.А. Справочник по математике.- М.: Наука, 1965. 608с.

5. Воеводин В.В. Численные методы алгебры (теория и алгорифмы). М.: Наука, 1966. - 248 с.

6. Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М.:1. Наука, 1984. 320 с.

7. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1967. - 575 с.

8. Жданов А.И. Решение некорректных стохастических линейныхалгебраических уравнений регуляризованным методом максимального правдоподобия //ЖВМиМФ 1988. - Т. 28, N9.-0. 1420-1425.

9. Жданов А.И. Вычисление регуляризованных оценок наименьших квадратов коэффициентов авторегрессии по неточнымданным// АиТ 1990. N 3, С. 110-117.

10. Жданов А.И. О приближенных стохастических системах линейных алгебраических уравнений//ЖВМиМФ 1989 - Т. 29, N 12. С. 1776-1787.

11. Жданов А.И. Прямые рекуррентные алгоритмы решения линейных задач метода наименьших квадратов//ЖВМиМФ -1994 Т. 34, N 6. С. 811-814.

12. Жданов А.И. Прямой последовательный метод решения системлинейных алгебраических уравнений//Докл. РАН 1997 - Т. 356, N 4. С, 442-444.

13. Жданов А.И., Кацюба O.A. Особенности применения метода наименьших квадратов для оценивания линейных разностных операторов в задачах идентификации объектов управле- ния//АиТ 1979 - N 8. - С. 86-92.

14. Жданов А.И.у Шамаров П.А. Прямой проекционный метод взадаче полных наименьших квадратов // АиТ 2000. - N 4. -С. 77-87.

15. Жданов А.И., Шевченко О.П. Моделирование процесса растворимости веществ на основе полного метода наименьших квадратов//Тр. междунар. конф. "Математическое моделирование ММ-2001". Самара. - 2001. - С. 100 - 101.

16. Жданов А.И., Шевченко О.П. Взвешенный метод полных наименьших квадратов и его применение//Обозр. прикл. и про-мышл. матем. Москва. - 2001. - Т. 8, N 1. - С. 169 - 170.

17. Жданов А.И., Шевченко О.П. Матричная форма метода оптимального исключения / / Актуальные проблемы современной науки. Труды 3-й Междунар. конф. молодых ученых и студентов. Самара, 2002. - С. 17.

18. Крянев А.В. Статистическая форма регуляризованного метода наименьших квадратов А.Н. Тихонова // Докл. АН СССР. 1986. Т. 291. N 4. С. 780-785.

19. Линник Ю.В. Метод наименьших квадратов и основы математике статистической обработки наблюдений. - М.: Физмат-гиз, 1962. - 349 с.

20. Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. М.: Наука, 1986. - 230 с.

21. Лъюнг Л. Идентификация систем. Теория для пользователя.1. М.: Наука, 1991. 432 с.

22. Парлетт Б. Симметричная проблема собственных значений.1. М.: Мир, 1983. 382 с.

23. Райе Д. Матричные вычисления и математическое обеспечение.- М.: Мир, 1984. 264 с.

24. Савинов Г.В. Определение экстремальных собственных значений минимизацией функционалов специального вида // ЖВ-МиМФ. 1985. Т. 25. N 2. С. 292-295.

25. Уилкинсон Дж. X. Алгебраическая проблема собственных значений М.: Наука, 1970. - 564 с.

26. Шамаров П.А. О численной обусловленности задачи полныхнаименьших квадратов // Вестник Самарского филиала Московского гос. ун та печати. Выпуск 1. Технология, организация экономика и управление. Москва, 2000. С. 54.

27. Эйкхофф П. Основы идентификации систем управления. М.:1. Мир, 1975. 685 с.

28. Шевченко О.П. Сильная состоятельность взвешенного метода полных наименьших квадратов//Труды 12-й межвуз. конф. "Математическое моделирование и краевые задачи". Самара, 2002. - С. 139 - 144.

29. Abatzoglou Т.J., Mendel J.M. Constrained total least squares // Proc. IEEE Internat. Conf. on Acoustic, Speech and Signal Processing. 1987. Dallas. P. 1485-1488.

30. Abatzoglou T.J., Mendel J.M., Harada G.A. The constrained totalleast squares technique and its application to harmonic surresolution // IEEE Trans. Signal Processing. 1991. SP-39. P. 1070-1087.

31. Ahmed M.S. Estimation of difference equation parameters SISOsystems by correlation analysis // Int. J. Control. 1982. Vol 35.

32. Akaike H. Some problems in the application of the cross-spectralmethods // B. Harris (Ed.) Spectral Analysis of Time Series. New York: Wiley, 1967.

33. Ammann L.P., Van Ness J.W. Converting regressions algorithmsinto corresponding orthogonal regression algorithms//ACM Trans. Math. Software. 1988. No. 14. P. 76-87.

34. Ammann L.P., Van Ness J. W. Standard and robust orthogonalregression // Comm. Statist. B-Simulation Comput. 1989. No. 18. P. 145-162.

35. Aoki M., Yue P.C. On certain convergence questions in systemidentification // SIAM J. Cotrol. 1970. Vol. 8. No. 2. P. 239-255.

36. Aoki M., Yue P.C. On a priory estimates of some identificationmethods//ASME Design and Automat. Conf. 1982. Boston. P. 215-220.

37. Arioli M., Duff I.S., de Rijk P.P.M. On the augment system approach to sparce least-squares problems // Numer. Math. 1989. Vol. 55. p. 667 684.

38. Benzi M., Meyer C.D. A direct projection method for sparse linearsystem // SIAM J. Sci. Comput. 1995. V. 16. No. 5. P. 1159-1176.

39. Bjork A. Handbook of numerical analysis. V. 1. North-Holland:1. Elsevier, 1990.

40. Bjork A. Component-wise perturbation analysis and errors boundsfor linear least squares solutions//BIT. 1991. Vol. 31. P. 238-244.

41. Bjork A. Pivoting and Stability in the Augment System Method //

42. Numerical Analysis. 1991. Proceedings of the Dundee Conference. Griffiths D.F. and Watson G.A. eds. P.l-16.

43. Bjork A. Numerical Stability of Methods for Solving Augment

44. Systems//Contemp. Math. 1997. Vol. 204. P. 51-59.

45. Bjork A., Heggernes P., Matstoms P. Methods for large scale totalleast squares problems // Preprint. 1999. 18 p.

46. Bunch J.R., Nielsen C.P., Sorensen D.C. Rank-one modification ofthe symmetric eigenproblem // Number. Math. 1978. No. 31. P. 31-48.

47. Fernando K.V., Nicholson H. Identification of liner systems withinput and output noise: Koopmans-Levin method // IEE Proc. D. 1985. Vol. 132. P. 30-36.

48. Fierro R.D., Bunch J.R. Pertubation Theory for Ortogonal Projection Mb G/H/ethods with Application Methods with Application to Least Squares and Total Least Squares // Linear Algebra and its Applications. 1996. Vol. 234. P. 71-96.

49. Fierro R.D. GolubG.H., Hansen P.C., O'Leary D.P. Regularizationby Truncated Total Least Squares. Repot UNIC-93-14. 1993. 20 p.

50. Erkki O., Liuyue W. Robust Fitting by Nonlinear Neural Units //

51. Neural Networks. 1996. Vol. 9. P. 435-444.

52. Gives W. Numerical computations of the characteristic values of areal symmetric matrix. Oak Ridge National Laboratory, ORNL-1574. 1954.

53. Golub G.H., Hansen P.C., O'Leary D.P. Tikhonov regularizationand total least squares // SIAM J. Matrix Anal. Appl. 2000. Vol. 21. P. 185-194.

54. Golub G.H., Van Loan C.F. Total Least squares // Smoothing Techniques for Curve Estimation. 1979. T. Gasser and M. Rosenblatt eds., Springer-Verlag: New York. P. 69-76.

55. Golub G.H., Van Loan C.F. An Analysis of the total least squaresproblem // SIAM J. Numer. Anal. 1980. No. 17 P. 883-893.

56. Golub G.H., Van Loan C.F. Matrix Computation. Baltimor MD.:1. John Hopkins Press, 1989.

57. Heij C., Scherrer W. Consistency of system identification by globaltotal least squares // Automatica. 1999. Vol. 35. P/ 993-1008.

58. Kamm J., Nagy J.G. A total least squres method for Toeplitzsystems of equations // BIT. 1998. No. 38. P. 521-534.

59. Koopmans T. Linear Regession Analysis of Economic Time Series.

60. N.V. Haarlem, Netherlands: De Erven F. Bohn, 1937.

61. Levin M. Estimation of a System Pulse Transfer Function in the

62. Presence of Noise // IEEE Trans. Automat. Contr. 1964. Vol. AC-9. No. 3. P.229-235.

63. Madansky A. The fitting of straight lines when both variables aresubject to error //J. Amer. Statist. Assoc. 1959. No. 54. P. 173205.

64. Matsoms P. Squares QR factorization in MATLAB // Trans. Math.

65. Software. 1994. No. 20. P. 136-159.

66. Moonen M., De Moore B., Vandenberhg L., Vandewalle J. On-lineand off-line identification of linear state-space models // Internat. J. Control. 1989. Vol. 49. P. 219-232.

67. Musheng W. Algebraic relation between the least squares and totalleast squares problem with more than one solution // Numer. Math. 1992. Vol. 62. P. 123-148.

68. Musheng W. Pertubation theory for the Eckart-Young-Mirsky theorem and the constrained total least squares problem //Linear Algebra and its Appl. 1998. Vol. 280. P. 267-287.

69. Navia- Vazques A., Fiqueras- Vidal A.R. Total least squares for blocktraining of neural networks // Neurocomputing. 1999. Vol. 25. P. 213-217.

70. Pearson K. On lines and planes of closest fit to point in space //

71. Phil. Mag. 1901. No. 2 P.559-572.

72. Rahman M.A., Yu K.B. Total least squares approach for frequencyestimation using linear prediction // IEEE Trans. Acoust. Speech Signal Process. 1987. ASSP-35. P. 1440-1452.

73. Scitovsky R., Ungar S., Judic D. Approximating surface by movingtotal least squres method // App. Math. And Comput. 1998. Vol. 93. P.219-232.

74. Soderstorm T. Identification of Stochastic Linear Systems in Presense of Input Noise // Automatica. 1981. Vol. 17. No.5 P. 713-725.

75. Spath H. Ortogonal least squares fitting with linear manifolds //

76. Numer. Math. 1986. Vol. 48. P. 441-445.

77. Soderstrom T., Stoica P. On the stability of dynamic models obtained by least squeres identification // IEEE Trans. Automat. Contr. 1981. Vol. AC-26. No.2 P. 575-577.

78. Steiglitz K., McBride L.E. A technique for identification of linearsystems // IEEE Trans. Automat. Contr. 1965. Vol. AC-10. No. 5. P. 461-464.

79. Stoica P., Soderstrom T. The Steiglitz-McBride identification algoritm revised convergence analysis and accurary aspects // IEEE Trans. Automat. Contr. 1982. Vol. AC-26. No. 3. P. 712-717.

80. Stoica P., Soderstrom T. Bias correction in least-squares identification // Int. J. Control, 1982. V. 35. No. 3. P. 449-457.

81. Stoica P., Soderstrom T. Optimal Instrumental-variable Methodfor Identification of Multivariabke Linear Systems // Automática. 1983. Vol. 19. No. 4. P. 425-429.

82. Szyld D.B. Criteria for combining inverse and Rayleigh quontinetintegration // SIAM J. Nurner. Anal. 1988. No. 25. P. 1369-1375.

83. Trefethen L.N., Bau D. Numerical Linear Algebra.// SIAM, 1997.- 373 p.

84. Van Huff el S., Vandewalle J. Algebraic connection between the leastsquares and total least squares problems // Numer. Math. 1989. Vol. 55. P. 431-449.

85. Van Huffel S., Vandewalle J. The Total Least Squares Problem: Computational Aspects and Analysis, SIAM 1990. 313 p.

86. Wald A. Asymptotic properties of the maximum-likehood estimateof an unknown parameter of a discrete stochastic process // An. Math. Statist. 1948. No. 19. P. 40-46. .

87. Ward R.K. Comparison and diagnostic of errors for six parameterestination methods // Internat. J. Sys. Sci. 1984. No. 15. P. 745758.

88. Younan N.H., Fan X. Signal restoration va the regularized constrained total least squares // Signal Process. 1998. Vol. 71. P. 85-93.

89. Zhdanov A.I., Katsyuba O.A. Strong consistency of estimates bythe method of ortigonal projections // Internat. J. System. Sci. 1990. V. 21. P.1463-1471.

90. Zhdanov A.I., Shamarov P.A. The Direct Projection Method for

91. Total Least Squares Problem // Abstracts of Invited Lectures and Short Communications. Delivered at the Seventh International Colloquium on Numerical Analysis and Computer Science with Applications. 1998. Plovdiv, Bulgaria. P. 41.