автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Идентифицируемость и вариационные оценки параметров дискретных стационарных линейных динамических систем

На правах рукописи

ЛОМОВ АНДРЕЙ АЛЕКСАНДРОВИЧ

/

/

ИДЕНТИФИЦИРУЕМОСТЬ И ВАРИАЦИОННЫЕ ОЦЕНКИ ПАРАМЕТРОВ

ДИСКРЕТНЫХ СТАЦИОНАРНЫХ ЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ

05.13.01 — Системный анализ, управление и обработка информации (в технике, экологии и экономике)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора физико-математических наук

Иркутск — 2011

- з НО Я 2011

4858837

Работа выполнена в Учреждении Российской академии наук Институте математики им. С.Л.Соболева Сибирского отделения РАН (г. Новосибирск).

Официальные оппоненты: доктор физико-математических наук,

профессор

Войтишек Антон Вацлавович

Защита диссертации состоится 8 декабря 2011г. в 14:00 на заседании диссертационного совета Д 003.021.01 в Институте динамики систем и теории управления СО РАН (ИДСТУ СО РАН) по адресу: 664033, г. Иркутск, ул. Лермонтова, 134.

С диссертацией можно ознакомиться в библиотеке и иа официалыюм сайте www.idstu.irk.ru ИДСТУ СО РАН

Автореферат разослан 7 ноября 2011 г.

Ученый секретарь диссертационного совета,

доктор физико-математических наук Лакеев Анатолий Валентинович

доктор физико-математических наук, профессор

Орлов Юрий Феликсович

Ведущая организация: Институт проблем управления

им. В. А. Трапезникова РАН

(г. Москва)

д.ф.-м.н.

А. А. Щеглова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В диссертации исследуются задачи идентификации параметров линейных динамических систем по возмущенным наблюдениям конечных участков переходных процессов. Особенности и сложность этих задач обусловлены необходимостью совместного оценивания как параметров, так и процессов в идентифицируемой системе. Решение ищется с помощью нелинейных вариационных обобщений метода наименьших квадратов (МНК). На практике интерес к вариационным методам идентификации вызван потребностями теории управления: параметры уравнения, моделирующего управляемый объект, как правило, известны неточно; чем короче интервалы наблюдения, при которых оценки параметров остаются состоятельными, тем более эффективно управление; вариационные методы идентификации здесь оказываются наилучшими. В эконометрике большое распространение, начиная с работ Т. Купманса (1937), получили линейные модели, описываемые системами одновременных (simultaneous) уравнений, и орторегрессионные методы идентификации их коэффициентов, оптимальные в случае ошибок во всех наблюдаемых переменных (errors in variables); такие методы являются частными случаями вариационных. В медицинской диагностике существенной является конечность измеренных переходных процессов, описывающих адаптацию организма и реакции па лекарственные препараты, и здесь наиболее эффективными оказываются вариационные постановки задач идентификации. Вариационные методы активно используются при построении моделей генных систем регулирования в живых организмах, эта область приложений бурно развивается в последнее десятилетие. Вариационные оценки получают все большее распространение благодаря наличию эффективных вычислительных методов их поиска — в частности, итерационных процедур типа Егоршина-Осборна-Де Мура с хорошими свойствами сходимости. Последнее позволяет проводить состоятельную вариационную идентификацию параметров линейных динамических систем в реальном времени в темпе реального переходного процесса с гарантированным результатом.

В отличие от обычного МНК вариационные методы не дают ответа в виде явных формул, а предполагают поиск решения путем минимизации специальной целевой функции. Из вариационных методов наиболее известен метод ортогональной регрессии (ОР) (Р.Эдкок (1877), К.Куммель (1879), К. Пирсон (1901), У. Фуллер (1987)), который широко используется в эконометрике для оценки параметров линейных систем нулевого порядка (Т.Купманс (1937) и др.) с ошибками в наблюдаемых переменных (errors-in-variables) и для идентификации динамических систем (М.Левин (1964), М.Аоки, П.Ю (1970)). В последнем случае оценки ОР не являются оптимальными ввиду неучета ненулевого порядка системы. В 1971 г. А. О. Егоршин предложил эффективный вычислительный метод решения вариационных задач идентификации для линейных динамических систем порядка выше нуля (метод вариационной идентификации (ВИ)), основанный на устойчивых алгоритмах рекуррентного проецирования на подпространства с теплицевыми базисами и оригинальной итерационной процедуре нахождения параметров с хорошими свойствами сходимости. Близкая по идее итерационная процедура в вариационной задаче для параметров однородных систем была независимо предложена М. Осборном (1970). В 1988 г. А. О. Егоршин опубликовал алгоритмы метода ВИ для уравнений с матричными коэффициентами; автором диссертации были установлены хорошие свойства сходимости алгоритмов ВИ в многомерном случае [18,19]. Позже вариационные задачи идентификации рассматривали Б. ДеМур (1993) и Б. Роорда (1995); Б.ДеМур предложил новые варианты итерационных процедур для параметров (метод STLS, 1993). Г. Голуб и Ч.Ван-Лоан (1980) исследовали чувствительность оценок ОР к возмущениям (назвав их оценками TLS). Т. Абатзоглу и Дж. Мендель (1991) построили локальное линейное приближение зависимости вариационных оценок от наблюдений. В 1991г. вышла монография С. Вап-Хуффель, Дж. Вандевалле по методу TLS и его приложениям. Автор диссертации в цикле работ (19922003) получил условия структурной идентифицируемости и состоятельности оценок для вариационной многомерной задачи идентификации.

В.И.Костин (1984) и В.Г.Демиденко (2007) описали сложный характер экстремумов вариациониых целевых функций. В. Г. Демиденко (2008, 2010) исследовал локальную устойчивость вариационных оценок и локальные свойства итерационной процедуры Егоршина-Осборна в предположении постоянства наименьшего собственного числа матрицы ядра целевой функции ВИ; вычислительные аспекты вариационных методов исследовались в ряде статей 2005-2010 гг. такими авторами, как С. Ван Хуффель, И. Марковский, А. Кукуш, Р. Пинтелон, Д. Сима и др. Вопросы параметрической идентифицируемости изучали Т. В. Авдеенко (2001), Н. А. Бодунов (2006).

Несмотря на значительный интерес в литературе к вариационным задачам идентификации, актуальным остается получение теоретических результатов по устойчивости, локальным и глобальным свойствам единственности вариациониых оценок, исследование условий оптимальности, обобщение вариационного подхода на новые классы задач идентификации, в частности, анализа временных рядов с трендами из заданных параметрических семейств.

Цель работы. Аналитические исследования вариационных методов идентификации затруднены тем, что получаемые оценки зависят от исходных данных как неявные функции, вычисляемые из условия равенства нулю градиента целевой функции. В диссертации разрабатывается аналитическая техника и впервые решается ряд принципиальных теоретических проблем, связанных с вариационными задачами идентификации, которые обобщают собой классические задачи ортогональной регрессии с системами нулевого порядка на динамические системы порядка выше нуля: исследуются вопросы единственности (идентифицируемости), состоятельности, асимптотической эффективности вариационных оценок параметров; сравниваются свойства разных вариантов многомерных вариационных методов, исследуются критические точки вариационных целевых функций; изучается устойчивость вариационных оценок к возмущениям при конечном числе наблюдений; на основе полученных констант устойчивости формулируются и исследуются новые априорные

и апостериорные количественные показатели идентифицируемости параметров; исследуются теоретические аспекты вариационного подхода при анализе временных рядов с трендами и при идентификации суммарных динамических систем, при наличии детерминированных возмущений из заданных линейных многообразий.

Методы исследования. Результаты диссертации получены с применением методов линейной алгебры, алгебры многочленных и рациональных матриц, методов теории вероятностей и математической статистики.

Научная новизна. В диссертации вариациониые методы оценивания параметров объединяются в один класс с определяющим признаком наличия ядра целевой функции в виде суммы проекторов. Такой класс оценок вводится впервые. Он включает в себя все основные типы орторегрессионных оценок, встречающиеся в литературе, и ряд новых оценок, которые описаны и исследованы в диссертации. Впервые доказана состоятельность для всего класса вариационных оценок, изучены асимптотические свойства, условия асимптотической эффективности и локальной устойчивости. В частности, получены обобщения на случай г > 1 и конечных N результатов М.Аоки и П. Ю (1970) и на случай р > 0 результатов Л. Глэзера (1982) и У. Фуллера (1987) по асимптотическим свойствам и состоятельности орторегрессионных оценок; на случай р > 0, г > 1 результатов М.Аоки и П.Ю (1970) и на случай р > 0 результатов А. Б. Куржанского (1991) по устойчивости оценок параметров систем нулевого порядка; на случай т > 0 результатов М. Осборна и Г. Смита (1991,1995) по информационной матрице вариационных оценок параметров; последнее позволило изучить в диссертации условия, при которых вариациониые оценки являются асимптотически наилучшими. Для исследования условий идентифицируемости в диссертации применяется метод равносильных преобразований, получивший развитие в работах К.Гловера, Я.Виллемса (1974), Э.Уолтера (1982), С.Важды (1989), Т. В. Авдеенко (2001), изучавших системы уравнений 1-го порядка с переменными состояния. В диссертации этот метод распространен на системы

произвольных конечных порядков без переменных состояния. Впервые получены необходимые и достаточные конструктивные условия идентифицируемости детерминированных и стохастических систем для широкого класса параметризаций. На основании анализа сложности полученных критериев идентифицируемости предложена новая классификация линейных стохастических систем, отличающаяся от известной классификации Л. Лыонга. В диссертации получены локально наилучшие константы устойчивости вариационных оценок (первые результаты в этом направлении были опубликованы М.Аоки, П.Ю (1970) (г = 1, р = 0) и Т. Абатзоглу, Дж. Менделем (1991) без оценки нормы остаточного члена; в 2008 г. В. Г. Демиденко получил более простые неоптимальные оценки устойчивости). Это позволило предложить новые способы вычисления априорных и апостериорных количественных показателей идентифицируемости параметров линейных динамических систем; в частности, в диссертации решена проблема К. Ланцоша (1956) анализа устойчивости в задаче идентификации показателей экспонент. Вариационный подход в диссертации впервые применен к задачам анализа временных рядов с трендами, в том числе для идентификации линейных систем при наличии в измерениях неопределенных детерминированных составляющих из заданных линейных многообразий; получены условия идентифицируемости как слагаемых процессов, так и параметров их уравнений. Применение в диссертации новых способов доказательств, существенно использующих конечномерность исследуемых систем, позволило снять ограничения на устойчивость и управляемость.

Теоретическая и практическая значимость. В диссертации разработаны новые методы исследования дискретных стационарных систем с конечными траекториями, которые имеют значение для математической теории систем. Они находят применение при исследовании систем управления в технике, эконометрике, экологии, медицине при анализе временных рядов с трендами, в том числе в случаях, когда длины измеряемых отрезков рядов не превосходят времен переходных процессов в исследуемых системах. Результаты диссертации включены в программу

специального курса "Теория оптимальных процессов", читаемого автором на механико-математическом факультете НГУ.

Достоверность. Теоретические положения диссертации согласуются с известными теоретическими результатами, полученными ранее другими авторами для частных случаев. Утверждения теорем из разных глав диссертации согласуются между собой в предельных случаях малых возмущений и больших объемов статистических выборок наблюдений. Основные теоретические положения дисертации подтверждаются результатами вычислительных экспериментов [4, 11-13, 16-19] и сравнением с результатами вычислений, полученными другими авторами.

Соответствие диссертации паспорту научной специальности. В диссертации разрабатываются теоретические основы и методы анализа и идентификации параметров многомерных систем управления, описываемых матричными линейными разностными уравнениями, на основе новых вариационных методов обработки измерительной ииформации, с целью повышения эффективности управления техническими системами, что соответствует паспорту специальности 05.13.01 "Системный анализ, управление и обработка информации".

Апробация работы. Все основные результаты диссертации докладывались автором на научных конфренциях: 2-й Международной школе-семинаре "Нелинейный анализ и экстремальные задачи" (Иркутск, 2010), Международной конференции "Вычислительная математика, дифференциальные уравнения, информационные технологии" (Улан-Удэ, 2009), Международных конференциях "Идентификация систем и задачи управления" БГСРПО (Москва, 2000, 2004, 2006, 2009), Конференции "Математика в современном мире" (Новосибирск, 2007), Международной конференции "А. Н.Тихонов и современная математика" (Москва, 2006), Международной конференции по проблемам управления МКПУ III (Москва, 2006), Международной конференция ГАЭТЕБ по автоматизации, управлению и информационным технологиям АС1Т'02 (Новосибирск, 2002), Международной конференции "Математика в приложениях" (Новоси-

бирск 1999), III Сибирском конгрессе по прикладной и индустриальной математике (ИНПРИМ-98) (Новосибирск, 1998), Сибирской конференции по прикладной и индустриальной математике памяти JL В. Канторовича (Новосибирск, 1994), X Международной конференции "Проблемы теоретической кибернетики" (Саратов, 1993), Международном семинаре IMACS/IFAC International Workshop on Methods and Software for Automatic Control Systems (Иркутск, 1991), 5-м Всесоюзном совещании "Методы теории идентификации в задачах измерительной техники и метрологии" (Новосибирск, 1989), X Совещании по проблемам управления (Алма-Ата, 1986).

Результаты диссертации обсуждались на Семинаре лаборатории №7 им. Я. 3. Цыпкина "Адаптивные и робастные системы управления" Института проблем управления РАН (рук. д. т. н. Б. Т. Поляк) и па семинарах Института математики им. С. J1. Соболева СО РАН: на Общеинститутском математическом семинаре (рук. акад. Ю. Г. Решетняк), на семинаре "Математика в приложениях" (рук. акад. С. К. Годунов), на семинаре "Избранные вопросы математического анализа" (рук. д.ф.-м.н., проф. Г. В. Демиденко).

Работа выполнена при поддержке Российского фонда фундаментальных исследований (проекты №№ 01-01-00627, 06-01-00776, 10-01-00035), Сибирского отделения РАН (интеграционный проект СО РАН №85 и проект СО РАН 1.2.1.2 с номером государственной регистрации 01201051851) и Федеральной целевой программы "Научные и научно-педагогические кадры инновационной России" на 2009-2013 гг. (гос. контракт № 16.740.11.0127, номер государственной регистрации 01201065293).

Публикации и личный вклад автора. По теме диссертации автором опубликовано 30 печатных работ, в том числе 13 статей [3-7, 9-16] в журналах, рекомендованных ВАК для публикации результатов диссертаций. Из совместных работ в диссертацию включены только результаты, полученные лично автором.

Структура и объем работы. Диссертация состоит из введения,

6 глав с приложениями, заключения и списка литературы, включающего 271 наименование. Объем диссертации составляет 356 страниц.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ

РАБОТЫ

Во введении дается исторический обзор и сравнительное описание сложившихся подходов к идентификации линейных динамических систем, формулируются задачи исследования.

В первой главе изучаются вопросы алгебры дискретных стационарных линейных систем с конечными траекториями. Устанавливается соответствие между группой 5 равносильных преобразований системы и группой левых умножений ассоциированных с системой многочленных матриц. Для описания группы 5 вводятся новые понятия расширенной клеточно-теплицевой матрицы системы и множества продолжи-мых траекторий. При условии продолжимости траекторий полученные в диссертации результаты для конечно-траекториых систем сопрягаются с известными в литературе результатами для систем с актуально бесконечными интервалами наблюдения.

Определяется исследуемый класс систем и связанные с ним векторно-матричные конструкции

ару[к + р] + ... + аоу[к] = /Зри[к + р] + ■ .. + /30и[к], (1)

к € 1,N -р.

Здесь оч е Кгхг, /?; 6 Кгх,п, уЩ € Мг, и[к] е Ж"1. Используется также равносильная форма записи

Ъг[к + р] + ... + %г[к) = 0, к = 1,И -р,

(2)

И = К -А) 6 1Г*<''+т>, г\к] = {у[к\, и[к\).

Вводится вектор процесса г = (л[1);...; е Кл'(г+"г> и уравнение

йг = 0, (3)

G =

7i ••• Ъ

7o 7i ■■■ Ъ

o\

\0 7o 7i ••• ъ)

Определяется многочленная матрица 7(в) = 70 + 71 й + . ..-\-1Рьр. Описание (1), (2) предполагается пеизбыточпым: строки 7(5) линейно независимы (каноническая форма не содержит нулевых строк), сумма степеней строк у(з) минимальна на множестве левоэквивалентных многочленных матриц, числовая матрица 70 имеет полный ранг. Ограничения на устойчивость и управляемость не накладываются.

Определение 1. Расширенной клеточно-теплицевой матрицей называется матрица

Здесь Рг, г = 1,г — степени строк 7(5), рг < р-г К • •• ^ Р,- = Р-Конструкция расширения ¿(я) образована всеми возможными "сдвигами вправо" (умножениями на 5г) тех строк 70(5), степени которых < р.

Устанавливается равносильность с точки зрения многообразия решений между системами уравнений с РКТ-матрицами и системами линейных разностных уравнений в нормальной форме 1-го порядка.

fio 7i •■■ Ъ 7о 7i ••• Ъ

G+

0 7о 7i ••• Ъ

\0 60 5i ... 5PJ

где расширение S(s) = <5о«° + ... + Spsp из I строк имеет вид

Теорема 1. Система уравнений в нормальной форме 1-го порядка

равносильна системе с некоторой РКТ-матрицей = 0. И наоборот, для всякой РКТ-матрицы С?+ можно указать систему в нормальной форме 1-го порядка, множество решений которой

совпадает с правым нуль-пространством Я (С4).

Из РКТ-матрицы 6Ч путем удвоения части строк получается клеточно-

дуются классы равносильных преобразований РКТ-систем; устанавливается взаимно-однозначное соответствие между группой левых умножений РКТ-матрицы на невырожденные матрицы, сохраняющих РКТ-структуру, и группой левых умножений ассоциированной многочленной матрицы и малой матрицы е.

Теорема 2. Пусть РКТ-матрицы G и G' связаны равносильным преобразованием, т.е. 3 Р : det Р ф 0, PG = G'. Тогда и только тогда существует многочленная матрица p(s) такая, что

detp(s) = const ф 0, p(s)~f(s) = 7'(s), и одновременно выполняются равенство I = I' и соотношение

Этот результат является ключевым для получения новых конструктивных условий идентифицируемости во второй главе.

Вводятся понятия продолжимых стационарных решений и совпадения многообразий продолжимых решений, определяется слабая равносильность систем. Только продолжимые решения имеют физический

{z : а:[1] 6 R", и[1],..., u[JV] е М"1}

теплицевая матрица

Иссле-

Этт е : ne = е'.

смысл. С точки зрения слабой равносильности не различаются системы с расширенными клеточно-теплицевыми матрицами и системы с "обычными" клеточно-теплицевыми матрицами, которые повсеместно встречаются в литературе. Таким образом, установлено соответствие между развиваемой в диссертации техникой анализа конечно-траекторных систем и техникой анализа систем с актульно бесконечными интервалами наблюдения, широко представленной в современной литературе.

Результаты первой главы опубликованы в работах [2, 3, 6, 22].

Во второй главе исследуется идентифицируемость параметров многомерных линейных динамических систем без возмущений и со стохастическими возмущениями. Для матрицы 7 = (70 71 • • • 7;>) определяется вектор уе^ -у последовательным выстраиванием транспонированных строк 7. Система уравнений (3) записывается в виде

в г = УчесЬ-) = О,

где V = У(г) — клеточио-ганкелевая матрица из элементов Предполагается, что матрица 7 зависит от вектора параметров в £ 0 С Е1': 7 = 7в - Вектор в фиксирован и подлежит идентификации. Налагаются условия без ограничений на устойчивость и управляемость:

(I) параметризация в <-> 70 взаимно однозначна в Э и сильно дифференцируема в смысле Фреше; © — открытое подмножество;

(¡') (альтернативный вариант условия (¡), используемый в ряде утверждений) уе^7д = й + Бв = Ъу, где 5 = (й, £>), ^ = (1;0); матрица Б задана, ее столбцы линейно независимы;

(II) V 0 е в в многочленной матрице 7о(я) = 70,0 + 7i.es + • • ■ + Ъ,взР а) каноническая форма не имеет тождественно нулевых строк; б) сумма степеней строк постоянна (степень многочленной строки есть наибольшая из степеней образующих эту строку многочленов); в) ^(в) имеет наименьшую сумму степеней строк среди всех левоэквивалентных матриц; г) младший матричный коэффициент 70,9 имеет линейно независимые строки.

Для идентифицируемости параметра 0 необходимо, чтобы он был од-

нозначно вычислим по множеству невозмущеиных решений системы (1). Это свойство называется различимостью; оно зависит только от вида параметризации ^ к 70. Пусть N (Сд) с ЖЛГ('+т) — линейное многообразие всех решений системы (1), (2). Параметризация 9 н )в различима, если отображение в н-> N (Сд) инъективно: 9\ -/■ в2 влечет

Я (Сд,) ± N (Св1).

Сначала изучаются системы порядка р = 0, используемые в эконометрике. Для них доказаны теоремы: 1) о минимальном количестве фиксированных элементов, необходимом для сохранения максимального ранга матрицы системы на всем множестве значений параметров; 2) о минимальном количестве фиксированных элементов, необходимом для обеспечения различимости на всем множестве значений параметров.

Для динамических систем (р > 0) получены наиболее слабые из известных достаточные условия идентифицируемости в виде ограничений на ранги подматриц малой расширенной матрицы системы. Описан широкий класс локально-свободных параметризаций, для которых полученные в диссертации ранговые условия идентифицируемости становятся необходимыми и достаточными.

Определение 2. Два значения параметров -9, £ называются неразличимыми, если М (Сд) — N (обозначается в ~ £). Система называется глобально различимой в точке в, если £ ~ в при £ € 0 означает равенство £ = 9. Система называется локально различимой в точке 9, если в некоторой окрестности У(в) £ ~ в при £ е V(9) влечет £ = 9. Система называется структурно (глобально или локально) различимой в ©, если она различима во всех точках в € 6 за исключением, быть может, точек множества меры ноль.

Пусть г € 1, г. В матрице е = е$ выделим столбцы, имеющие на г-м месте элемент, не зависящий от в (фиксированный элемент). Все такие столбцы образуют подматрицу, которую обозначим е^д. По построению, вся г -я строка в е,,в не зависит от 9.

Теорема 3. Если для некоторого в имеет место условие V г G 1, г rankle = г + I, то система (2) глобально различима в точке в.

Пусть т — число зависящих от в элементов матрицы уg. Обозначим через г]о € Rr вектор, составленный из этих элементов в определенном порядке. Обозначим А = \\дщ/дв\\TXV матрицу Якоби вектор-функции в н-> т]в в точке 0.

Определение 3. Если матрица Якоби А - \\дщ/80\\ квадратная и неособенная в точке в, то параметризация в *-> ув называется локально-свободной в в.

Теорема 4. Если параметризация в и> 70 локально-свободная в в, то условие теоремы 3 является необходимым для локальной различимости в точке в.

Теорема 5. Для локально-свободных параметризаций 0 70 если система различима в некоторой точке в € Q, то она различима почти всюду в 0, т.е. структурно различима.

Отдельно исследованы системы с так называемыми полином-операторными параметризациями — у которых вместо оператора сдвига s используется заданный многочлен <p(s) от оператора сдвига. Это может быть многочлен любого из разностных аналогов оператора дифференцирования или их степеней, например, ip(s) = [(s - l)/h]p. Показано, что для таких систем сохранят силу все результаты по идентифицируемости, полученные для случая </?(s) = s. Благодаря применяемой технике доказательства все полученные в диссертации результаты по идентифицируемости без существенных изменений переносятся на системы с непрерывным временем, когда символ s понимается как оператор дифференцирован ия.

Другим объектом исследования являются стохастические системы

7pSz[k + р) + ... + 7о ,еф] = + р}'+ ■■■+ , .

_ _ (5)

z[j] = z\j) + e2[j\, j = l,N, k=l,N-p.

Переменные 6 Кг+т измеряются напрямую, а случайные векторы £![•] е £2[-\ € К'+,п играют роль возмущений. Вводится матрица

Налагаются ограничения:

(i.s) параметризация в <-> щ сильно дифференцируема в смысле Фреше и взаимно-однозначна в Э ; Э - открытое подмножество R1' ; (ii.s) для многочленной матрицы 7в [s) выполнены условия (ii), а)-г); (iii.s) для всех значений параметра V в G 0 многочленная матрица

ße{s) = ßaß+ßißS+......+HpßSp имеет степени строк не больше степеней

соответствующих строк матрицы 70 (s) (условие причинности);

(iv.s) случайные векторы £i[-], г2п взаимно независимы, имеют нулевое среднее и положительно определенную матрицу вторых моментов: M£¿N=0, Ме<|№Г = 0> t^T, Meil¿]ei[t]T = E¿>0, г = 1,2;

(v.s) входные переменные и[-} распределены независимо относительно возмущений £iH , £2 ["], имеют нулевое среднее и положительно определенную матрицу вторых моментов: М«Иг#]т = Su > О, Ми\к]и[1]т = 0, k¿l, Мг#] = 0;

(vi-s) вектор начальных условий iuo(y[l], • • • .î/[p + Ч) = е в равносильной системе (4) детерминирован (имеет нулевую дисперсию) и имеет ненулевые проекции па все инвариантные подпространства матрицы Л € .

Системы (5) включают в себя как частные случаи известные в литературе классы FIR, AR, ARX, ARMA, AR(I)MAX, ARARX, ARARMAX, BJ, GMS, OE, EIV (Дж. Бокс, Г. Дженкинс (1974), Л. Лыонг (1987)). При И = 0 уравнения (5) описывают системы с ошибками в наблюдаемых

переменных (OE, EIV).

Для систем (5) получены необходимые и достаточные условия идентифицируемости параметра в по распределению наблюдаемых переменных z{-}. Исходя из сложности алгоритмической проверки условий идентифицируемости предложена новая классификация линейных стохастических систем известных в литературе классов, описанных в монографи-

ях Дж. Бокса, Г. Дженкинса (1974) и JI. Лыонга (1987).

Определение 4. Пусть Pfl — распределение наблюдаемых процессов z = (á[l];...;¿[7V]). Система называется глобально идентифицируемой в точке в, если из равенства Pg = Р^ при £ € 0 следует £ = в. Система называется локально идентифицируемой в точке 0, если существует окрестность V{6) С О такая, что из равенства Р0 = Pç при £ 6 V(û) следует £ = 0.

Теорема 6. При условиях (i.s)-(vi.s) система (5) глобально идентифицируема в точке в, если уравнение

p(s) (70(5) M s)r) = (7í(.s) ,ф)) ,

рассматриваемое как условие на унимодулярную матрицу p(s) G R''x,'[,s] и числовую матрицу R — SJQSJ"3 (Q ортогональная), при ( € 9 влечет равенства p{s) = I, Q ~ I, Í —в . Система локально идентифицируема в точке 9 G 0, если указанная импликация имеет место для точек £ G V(0) С 0 в некоторой окрестности V(0). При допол-' нителъном предположении о нормальности распределений величин уо, U['L £i[']> вышеназванные условия идентифицируемости становятся необходимыми и достаточными.

Для установления классификации вводятся стохастические системы с матрицей наблюдения M

ъМк+Р) + • • ■ + 7о,вф] = ßp.e£i\k + р\ + ... + im,e£i[k], á[j] = M(;ig])+e2b1, J = MV, k = Tjr=^. (6)

Здесь i[.] G miJ+m'+1', M G R(<-'+<»'+''Mr+m+o; r' ^ r, m' ^ m, v < l, £i['] e R', e2[-] e Rr4m'+''. Исходя из алгоритмической сложности условий идентифицируемости, на основе теоремы 6 определяются три типа систем.

1. Системы с неособенными матрицами наблюдения det M ф 0 (все переменные измеряются напрямую).

2. Системы, в которых часть входных переменных не измеряется напрямую: г' = г, т! + Г < т + I,

М

Mi 0

0 м2

Mi G Кг+'

r+m

det Mi ф 0.

3. Системы, в которых часть переменных выхода не измеряются напрямую:

М

Mi 0 0

0 * 0

Mi G Rr

г < г.

В классификации Лыонга (1987) за основу принимается символическая запись

Ж.ч1 ГМ

(7)

Здесь s - оператор сдвига, Л(а), B(s), C(s), D(s) - многочлены. Сигналы у[к], й[к] измеряются напрямую, a e[fc] — гауссовый белый шум: М е[к\ = 0, Me[%[í] = Введением переменных г осуществляется переход к системе (6).

Многочлены в формуле (7) Наименование модели Тип системы

В FIR 1

АВ ARX 1

ABC ARMAX 2

АС ARMA 2

ABD ARARX 3

ABCD ARARMAX 3

BF ОЕ, EIV 1

BFCD BJ 3

ABFCD GMS 3

Здесь многочлены, отсутствующие в левой позиции, полагаются равными единице. Исходя из структуры матрицы наблюдения М, определяется тип системы по сложности уравнений идентифицируемости (последний столбец таблицы).

Результаты второй главы опубликованы в работах [1, 2, 5-7, 21-26].

В третьей главе рассматривается задача идентификации параметра 0t по наблюдениям {¿(1),..., цц] , %) = zt(t) + Щ), z,(¿) Ё ÁÍ(Gg,), V(i) S N(0, er2/). Обобщение на случай € N(0, ££т) вынесено в приложение. Параметризация в н-> уд предполагается различимой.

Определение 5. Множество наблюдений {¿(¡) = + »7(¿), г ^ 1} называется полным, если имеет место соотношение

L

Qx = lim L-lTD^V(zt{l]yV(zt{l))D > 0.

L—»oo '

í=l

Последнее неравенство является обощением известного в литературе условия "постоянного возбуждения" (К. Острем, Т. Волин (1969), Л. Лыонг (1987)) па системы без ограничений на управляемость. Далее предполагается, что множество наблюдений полно.

Вводится новый класс вариационных оценок

L

вь = arg min L~l ]Г [zji} (IIi.e + • • • + Пддв) z{{) , (8).

i=l

где все матрицы П, = ^ 0 являются неотрицательно определенными, проективными (П2 = ПД при этом П'}' = П,, П¿в, 2, = 0.

Показано, что частными случаями вариационных оценок при разных структурах матриц П^ в являются:

* оценки ортогональной регрессии (ОР) (Р. Эдкок (1877), К. Пирсон (1901), Т.Купманс (1937), Г.Крамер (1946), М.Левин(1964));

* модифицированные оценки ортогональной регрессии (М. Аоки, П. Ю (1970));

* оценки вариационного метода идентификации (ВИ, ВМ) (А. О. Егоршин (1971, 1988)):

L

6L = argmin min L'1 £ \\щ - 4i)f =

ь

argminЬ-^^д(СдС1)-'Сдг(^ ; (9)

* оценки нелинейного метода наименьших квадратов по всем переменным (TLS) (Г. Голуб, Ч. Ван-Лоан (1980), С. Ван-Хуффель, Дж.Ван-девалле (1991));

* оценки нелинейного метода наименьших квадратов по всем переменным с ограничениями (CTLS) (Т. Абатзоглу, Дж. Мендель'(1987));

* оценки метода наименьших квадратов с учетом структуры матриц (STLS) (Б.Де Мур (1993));

* оценки метода наименьших квадратов по всем переменным и траектории (GTLS) (Б. Роорда (1995));

* многомерные варианты оценок ортогональной регрессии и модифицированных оценок М. Аоки (ОР, ОРС, ОРМ) с аффинными параметризациями уравнений (впервые определены в 3-й главе).

Наиболее общей постановкой отличаются вариационный метод идентификации А.О.Егоршина (1971, 1988) (9) и метод STLS (Б.Де Мур (1993)). Предложено называть весь класс оценок (8) вариационными.

Теорема 7. При ограничениях (i'), (ii) и полном множестве наблюдений {¿(¡), i ^ 1} вариационные оценки (8) сильно состоятельны: Нт^^оо 9i — 0» (п.н.).

Путем анализа линейных приближений показано, что оценки ВМ в случае малых амплитуд возмущений для широкого класса систем имеют меньшую дисперсию, чем оценки ОР и ОРМ, за счет более полного использования информации о линейных связях между наблюдаемыми переменными.

На основе вариационного подхода в диссертации предложено решение проблемы большого числа локальных экстремумов, поставленной И. И. Перельманом (1981): суть проблемы в том, что при идентификации параметров системы рекуррентными вариантами МНК число локальных экстремумов целевой функции растет вместе с длиной выборки N. В диссертации показано, что всегда существуют равносильные по состоятельности вариационные постановки задач идентификации, при которых число локальных экстремумов целевых функций не превосходит

r(p + l)(r + m).

Результаты третьей главы опубликованы в работах [4, 8-10, 13, 20, 27].

В четвертой главе исследованы асимптотические по L —* оо свойства вариационных оценок. Получены выражения для асимптотических дисперсий многомерных оценок ВМ, OP, ОРМ параметров динамических систем порядка р выше нуля.

Сформулируем результат для оценок ВМ. Символом * обозначается покомпонентное произведение матриц, Sp А * В = ^,АцВц.

Теорема 8. Пусть выполнены все условия теоремы 7. Дополнительно предположим, что компоненты каждого из векторов возмущений г],^ есть независимые одинаково распределенные на R случайные величины с распределением из класса М^О.ст2,0.и/4), т.е. имеют нулевые 1-й и 3-й моменты, 2-й молгент а2 и 4-й момента w4. Тогда вариационная оценка 6i (9) асимптотически по L —► оо нормальна с дисперсией, определяемой выражениями

covL*(0£-0.) —* (М Л")"1 (М J[J'x) (М J")'1,

¿—»оО

М J[ J[T = ст2 М J" + aADTXrXD + (u/1 - 3(t4)DtYtYD, (10) М J" = М DrVt'CVtD, D^X^XD = (V - V^C (V - К) D =

= Dт ||Sp ПЦСЩЩ* D = £>т \\xkl\\1 D,

У'ГУ = 1Ы17 = ||Sp (wq< * Wi) ||*, щ = садп,

Уф < хтхц, V = к = V(zt).

В случае нормального распределения е N(o, сг2) имеет место равенство и>'1 = Зст4, вследствие чего третье слагаемое в формуле (10) обращается в ноль. Показано, что ряд результатов из монографии У. Фуллера

(1987) получаются как следствия этой теоремы. Для оценок ОР соответствующие утверждения получаются заменой матриц.

Далее вычисляется информационная матрица для параметров и процессов в задаче вариационной идентификации и исследуется асимптотическая оптимальность оценок (9).

Теорема 9. Пусть L — 1, zt{1) = zt и rj,{i) t N(0,ct2/). Тогда при условии полноты наблюдений нижняя граница Крамера-Рао для асимптотической дисперсии оценок параметра имеет вид

lim covà (0L - > a2 (DTV?CV*D)-1.

На основании этой теоремы в диссертации показано, что вариационные оценки (9) являются асимптотически наилучшими в предельном случае {g/a)2 —» оо, где (g/a)2 — отношение дисперсии распределения истинных процессов системы к дисперсии шумов наблюдений. Пусть #(0*) — базис из марковских параметров для многообразия Ai (Gо, ). Всякий процесс г» : G о, г, = 0 может быть представлен как произведение z„ = H(0*)w, где вектор w составлен из начальных условий и переменных правой части уравнения (1).

Теорема 10. Пусть дано множество наблюдений

{¿w = H(9t)w{i) + 77»(i), г > 1} , n.(i) е N (0, а21),

где величины w^ G ЖПт являются независимыми одинаково распределенными случайными векторами с распределением одного из двух видов: (а) нормальное wи € N(0, g2I) или (б) равномерное на шаре Вв радиуса g с центром в нуле, w{i) G U(0, Ве). Тогда в пределе д/а —> оо вариационная оценка 9i (9) параметра в* является асимптотически эффективной по L —» оо и имеет дисперсию covis (QL — #„) —»

Л—» oe,J! —»oo

ст2 (M D^CV.D)-1.

При g/a —» оо выражение в правой части стремится к нулю ввиду соотношения V^CV* ~ 0(д2).

Из теоремы 10 следует, что вариационные оценки (9) асимптотически оптимальны в условиях наибольшей априорной неопределенности истинных процессов идентифицируемой системы. Этот результат позволяет по-новому, с точки зрения математической статистики, осмыслить идеи, лежащие в основе вариационных методов оценивания.

Результаты четвертой главы опубликованы в работах [8, 10, 13, 20, 27].

Пятая глава содержит результаты по исследованию чувствительности вариационных оценок (9) к малым возмущениям в наблюдениях z при L = 1. Оценка 0 = 0{х) есть неявная функция наблюдений х = z, определяемая из условия равенства нулю градиента целевой функции. В диссертации вычислены производные функций оценок ОР, ОРМ и ВМ и построены матрицы чувствительности, которые описывают эллипсоиды разброса АО оценок при малых возмущениях ||Да;|| < е. Обозначим р2 значение целевой функции метода ВМ (9) в оптимальной точке в(х). Величина р(е) > 0 играет роль ошибки аппроксимации наблю-' дения х решениями наиболее подходящей системы вида (1). Матрицы'

До = DW^CVD, fí.¡ = DTVrCG, С = (GGт)-1, R¡R¡ = ño описыва-

д0 1

ют линейное приближение зависимости в(х): — — + О(р).

Теорема 11. Пусть R* = ||D||2 • садЭрС • ]|г||2, Ъ{) - 2^

\nia(Ro) '

)6оЛ*(л/П [31

IMI

Coo = r(p+l)(m+r), с-22 = {36 boR* (у/Н [31 baR* + 1] + 1) + 1} ,

и выполнены неравенства р + е ^

12 b0R* '

1_ , 2U/ñb^/W\ 2

7ШШ) 24 + «

(л/б — 2)

(N -р) (N-pf2 + 1 ■ SpC ■ ||Z)j|

которые рассматриваются как условия на р и а. Тогда

иЛйМ , 1 21 ф1ЪЦ1Гу 2

,АП*7ште+ ад

Как следствие теоремы получены оценки устойчивости в обратной задаче восстановления параметров уравнения (1) по наблюдению х — z + е решения z.

Были вычислены значения матриц дисперсий оценок ВМ, ОР, ОРМ в пределе малых возмущений. Показано, что они являются матрицами типа Rq. На этом основании предложены новые способы вычисления априорных и апостериорных количественных показателей идентифицируемости параметров матричных линейных разностных уравнений. Эффективность новых показателей проверена численными экспериментами.

Результаты 5-й главы опубликованы работах [8, 15, 16, 29, 30].

В шестой главе исследуются суммарные (дизъюнктивные) линейные системы. Система с матрицей Р называется дизъюнкцией (или суммой) систем G и F и обозначается Р = G V F, если N{P) = N(G) -f M(F). Показано, что суммарные системы естественным образом возникают при вариационной постановке задач анализа временных рядов с трендами, а также при идентификации линейных систем при наличии в измерениях неопределенных детерминированных составляющих из заданных линейных многообразий. Такими детерминированными составляющими могут быть решения другой линейной системы, как с известными параметрами, так и с параметрами, подлежащими идентификации наряду с параметрами основной системы. Следующая теорема дает способ построения суммарных систем.

Теорема 12. Для клеточно-теплицевых матриц G ^ 7(s), F ^ <p(s) с одинаковыми числами столбцов и клеточных столбцов всегда существует клеточно-теплицевая матрица Р ^ 7r(s) такая, что Af{P) = J\f(G)+Af(F) и многочленная матрица ir(s) удовлетворяет условиям (ii). Последнее равенство равносильно равенству V (ît(s)) = V (7(s)) П "Р (tp(s)), где V (<p(s)) обозначает модуль (линейную оболочку над коль-

цом многочленов) многочленных строк матрицы ip(s).

Получены условия нулевого пересечения M (G) П Ai (F) = {0} ; по сути это условия идентифицируемости слагаемых процессов по наблюдениям сумм.

Теорема 13. Условие Лf (G) V\M(F) = {0} равносильно любому из

следующих трех утверждений:

f-ytsY

(1) многочленная матрица для всех s имеет линейно неза-

\Ф)

висимые столбцы: V s G Ж

(2) каноническая форма Sm ^ для всех s имеет линейно независимые столбцы: У s£ R M = M ;

(l(s Л

(3) матрица Sm ) является "вертикальной" (число строк > .

числа столбцов), не имеет нулевых столбцов и состоит только из нулей и единиц.

Пусть на временном интервале 1, N дано наблюдение z £ К суммарного процесса "ряд плюс тренд" г* = z*B + z*c с возмущениями: z = z* + е. Пусть В,С С B.'lN — подпространства сеточных функций, порождаемые известными уравнениями ряда и тренда, В П С = {0}. Вариационные оценки ряда и тренда получаются через наилучшее приближение вектора z суммой векторов Zß&B и ¿с £ С:

Р - ¿II2 = р -zb- 2с||2 = min р - zb - ¿с||2. (11)

гнев, '(.■£<-

В диссертации получены формулы идентификации слагаемых процессов Zß, zc по измерениям суммарного процесса z с аддитивными возмущениями. Пусть В — im В, С = im С. Обозначим В матрицу, столбцы которой образуют базис ортогонального дополнения В до KniV, т. е. составная матрица (В, В) неособенная и В В = 0; тогда В = G, Cf = F.

Теорема 14. Если ВПС = {0}, то решение задачи (И) единственно и имеет вид

Следствие. При ВГ\С = {0} задача (11) имеет единственное решение

Эффективность полученных формул проверяется расчетами. Далее проводится обобщение критериев параметрической идентифицируемости из главы 2 на суммарные системы и дается критерий управляемости суммарных систем. Показано, что в большинстве практических случаев суммарные системы неуправляемы. Это накладывает ограничение на классы методов, которые применимы для идентификации параметров суммарных систем; вариационные методы не требуют условия управляемости и поэтому могут быть применены.

Результаты шестой главы опубликованы в работах [8, 11-14, 28].

В приложениях к главам приведены вспомогательные утверждения, доказательства теорем и примеры расчетов, подтверждающих теоретические результаты диссертации. Приводятся также тексты программ на языке открытой вычислительной среды БсИаЬ.

1. Получены не зависящие от метода идентификации конструктивные условия идентифицируемости параметров многомерных стационарных линейных динамических детерминированных и стохастических систем, которые являются необходимыми и достаточными для широкого класса

гв= В1 {¿-¿с),

гс = С (~ЁТ2Су1 В[г, Т2 = В (ВТВ) ВТС.

(12)

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ, ВЫНОСИМЫЕ НА ЗАЩИТУ

параметризаций; на основе анализа сложности условий идентифицируемости предложена новая классификация стохастических систем, отличающаяся от известной классификации Л. Лыонга.

2. Описан новый класс многомерных вариационных оценок параметров дискретных стационарных линейных динамических систем, включающий в себя основные типы орторегрессиоиных оценок, встречающиеся в литературе. Доказана состоятельность и исследованы асимптотические свойства оценок этого класса; вычислены информационные матрицы и описаны распределения наблюдений, для которых вариационные оценки являются асимптотически наилучшими.

3. Получены константы устойчивости вариационных оценок, наилучшие в пределе малых возмущений; установлена их связь с информационными матрицами; на этой основе предложены способы вычисления априорных и апостериорных количественных показателей идентифицируемости параметров линейных динамических систем, в частности, решена проблема К. Ланцоша (1956) анализа устойчивости в задаче идентификации показателей экспонент.

4. В задачах анализа временных рядов с трендами, формулируемых в диссертации как задачи вариационной идентификации дискретных стационарных линейных динамических систем при наличии в измерениях неопределенных детерминированных составляющих из заданных линейных многообразий, получены условия идентифицируемости как процессов ряда и тренда, так и параметров уравнений, описывающих ряд и тренд.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

[1] LomovA.A. Correct Parametrizations of Linear Models // Siberian Advances in Mathematics. 1994. V.4. P. 95-113.

[2] Ломов А. А. Минимальные описания стационарных линейных моделей // Труды Института математики СО РАН. Новосибирск: ИМ СО РАН, 1994. Т. 28: Модели и методы оптимизации. С. 91-117.

[3] Ломов А. А. О предельном значении передаточной функции матричного линейного дифференциального уравнения на бесконечности // Автоматика и телемеханика. 1996. № 12. С. 25-30.

[4] Ломов А. А. Идентификация линейных динамических систем по коротким участкам переходных процессов при аддитивных измерительных возмущениях // Известия РАН. ТиСУ. 1997. №3. С. 20-26.

[5] Ломов А. А. Параметрическая идентифицируемость линейных стохастических систем по наблюдениям коротких отрезков траекторий // Известия РАН. ТиСУ.. 2002. №2. С. 53-58.

[6] Ломов А. А. Условия различимости стационарных линейных систем // Диффереиц. уравнения. 2003. Т. 39, №2. С. 261-266.

[7] Ломов А. А. О различимости стационарных линейных систем с коэффициентами, зависящими от параметра // Сибирский журнал индустриальной математики. 2003. Т.6, №4(16). С.60-66.

[8] Ломов А. А. Орторегрессионные методы оценивания параметров и задачи отделения трендов в линейных системах // [Электронный ресурс]: Дифференциальные уравлепия и процессы управления. 2005. №2. С. 1-86. URL: http://www.math.spbu.rU/diffjournal/j/pdf/lomov.pdf

[9] Ломов А. А. Сравнение методов оценивания параметров линейных динамических систем по измерениям коротких участков переходных процессов // Автоматика и телемеханика. 2005. №3. С. 39-47.

[10] Ломов А. А. Орторегрессионные оценки параметров систем линейных разностных уравнений // Сибирский журнал индустриальной математики. 2005. Т. 8, №3(23). С. 102-119.

[И] Ломов А. А. Восстановление сигналов в линейных системах с трендами (I) // Автоматика и телемеханика. 2008. № 7. С. 29-36.

[12] Ломов А. А. Восстановление сигналов в линейных системах с трендами (II) // Автоматика и телемеханика. 2008. №11. С. 82-93.

[13] Ломов А. А. Оценка трендов и идентификация динамики временных рядов на коротких интервалах наблюдения // Известия РАН. ТиСУ. 2009. № 1. С. 25-37.

[14] Ломов А. А. Управляемость суммарных линейных систем // Си-

бирский журнал индустриальной математики. 2010. T. XIII, №2(42). С. 79-84.

[15] Ломов A.A. О локальной устойчивости в задаче идентификации коэффициентов линейного разностного уравнения // Вестник НГУ. Сер. Математика, механика, информатика. 2010. Т. 10, вып. 4. С. 81-103.

[16] Ломов A.A. О количественных априорных показателях идентифицируемости коэффициентов линейных динамических систем // Известия РАН. ТиСУ. 2011. № 1. С. 3-15.

[17] Egorshin А.О., Lomov A.A. Variational identification and filtration via fast algorithms // Proc. 8-th IFAC/ IFORS Symp. on Identification and System Parameter Estimation. Beijing (China): Pergamon Press, 1988. V. 2. P. 665-671.

[18] Касьянова С.H., Ломов A.A. Программный комплекс моделирования и идентификации линейных динамических систем на основе вариационного метода // Динамика управляемых космических объектов. Красноярск: Вычислительный центр, 1990. С. 113-121.

[19] Ломов A.A. Идентификация линейных динамических систем по' коротким участкам переходных процессов при аддитивных измерительных возмущениях // Сб. тр. Всерос. науч. школы "Компьютерная логика, алгебра и иптеллектное управление". Т. 3. Иркутск, 1994. С. 19-35.

[20] Ломов A.A. Статистические свойства орторегрессионных методов оценивания параметров и решений систем линейных разностных уравнений // Оптимизация. Управление. Интеллект: Тр. Российской ассоциации математического программирования. Иркутск, 1997. №2. С. 40-51.

[21] Ломов A.A. Ранговые условия идентифицируемости стохастических линейных систем // 11-я Байкальская Междунар. школа-семинар "Методы оптимизации и их приложения", Иркутск, 1998. Сб. тр. Т. 3. С.112-115.

[22] Lomov A.A. Identifiability of ARMAX systems with short operating records // Proc. II Symp. Automat. Control (CIMAF'99). La Habana, 1999. P. 207-221.

[23] Ломов A.A. Параметрическая идентифицируемость линейных сто-

хаотических систем по наблюдениям коротких отрезков траекторий // Тр. Междунар. конф. "Идентификация систем и задачи управления" SICPRO'2000. М.: ИПУ РАН, 2000. С. 1244-1251.

[24] Ломов A.A. Об априорном анализе сложности алгоритмов идентификации линейных систем // Методы оптимизации и их приложения: Тр. 12-й Байкальской междунар. конф. Иркутск, 2001. Т. 5. С. 101-106.

[25] Lomov A.A. Stochastic Linear Systems Classification Based on Complexity of Identifiability Conditions //La Habana, III Symposio de Control Automático, 2001. P. 257-265.

[26] Lomov A.A. Identifiability of Time-Invariant Linear Models by Transient Signal Observations // Proc. of the IASTED Intern. Conf. on Automation, Control, and Information Technology. Anaheim, Calgary, Zurich. Acta Press, 2002. P. 507-512.

[27] Ломов A.A. О статистических свойствах оценок параметров линейных динамических систем по измерениям коротких участков переходных процессов // Тр. III Междунар. конф. "Идентификация систем и задачи управления" SICPRO'.04. М.: ИПУ РАН, 2004. С. 209-224.

[28] Ломов A.A. Задача отделения трендов в линейных системах // Тр. V Междунар. конф. "Идентификация систем и задачи управления" SICPRO'06. М.: ИПУ РАН, 2006. С. 1980-2009.

[29] Ломов A.A. О количественном априорном показателе идентифицируемости параметров линейной системы // Тр. VIII Междунар. конф. "Идентификация систем и задачи управления" SICPRO'09. М.: ИПУ РАН, 2009. С. 479-491.

[30] Ломов А. А. Априорные оценки погрешности идентификации коэффициентов линейных ОРУ // Материалы Междунар. конф. "Вычислительная математика, дифференциальные уравнения, информационные технологии". Улан-Удэ, 24-28 августа 2009 г. С. 236-242.

Редакциоиио-издательский отдел Учреждения Российской академии наук Института динамики систем и теории управления Сибирского отделения РАН 664033, Иркутск, ул. Лермонтова, д. 134 E-mail: rio@icc.ru Подписано к печати 02.08.2011 г. Формат бумаги 60 х 84 1/16, объем 2,0 п.л. Заказ 29. Тираж 120 экз.

Отпечатано в ООО "Омега Принт" 630090, Новосибирск, пр. Лаврентьева, 6

Список обозначений

Введение

1 Вопросы алгебры линейных систем

1.1 Основные определения

1.2 Минимальные описания в форме 1-го порядка в пространстве состояний.

1.3 Минимальные описания в пространстве траекторий. РКТ-матрицы . 59 1.3.1 Доказательство теоремы 1.3.1.

1.4 Многочленные (операторные) описания.

Системы АРСС

1.4.1 Структура множества решений и равносильные преобразования систем АРСС.

1.5 Равносильные преобразования, сохраняющие структуру РКТ-матриц.

Самый деятельный ум оказывается недостаточным для того, чтобы изъяснить, как следует, самомалейшую часть мира (Свт. Василий Великий (IV в.) ))

Настоящее исследование посвящено задаче идентификации параметров стационарных линейных динамических систем, описываемых разностными уравнениями на конечных интервалах наблюдения. Это системы с траекториями (процессами) г е Мг+т х . х Мг+т = м(Г+т)ЛГ = Кг

4-V-' N конечной длины N ^ р + 1, р^О, где (г ^ 1) и Ит (т ^ 0) — пространства соответственно "выходных" и "входных" (независимых) переменных, описывающих поведение системы. Решением задачи идентификации является алгоритм, который исходя из предъявленного множества наблюдений процессов с возмущениями позволяет вычислить приближенное значение неизвестных параметров уравнения системы.

Задача де Прони. Появление математических методов, составляющих сердцевину того, что называют теорией идентификации, принято отсчитывать с 1795 г. с работ французского графа Гаспара Рише де Прони [125,140,230,242]. Он исследовал задачу восстановления параметров а , и , А , ф синусоид и экспонент У У[ 1] ^

V УМ ) у[к] = Аехр(ак)зт(ик +ф), (0.0.1) по измерениям у . Рассматривая эту задачу, изложим основные идеи и понятия, которые будут использоваться на протяжении всей диссертации.

Немного упрощая, можно сказать, что метод решения, предложенный Г. де Прони, состоял в следующем [164,231]. Для вычисления а, и> находятся коэффициенты 70,

Беседа 1-я на Шестоднев.

71 разностного уравнения у[к + 2] = Ъу{к + 1] + 7о у[к] (0.0.2) как решение системы линейных уравнений

0.0.3) у[к+ 1] у[к] \/71] = (у[Н2] у[к + 2] у[к + 1] У V 7о У V ^ +

Затем по (70,71) вычисляются коэффициенты (go,gi) уравнения

Д2 + д1 Д + д0) у[к] = 0, где Д = — 1) — разностный аналог оператора дифференцирования, sy[k] = у[к + 1] — оператор сдвига. Параметры (а, и>) вычисляются из равенства многочленов

А2 + giX + до = (А — а — io>) (Л — а + iu) = (А — а)2 + и>2.

По начальным условиям (г/[1], у[2]) находятся коэффициенты А\, А2 линейного разложения вектора у по базовым функциям: еа sin(w) еа cos(u;) \ / Ах \ = / у[ 1] \ e2*sin(2и) е2а cos(2a;) ) \ А2 ) у[2] )' 1 ' ' ' у [к] = Aieak sm(uk) + Агеак cos(a)к), к^ 3, и находятся параметры (А,ф) искомого решения (0.0.1).

Задачам типа де Прони уделяли внимание многие известные математики. «В 1941 г. . Л.Шварц написал кандидатскую диссертацию по приближению непрерывной функции на оси суммами экспонент» [61, с.19]. Можно назвать имена Дж. фон Неймана [215], Р. Беллмана [138], К.Ланцоша [184, IV.23], А. Хаусхолдера [166].

Идея Г. де Прони — перейти от уравнений (0.0.1) к уравнениям (0.0.2) в сопряженном пространстве коэффициентов — была революционной, поскольку нелинейная задача относительно А , ш сводилась к линейной относительно коэффициентов 7г, gi. Но наличие возможных ошибок в измерениях у[к] Г. де Прони не учитывал. Здесь понадобился гений К. Гаусса.

Метод наименьших квадратов Гаусса (линейный МНК). В 1795 году К.Гаусс предложил метод наименьших квадратов (МНК) [24]. Принцип Гаусса можно сформулировать так: для учета ошибок в измерениях нужно заменить измерения гипотетическими модельными значениями и проводить минимизацию квадратичной целевой функции рассогласования модельных значений с измерениями. Это принцип получил в прикладных задачах широчайшее распространение, но понадобилось почти двести лет, чтобы были созданы нелинейные варианты МНК, которые позволяли получить вычислительное решение задач типа де Прони с учетом ошибок в измерениях. Это работы М.Левина (1964) [188], М.Аоки (1970, 1971) [134,135], А.О.Егоршина (1971, 1988) [40,42], М. Осборна (1970, 1991) [218,220], Б.ДеМура (1993) [214], Б.Роорды, Х.Хейджа (1995) [235,236] и др. Оказалось, что задачи, подобные задачам Г. де Прони, вместе с их естественными обобщениями возникали всюду, где нужно было построить математическую модель процесса в виде дифференциального или разностного уравнения — начиная от прикладной теории управления техническими системами [17,114,125,146] и анализом экономических данных [117] и заканчивая моделированием тончайших генных систем*) регулирования наследственности в живых организмах (Е. Крампин (2006) [148]).

Как нередко бывает на переднем крае приложений математики, эвристические вычислительные решения опережали развитие теории. В диссертации рассматриваются вопросы теоретического обоснования нелинейных МНК в задачах моделирования наблюдаемых процессов разностными (дифференциальными) уравнениями, т. е. в задачах типа де Прони. Термин "вариационные оценки" для параметров уравнений относится к широкому классу нелинейных методов наименьших квадратов.

Чтобы подойти к формулированию целей и задач диссертационного исследования, кратко обозначим основные вехи развития метода наименьших квадратов, как они видятся с точки зрения решения задач типа де Прони**).

Принцип МНК, предложенный К. Гауссом (сейчас его называют "линейным МНК"), опирался на предположение об ошибках в невязке уравнения. Эти ошибки называют также ошибками уравнения, или ошибками объекта. Рассмотрим для примера уравнение у = вх , в котором векторные переменные iji/Gl" связаны числовым параметром в. Пусть х, у — измерения, исходя из которых нужно определить в. Согласно методу Гаусса, параметр в находится из переопределенной системы уравнений у — вх = е минимизацией квадратичной целевой функции:

0.0.5)

Независимо от К. Гаусса и почти в то же время (1799) для решения подобных задач П.-С. Лаплас использовал метод минимизации суммы модулей ошибок невязки [140]. В 1801 г. К. Гаусс успешно применил МНК для вычисления орбиты астероида Цереры по совокупности астрономических наблюдений с погрешностями. В 1805 г. П. Лежандр независимо от Гаусса опубликовал формулы МНК, которые сейчас мы записываем в компактном виде = [х^х]'1 хту. (0.0.6)

Заметим, что традиция записывать формулы МНК через скалярные произведения и

Термин "генные сети" [56] мы не употребляем, считая его неудачной калькой с английского gene networks (генные системы).

Эта точка зрения, безусловно, не является всеобъемлющей, поэтому наш обзор не может претендовать на полноту.

- ||2 в = argmin IIу — вх\\

9G M выделять в них геометрический смысл восходит к А.Н.Колмогорову (1946) [55]; в той же статье А. Н. Колмогорова можно прочитать, как излагал свой метод К. Гаусс).

В 1809 г. К. Гаусс доказал оптимальность оценок МНК, считая ошибки случайными с нулевыми средними и конечными вторыми моментами. Вероятностная интерпретация этого результата принадлежит А.А.Маркову (1900) [90]. Сейчас теорема Гаусса-Маркова широко известна, в частности, она входит практически во все курсы эконометрии* К

Аддитивные ошибки в наблюдениях. Новый шаг в понимании принципа наименьших квадратов был связан с именами статистиков Р. Эдкока (1877, 1878) [129,130], К.Куммеля (1879) [181] и К.Пирсона (1901) [224]. Р. Эдкок впервые предложил способ вычисления параметра (в нашем примере в) в случае, когда ошибка содержится не в невязке уравнения, а в обеих наблюдаемых переменных:

У — У + Vyi x = x + rjx. (0.0.7)

Как было показано Р. Эдкоком, если ошибки г]х>у распределены нормально г)х>у € N(0, I), ах = Oy, то принцип наименьших квадратов приводит к целевой функции в — arg min min (\\у - у\\2 + \\х - х\\2) . (0.0.8)

06® (у х)(}в)=0

К. Куммель [181] обобщил результат Р. Эдкока на случай известного не равного единице отношения с* jay . К. Пирсон [224] впервые рассмотрел случай более чем двух переменных:

Vi = vl + r]l, г € Т7р, в = arg min min (||üi - t>i||2 + . + \\vp - г>р||2) . (0.0.9) беКР Vp)(1e)=0 «,[1] \

Здесь Vi = I : Je — вектор, составленный из N наблюдений г-й переменной.

Ф\/

Решение оптимизационной задачи (0.0.9) достигается на минимальном собственном векторе симметричной матрицы VrV, составленной из наблюдений (см. раздел (3.7.3)): в: VTV^ j = Amm • ^ , У = ( у, . vp ) G ШМхр. (0.0.10)

Алгоритмы поиска собственного вектора симметричной матрицы широко известны (см. раздел 3.7.3) и имеют скорость сходимости порядка (^р-) , где Аг — ближайшее по модулю к Amin собственное число [34, гл.XII, п.11].

Метод Пирсона может быть применен к задаче де Прони восстановления коэффици ^ http: //yandex. ru/yandsearch?text=TeopeMa+raycca+MapKOBa ентов (70,71) уравнения (0.0.2) по измерениям у = у + т]. Для этого нужно обозначить V! [к] = у[к + 2], у2[к} = у{к + 1], гі3 [к] =у[к], к е 1,ЛГ, и искать вектор параметров в = ), минимизируя целевую функцию (0.0.9).

Возникает естественный вопрос, в каком смысле целевая функция (0.0.9) и ее частный случай (0.0.8) лучше, чем целевая функция МНК (0.0.5). Ответ на этот вопрос принято основывать на статистическом понятии состоятельности. Нестрого говоря, состоятельность целевой функции означает, что при увеличении количества N наблюдений в модельных численных экспериментах*) оценки 9, получаемые по этой целевой функции, должны приближаться к истинному значению.

Известно, что при наличии возмущений в наблюдаемых переменных (0.0.7) оценки МНК (0.0.5) не состоятельны (см., например, [165,196]), а оценки Эдкока—Куммеля— Пирсона (0.0.8) свойством состоятельности обладают (раздел 3.4).

Стоит отметить, что при получении оценок коэффициентов 7г по методу Пирсона в задаче де Прони не учитывается принципиальное условие

VI [к] = у2[к + 1] =Уз[к + 2],

Мі] которое означает, что векторы Уі = ненциальными функциями ^ = у — лч г/[і]

0.0.11) в целевой функции (0.0.9) являются экспо-вида (0.0.1). Вследствие ЭТОГО оценки 7г ПО методу Пирсона не являются наилучшими. Этот факт интуитивно понятен и отмечался еще М.Аоки [134,135]; строгое его обоснование является одним из новых результатов диссертации (теоремы 3.5.1, 3.5.2 главы 3).

МНК в задаче де Прони. При известных (70,71) Для поиска у[к] в оригинальном методе де Прони использовалась система уравнений (0.0.4), в которую напрямую подставлялись измерения у. В таком первоначальном виде алгоритм де Прони неустойчив к ошибкам наблюдений [167]. Состоятельное вычисление у[к] при известных (70,71) осуществляется классическим методом наименьших квадратов типа (0.0.5): ^ V т 1 еа 8ш(о») еа СОз(ои) ^ ^ еаМ 8Іп(о>Л0 еаМ сов(шЛО у

ШП .

Аі,Аг

Выражение "модельный эксперимент" имеет принципиальное значение, поскольку в реальных вычислениях истинные значения параметров в не известны, и сравнение методов получения оценок возможно только путем численных модельных экспериментов и исследования умозрительных предельных случаев.

Запишем эту задачу минимизации в компактном виде, который неоднократно будет использоваться в дальнейшем: Яго||2 —> гшп.

0.0.12)

Решение аналогично (0.0.6): Искомая оценка функции у имеет вид й = (ЯТЯ) 1 Нту. у = Ни) = Я (ЯТЯ) 1 Нту.

0.0.13)

0.0.14)

Заметим, что столбцы матрицы Я образуют фундаментальную систему решений уравнения (0.0.2).

Далее сделаем шаг, подобный шагу Г. де Прони, когда он перешел от поиска решений (0.0.1) к поиску коэффициентов уравнения (0.0.2). Правое нуль-пространство матрицы

2 = 7о 71 -1

7о 71 -1

0 \

V о

2)хДГ

0.0.15)

7о 71 -1 есть множество решений уравнения (0.0.2). Линейное ограничение у = Ни) равносильно условию Су = 0. Поэтому (0.0.12) равносильно условной минимизации

У-У\\:

ГП1П . ву=О

0.0.16)

Оптимальное решение у = Ни) дается равносильным формуле (0.0.14) выражением

У =

1-Ст(ССт) гс

0.0.17)

Эта двойственная формулировка отличается от (0.0.14) тем, что матрица Я зависит от параметров А , ш , причем нелинейно, а матрица С линейно зависит от ^ . Переход от (0.0.14) к (0.0.17) подобен переходу от (0.0.1) к (0.0.2), который сделал в свое время Г. де Прони. Отличие (0.0.17) от (0.0.14) становится принципиальным, когда нужно искать минимум целевой функции (0.0.16) или (0.0.12) по параметрам в.

Формулы (0.0.14) и (0.0.17) представляют собой два способа получения состоятельных решений задачи де Прони при известных коэффициентах ^ уравнения (0.0.2). Задачу (0.0.12) (или (0.0.16)) при известных ^ назовем задачей 1.

Из вышеизложенного вытекает принципиальный вывод: при наличии возмущений вида (0.0.7) в задаче де Прони естественно формулировать задачу поиска коэффициентов 7г исходя из той же целевой функции ||у — у||2 , что и при поиске оптимального у при известных тг, а именно, при 0 = (yl) «естественная» оценка имеет вид в = arg min min ||у — у||2, (0.0.18) в Ggy=О или равносильно в = argminmin \\у — Hew\\2 . (0.0.19) в W

В результате в сочетании с формулами (0.0.14) или (0.0.17) получается состоятельное решение задачи де Прони методом наименьших квадратов, нелинейным относительно в.

Второй этап минимизации (по в) в выражениях (0.0.18), (0.0.19) назовем задачей 2. Задачи 1 и 2 с теплицевыми матрицами ограничений Gq вида (0.0.15) будем называть вариационными [42], орторегрессионными [69,76,78] или задачами типа де Прони. Их формулировали А. Хаусхолдер (1950) [166], М.Осборн (1970) [218], М. Аоки (1971) [135], А. О.Егоршин (1971) [40]. Задачи К.Пирсона (0.0.9) являются частным случаем вариационных задач с клеточно-скалярными*) матрицами

Ge = I®{ 7о,.,7р), (0-0.20) поскольку клеточно-скалярные матрицы получаются из клеточно-теплицевых матриц wo wi . шя 0 \

Ш1 " Шч I с матричными клетками ил при q = 0 (см. раздел 3.3).

Для задачи (0.0.19) до сих пор не найдено эффективного вычислительного решения. Для задачи (0.0.18) решение было предложено независимо разными авторами в 1970-х гг. (см. ниже). С этой точки зрения одна из двойственных формулировок, а именно (0.0.17), (0.0.18), является предпочтительной.

Заметим, ЧТО С ТОЧКИ зрения МНОГИХ вычислителей, коэффициенты (7o,7l) можно искать обычным линейным МНК. Первым, кто предложил такое решение, был

A. Хаусхолдер (1950) [166], назвав свой метод обобщенным методом де Прони. А. Хаусхолдер рассмотрел задачи 1 и 2 и отметил, что решение задачи 2 с вычислительной точки зрения очень сложно, и предложил использовать в задаче 2 обычный МНК. Так же поступал К. Ланцош (1956) [184, IV.23], заменяя задачу 2 на обычный метод наименьших квадратов, когда рассматривал задачу выделения показательных функций. Из современных публикаций обобщенный метод де Прони упоминается в монографии

B. И. Бердышева, JI. В.Петрака (1999) [9, 1.11.1-2]. Это говорит о том, что статистические аргументы (в частности, состоятельность оценок) не всеми исследователями принимаются во внимание. Действительно, в реальных задачах бывает невозможно заранее знать тип возмущений, в невязке они или в наблюдаемых переменных. Тем не менее, на примере задачи типа де Прони с погрешностями округления из монографии К.Ланцоша (1956) [184, IV.23] можно увидеть, что нелинейный МНК (0.0.18) обеспе

Скалярными называются матрицы вида А = аI = / ® а, где а число; клеточно-скалярными называются матрицы вида А = / ® В , где В — матрица; ® — кронекерово произведение матриц. чивает существенно более устойчивые оценки, чем метод наименьших квадратов по невязке уравнения (см. раздел 5.3).

Метод вариационной идентификации А. О.Егоршина (ВИ, ВМ). Впервые эффективное вычислительное решение нелинейной задачи МНК (0.0.18), (0.0.17) было дано А. О. Егоршиным (1971) [40]. Вычислительный метод А. О. Егоршина в пространстве оптимизируемых параметров ^ опирается на итерационную процедуру типа поиска минимального собственного векторасимметричной матрицы, составленной из наблюдений у (см. раздел 3.7.3); для вычисления оценки процесса (0.0.17) используются «быстрые» алгоритмы (без уравнения Риккати) рекуррентного по N вычисления матрицы проектора и оценки процесса у (раздел 6.6). Как было отмечено А. О. Егоршиным, алгоритмы этого типа получаются из уравнений фильтра Калмана при учете стационарности системы и имеют вид уравнений Амбарцумяна— Чандрасекара—Редхэффера (АЧР), описывающих рассеяние и перенос излучения в слоистой среде [3,232]. Подобные же уравнения были получены М. Г. Крейном (1955) при решении линейных интегральных уравнений первого и второго рода [59]. За рубежом их впервые вывел Н. Левинсон (1946), рассматривая задачу Н.Винера для стационарной дискретной последовательности [189]; затем они были переоткрыты Дж. Дурбином (1960) [150]. Алгоритмы Крейна—Дурбина—Левинсона—АЧР в применении к решению задачи 1 для стационарных систем исследовались в работах Т. Кайлата (1972, 1973) [153,168,169,192], А. Линдквиста (1974,1975) [190,191], Л. Льюнга, Б. Фридландера (1976) [153,192]. Недавно А. О. Егоршиным (2007) [270] было показано, что "быстрые" алгоритмы можно получить, проводя встречные процессы ортогонализации Грама— Шмидта однородной системы векторов (т. е. векторов, получаемых из порождающего вектора степенями унитарного преобразования).

Стоит отметить, что А. О. Егоршин решал более общую задачу, чем задача Г. де Прони, рассматривая в том числе и неоднородные системы, вводя уравнения у[к + р] + ар^у[к + р - 1] + . + а0у[к] = Рри[к + р] + . + р0и[к], к <е 1, аГ-р. (0.0.21)

Для перехода к такого рода системам нужно вместо у = (у[1];.; г/[А^]) из (0.0.2) рассматривать объединенный вектор траектории (процесса) г = (;г[1];.; ¿[./V]), г[к] = (у[к]-,и[к\). После формального переобозначения ^ = («¿, — ¡3^) приходим к уравнению вида 10 относительно отсчетов г[к] с матричными коэффициентами ^ Е М1х2 . Структура и нуль-пространство матрицы С (0.0.15) при этом, тем не менее, качественно и неформально меняются.

Интересная геометрическая иллюстрация задач 1 и 2 типа де Прони для случая р = 1, N = 3, /?1=А) = 0 была опубликована А. О. Егоршиным в [43].

•)Т. е. соответствующего минимальному собственному числу.

Для решения задачи 2 поиска оптимальных коэффициентов 7г совместно с поиском оптимального процесса г (0.0.17) по критерию (0.0.18) (с заменой у на, z) А. О. Егоршин предложил итерационную процедуру в пространстве коэффициентов (см. раздел 3.7.3), которая обладает малой чувствительностью к начальному приближению и скоростью сходимости в малую окрестность экстремума за конечное число итераций (как правило, не более пяти) при уровнях шума измерений до 50% (см. [30,70,83] и примеры расчетов в разделе 3.7.4). Несмотря на сложный характер изоповерхностей целевого функционала, исследованных В. И.Костиным (1984) [57] и В. Г. Демиденко (2008, 2010) [30,32], алгоритм А. О. Егоршина имеет радиус сходимости, практически достаточный для большинства задач из приложений (А. А. Ломов (1997) [70], В. Г. Демиденко (2008, 2010) [30,32]). Загадка глобальной эффективности итераций по параметрам уравнений в вычислительном методе А. О. Егоршина до сих пор не решена. Исследование локальной сходимости и устойчивости оценок проводилось В. Г. Демиденко в предположении постоянства наименьшего собственного числа матрицы ядра целевой функции ВИ (2008, 2010) [30,32]; для однородных систем локальные свойства близкой по типу итерационной процедуры исследовали М.Осборн и Г.Смит (1991, 1995) [220,221].

Вычислительный метод А. О. Егоршина при современных мощностях вычислительных устройств позволяет осуществлять помехоустойчивую идентификацию динамических уравнений в режиме реального процесса. Применения охватывают широкую область от задач автоматического управления с идентификатором до задач динамического сжатия (кодирования и декодирования) потоков аудио- и видео-информации в реальном времени. Отличительной особенностью вариационных постановок задач идентификации, решаемых методом А. О. Егоршина, является возможность идентификации на переходных процессах, благодаря включению начальных условий модельных процессов в число оцениваемых параметров. Такого рода задачи всегда считались актуальными и сложными, об этом говорится во введении монографии A. JI. Бунича и Н. Н. Бахтадзе (2003) [17].

В 1970 г. М.Осборн [218], как и М. Аоки (1971) [135], независимо от А. О. Егоршина пришел к задаче (0.0.18). М. Осборн нашел вычислительное решение, близкое к методу А. О. Егоршина в части итераций по вектору коэффициентов, но ограничился при этом случаем однородных систем вида (0.0.21) с Д. = 0, = 0 и не исследовал рекуррентные алгоритмы вычислений проекторов и оценки процесса в задаче 1. В 1975 г. М. Осборн предложил для своего метода название "модифицированный метод де Про-ни" [219], и под этим именем вычислительный метод, который мы называем методом А. О. Егоршина, чаще всего упоминается в литературе*). Итерационную процедуру типа поиска собственного вектора симметричной матрицы в пространстве параметров, независимо и одновременно предложенную А. О. Егоршиным и М. Осборном, на наш взгляд, уместно называть процедурой Егоршина—Осборна. Отличие итераций А. О. Егоршина состоит в том, что пересчет обращаемой матрицы осуществляется на каждом шаге по http://www. google. ru/search?q==Prony+method+modified параметрам, а в алгоритме М. Осборна матрица пересчитывается только после нескольких шагов приближения к минимальному собственному вектору. Оптимальное значение при итерациях А. О. Егоршина достигается быстрее. Вычислительные затраты примерно одинаковы.

В статьях (1991, 1995) [220,221] М. Осборн и Г. Смит исследовали локальную устойчивость оценок параметров модифицированного метода де Прони в пределе N —► оо при ошибках наблюдений с нулевым средним и конечной второй вариацией. Была показана состоятельность оценок (0.0.18), (0.0.15) для однородных систем и оптимальность этих оценок с точки зрения предельного значения дисперсии при больших N. Особенность этой интересной работы в том, что вместе с ростом N авторы уменьшают время дискретизации Д£ = ^ ; этот предельный случай необычен и в своем роде очень красив, хотя и редко встречается в приложениях. Исследование других предельных случаев проводится в настоящей диссертации.

В 1988 г. А. О. Егоршин предложил вычислительное решение для многомерного случая систем из г > 1 уравнений [42]. В той же статье был предложен термин "вариационный метод идентификации" по отношению к целевым функциям вида (0.0.18), (0.0.21) с совместной оценкой оптимальных процессов по формулам проецирования (0.0.17). Вычислительная апробация многомерного метода и подтверждение эффективности алгоритмов Егоршина—Осборна при переходе к многомерному случаю г > 1 были сделаны автором диссертации (1989, 1990, 1991) [49,64,197]. Это позволило применять метод А. О. Егоршина к линейным системам управления с обратными связями.

В то же время было обнаружено, что для ряда типичных и достаточно простых систем с обратными связями, описываемых двумя и более уравнениями, на первый план выходят проблемы параметрической идентифицируемости [67,198].

М.Аоки и П. Ю (1970) [133-135] также рассмотрели задачу (0.0.18), (0.0.21), установив состоятельность оценок в пределе N оо [133]. Как и ранее А.Хаусхолдер (1950) [166], М.Аоки отметил, что задача (0.0.18), (0.0.21) с вычислительной точки зрения крайне сложна [135]. Для поиска % М. Аоки, П. Ю (1970) [134] применили варианты метода Пирсона и исследовали устойчивость оценок к малым возмущениям. Это было удачным сравнительно простым решением проблемы, хотя и не оптимальным. Заметим, что подобным же образом, путем обоснования правомочности замены задачи (0.0.18) на более простую типа Пирсона (на основании вводимого нового понятия равносильности по состоятельности), в диссертации исследована проблема локальных экстремумов на конечных интервалах наблюдения (раздел 3.6).

Оценки ортогональной регрессии (ОР). Кратко опишем историю развития методов типа Пирсона, поскольку они играют важную роль "палочки-выручалочки" для надежного поиска состоятельных оценок (пусть и не оптимальных по локальной устойчивости к возмущениям, см. раздел 3.5) в задачах вида (0.0.18), (0.0.21). Ряд полученных в диссертации новых результатов по свойствам вариационных оценок применим и к методам типа Пирсона как частным случаям (раздел 4.5).

Первые применения методов типа Пирсона (0.0.9) для оценки коэффициентов уравнений (0.0.3), (0.0.21) встречаются в работах Дж. фон Неймана (1937) [215], Т. Купманса (1937) [177], О. Риерсоля (1950) [233] и М. Левина (1964) [188]. Метод (0.0.8), (0.0.9), предложенный Р. Эдкоком, К.Куммелем и К.Пирсоном, как и МНК (0.0.5), состоит в минимизации суммы квадратов, поэтому его называют иногда "нелинейным МНК", в отличие от "линейного МНК" К.Гаусса (0.0.5). Геометрический смысл оценок (0.0.9) К. Пирсон пояснил рисунками (см. с. 19), из которых ясно, что целевая функция (0.0.9) есть сумма квадратов расстояний от измерений, представленных как N точек v[k] = ( viMi -;"р[*0, к G 1, TV в пространстве Rp, до модельной плоскости, определяемой уравнением v[k] ( J0) = 0 (как видно из рисунков К.Пирсона для случая р ~ 2, если минимизировать сумму длин отрезков от измерений до модельной плоскости не вдоль нормали, а вдоль оси ординат (или абсцисс), то получаются оценки обычного линейного МНК). В силу этого свойства оценки (0.0.9) стали называть оценками ортогональной средней тадратической регрессии (ОР). Они получили широкую известность после выхода монографии Г.Крамера (1946) [58]. Нелинейность оценок ОР проявляется в том, что направление отрезков, сумма длин которых минимизируется, зависит от параметров (наклона) модельной плоскости.

Рис. 1. Два рисунка из оригинальной работы К. Пирсона (1901) [224]

For example :—Let Pi, P3,. P. be the system ol pomU with coordinates .t„ yx ; x,, ,y, ;.<•„ yn< and jœrpemlicular distances p„ p1}.p. from a line A B. Then we shall make

U = S(jj*)=a minimum. f y were the dependent variable, we should have made

S(y —,y)'=A minimum y' being the ordinate of the theoretical line at the point x which corresponds to y), bad we wanted to determine the best-fitting line in the usual manner.

5fi6 Prof. K. Pearson on Lines ami Planes <J

The geometry of these results is indicated in the accompanying diagram :—

EE' is foiin'l hy making Si/ —y)' a minimum,

FF' „ „ S(y-z)! „

AA' „ „ 8(r)

Tbc equation to EE' referred to C is y= T~~f~x< FF' „

The angle 6 which AA' makes with O.c is determined by

-iri 2 Try at o„ tan 26= —3--— . trx—wy

Further:

Mean sq. residual)* = ov a'ji/cot' 6 3

Now clearly U=S(/>*) is the moment of momentum,, the second moment of the system of points, supposed equally loaded, about the line A*B. But the second moment of a system about a series of parallel lines is always least for the

On tines and planes of dosest fit to systems ofpoints in spa:: Pblosophcal Magazine 2 559-572 Pearson, K 1901 http //pblhmtv-lyonl fr/R/peanon 1901 pdf

Если переменные гц в уравнениях (0.0.9) трактуются как случайные величины, то в литературе говорится о задаче восстановления структурных связей (structural relationship), в противном случае — о задаче восстановления функциональных соотношений (functional relationship), см. М.Кендалл (1951) [176]. Мы не различаем эти два случая, каждый раз из контекста будет ясно, о какой задаче идет речь. Обширная библиография по оценкам ортогональной регрессии (OP, error in variables, EIV) имеется в монографии У. Фуллера (1987) [154], см. также современный обзор Д. Гилларда (2010) [157]. Сведения об истории развития методов ОР приведены в статье П. Спрента (1989) [247]. Много внимания в литературе уделяется случаю, когда неизвестны значения (Tj (на такой постановке задачи, в частности, настаивал Р. Калман (1985) [48]); в случае неизвестных сг^ получение состоятельных оценок параметров возможно только при наложении дополнительных ограничений на наблюдения.

В настоящее время отмечается значительное уменьшение интереса к оценкам ОР в литературе по эконометрии, ввиду "сложившегося впечатления, что задача ОР чрезмерно трудна ввиду отсутствия простого способа состоятельного оценивания" в случае априори неизвестного соотношения между дисперсиями (Ti [223]. Тем не менее, в 2004 г. была обнаружена вычислительная устойчивость оценок ОР к ошибкам априорного задания соотношений между CTj [223].

Одним из главных результатов исследования оценок ОР являются теоремы о состоятельности и асимптотических свойствах, полученные Л. Глэзером (1981) и У. Фуллером (1987) [154,158]. Монография У. Фуллера (1987) [154] считается классической, см. А. Ку-куш и др. (2005) [180]. Сравнению результатов У. Фуллера с результатами диссертации посвящен раздел 4.5.

Метод наименьших квадратов по всем переменным (НКП) (Total Least Squares, TLS). Один из самых известных нелинейных вариантов метода наименьших квадратов был предложен в статье Г. Голуба и Ч.Ван Лоана (1980) [162]. Этот метод допускает наличие ошибок в обеих частях модельного уравнения во всех переменных, и в этом смысле похож на метод ортогональной регрессии. Для него Г. Голубом и Ч. Ван Лоаном было предложено название 'Total Least Squares" (TLS), мы будем использовать сокращение НКП. В монографии С. Ван Хуффель и Дж. Вандевалле (1991) [258] проведено подробное исследование метода НКП, включая чувствительность оценок к возмущениям и асимптотические свойства, а также приведено много примеров приложений. Решение $tls п0 методу НКП уравнения АО = b достигается минимизацией нормы || (ДД ДЬ) || при условии (А + АА)д = b + ДЬ. Оценка дается равенством 0tls = (АТА — а21)~1АтЬ, где а2 есть наименьшее собственное число матрицы (.A,b)T (A, b). С другой стороны, оценка #tls является правым собственным вектором, соответствующим наименьшему сингулярному числу в сингулярном разложении матрицы (А,Ъ) [162].

Х.-Ф. Ченг и Дж. Ван Несс (1999) [145] отметили, что метод НКП (TLS), описанный в [162], есть не что иное, как метод ортогональной регрессии К. Пирсона. Действительно, при обозначениях V = (Д Ь), ст = Amin из (0.0.10) получаем

ЛТЛ - a2I АТЬ Ьт А bTb - а2 или

Отсюда сразу следует искомое равенство {АТА — о-2/) в = АТЬ, а также то, что оценка НКП (TLS) находится из условия минимума целевой функции

Я . ||У7||2 . \\A9-bf

0TLS = arg mm = arg min см. раздел 3.7.3).

Метод НКП (TLS) имеет много вариантов; некоторые из них связаны с регуляризацией типа Тихонова [116], например, такая оценка: где L некоторая матрица, р — параметр регуляризации. См. обзоры И. Марковского, Д.Симы и С.Ван Хуффель (2010) [209] и В. Г. Демиденко (2010) [31].

Как было отмечено выше, методы типа НКП (ОР) являются состоятельными, но не оптимальными, если применять их к оценкам параметров динамических уравнений вида (0.0.21) ненулевого порядка р > 0.

Решение уравнений Ав = b относительно в при наличия ошибок А А, Ab в обеих частях равенства рассматривалось Дж. Уилкинсоном (1965) [266, гл. 4, п. 13]. Им была получена оценка для погрешности решения при условии (А + А А) (в + Ав) = b + Ab:

EM < Ц(А) (\Ш + ШУ Л \Ши(А) и hi + м j/v ц л Iiß{A)

0.0.22) где р(А) — число обусловленности матрицы А (отношение наибольшего сингулярного числа к наименьшему). См. также монографию С.К.Годунова (1980) [26, пар. 2]. Это неравенство является оценкой устойчивости решений по методу НКП Г. Голуба (или ОР). Ряд других оценок погрешности, в том числе сравнение НКП с оценками обычного МНК приведено в монографии С.Ван Хуффель и Дж. Вандевалле (1991) [258]. Показано, что различие имеет второй порядок малости по норме ошибки || (ДД АЬ) ||. См. также монографию А. Бьорка (1996) [140], в которой в части сравнения методов даны ссылки на работы А. ван дер Слуиса и Г. Велткампа (1979) [240] и Г.Стюарта (1984) [248].

Метод НКП с ограничениями (Constrained TLS, CTLS). Условие динамичности уравнения означает клеточную теплицевость матрицы системы G (0.0.15) при р > 0. В статье Т. Абатзоглу и Дж. Менделя (1987) [127] была предложена модификация метода НКП (ТЬЭ), в которой учитывается структура матрицы системы. Модель возмущений имеет вид

Метод получил название "Constrained TLS" (CTLS), или НКП с ограничениями (НК-ПО). В статье Т. Абатзоглу, Дж. Менделя, Г. Харады (1991) [128] описаны применения метода CTLS к анализу спектра временных последовательностей в условиях аддитивного шума; там же получены линейный член функции чувствительности (и матрица кова-риации) оценок в задаче CTLS, которая относится к классу вариационных с клеточно-теплицевыми матрицами. Исследуется случай систем из одного уравнения ( г = 1). Для получения оценок авторы используют алгоритм типа Ньютона.

Метод НКП с учетом структуры матриц (НКПС) (Structured TLS, STLS).

Более общий подход к учету структуры матриц в задаче НКП (TLS) предложил Б. Де Мур (1993) [214]. Метод Б. Де Мура по существу равносилен НКПО Т. Абатзоглу и Дж. Менделя, см. Ф. Леммерлинг, Б. Де Мур, С.ВанХуффель (1996) [187]. С этого времени в литературе используется для обоих методов название "Structured TLS" (STLS), или наименьшие квадраты по всем переменным с учетом структуры (НКПС). Б. Де Мур (1993) [214] предложил вычислительный алгоритм поиска решения задачи НКПС (STLS), по идее близкий алгоритму Егоршина—Осборна. В алгоритме Б. Де Мура итерации по параметрам совершаются синхронно с итерациями по вектору множителей Лагранжа, ввиду того, что задача НКПС (STLS) сформулирована Б. Де Муром симметричным образом по отношению к замене теплицевой структуры на ганкелеву и наоборот. Б. Де Мур в своей интереснейшей статье сделал акцент на идее метода НКПС (STLS) и его применении, рассмотрев связи алгоритма с фильтром Калмана, с задачей восстановления функции отклика линейной системы по зашумленным измерениям, с задачей аппроксимации и редукции моделей в Яг, с задачей идентификации в Яг и задачей вычисления радиуса области устойчивости линейной системы с неопределенными параметрами. Для выражения основных идей Б. Де Мур ограничился скалярными системами (г = 1) и не рассматривал вопросов сходимости алгоритма, кратко обосновав его степень сходимости как линейную, приведя несколько примеров численных расчетов.

Доказательство состоятельности целевой функции НКПС (STLS) дано в статье А. Ку-куша, И. Марковского и С. Ван Хуффель (2005) [180]. Отмечено, что доказательство сделано при более общих предположениях, чем в работах М. Аоки, П. Ю (1970) [133,134] и У. Фуллера (1987) [154]. Ранее идея доказательства состоятельности (также со ссылками на работы М. Аоки, П. Ю (1970) [133,134] и У. Фуллера (1987) [154]) была опубликована автором диссертации (1997) [69]. В той же статье [180] и другой более ранней статье

AA,Ab) = AV= ( FlV . Fvi7), г? є м2(0 ,Р) этих же авторов [207] описан оригинальный алгоритм поиска 7. Идею итерационной процедуры И. Марковского можно выразить следующим образом. Нужно решить нелинейное уравнение J!y = C(~f)Vj = 0. Оценка -fk+i вычисляется из линейного уравнения Vr(7fc)TC(7fc)Vr7fc+i = 0. В [180] отмечено, что сжимающие свойства этого алгоритма еще не доказаны. В статье И. Марковского, С. Ван Хуффель, Р. Пинтелона (2005) [208] отмечено, что метод НКПС (STLS) требует хорошего начального приближения, видимо, при условии применения итерационной процедуры И. Марковского или типа Ньютона.

Метод наименьших квадратов по всей траектории (НКТ) (Global Toal Least Squares, GTLS). Еще одним вариантом развития метода НКП (TLS) является метод наименьших квадратов по всем переменным и всей траектории (процессу) (НКТ) (Global Toal Least Squares, GTLS), предложенный Б.Роордой (1995) [235,236]. Следует отличать GTLS Б. Роорды от "Generalized TLS" С. Ван Хуффель и Дж. Вандевалле (1989) [257]. Последний есть обычный TLS с фиксированной весовой матрицей. По целевой функции метод Б. Роорды есть в точности вариационный метод (0.0.18), (0.0.15) для неоднородных моделей (0.0.21), записанных в равносильной нормальной форме уравнения 1-го порядка. Таким образом, метод GTLS по целевой функции совпадает с методом

A. О. Егоршина (1970), уступая последнему по эффективности вычислительного решения.

Б. Роорда предложил метод поиска минимума целевой функции GTLS, основанный на модификации итерационной процедуры типа Ньютона. Как было обнаружено еще в 1984 г. В.И.Костиным [57], подобного рода универсальные процедуры в рассматриваемой задаче имеют малый радиус сходимости из-за большой овражности минимизируемого функционала (см. также работу автора диссертации (1997) [70], статьи

B. Г. Демиденко (2008, 2010) [30,32] и описание проблемы в обзоре Г. Смита (2000) [242]). В статье Б. Роорды (1995) [235] на примере простой разностной модели 2-го порядка (характеристический многочлен имеет действительные корни 0 и 1) сравниваются алгоритмы Гаусса—Ньютона и алгоритм Б. Роорды для оптимизации параметров. Отмечено, что алгоритм Гаусса—Ньютона работает значительно быстрее. Моделируемые системы описываются уравнением в нормальной форме 1-го порядка с переменными состояния. Для оценки траектории (процесса) используется алгоритм без уравнения Риккати. Во введении подход автора излагается так: "Вместо построения стохастических предсказателей, мы сосредотачиваемся на построении аппроксимации предъявленных данных решениями разностного уравнения". Данный аппроксимационный подход возводится Б.Роордой к работе Я.Виллемса (1989) [19]. Как было отмечено выше, подобного рода вариационные постановки мы предпочитаем называть задачами типа де Прони (1795) [230].

В статье Б. Роорды и К. Хейджа (1995) [236] проводится сравнение метода Б. Роорды с методами идентификации, основанными на регрессии (линейном МНК), на локальном варианте метода НКП (TLS) и на минимизации ошибки прогноза (описание группы методов по ошибке прогноза приведено ниже в подразделе "Прямые методы").

Вариационный подход в спектральном анализе (метод В. Ф. Писаренко).

В монографии С. Марпла (1986) [210] 13-я глава посвящена методам спектрального анализа временных последовательностей, основанным на вычислении собственных значений эмпирической матрицы ковариаций. Учитывая вид (0.0.10) решения простейшего из вариационных методов — метода К. Пирсона ортогональной регрессии, можно заключить, что анализ собственных значений матрицы ковариаций является определяющим признаком вариационного подхода. Метод В. Ф. Писаренко [225, 226] считается одним из первых методов вариационного типа для оценки частот синусоидальных сигналов, измеренных с аддитивным белым шумом (см. Г. Мэттью, С.Дасгупта, В. Редди (1994) [212] и обзор Г.Смита (2000) [242]). Этот метод основан на приближенном вычислении спектральной плотности эмпирической матрицы ковариаций. Спектральное преобразование используется, чтобы ограничить вид получаемых собственных векторов, которые согласно постановке задачи спектрального анализа [210] должны быть дискретизациями синусоидальных сигналов постоянной амплитуды. Описание метода В. Ф. Писаренко в сравнении с методами типа де Прони дано X. Ибрагимом (1989) [222]. Оригинальная статья В. Ф. Писаренко (1972) доступна через google [225]. М. Осборн и Г. Смит (1995) [221] отмечают, что метод В. Ф. Писаренко состоятелен (хотя и не оптимален по эффективности) при оценке синусоид и несостоятелен при оценке затухающих синусоид или экспоненциальных сигналов. С другой стороны, в методах типа де Прони условие постоянства амплитуды синусоидальных решений не налагается, поэтому эти методы не оптимальны с точки зрения спектрального анализа.

Прямые методы типа рекуррентного МНК (по ошибке прогноза). Описанный выше алгоритм де Прони решал задачу интерполяции сумм экспоненциальных функций по данным измерений в равноотстоящие моменты времени. Главной идеей метода было вычисление оптимальных функций посредством вычисления коэффициентов линейного разностного уравнения, решениями которого являлись эти функции. Задача оптимизации решалась в пространстве коэфициентов уравнения, и только на последнем шаге вычислялись корни характеристического многочлена и находились показатели и частоты оптимальных экспонент и синусоид. Следует отметить, что в методе де Прони целью оптимизации являются именно функции — решения уравнения, аппроксимирующие измерения, а разностное уравнение и его коэффициенты играют вспомогательную роль. Формулировка задачи де Прони в терминах линейного метода наименьших квадратов была предложена А. Хаусхолдером (1950) [166] (обобщенный метод де Прони). Условие состоятельности оценок параметров приводит к задаче нелинейного МНК; эффективное вычислительное решение этой задачи для неоднородных систем линейных разностных уравнений предложил А. О. Егоршин (1971, 1988) [40,42]. М. Осборн (1975) [219] независимо предложил близкое по идее решение нелинейного МНК для однородных систем (модифицированный метод де Прони). В основе этих нелинейных методов лежит именно оценка аппроксимирующей траектории, как и в оригинальной задаче де Прони.

Альтернативный подход к идентификации параметров динамических систем, описываемых неоднородными линейными разностными уравнениями, развивается за рубежом начиная с работ К. Острема и соавт. (1965, 1969) [?,136]. Результаты исследований в этом направлении представлены в монографиях Р. Кашьяпа, A. Pao (1983) [51], Я. 3. Цыпкина (1984) [120], Л. Льюнга (1987) [195], Х.-Ф.Чена (2008) [144]. Этот подход повсеместно употребляется при решении задач адаптивного управления, см. обзорный доклад М.Геверса (2004) [156], монографии А. Л. Бунича и Н.Н.Бахтадзе (2003) [17], К. Острема и Б. Виттенмарка (2008) [137]. Суть подхода состоит в формализации динамического процесса, содержащего возмущения, дробно-рациональным уравнением

АШ[к] = Щх[к] + Ще[к] (0.0.23) символ s есть оператора сдвига). Все имеющиеся возмущения сводятся к невязке уравнения. Для обеспечения состоятельности полученной невязке приписывается неединичная матрица ковариации, которая зависит от идентифицируемых параметров системы, поэтому невязка имеет вид ^jfj^fc]. При таком подходе целью оптимизации являются параметры уравнения, минимизирующие ошибку прогноза нового измерения. Аппроксимация измерений решениями модельной системы на всем интервале наблюдения не рассматривается как цель оптимизации.

Методы на основе ошибки прогноза широко распространены и имеют множество модификаций; к перечню цитированных выше монографий можно добавить известный отечественный справочник по теории автоматического управления под ред. А. А. Кра-совского (1987) [114] и обзор Т. Содерстрома (2006) [245]. Рассмотрим этот класс методов более подробно. Методы по ошибке прогноза еще называются прямыми [114, гл. 5], разомкнутыми [42,94], или наивными [159]. Согласно терминологии [114, гл. 5], прямые методы — это методы, в которых целевые функции для оценки параметров получаются путем прямой подстановки в уравнение модели измеренных значений х, у вместо модельных переменных х, у. В этом состоит принципиальное отличие прямых методов от методов типа ортогональной регрессии, вариационных, замкнутых в терминологии [40,94], или методов типа де Прони. В замкнутых методах коэффициенты уравнения играют всего лишь подсобную роль, как средство описания класса функций, который используется для аппроксимации измерений. Поэтому в целевых функциях замкнутых методов всегда явно присутствуют решения модельного уравнения, и целью оптимизации является уменьшение рассогласования наблюдений с решениями модельного уравнения. В целевых функциях прямых ("разомкнутых") методов принципиально отсутствуют решения модельных уравнений, и целевые функции зависят только от коэффициентов и напрямую подставленных данных наблюдений, на основе которых вычисляется прогноз.

Основная идея "прямых" методов восходит к статье А. Н. Колмогорова (1941) [54] и во многом подобной ей работе Н. Винера (1942) [265], вышедшей за рубежом независимо и немного позже. А. Н. Колмогоровым рассматривалась задача оптимального предсказания и интерполяции элементов стационарной последовательности {., х[к — 1], х[к],.} случайных величин с конечным вторым моментом. Ставилась задача при заданных р > 0 и 1^0 подобрать значения действительных коэффициентов щ, при которых линейная комбинация у = арх[к — 1] + . + а\х[к — р] наиболее точно приближается к случайной величине х[к +1}. За меру точности принимается математическое ожидание а2 = М(ж[/с + 1]— у)2 . А. Н. Колмогоров отмечал, что если коэффициенты корреляции Ь(г) = + ¿М^]) известны, поиск оптимальных значений щ не составляет труда. Нужно решить задачу наименьших квадратов в = &щтт\\у - ХвЦ'

0.0.24) для вектора у и матрицы X, составленных из наблюдений случайной последовательности: х\р+1 + 1}^ (х[1\ . х\р] ^

У = — Х = . x\p + N-l]) (0.0.25)

Для конечного N имеем

0.0.26)

Даже если значения коэффициентов корреляции Ь(г) заранее не известны, в предельном случае ./V —> оо по закону больших чисел имеет место сходимость

9 = 6(0) . ъ{р-1)\ 1 [ь{р + 1)\

Ь(р-1) . Ь(0) ) \Ь{1 + 1))

Нетривиальный вопрос, ответ на который был найден А. Н. Колмогоровым, состоит в зависимости наименьшей достижимой ошибки а2(в) от числа р. С ростом р величина ошибки уменьшается. Если коэффициенты корреляции Ь(г), грубо говоря, затухают быстро С ростом г, ТО предел НгПр-юо о2{6) строго положителен и вычисляется его значение. Если последовательность наблюдений х[к] и коэффициентов Ъ(г) обладает определенным свойством "регулярности", то предельное по р значение ошибки предсказания равно нулю.

Развитием подхода Колмогорова—Винера являются методы идентификации "по ошибке прогноза" (РЕМ, "prediction error methods") [96,136]. Их систематическое изложение дано в монографиях [137,144,195]. В вычислительном отношений эти методы существенно проще рассмотренных выше нелинейных MHK. Если обозначить ip[k]T = (х[к],. х[к + р — 1]), то у[к] = ip[k]Te* + е[к], (0.0.27) где в* есть вектор "истинных" параметров, и {., е[к — 1], е[к],.} есть последовательность независимых одинаково распределенных (н. о. р.) случайных величин с нулевым мат. ожиданием и конечным вторым моментом. При этом предположении оценка МНК 0дг (0.0.26) обладает свойством состоятельности. Были предложены различные способы перехода к вы от 0jv-i при поступлении порции измерений y[N], <p[N]. Они основаны на рекуррентном вычислении матрицы N

P~1(N) = ХТХ = Ф)Ф}Т = - 1) + ip[N](p[N}T. (0.0.28) к=1

Обновление оценки описывается уравнениями

6N = P(N)ip[N}v[N]TeN1 + P(N)<p[N}y[N] + P(N)<p[N] (y[N] - ip[N}TeN^ §N-! + K[N]e[N], (0.0.29) где K[N] = P[iV]<£>[./V] и величина e[N] = y[N] — ip[N]T9N-i играет роль ошибки прогноза. С помощью леммы об обращении матриц [105, с. 45] получаются выражения

K[N] = K[N- l}<p[N] (1 + <p[N}TK[N - 1MJV])"1, (0.0.30)

P(N) = (/ — K[N]ip[N]T) P(N — 1). (0.0.31)

Формулы (0.0.29), (0.0.30), (0.0.31) называют рекуррентным методом наименьших квадратов (РМНК) [114,137]. Если параметры объекта медленно меняются во времени, вводится функция экспоненциального "забывания" прошлых отсчетов. Для упрощения рекурсии РМНК (0.0.29), (0.0.30), (0.0.31) разработаны варанты алгоритмов, среди которых отметим проекционный алгоритм С. Качмажа: и его варианты с параметрами а ^ 0, (3 £ (0, 2):

К этому же классу проекционных относятся алгоритмы типа "стохастической аппроксимации" (ТСА) [114, 5.7.3], например, следующий: вк = 0N-X - P(N)<p[N] (y[7V] - <^[iV]T^1) где P(N) = , и другие алгоритмы. Наша цель не разбирать их подробно, а подчеркнуть их идейную связь с задачей, рассмотренной А.Н.Колмогоровым (0.0.24), (0.0.25).

Применение описанных выше "прямых" вариантов МНК к динамическим моделям приводит к следующим постановкам задач идентификации. Такие постановки широко распространены в литературе (цитировано выше). Модель описывается уравнением где s есть оператор "сдвига вперед" ( sy[k] = у[к + 1]), a A(s), B(s) суть многочлены заданных порядков р, q :

A(s) = sp + ap-is+ . + ao, B(s) = b^s*'1 + bg2sg~2 + . + b0.

Вводится вектор параметров в = (ao;.; api; бо! • • • i bq-1) и вектор регрессии tp[k - 1] = (~у[к - р]\.; -у[к - 1]; х[к - р];.; х[к - р + q - 1]).

Ввиду того, что регрессия осуществляется на те же переменные у в прошлые моменты времени, модель называется моделью авторегрессии,

Из известной теоремы Гаусса—Маркова (см., например, [140, гл.1]) следует, что получаемые таким образом оценки МНК асимптотически оптимальны на классе несмещенных оценок в среднеквадратическом смысле, если предположить наличие возмущений с нулевым средним е\к] 6 М2(0,ст2/) в невязке уравнения:

Поэтому такой метод получения оценок параметров называется еще методом по невязке уравнения (заметим, что на классе смещенных оценок существуют нелинейные оценки типа Стейна—Джеймса, равномерно лучшие оценок несмещенных [18]). Если предположить наличие возмущений в переменной у, получаем метод по ошибке на выходе

A(s)y[k] = B(s)x[k] y[k) = ф - 1]т0.

A(s)y[k] = B(s)x[k] + e[k}.

0.0.32) output error", OE): = щФ] + е[к]. (0.0.33)

Чтобы придать смысл дроби в правой части последнего уравнения, предполагается, что модельный сигнал у[к] = у[к] — е[к] подчинен уравнению у[к] + ар-±у[к - 1] + . + а0у[к - р] = bqix[k -p + q— 1] + . + bQx[k — р].

Оценка параметров вычисляется по минимуму целевой функции m = itm-v[k\? к=1 посредством рекуррентных соотношений

9n = eN-i + P(N)<p[N - l}e[N], (0.0.34) p[N — 1] = (-y{N-p}].]-y[N-l};x{N~p}].]x[N-p + q-l}), e[iV] = y[N]-<p\N

Заметим, что начальные условия у[ 1],. ,у[р] этими соотношениями не определяются. Если относительная амплитуда шума е[к] мала, то можно положить начальные условия равными измерениям у[1],., у[р). Для больших значений шума е[А;] влияние ошибки задания начальных условий уменьшается с ростом N при условии устойчивости многочлена A(s). Необходимые значения N составляют несколько характерных времен самой медленной моды собственных однородных движений модели, т.е.

N > —¡-^-j-, |s|max = max {|s| : A{s) = 0} < 1. (0.0.35) ш I ^ | max

Оценки MHK параметров, получаемые по моделям (0.0.32), (0.0.33), оказываются смещенными, если ошибки в разные моменты времени коррелированы: М е[г]е[?] ф 0 . Причиной смещения является ненулевое мат. ожидание М<^т[г]£[г] ф 0. Для устранения смещения в модель вводятся дополнительные параметры, описывающие корреляцию ошибок:

A(s)y[k] = B(s)x[k] + C(s)e[fc]. (0.0.36)

Для построения регрессии в этом случае требуются упрощающие предположения. А именно, вводится ошибка прогноза е[к] —y[N] - <p[N - l]T^v-i, (0.0.37) где в = (а0;.; арх; Ь0; ■ • ■; b9-i), р[к- 1] = (~у[к - р]\.;-у[к - 1]; х[к - р]\.; х[к - р + q - 1]).

Недоступные измерению переменные е[к) заменяются ошибками прогноза, т. е. модель приближенно описывается уравнением у[к] = ф- 1}те + £[к], (0.0.38) к которому может быть применена стандартная схема МНК. Этот подход называют расширенным методом наименьших квадратов (Extended Least Squares, ELS) [137, гл. 2]. Отличие от рекурсии МНК (0.0.28), (0.0.29) состоит в замене наблюдений tp[N] на ip[N — 1]. Другой вариант метода получается переопределением способа вычисления ошибки прогноза. Если вместо (0.0.37) использовать соотношение

C(s)e[k] = A(s)y[k] - B(s)x[k] (0.0.39) и заменить (р на ф, вычисляемый из уравнения С(в)ф = </?, будет получен метод, называемый рекуррентным методом максимального правдоподобия (Recursive Maximum Likelihood, RML). Такое название, как можно увидеть из описания метода, является скорее формальным, чем отражающим его суть. Сделанные упрощения уводят этот метод от оценок максимального правдоподобия [13,63,105], и степень удаления от точных МП-оценок в литературе не исследована.

По той же схеме строятся оценки параметров модели (0.0.23) (см. JI. Льюнг (1987) [195]).

Идентифицируемость моделей типа рекуррентного МНК для интересующего нас случая ошибок в измерениях исследовалась многими авторами, см. Дж. Агуеро и Г. Грэ-хэм (2006) [131]. Условия имеют вид ограничений на порядки передаточных функций разных подсистем модели и на взаимное расположение нулей и полюсов передаточных функций подсистем.

Подчеркнем, что принципиальным ограничением для подобного рода методов рекуррентного МНК является требование управляемости модельного уравнения и большой длины интервала наблюдения (в сравнении с длительностью переходных процессов), Х.-Ф.Чен (2008) [144].

Расширенный фильтр Калмана. Алгоритм РМНК (0.0.29), (0.0.30), (0.0.31) может быть интерпретирован [137, с. 51] как фильтр Калмана для процесса

0.0.40)

Это наводит на мысль применить уравнения (0.0.40) для подстройки параметров фильтра Калмана. Такой метод оценки параметров называют расширенным фильтром Калмана. Исследованиям в этом направлении посвящено много работ, см. [8,193, 246] и др. Связь одного из вариантов фильтра Калмана с задачей НКПС (STLS) обсуждап* aN+1 y[N] = М]тв* + e[N] лась Б. Де Муром (1993) [214]. Отмечается слабая устойчивость расширенного фильтра Калмана к ошибкам начального приближения [206]. Это можно объяснить избыточностью расширенного фильтра. По целевой функции он равносилен вариационным методам (И. Н. Белоглазов (1983) [8]), но введение переменных состояния приводит к избыточности структуры модели.

Метод подпространств и аппроксимирующая идентификация. Многообещающим выглядит подход с определением порядка модели из данных измерений по методу подпространств (subspace identification), см. П.Ван Овершее, Б.Де Мур (1996) [259]. Модель записывается в нормальной форме 1-го порядка Ах[к + 1] = х[к] + Ви[к], у[к] = Сх[к] + Du[k] и идентифицируется в два этапа: 1) строится состоятельная оценка матрицы наблюдаемости и по этой матрице определяется эмпирический порядок модели и матрицы А, С; 2) определяются методом наименьших квадратов матрицы В, D . При таком подходе модель изначально имеет аппроксимирующий характер. Вопросы построения аппроксимирующих динамических моделей освещены в монографии А. Антуласа (2005) [132]. Основные теоретические результаты в этой области опираются на работу В. М. Адамяна, Д. 3. Арова, М. Г. Крейна (1971) [1]. См. также подробное изложение вопроса в статье К. Гловера (1984) [161]. Тесная связь задачи аппроксимирующей идентификации с вариационной постановкой подчеркивалась Б.Де Муром (1993) [214], А. О. Егоршиным (2004) (кратко) [45].

Завершая краткий обзор методов идентификации линейных систем, отметим, что наиболее интересные, на наш взгляд, работы в этой области в течение двух последних десятилетий за рубежом были сделаны сотрудниками Католического университета г. Лёвена (Бельгия) — профессорами Бартом Де Муром, Джусом Вандевалле, Сабиной Ван Хуффель с коллегами и учениками (http://www.kuleuven.be/optec/people). В свою очередь, профессор Б.Де Мур начинал научную работу под руководством известнейших специалистов в области обработки данных — профессоров Т. Кайлата (Стэнфорд, США) и Л. Льюнга (Линкопенг, Швеция).

Класс систем. В работе исследуются задачи идентификации линейных динамических (разностных) система с постоянными коэффициентами. Такие объекты являются наиболее простыми представителями класса динамических систем, если определить динамические системы через условие зависимости текущего состояния системы от состояния в предыдущий момент времени и от внешнего воздействия (заметим, что другое определение динамической системы — как абстрактного отображения "вход-выход" — восходящее к аксиоматике Я. Виллемса (1989) [19], используется в работах по аксиоматической теории идентификации В.А.Русанова, А. В.Данеева, А. В.Лакеева, Ю.В.Линке (1994, 2001, 2011 и др.) [28,29,108]). Выбор простейших систем обусловлен желанием сосредоточиться на исследовании наилучших теоретически достижимых границ эффективности методов идентификации. С другой стороны, также можно вспомнить известное полемичное высказывание Р. Калмана (1983) [175] (хотя и не бесспорное), что общая теория начинается там, где существует линейное приближение*). Анализ линейных приближений в 3-й главе позволил получить сравнительные характеристики нелинейных орторегрессионных методов, а в 5-й главе позволил получить гарантированные оценки точности идентификации и ввести общий (не привязанный к методу) априорный количественный критерий идентифицируемости линейных разностных уравнений. Наконец, далеко не все еще изучено в линейном приближении, а без построения крепкого фундамента нет надежды на прочность здания "теории идентификации". "Much work remains to be done", как писали К. Острем и П. Эйкхофф после Пражского Симпозиума IFAC еще сорок лет назад, см. обзор JI. Льюнга (1996) [196].

Акцент в исследовании делается на случае малого числа параметров и конечных траекторий. Поэтому вне рассмотрения остаются интереснейшие области, связанные с непараметрическими моделями (В. Я. Катковник (1985) [50], С.А.Апарцин (1999) [6] и др.) и частотными методами (А. Г. Александров, Ю. Ф. Орлов (2005) [4,95], Ю. Ф. Орлов (2006) [95] и др.). Мы отдаем себе отчет, что при таком выборе объекта исследования мы оказываемся на противоположном полюсе "планеты Идентификация" по сравнению с работами, в которых основные усилия направлены на "расширение традиционных классов моделей, используемых для описания реальных объектов" (А.В.Данеев, В. А. Русанов (1994, 2001) [28,29] и др.). Нас утешает мысль, что антиподы хотя и ходят вверх ногами и говорят на разных языках, но почва под ногами у всех одна, и небо над головой одно, хотя бы и созерцали они разные созвездия.

Аналитический аппарат. Существеннейшую роль в теории линейных систем играет аналитический аппарат алгебры многочленных и рациональных матриц. Условия управляемости, наблюдаемости, идентифицируемости во многих случаях наиболее просто получаются и исследуются на языке многочленных описаний. Центральным моментом является понимание, в каком смысле многочленное описание и его преобразования соответствуют линейной системе и ее преобразованиям. Начиная с работ X. Розенброка (1970) [237] (см. также монографии В. Воловича (1974) [268], Е. М. Смагиной (1990) [111]), переход к многочленным описаниям основывался на преобразовании Лапласа или z -преобразовании на (полу-) бесконечном интервале наблюдения, как правило, с полаганием неизвестных начальных условий процессов равными нулю. При всей простоте, такой подход налагает ограничение на пространство, в котором определяются процессы (траектории) исследуемой системы. Условием корректности перехода к многочленным описаниям здесь является наличие измерений траекторий длиной много больше характерного времени переходного процесса системы, чтобы ослабить влияние неизвестных начальных условий (Л. Льюнг (1987) [195], Х.-Ф. Чен (2008) [144]).

Спустя десятилетие после работ X. Розенброка был развит альтернативный подход к построению многочленных описаний — без использования преобразования Лапласа или

Под это "определение" общей теории не подпадают, например, методы теории графов и много других разделов теории дискретной оптимизации, того, что за рубежом принято называть "computer science". его дискретных аналогов. Этот подход для дискретных систем был связан с введением формального символа сдвига s в пространстве бесконечных или полубесконечных числовых последовательностей, моделирующих сигналы входа и выхода исследуемой системы, см. Х.Бломберг и Р. Илинен (1983), Я.Виллемс (1989) [19,141]. Вместо интегрального преобразования соответствие устанавливалось формальной заменой символа. Такой способ можно охарактеризовать как переход от пространства траекторий (процессов) линейной системы к соответствующим им нулевым функционалам в сопряженном пространстве [118]. При этом подходе выделялись естественные дуальные понятия поведения и описания системы — как множеств всех траекторий (процессов) системы и как множество всех равносильных (в том числе многочленных) описаний в сопряженном пространстве для данного поведения. За рубежом Я. Виллемсом (1989) [19] был введен термин behavioural approach — исследование и построение описаний систем исходя из предъявленного поведения.

В обоих способах перехода к многочленным описаниям (X. Розенброка и X. Бломбер-га) существенным условием является актуальная бесконечность траектории (процесса) системы, поэтому для исследования систем на конечных интервалах наблюдения этих двух подходов недостаточно.

Условия идентифицируемости. Условиям параметрической идентифицируемости посвящено много работ, см., например, обзор В.Нгуена, Э.Вуда (1982) [216], монографию Э.Уолтера (1982) [263]. Эти условия разделяются на два основных вида: 1) полноты наблюдений [100,244]; 2) идентифицируемости по наилучшим (полным) наблюдениям. Первые иногда называют собственно условиями идентифицируемости, а вторые — условиями различимости (distinguishability), см. С.Важда, X. Рабиц (1988, 1994) [251,254]. Заметим, что условия различимости принципиально не зависят ни от способа наблюдений, ни от алгоритма или метода идентификации, а зависят только от вида параметризации и структуры системы. В отечественной литературе первыми, кто подчеркнул важность формулирования условий идентифицируемости безотносительно конкретного метода или алгоритма, были А. В.Данеев и В.А.Русанов (1994) [28]; см. также две статьи автора диссертации (1994) [67,198]. В работе 2001 г. [29] А. В.Данеев и В.А.Русанов исследовали вопросы идентифицируемости нестационарных динамических систем в нормальной форме 1-го порядка в бесконечномерном банаховом пространстве. Особняком стоит очень интересная статья А. В. Гнедина и А. А. Яралова (1988) [25], в которой исследовались структурные аспекты различимости для стационарных систем в нормальной форме 1-го порядка.

В системах из одного уравнения содержательным является только условие полноты наблюдений, а условие различимости, как правило, выглядит тривиально. В системах из нескольких уравнений (например, описывающих обратные связи или линейные ограничения на вид процессов) на первое место по сложности выходят условия различимости. Чтобы получить условия различимости, используется метод равносильных преобразований, впервые примененный К. Гловером и Я. Виллемсом (1974) для исследования идентифицируемости систем в нормальной форме 1-го порядка [160]. Этот метод систематически использовал Э.Уолтер (1982) [263]. С. Важда и Х.Рабиц (1989) [252, 253] предложили для него название "подход на основе изоморфизма состояний" (state isomorphism approach) или "подход на основе преобразования подобия" (similarity transformation approach), применяя его в том числе и для нелинейных систем. Мы придерживаемся более общего названия "метод равносильных преобразований", ввиду того, что варианты, предложенные С. Важдой, относятся к равносильным преобразованиям линейных или линеаризованных систем только в нормальной форме 1-го порядка.

Суть метода равносильных преобразований состоит в нахождении простой группы преобразований которыми можно было бы связать все равносильные системы исследуемого параметрического семейства {Se,9 Е в} . Другими словами, наличие группы Ф означает, что если (и только если) две системы равносильны: S^ ~ Sg — то всегда найдется преобразование ф = в) € Ф , которое их связывает: = фБв ■ При таком подходе условие идентифицируемости (различимости) приобретает вид:

3 ф е Ф = фБв £ = в.

Для систем в нормальной форме 1-го порядка х[к + 1] = Ах[к) + Ви[к], у[к] = Сх[к], к е IjV метод равносильных преобразований приводит к следующему условию идентифицируемости:

Az = PAeP-\ В^ = РВд, Q = СвР~1) £ = 0.

Результаты исследования следствий этого условия для разных видов зависимости матриц от параметра 0 и разных системных структур отражены в монографии Э. Уолтера (1982) [263]; новые результаты получены Т. В. Авдеенко (2001) [2]. На этом пути в ряде частных случаев удается получить конструктивные условия идентифицируемости в виде ограничений на ранги специальных подматриц. Для стохастических систем вида = ^х[к]+е[к], где A(s), B(s) — матричные многочлены с определителем ненулевой степени, е[к] — случайные возмущения, s — символ сдвига, Б. Г. Ворчик (1985) [22] получил условие идентифицируемости в виде

А^з),В^з)) = ф(з)(Ае(з),Вв(з)) Z = d, (0.0.41) где ф(з) — многочленная матрица. Условие Б. Г. Ворчика (0.0.41) из-за наличия многочленных матриц, вообще говоря, неконструктивно в том смысле, что его разрешимость не может быть проверена полиномиальным алгоритмом. Поэтому оно обычно используется для матриц небольшой размерности.

Для систем, описываемых линейными алгебраическими уравнениями С^-г = 0 условия идентифицируемости принимают вид

С^ = Рвв £ = 9.

Если системы динамические, то нужно учесть клеточную теплицевость матрицы Св ■ Для этого случая новые конструктивные результаты по условиям идентифицируемости, наиболее близкие к необходимым и достаточным, были получены автором диссертации (глава 2).

Задачи исследования

Рассматривая общую картину развития методов идентификации, можно обнаружить много белых пятен и плохо прорисованных областей, даже в случае простейших линейных динамических систем. Как и в любой другой области научного исследования, углубление нередко приводит к появлению новых горизонтов и новых перспектив, подобно картинам фракталов, которые можно увеличивать до бесконечности, не добираясь до конечной простоты. Перечислим основные задачи, известные из литературы и впервые решаемые в диссертации:

Корректное обоснование перехода к многочленным описаниям линейной динамической системы в пространствах траекторий конечной длины.

Отказ от условий устойчивости и управляемости, которые теряют актуальность при конечных длинах наблюдаемых процессов (траекторий входа и выхода). Обоснование всех теоретических результатов без условий устойчивости и управляемости.

Исследование условий идентифицируемости параметров многомерных детерминированных линейных динамических систем с целью получить конструктивные условия в виде ограничений на ранги.

Исследование условий идентифицируемости параметров многомерных линейных динамических систем со стохастическими возмущениями разного типа; рассмотрение этих систем с общих позиций; получение в ряде содержательных частных случаев конструктивных условий идентифицируемости в виде ограничений на ранги.

Получение условий состоятельности вариационных оценок параметров по измерениям конечных отрезков траекторий (процессов) с аддитивными возмущениями.

Исследование статистических свойств состоятельных (вариационных) оценок параметров линейных систем по измерениям траекторий конечной длины; вычисление информационных матриц, характеризующих наилучшие достижимые границы асимптотической эффективности оценок; поиск распределений наблюдений, для которых вариационные методы являются асимптотически эффективными.

Получение гарантированных границ чувствительности оценок параметров к возмущениям при конечном числе наблюдений.

Построение новых априорных и апостериорных количественных показателей идентифицируемости параметров линейных динамических систем, на основе полученных констант чувствительности вариационных оценок к возмущениям.

Применение вариационных методов идентификации к задачам анализа временных рядов с трендами; получение условий идентифицируемости как слагаемых процессов ряда и тренда, так и параметров описывающих их динамических уравнений.

Общая характеристика и основные результаты диссертации

Научная новизна диссертационного исследования определяется следующими результатами, полученными автором:

1. Впервые предложен и теоретически обоснован способ корректного построения многочленных матричных описаний линейных стационарных систем с траекториями конечной длины; этот результат позволил применить аналитическую технику теории многочленных матриц для исследования свойств систем с конечными траекториями и получить большое число новых результатов диссертации.

2. Получены достаточные конструктивные условия идентифицируемости (различимости) параметров многомерных линейных динамических систем в виде ограничений на ранги подматриц, из известных в литературе наиболее близкие к необходимым. Получены общие условия идентифицируемости параметров многомерных линейных динамических систем со стохастическими возмущениями разного типа; на основе анализа сложности условий идентифицируемости предложена новая классификация стохастических динамических систем, отличающаяся от известной классификации Л. Льюнга; ^

3. Определен новый класс многомерных вариационных оценок параметров (введением целевых функций с ядрами в виде суммы проекторов), включающий в себя все основные типы орторегрессионных оценок, встречающиеся в литературе; впервые доказана состоятельность для всего класса вариационных оценок, исследованы асимптотические статистические свойства; впервые вычислены информационные матрицы для вариационной постановки задачи идентификации и описаны условия, при которых вариационные методы (ВМ, вТЬБ, ЭТЬБ) являются асимптотически эффективными.

4. Предложен новый общий подход к сравнению оценок, основанный на линеаризации целевой функции и понятии линейного приближения оценки в случае малых амплитуд возмущений; на основании этого подхода показано, что оценки вариационного метода (ВМ, СТЬв, БТЬБ) при малых возмущениях обладают наименьшей дисперсией среди всех орторегрессионных оценок.

5. Исследована устойчивость вариационных оценок к возмущениям при конечном числе наблюдений; получены оценки устойчивости, наилучшие в пределе малых возмущений; на этой основе предложены новые способы вычисления априорных и апостериорных количественных показателей идентифицируемости параметров линейных динамических систем, в частности, решена проблема К. Ланцоша (1956) анализа устойчивости в задаче идентификации показателей экспонент.

6. На основе вариационного подхода предложено решение проблемы И. И. Перельмана (1981) большого числа локальных экстремумов при идентификации параметров динамической системы по измерениям траекторий конечной длины; показано, что всегда существуют равносильные по состоятельности вариационные постановки задач идентификации, при которых число локальных экстремумов целевых функций не превосходит размерности вектора идентифицируемых параметров.

7. Введено новое понятие суммарной (дизъюнктивной) системы; описаны способы построения и свойства суммарных систем; показано, что такие системы естественным образом возникают при вариационном подходе к задачам анализа временных рядов с трендами, а также при вариационной идентификации линейных систем при наличии в измерениях неопределенных детерминированных составляющих из заданных линейных многообразий; впервые получены условия совместной идентифицируемости процессов (траекторий) и параметров уравнений рядов и уравнений трендов по наблюдениям суммарных процессов.

Основные результаты диссертации докладывались на научных конфренци-ях и семинарах: Семинар лаборатории № 7 им. Я. 3. Цыпкина «Адаптивные и робастные системы управления» Института проблем управления РАН (рук. д. т.н. Б.Т. Поляк); семинары Института математики им. С. Л. Соболева СО РАН: Общеинститутский математический семинар (рук. акад. Ю. Г. Решетняк), семинар «Математика в приложениях» (рук. акад. С.К.Годунов), семинар «Избранные вопросы математического анализа» (рук. д.ф.-м.н., проф. Г. В. Демиденко); 2-я Международная школа-семинар «Нелинейный анализ и экстремальные задачи» (Иркутск, 2010); Международная конференция «Вычислительная математика, дифференциальные уравнения, информационные технологии» (Улан-Удэ, 2009); Международная конференция «Идентификация систем и задачи управления» SICPRO (Москва, 2000, 2004, 2006, 2009); Конференция «Математика в современном мире» (Новосибирск, 2007); Международная конференция «А.Н.Тихонов и современная математика» (Москва, 2006); Международная конференция по проблемам управления МКПУ III (Москва, 2006); Международная конференция IASTED по автоматизации, управлению и информационным технологиям АС1Т'02 (Новосибирск, 2002); Международная конференция «Математика в приложениях» (Новосибирск 1999); III Сибирский конгресс по прикладной и индустриальной математике (ИНПРИМ-98) (Новосибирск, 1998); Сибирская конференция по прикладной и индустриальной математике памяти JI. В. Канторовича (Новосибирск, 1994); X Международная конференция «Проблемы теоретической кибернетики» (Саратов, 1993); IMACS/IFAC International Workshop on Methods and Software for Automatic Control Systems (Иркутск, 1991); 5-е Всесоюзное совещание «Методы теории идентификации в задачах измерительной техники и метрологии» (Новосибирск, 1989); X Совещание по проблемам управления (Алма-Ата, 1986).

Результаты диссертации опубликованы в 30 печатных работах, в том числе в 13 статьях в журналах, рекомендованных ВАК для публикации результатов докторских диссертаций. Из совместных докладов на конференциях в диссертацию включены результаты, полученные лично автором и не нарушающие авторских прав других лиц.

Диссертация состоит из 6 глав с приложениями, введения, заключения.

В 1-й главе исследуются вопросы алгебры линейных систем с конечными траекториями. Центральную роль в теории стационарных линейных систем играет аналитический аппарат алгебры многочленных и рациональных матриц. Главным моментом является понимание, в каком смысле многочленное описание и его преобразования соответствуют линейной системе и ее преобразованиям. Начиная с работ X. Розенброка (1970) (см. также монографии В. Воловича (1974), Е. М. Смагиной (1990)), переход к многочленным описаниям основывался на преобразовании П. Лапласа или Z -преобразовании на полубесконечном интервале наблюдения, как правило, с полаганием неизвестных начальных условий процессов равными нулю. Это налагает ограничение на пространство, в котором определяются процессы в исследуемой системе. Длина интервала наблюдения должна быть много больше характерного времени переходного процесса системы, чтобы ослабить влияние неизвестных начальных условий (Л.Льюнг (1991), Х.-Ф. Чен (2008)).

В 1980-х гг. получил развитие альтернативный подход к построению многочленных описаний. Вместо Z-преобразования для дискретных систем вводился формальный символа сдвига s в пространстве бесконечных или полубесконечных числовых последовательностей, моделирующих процессы в исследуемой системе. Возникающие при этом многочленные матрицы от символа s сопоставляются нулевым функционалам в пространстве, сопряженном к пространству траекторий (процессов) линейной системы

X. Бломберг, Р.Илинен (1983), Я.Виллемс (1989)).

В обоих способах перехода к многочленным описаниям (X. Розенброка и X. Блом-берга) существенной является актуальная бесконечность времени наблюдения процессов системы. Для исследования систем с конечными длинами траекторий в 1-й главе обосновывается новый способ перехода к многочленным описаниям — через установление соответствия между группой 5 равносильных преобразований системы и группой левых умножений ассоциированных с системой многочленных матриц. Для описания группы 5 вводятся новые понятия: расширенной клеточно-теплицевой матрицы системы и множества продолжимых траекторий. Понятие продолжимой траектории позволило сопрячь полученные в диссертации результаты для конечно-траекторных систем с известными в литературе результатами для систем с актуально бесконечными интервалами наблюдения.

Результаты 1-й главы используются на протяжении всей диссертации. Они опубликованы автором в журналах "Труды института математики СО РАН" (1994) [67], "Автоматика и телемеханика" (1996) [68], "Дифференциальные уравнения" (2003) [73].

Во 2-й главе исследуется идентифицируемость параметров многомерных линейных динамических систем — сначала без возмущений, а затем со стохастическими возмущениями. Под идентифицируемостью детерминированной системы (без возмущений) понимается одноэлементность множества допустимых значений параметра при заданном множестве всех решений системы. Сначала рассматриваются вопросы так называемой структурной идентифицируемости, т. е. аспекты, связанные с влиянием расположения зависимых от векторного параметра элементов матрицы системы на однозначность восстановления параметра по многообразию решений системы. Отдельно изучаются системы нулевого порядка, используемые в эконометрике. Для них доказаны новые теоремы: 1) о минимальном количестве фиксированных элементов, необходимом для сохранения максимального ранга матрицы системы на всем множестве значений параметров (теорема 2.2.4); 2) о минимальном количестве фиксированных элементов, необходимом для обеспечения структурной идентифицируемости на всем множестве значений параметров (теорема 2.2.5).

Для динамических систем (р > 0) получены новые самые слабые из известных достаточные условия идентифицируемости в виде ограничений на ранги подматриц малой расширенной матрицы системы (теорема 2.3.1). Описан широкий класс локально-свободных параметризаций, для которых полученные в диссертации ранговые условия идентифицируемости становятся необходимыми и достаточными (теорема 2.3.2).

Отдельно исследованы системы с полином-операторными параметризациями, у которых вместо оператора сдвига я используется заданный многочлен от оператора сдвига. Это может быть многочлен любого из разностных аналогов дифференцирования или их степеней, например </?(й) = [(5 — 1) /Н\р. Впервые показано, что для таких систем сохранят силу все результаты по идентифицируемости, полученные для случая (р(в) = я. Также показано, что благодаря применяемой технике доказательства все полученные в диссертации результаты по идентифицируемости без существенных изменений переносятся на системы с непрерывным временем, когда символ s понимается как оператор дифференцирования.

Далее во 2-й главе исследуется идентифицируемость линейных систем со стохастическими возмущениями различных типов. В стохастическом случае под идентифицируемостью понимается единственность восстановления параметра по заданному вероятностному распределению наблюдаемых переменных системы. Получен новый критерий идентифицируемости в виде неразрешимости матричного уравнения специального вида. Этот критерий при условии нормальности распределений становится необходимым и достаточным (теорема 2.5.1). Описаны частные случаи, при которых полученный критерий совпадает с ранговыми условиями идентифицируемости детерминированных систем. Показано, что на основании сравнения сложности условий идентифицируемости для разных частных случаев структуры возмущений можно предложить новую классификацию стохастических динамических систем, отличающуюся от известной классификации JI. Льюнга.

Результаты 2-й главы опубликованы в журналах "Siberian advances in mathematics" (1994) [198], "Известия РАН ТСУ" (2002) [72], "Дифференциальные уравнения" (2003) [73], "Сибирский журнал индустриальной математики" (2003) [74], и Трудах международных конференций CIMAF'99, CIMAF'01 (Гавана, Куба) [199, 200], SICPRO'OO (Москва) [71], IASTED'02 (Anaheim, Calgary, Zurich) [201].

В 3-й главе определяется новый класс оценок — вариационные оценки, включающий в себя как классические оценки типа ортогональной регрессии К. Пирсона, так и оценки вариационного метода А. О. Егоршина (ВИ, ВМ) и близких к нему методов GTLS, STLS. Показано, что выбором той или иной структуры матрицы ограничений в вариационных целевых функциях можно получить все основные типы орторегрессион-ных оценок, встречающиея в литературе. Центральным моментом при таком обобщении' является рассмотрение клеточных матриц, соответствующих многомерным системам из нескольких уравнений (см., например, на с. 15 замечание о принадлежности задачи К.Пирсона к классу вариационных). Все аналитические выкладки диссертации учитывают многомерный случай. Можно сказать, что рассмотрение многомерного случая не есть прихоть, усложняющая изложение, а совершенно необходимый шаг, позволяющий с общих позиций рассмотреть все орторегрессионные методы и получить новые теоремы.

Первым теоретическим результатом 3-й главы является теорема 3.4.1 о состоятельности вариационных оценок при условии полноты наблюдений. Эта теорема, опубликованная автором диссертации в 1997г. [70], обобщает результат о состоятельности М.Аоки и П. Ю (1970) [133] для скалярных систем из одного уравнения и Л. Глэзера (1982) [158] и У. Фуллера (1987) [154] для многомерных систем нулевого порядка. Близкое к теореме 3.4.1 утверждение о состоятельности оценок НКПС (STLS) было получено позже за рубежом в статье А. Кукуша, И. Марковского и С. Ван Хуффель (2005) [180].

Для вариационных оценок впервые получено условие полноты наблюдений, при котором идентифицируемость в смысле результатов главы 2 гарантирует состоятельность. В теореме 3.2.1 и ее следствии установлена алгебраическая связь между условием полноты при нулевых возмущениях и условием идентифицируемости (различимости) из главы 2.

Состоятельность вариационных оценок доказывается без предположений об устойчивости или управляемости идентифицируемой системы.

Вторым главным теоретическим результатом 3-ей главы является описание нового общего подхода к сравнению оценок, основанного на линеаризации целевой функции и понятии линейного приближения оценки в случае малых амплитуд возмущений. В качестве примера были построены линейные приближения для оценок ОР, ОРМ и ВМ. Для линейных приближений показано, что оценки ВМ в широком ряде случаев имеют меньшую дисперсию за счет наиболее полного использования информации о линейных связях между наблюдаемыми переменными, чем оценки ОР и ОРМ (теоремы 3.5.1, 3.5.2).

Третьим результатом главы является решение на основе вариационного подхода проблемы локальных экстремумов, поставленной И. И. Перельманом (1981) [98]. Суть проблемы в том, что при идентификации прямыми методами (см. выше) на конечных выборках наблюдений число локальных экстремумов растет вместе с длиной выборки. В диссертации показано, что при вариационной постановке задачи идентификации число локальных экстремумов целевой функции не превосходит размерности вектора идентифицируемых параметров независимо от длины выборки. Для обоснования этого результата вводится новое понятие равносильности по состоятельности: два метода получения оценок равносильны по состоятельности, если из состоятельности одного метода следует состоятельность другого и наоборот. Доказано утверждение 3.4.1 о равносильности по состоятельности разных видов орторегрессионных оценок в задаче вариационной идентификации параметров динамической системы. Как следствие, доказана возможность при исследовании существования состоятельного решения той или иной задачи идентификации наиболее сложные в вычислительном отношении вариационные целевые функции можно заменить более простыми орторегрессионными целевыми функциями. Показано, что при вариационной постановке задачи идентификации состоятельные оценки параметров могут быть получены по самой простой орторегрессион-ной целевой функции, число экстремумов которой не превосходит размерности вектора идентифицируемых параметров.

Результаты 3-й главы опубликованы в журналах "Известия РАН ТСУ" (1997, 2009) [70,83], "Автоматика и телемеханика" (2005) [77], электронном журнале "Дифференциальные уравнения и процессы управления" (2005) [76], в Сборнике трудов Российской ассоциации математического програмирования "Оптимизация, управление, интеллект" (1997) [69], в Трудах международной конференции SICPRO'04 (Москва) [75].

В 4-й главе исследованы асимптотические распределения вариационных оценок. Впервые получены выражения для асимптотических дисперсий многомерных оценок

ВМ, ОР, ОРМ (теоремы 4.1.2, 4.1.3) параметров динамических систем порядка выше нуля (системы нулевого порядка наиболее полно были исследованы У. Фуллером (1987) [154]). Впервые вычислена информационная матрица в многомерной задаче вариационной идентификации и исследована асимптотическая эффективность оценок. Впервые показано, что оценки ВМ являются асимптотически эффективными (т. е. их дисперсия сопадает с нижней границей в информационном неравенстве Крамера—Pao) в предельном случае {в/о)2 —> оо, где (в/а)2 есть отношение дисперсии распределения незашумленных процессов (траекторий) системы к дисперсии шумов наблюдений (теорема 4.4.2). Отсюда следует, что вариационный метод идентификации (типа А. О. Егоршина, GTLS или STLS) статистически оптимален в условиях наибольшей априорной неопределенности истинных процессов в идентифицируемой системе. Этот оригинальный результат позволяет по-новому, с точки зрения математической статистики, осмыслить идеи, лежащие в основе вариационных методов оценивания.

Показано, что ряд результатов из классической монографии У. Фуллера (1987) [154] получается как следствие теорем главы 4.

Результаты 4-й главы опубликованы в "Сибирском журнале индустриальной математики" (2005) [78] с публикацией перевода этой статьи издательством "Шпрингер" (2007) [202], в электронном журнале "Дифференциальные уравнения и процессы управления" (2005) [76], в журнале "Известия РАН ТСУ" (2009) [83], в Сборнике трудов Российской ассоциации математического програмирования "Оптимизация, управление, интеллект" (1997) [69].

В 5-й главе исследуется устойчивость вариационных оценок к малым возмущениям при конечном числе наблюдений. Оценки рассматриваются как неявные функции наблюдений, определяемые из условия равенства нулю градиента целевой функции. Вычислены производные функций оценок ОР, ОРМ и ВМ по наблюдениям и впервые построены матрицы чувствительности, которые описывают эллипсоиды разброса оценок при возмущениях в наблюдениях из малого шара с центром в истинной точке (теорема 5.1.1). Вычислено разложение неявной функции оценки ВМ (наиболее сложной из всех орторегрессионных оценок) в ряд Тейлора до квадратичного слагаемого по малым возмущениям в наблюдениях траекторий. Впервые получена оценка сверху для остаточного члена формулы Тейлора (теорема 5.1.2). Как следствие, впервые даны гарантированные априорные оценки сверху для ошибок идентификации коэффициентов линейных обыкновенных разностных уравнений (следствие теоремы 5.1.2).

Для установления связи полученных показателей локальной устойчивости с асимптотическими свойствами оценок были вычислены значения матриц дисперсий оценок ВМ, ОР, ОРМ в пределе малых возмущений (теорема 4.3.1). Показано, что предельные значения матриц дисперсий совпадают с обратными матрицами чувствительности (теорема 5.2.1). На основании матриц чувствительности вариационных оценок предложены новые способы вычисления априорных и апостериорных количественных показателей идентифицируемости коэффициентов матричных линейных разностных уравнений.

Применение новых априорных показателей идентифицируемости демонстрируется на примере К. Ланцоша (1956) [184] задачи восстановления показателей экспонент (раздел 5.3). К. Ланцошом было обнаружено, что при наличии ошибок округления в третьем разряде измерений суммы трех затухающих экспонент (относительная погрешность около 0.3%) по измерениям 24 точек невозможно восстановить ни число экспонент, ни значения их показателей. Расчет априорных показателей идентифицируемости предлагаемым в диссертации методом в примере К. Ланцоша дает теоретическое подтверждение этого отрицательного результата; для восстановления экспонент оказывается необходимым уровень погрешности измерений не выше 0.01% (округление в пятом разряде).

Результаты 5-й главы опубликованы в журнале "Дифференциальные уравнения и процессы управления" (2005) [76] (частично), в Трудах международной конференции БГСРШЭ'ОЭ (Москва) [84], в Трудах международной конференции «Вычислительная математика, дифференциальные уравнения, информационные технологии» (Улан-Удэ, 2009) [85].

В 6-й главе исследуются суммарные (дизъюнктивные) системы. Суммарной системой называется система, многообразие решений которой является суммой многообразий решений двух других линейных систем. Понятие суммарной системы вводится впервые. Показано, что такого рода системы естественным образом возникают при вариационном подходе к задачам анализа временных рядов с трендами, а также при вариационной идентификации линейных систем при наличии в измерениях неопределенных детерминированных составляющих из заданных линейных многообразий. Такими детерминированными составляющими могут быть решения другой линейной системы, как с известными параметрами, так и с параметрами, подлежащими идентификации наряду с параметрами основной системы.

Описаны способы построения суммарных систем (теорема 6.1.2). Получены условия нулевого пересечения слагаемых многообразий динамических порцессов в терминах уравнений этих многообразий; по сути это условия идентифицируемости слагаемых процессов по наблюдениям сумм (теорема 6.1.3). Получены формулы идентификации слагаемых процессов по измерениям сумм с аддитивными возмущениями (теоремы 6.2.1, 6.2.2 и следствие). В ряде содержательных случаев получены необходимые и достаточные критерии идентифицируемости как параметров суммарной системы, так и параметров слагаемых по наблюдениям сумм с аддитивными возмущениями (теоремы 6.3.1, 6.3.2). Получен критерий управляемости суммарных систем (теоремы 6.1.4, 6.1.5, 6.1.6). Показано, что в большинстве практических случаев суммарные системы неуправляемы. Это накладывает ограничение на классы методов, которые применимы для идентификации параметров суммарных систем; вариационные методы не требуют условия управляемости и поэтому могут быть применены.

Результаты 6-й главы опубликованы в журналах "Автоматика и телемеханика" (2008) [81,82], "Известия РАН ТСУ" (2009) [83], "Сибирский журнал индустриальной математики" (2010) [86], в электронном журнале "Дифференциальные уравнения и процессы управления" (2005) [76], в Трудах международной конференции SICPRO'06 (Москва) [79].

В приложениях ко главам приведены вспомогательные утверждения, доказательства теорем и примеры расчетов. Ряд основных теоретических результатов диссертации подтверждаются расчетами, приводятся тексты программ на языке открытой вычислительной среды Scilab [5].

Список публикаций автора по теме диссертации

Статьи в журналах

1. LomovA. A. Correct Parametrizations of Linear Models // Siberian Adv. in Math. 1994. V.4. P. 95-113.

2. Ломов А. А. Минимальные описания стационарных линейных моделей // Труды Института математики СО РАН. Т. 28, Модели и методы оптимизации. С. 91-117. Новосибирск: ИМ СО РАН, 1994.

3. Ломов А. А. О предельном значении передаточной функции матричного линейного дифференциального уравнения на бесконечности // Автоматика и телемеханика. 1996. №12. С. 25-30.

4. Ломов А. А. Идентификация линейных динамических систем по коротким участкам переходных процессов при аддитивных измерительных возмущениях // Известия РАН ТСУ. 1997. №3. С. 20-26.

5. Ломов А. А. Параметрическая идентифицируемость линейных стохастических систем по наблюдениям коротких отрезков траекторий // Известия РАН ТСУ. 2002. №2. С. 53-58.

6. Ломов А. А. Условия различимости стационарных линейных систем // Дифферент уравнения. 2003. Т. 39. №2. С. 261-266.

7. Ломов А. А. О различимости стационарных линейных систем с коэффициентами, зависящими от параметра // Сибирский журнал индустриальной математики. 2003. Т. 6. №4(16). С. 60-66.

8. Ломов А. А. Орторегрессионные методы оценивания параметров и задачи отделения трендов в линейных системах // [Электронный ресурс]: Дифференциальные уравнения и процессы управления. 2005. 2. С. 1-86: http: / / www. math, spbu.ru/diffjournal/j / pdf/lomov.pdf

9. Ломов А. А. Сравнение методов оценивания параметров линейных динамических систем по измерениям коротких участков переходных процессов / / Автоматика и телемеханика. 2005. №3. С. 39-47.

10. Ломов А. А. Орторегрессионные оценки параметров систем линейных разностных уравнений // Сибирский журнал индустриальной математики. 2005. Т. 8. №3(23). С.102-119.

11. Ломов А. А. Восстановление сигналов в линейных системах с трендами // Автоматика и телемеханика. 2008. №7. С. 29-36.

12. Ломов А. А. Восстановление сигналов в линейных системах с трендами (II) // Автоматика и телемеханика. 2008. №11. С. 82-93.

13. Ломов А. А. Оценка трендов и идентификация динамики временных рядов на коротких интервалах наблюдения // Известия РАН ТСУ. 2009. №1. С. 25-37.

14. Ломов А. А. Управляемость суммарных линейных систем // Сибирский журнал индустриальной математики. 2010. Т. XIII. №2(42). С. 79-84.

15. Ломов A.A. О локальной устойчивости в задаче идентификации коэффициентов линейного разностного уравнения // Вестник НГУ (Серия: математика, механика, информатика). 2010. Т. 10, вып. 4. С. 81-103.

16. Ломов A.A. О количественных априорных показателях идентифицируемости коэффициентов линейных динамических систем // Известия РАН ТСУ. 2011. №1. С.3-15.

Статьи в трудах конференций

1. Egorshin А.О., Lornov A.A. Variational Identification and filtration via fast algorithms // Proc. 8-th IFAC/ IFORS Symp. on Identification and System Parameter Estimation, Beijing, China, 1988. Pergamon Press, 1988. V. 2. P. 665-671.

2. Касьянова C.H., Ломов A.A. Программный комплекс моделирования и идентификации линейных динамических систем на основе вариационного метода // Сб. «Динамика управляемых космических объектов», Красноярск, Вычислительный центр, 1990. С. 113-121.

3. Ломов A.A. Идентификация линейных динамических систем по коротким участкам переходных процессов при аддитивных измерительных возмущениях // Сборник трудов Всероссийской научной школы «Компьютерная логика, алгебра и ин-теллектное управление». Т. 3. Иркутск, 1994. С. 19-35.

4. Ломов A.A. Статистические свойства орторегрессионных методов оценивания параметров и решений систем линейных разностных уравнений // Оптимизация.

Управление. Интеллект: Тр. Российской ассоциации математического программирования. Иркутск, 1997. №2. С. 40-51.

5. Ломов A.A. Ранговые условия идентифицируемости стохастических линейных систем // 11-я Байкальская международная школа-семинар «Методы оптимизации и их приложения», Иркутск, 1998. Сборник трудов. Т. 3. С. 112-115.

6. Lomov A.A. Identifiability of ARMAX systems with short operating records // Proc.

II Symp. Automat. Control (CIMAF'99). La Habana, 1999. P. 207-221.

7. Ломов A.A. Параметрическая идентифицируемость линейных стохастических систем по наблюдениям коротких отрезков траекторий // Труды Междунар. конференции «Идентификация систем и задачи управления» SICPRO'2000. М.: ИПУ РАН, 2000. С. 1244-1251.

8. Ломов A.A. Об априорном анализе сложности алгоритмов идентификации линейных систем // «Методы оптимизации и их приложения», Труды 12-й Байкальской международной конференции. Иркутск, 2001. Т. 5. С. 101-106.

9. Lomov A.A. Stochastic Linear Systems Classification Based on Complexity of Identifiability Conditions //La Habana, III Symposio de Control Automático, 2001. P. 257265.

10. Lomov A.A. Identifiability of Time-Invariant Linear Models by Transient Signal Observations // Proceedings of the IASTED International Conference on Automation, Control, and Information Technology. Anaheim, Calgary, Zurich. Acta Press, 2002. P. 507-512.

11. Ломов A.A. О статистических свойствах оценок параметров линейных динамических систем по измерениям коротких участков переходных процессов // Труды

III Международной конференции «Идентификация систем и задачи управления» SICPRO'04. М.: ИПУ РАН, 2004. С. 209-224.

12. Ломов A.A. Задача отделения трендов в линейных системах // Труды V Международной конференции «Идентификация систем и задачи управления» SICPRO'06. М.: ИПУ РАН, 2006. С. 1980-2009.

13. Ломов А. А. О количественном априорном показателе идентифицируемости параметров линейной системы // Труды VIII Международной конференции «Идентификация систем и задачи управления» SICPRO'09. М.: ИПУ РАН, 2009. С. 479-491.

14. Ломов А. А. Априорные оценки погрешности идентификации коэффициентов линейных ОРУ // Материалы Международной конференции «Вычислительная математика, дифференциальные уравнения, информационные технологии». Улан-Удэ, 24-28 августа 2009 г. С. 236-242.

Тезисы докладов на конференциях

1. Ломов А.А. Конструктивные условия идентифицируемости линейных параметрических моделей // Тезисы доклада. IX-я Всесоюзн. конференция «Проблемы теоретической кибернетики», Волгоград, 1990.

2. Lomov A.A. The program of variational identification and filtration using fast algorithms // Abstracts. IMACS/IFAC InternationalWorkshop on Methodsand Software for Automatic Control Systems, Irkutsk, USSR, Sept. 3-5, 1991.

3. Ломов А.А. Конструктивные условия идентифицируемости линейных динамических систем // Тезисы доклада. Х-я Междунар. конференция «Проблемы теоретической кибернетики», Саратов, 1993.

4. Ломов А.А, Анализ линейных систем управления на основе специальных форм матриц // Сибирская конф. по прикладной и индустриальной математике памяти JI.B. Канторовича, Новосибирск, 1994. С. 55-57.

5. Ломов А.А. Статистические свойства орторегрессионных методов оценивания параметров и решений систем линейных разностных уравнений // 10-я Байкальская школа-семинар «Методы оптимизации и их приложения», Иркутск, 1995.

6. Ломов А.А. Стохастические линейные модели с различными типами возмущений имеют единые условия идентифицируемости // Ш-й Сибирский конгресс по прикладной и индустриальной математике (ИНПРИМ-98), Новосибирск, 1998. Секция «Обработка информации и управление техническими объектами».

7. Lomov A.A. On equivalence transformations of linear systems in connection with the identifiability problem // International Conference «Mathematics in Applications». 1999. Novosibirsk, Russia. Abstracts. P. 100-101.

8. Ломов А.А. Оценки параметров в линейных системах с аддитивными трендами // Тезисы III Международной конференции по проблемам управления. Россия, Москва, Институт проблем управления им. В.А. Трапезникова РАН, 20-22 июня 2006. Т. 1. С. 98.

9. Ломов А.А. Обратные задачи для линейных систем // Международная конференция «А. Н. Тихонов и современная математика», Москва, 19-25 июня 2006, секция 4. С. 118.

10. Ломов А.А. Суммарные линейные системы в анализе временных рядов // Конференция «Математика в современном мире», Новосибирск, 17-23 сентября 2007 г. Тезисы докладов. С. 175.

11. Lomov A.A. Terms of uniqueness in the inverse problems for disjunctive dynamical systems // 2nd International School-Seminar «Nonlinear Analysis and Extremal Problems». Irkutsk, June 28 - July 4, 2010.

Заключение

Перечислим результаты диссертационного исследования, выносимые на защиту:

1. Получены не зависящие от метода идентификации конструктивные достаточные условия идентифицируемости параметров многомерных линейных динамических детерминированных и стохастических систем, наиболее близкие к необходимым; на основе анализа сложности условий идентифицируемости предложена новая классификация стохастических систем, отличающаяся от известной классификации Л. Льюнга.

2. Описан новый класс многомерных вариационных оценок параметров линейных динамических систем, включающий в себя основные типы орторегрессионных оценок, встречающиеся в литературе. Доказана состоятельность и исследованы асимптотические свойства оценок этого класса; вычислены информационные матрицы и описаны распределения наблюдений, для которых вариационные оценки являются асимптотически эффективными.

3. Предложен общий подход к сравнению оценок, основанный на линеаризации градиента целевой функции и понятии линейного приближения оценки в случае малых амплитуд возмущений; на основании этого подхода, в частности, показано, что оценки ВМ для широкого класса систем имеют меньшую дисперсию, чем оценки ОР и ОРМ.

4. Получены константы устойчивости вариационных оценок, использующие новые верхние границы для норм 2-х производных неявных вектор-функций векторного аргумента, наилучшие в пределе малых возмущений, установлена их связь с информационными матрицами; на этой основе предложены способы вычисления априорных и апостериорных количественных показателей идентифицируемости параметров линейных динамических систем, в частности, решена проблема К.Ланцоша (1956) анализа устойчивости в задаче идентификации показателей экспонент.

5. В задачах анализа временных рядов с трендами, формулируемых в диссертации как задачи вариационной идентификации линейных систем при наличии в измеряемых процессах неопределенных детерминированных составляющих из заданных линейных многообразий, получены условия идентифицируемости как процессов ряда и тренда, так и параметров уравнений, описывающих ряд и тренд.

Выражение благодарности

Пс. 113, 9

В первую очередь хотелось бы выразить благодарность Алексею Олеговичу Егор-шину, без идей, энтузиазма, и заразительной увлеченности которого не состоялось бы начало этой работы и не сделаны бы были первые шаги, которые определили дальнейшее направление. Благодарю маму, супругу, сыновей за терпение, поддержку, любовь и сочувствие. Неоценимую заботу и помощь по оформлению рукописи и работе с библиографией мне оказывала Ольга Николаевна Чегодаева. Благодарю коллег по Институту математики им. С. Л. Соболева, с которыми я имею счастье работать; а также начальствующих, коллег и сотрудников Православной гимназии во имя преподобного Сергия Радонежского Новосибирского Академгородка, чью молитвенную поддержку я всегда ощущал в течение работы над диссертацией.

Мне бы хотелось, чтобы имена дорогих мне людей навсегда были связаны с этим скромным трудом.

9(22) мая 2011г.

1. Авдеенко T.B. О планировании модельной структуры в пространстве состояний: анализ структурной идентифицируемости // Сиб. журн. индустр. математики. 2001. Т. 4. №2. 59-72.

2. АмбарцумиаиВ.А. К вопросу о диффузном отражении света мутной средой // ДАН СССР. 1943. Т. XXXVIII. №8. С. 257-261.

3. Александров А.Г, Орлов Ю.Ф. Сравнение двух методов идентификации при неизвестных ограниченных возмущениях // Автоматика и телемеханика. 2005. № 10. С. 128-147.

4. АлексеевЕ.Р., ЧесноковаЕ.А., РудченкоЕ.А. Scilab: Решение инженерных и математических задач. М.: ALT Linux; БИНОМ. Лаборатория знаний. 2008. http://docs.altlinux.org/books/2008/altlibrary-scilab-20090409.pdf

5. АпарцинС.А. Неклассические уравнения Вольтерра 1-го рода. Новосибирск: Наука, 1999.

6. БалонинН.А. Теоремы идентифицируемости. СПб.: Политехника, 2010.

7. Белоглазое И. Н. Оптимальные совместные оценивание и идентификация в дискретных линейных системах // ДАН СССР. 1983. Т. 273. №4. С. 811-815.

8. Бердышев В.И., ПетракЛ.В. Аппроксимация функций, сжатие численной информации, приложения. Екатеринбург: Ин-т математики и механики УрО РАН, 1999.

9. Бодунов Н. А. Введение в теорию локальной параметрической идентифицируемости. С.-Петербург: Изд-во С.-Петерб. ун-та, 2006.

10. БойчукЛ.М., Чихрадзе Т.А. Сравнение моделей, получаемых по методу наименьших квадратов и по ортогональной регрессии // Автоматика. 1985. №5. С. 57-61.

11. Бокс Дою., До/сенкинсГ. Анализ временных рядов. Прогноз и управление. Вып. 1,2. М.: Мир, 1974.

12. Боровков A.A. Математическая статистика. Новосибирск: Наука; изд-во Ин-та математики, 1997.

13. БосинзонЮ.М., ФалъковскийИ.Я. Об одном методе оценивания параметров временных зависимостей по экспериментальной информации // Автоматика и телемеханика. 1994. №4. С. 55-59.

14. Бунин А.Л. Быстросходящийся алгоритм идентификации линейного объекта с ограниченной помехой // Автоматика и телемеханика. 1983. № 8. С. 101-107.

15. БуничА.Л. Идентификация дискретных линейных объектов с большим отношением сигнал/шум // Автоматика и телемеханика. 2001 . №3. С. 53-62.

16. БуничА.Л., БахтадзеН.Н. Синтез и применение дискретных систем управления с идентификатором. М.: Наука, 2003.

17. Виленкин С.Я., Гинсберг К. С. Интерпретация и некоторые эвристические приемы конструирования оценок типа Стейна—Джеймса // Автоматики и телемеханика. 1991. №6. С. 56-66.

18. Виллемс Я. От временного ряда к линейной системе // Теория систем. Математические методы и моделирование. М.: Мир, 1989. С. 8-191. (Новое в зарубежной науке. Сер. Математика; Т. 44).

19. Воеводин В.В., Тыртишников Е.Е. Вычислительные процессы с теплицевыми матрицами. М.: Наука, 1987.

20. Ворчик Б.Г. Единственность оценок максимального правдоподобия параметров стохастических систем (проблема локальных экстремумов) // Автоматика и телемеханика. 1984. №6. С. 47-55.

21. Ворчик Б.Г. Идентифицируемость линейных параметрических стохастических систем // Автоматика и телемеханика. 1985. №5. С. 64-78. №7. С. 96-109.

22. Гантмахер Ф.Р. Теория матриц. М. : Наука, 1966.

23. Гаусс К. Ф. (Gauss С.F. Theoria combinationis observationu merroribus minimus obnoxiae, 1821.) Русский перевод: см. Избранные геодезические сочинения, т.1, М.: Геодезиздат, 1957, с. 59-87.

24. ГнединА.В., ЯраловA.A. Идентифицируемость систем, зависящих от параметров // Автоматика и телемеханика. 1988. № 9. С. 48-57.

25. Годунов С.К. Решение систем линейных уравнений. Новосибирск: Наука, 1980.

26. Годунов C.K. Обыкновенные дифференциальные уравнения с постоянными коэффициентами. Новосибирск: Изд-во НГУ, 1994.

27. Данеев A.B., Русанов В. А. К аксиоматической теории идентификации I, II // Автоматика и телемеханика. 1994. №8. С. 126-136. №9. С. 120-133.

28. Данеев A.B., Русанов В. А. Геометрический подход к решению некоторых обратных задач системного анализа // Изв. вузов (математика). 2001. №10(473). С. 18-28.

29. Демиденко В. Г. Восстановление параметров однородной линейной модели // Вестник НГУ (Серия: математика, механика, информатика). 2008. Т. 8. Вып. 3. С. 51-59.

30. Демиденко В. Г. Задачи идентификации и методы их решения (краткий обзор) // Неопубликованная рукопись. 2010.

31. Демиденко В.Г. Восстановление коэффициентов систем линейных разностных уравнений // Вестник НГУ (Серия: математика, механика, информатика). 2010. Т. 10. Вып. 2. С. 45-53.

32. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1981.

33. ДемидовичБ.П., Марон И. А. Основы вычислительной математики. М.: Наука, 1966.

34. Денисов В.И., ЧубичВ.М., Черникова О.С. Активная параметрическая идентификация стохастических линейных дискретных систем во временной области // Сиб-ЖИМ. 2003. Т. 6. №3 (15). С. 70-87.

35. Денисов В.И., ЧубичВ.М., Черникова О.С. Активная параметрическая идентификация стохастических линейных дискретных систем в частотной области // Сиб-ЖИМ. 2007. Т. 10. №1 (29). С. 71-90.

36. Денисов В.И., Тимофеев B.C. Исследование влияния грубых ошибок наблюдений на информационную матрицу Фишера // СибЖИМ. 2008. Т. 11, №2 (34). С. 65-73.

37. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке. М.: Мир, 1980.

38. Дмитриев A.B., Дружинин Э.И. Идентификация динамических характеристик непрерывных линейных моделей в условиях полной параметрической неопределенности // Известия РАН ТСУ. 1999. №3. С. 44-52.

39. ЕгоршипА.О. Вычислительные замкнутые методы идентификации линейных объектов // Оптимальные и самонастраивающиеся системы. Новосибирск, 1971. С. 4053.

40. ЕгоршипА.О., БудяновВ.П. Сглаживание сигналов и оценивание динамических параметров в автоматических системах с помощью ЦВМ // Автометрия. 1973. №1. С. 78-82.

41. ЕгоршипА.О. Метод наименьших квадратов и "быстрые" алгоритмы в вариационных задачах идентификации и фильтрации (метод ВИ) // Автометрия. 1988. №1. С. 30-42.

42. ЕгоршипА.О. Об одном способе оценки коэффициентов моделирующих уравнений для последовательностей // Сибирский журнал индустриальной математики. 2000. Т.З. №2(6). С. 78-93.

43. ЕгоршипА.О. Оптимизация параметров стационарных моделей в унитарном пространстве // Автоматика и телемеханика. 2004. №12. С. 29-48.

44. Жданов А.И., Кацюба O.A. Идентификация по методу наименьших квадратов параметров уравнений авторегрессии при аддитивных ошибках измерений // Автоматика и телемеханика. 1982. №2. С. 29-38.

45. ЗедгинидзеИ.Г. Планирование эксперимента для исследования многокомпонентных систем. М.: Наука, 1976.

46. КалманР. Идентификация систем с шумами // УМН. 1985. Т. 40. Вып. 4 (244). С. 27-41.

47. Касьянова С. Н., Ломов A.A. Программный комплекс моделирования и идентификации линейных динамических систем на основе вариационного метода // Сб. «Динамика управляемых космических объектов», Красноярск, Вычислительный центр, 1990. С. 113-121.

48. КатковникВ.Я. Непараметрическая идентификация и сглаживание данных. Метод локальной аппроксимации. М.: Наука, 1985.

49. КашьяпР.Л., РаоА.Р. Построение динамических стохастических моделей по экспериментальным данным. М.: Наука, 1983.

50. КендаллМ., СтъюартА. Теория распределений. М.: Наука, 1966.

51. КендаллМ., СтъюартА. Многомерный статистический анализ и временные ряды. М.: Наука, 1976.

52. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Изв. АН СССР. Сер. мат. 1941. Т. 5. С. 3-14. (В кн.: Колмогоров А.Н. Теория вероятностей и математическая статистика. М.: Наука, 1986. С. 255-263.)

53. Колмогоров А.Н. К обоснованию метода наименьших квадратов // УМН. 1946. Т. 1. Вып. 1. С. 57-70. (В кн.: Колмогоров А.Н. Теория вероятностей и математическая статистика. М.: Наука, 1986. С. 267-283.)

54. Колчанов H.A., Ананько Е.А., Колпаков Ф.А., Подколодная Ф.А., Игнатьева Е.В., Горячковская Т.Н., Степаненко И.Л. Генные сети // Мол. Биология. 2000. Т. 34. С.533-544.

55. Костин В.И. О точках экстремума одной функции // Управляемые системы. Новосибирск: ИМ СО АН СССР, 1984. Т. 24. С. 35-42.

56. Крамер Г. Математические методы статистики. М.: Наука, 1975.

57. КрейнМ.Г. Об одном новом методе решения линейных интегральных уравнений первого и второго рода // ДАН СССР. 1955. Т. 100. №3. С. 413-416.

58. КуржанскийА.Б. Задача идентификации — теория гарантированных оценок // Автоматика и телемеханика. 1991. №4. С. 3-26.

59. Кутателадзе С. С. Сергей Соболев и Лоран Шварц. Новосибирск: Институт математики им. С.Л.Соболева СО РАН. Препр. № 121. 2003. http://math.nsc.ru/publishing/Preprints/prl21.pdf

60. Ланкастер П. Теория матриц. М.: Наука, 1973.

61. ЛеманЭ. Теория точечного оценивания. М.: Наука, 1991.

62. Ломов A.A. Условия корректности линейных параметрических моделей // Препринт Института математики СО РАН. 1992. №21. 30 с.

63. Ломов A.A. Условия корректности линейных параметрических моделей (стационарный динамический случай) // Препринт Института математики СО РАН. 1992. №27. 50 с.

64. Ломов A.A. Минимальные описания стационарных линейных моделей // Труды Института математики СО РАН. Т. 28, Модели и методы оптимизации. С. 91-117. Новосибирск: ИМ СО РАН, 1994.

65. Ломов A.A. О предельном значении передаточной функции матричного линейного дифференциального уравнения на бесконечности // Автоматика и телемеханика. 1996. № 12. С. 25-30.

66. Ломов A.A. Идентификация линейных динамических систем по коротким участкам переходных процессов при аддитивных измерительных возмущениях // Известия РАН ТСУ. 1997. №3. С. 20-26.

67. Ломов A.A. Параметрическая идентифицируемость линейных стохастических систем по наблюдениям коротких отрезков траекторий // Известия РАН ТСУ. 2002. №2. С. 53-58.

68. Ломов A.A. Условия различимости стационарных линейных систем // Дифферент уравнения. 2003. Т. 39. №2. С. 261-266.

69. Ломов A.A. О различимости стационарных линейных систем с коэффициентами, зависящими от параметра // Сибирский журнал индустриальной математики. 2003. Т. 6. №4(16). С. 60-66.

70. Ломов A.A. Орторегрессионныс методы оценивания параметров и задачи отделения трендов в линейных системах // Электронный ресурс]:

71. Дифференциальные уравнения и процессы управления. 2005. №2. С. 1-86: http: / / www.math.spbu.ru / diffjournal/pdf/lomov.pdf

72. Ломов A.A. Сравнение методов оценивания параметров линейных динамических систем по измерениям коротких участков переходных процессов // Автоматика и телемеханика. 2005. №3. С. 39-47.

73. Ломов A.A. Орторегрессионные оценки параметров систем линейных разностных уравнений // Сибирский журнал индустриальной математики. 2005. Т. 8. №3(23). С.102-119.

74. Ломов A.A. Восстановление сигналов в линейных системах с трендами // Автоматика и телемеханика. 2008. №7. С. 29-36.

75. Ломов A.A. Восстановление сигналов в линейных системах с трендами (II) // Автоматика и телемеханика. 2008. №11. С. 82-93.

76. Ломов A.A. Оценка трендов и идентификация динамики временных рядов на коротких интервалах наблюдения // Известия РАН ТСУ. 2009. №1. С. 25-37.

77. Ломов A.A. О количественном априорном показателе идентифицируемости параметров линейной системы // Труды VIII Международной конференции "Идентификация систем и задачи управления" SICPRO'09. Москва, 26-30 янв. 2009 г. М.: ИПУ РАН, 2009. С. 479-491.

78. Ломов A.A. Априорные оценки погрешности идентификации коэффициентов линейных ОРУ // Материалы Международной конференции «Вычислительная математика, дифференциальные уравнения, информационные технологии». Улан-Удэ, 24-28 августа 2009 г. С. 236-242.

79. Ломов A.A. Управляемость суммарных линейных систем // Сибирский журнал индустриальной математики. 2010. Т. XIII. №2(42). С. 79-84.

80. Ломов A.A. О локальной устойчивости в задаче идентификации коэффициентов линейного разностного уравнения // Вестник НГУ. Серия: Математика, механика, информатика. 2010. Т. 10, вып. 4. С. 81-103.

81. Ломов A.A. О количественных априорных показателях идентифицируемости коэффициентов линейных динамических систем // Известия РАН ТСУ. 2011. №1. С.3-15.

82. ЛоэвМ. Теория вероятностей. М.: Изд-во иностранной литературы, 1962.

83. Марков A.A. Исчисление вероятностей. СПб.: 1900.

84. Марков A.A. Избранные труды. М.: Изд-во АН СССР, 1951.

85. Микусинский Я. Операторное исчисление. М.: Изд.-во иностр. литературы, 1956.

86. НиколаевЮ.А. Параметрическая идентифицируемость линейных динамических систем. Детерминированный и стохастический аспекты // ДАН СССР. 1978. Т. 43. №5. С. 1158-1160.

87. Норкии К.Б. Поисковые методы настройки управляемых моделей в задачах настройки параметров объектов // Автоматика и телемеханика. 1968. № 11. С. 61-67.

88. Орлов Ю. Ф. Структурная идентификация многомерного объекта // Дифф. уравнения. 2006. Т. 42. №4. С. 567-569.

89. ОстремК., БолинТ. Цифровая идентификация линейных динамических систем на основе данных о нормальном режиме работы // Теория самонастраивающихся систем управления: Труды II Международного конгресса IFAC. М.: Наука, 1969. С. 99-116.

90. Параев Ю.И. Алгебраические методы в теории линейных систем управления. Томск: Изд-во Том. ун-та, 1980.

91. ПерелъманИ.И. Методы состоятельного оценивания параметров линейных динамических объектов и проблематичность их реализации на конечных выборках // Автоматика и телемеханика. 1981. №3. С. 49-55.

92. ПерелъманИ.И. Оперативная идентификация систем управления. М.: Энергоиз-дат, 1982.

93. Петров Б.П., Теряев Е.Д., Шамриков Б.М. Условия параметрической идентифицируемости управляемых обектов в разомкнутых и замкнутых автоматических системах // Известия АН СССР (Техническая кибернетика). 1977. №2. С.160-175.

94. Позпяк A.C., Тихонов С.Н. Сильная состоятельность рекуррентных нелинейных алгоритмов оценивания параметров линейных разностных уравнений // Автоматика и телемеханика. 1990. №6. С. 90-101.102 103104105106107108109110111112113114

95. ПонтрягинЛ.С. Обыкновенные дифференциальные уравнения. М.: Наука, 1974.

96. Проблемы устойчивости стохастических моделей. Труды 15 межд. семинара (Пермь, июнь 1992) / под ред. Золотарева В.М. и др. М.: ТВП (теория вероятностей и применения), 1993.

97. Пушков С. Г. Конечномерные реализации импульсной характеристики // Изв. РАН ТСУ. 2002. №3. С.5-11.

98. РаоС.Р. Линейные статистические методы и их применение. М.: Наука, 1968.

99. Рогов С.Н., Соболев. Л.Г., ХруцкийО.В. О некоторых методах сглаживания и идентификации экспериментальных трендов // Автоматика и телемеханика. 2005. №5. С. 134-145.

100. Розенвассер E.H., Юсупов P.M. Чувствительность систем управления. М.: Наука, 1981.

101. Русанов В. А., Лакеев A.B., Липке Ю.Э. Характеристический признак реализации нестационарной дифференциальной системы в банаховом пространстве // ДАН. 2011. Т. 438. №3. С. 323-325.

102. РутманР.С., ЭпелъманМ.С. Параметрическая инвариантность линейных динамических систем // ДАН СССР. 1964. Т. 159. №4. С. 764-766.

103. Сильвестров А.Н., ЧинаевП.И. Идентификация и оптимизация автоматических систем. М.: "Энергоатомиздат", 1987.

104. Смагина Е.М. Вопросы анализа линейных многомерных объектов с использованием понятия нуля системы. Томск: ТГУ, 1990.

105. Смирнов Е.Я. Некоторые задачи математической теории управления. Ленинград: ЛГУ, 1981.

106. Современные методы идентификации систем / Под ред. П. Эйкхоффа. М.: Мир, 1983.

107. Справочник по теории автоматического управления / Под. ред. A.A. Красовского. М.: Наука, 1987.

108. Стрейц В. Метод пространства состояний в теории дискретных систем управления. М.: Наука, 1985.

109. Тихонов А.Н., АрсенинВ.Я. Методы решения некорректных задач. М.: Наука, 1979.117118119120 121122123124125126127128129130131132133

110. Фишер Ф. Проблема идентификации в эконометрии. М.: Статистика, 1978. Халмош П. Конечномерные векторные пространства. М.: Физматгиз, 1963. ХорнР., Джонсон Ч. Матричный анализ. М.: Мир, 1985.

111. Цыпкин Я.З. Основы информационной теории идентификации. М.: Наука, 1984.

112. Черноусъко Ф.Л. Оценивание фазового состояния динамических систем. Метод эл-липосидов. М.: Наука, 1988.

113. ЧерноруцкийИ.Г. Методы оптимизации в теории управления. СПб.: Питер, 2004.

114. Шейнин О.Б. Математическая обработка наблюдений у А.А.Маркова // Историко-математические исследования. 2009. Вып. 13 (48). С. 110-127.

115. Шварц Л. Анализ I, II. М.: Мир, 1972.

116. Эйкхофф П. Основы идентификации систем управления. М.: Мир, 1975.

117. ЭлъсгольцЛ.Э. Дифференциальные уравнения и вариационное исчисление. М.: Наука, 1969.

118. AbatzogluT.J., Mendel J. М. Constrained Total Least Squares // Proc. 1987 IEEE ICASSP (Dallas). 1987. P. 1485-1488.

119. AbatzogluT.J., Mendel J. M., HaradaG.A. The Constrained Total Least Squares Technique and its Applications to Harmonic Superresolution // IEEE Trans. Signal Processing. 1991. V.SP-39. P. 1070-1087.

120. AdcockR.J. Note on the method of least squares // The Analyst. 1877. V. 4. P. 183-184.

121. AdcockR.J. A problem in least squares // The Analyst. 1878. V. 5. P. 53-54.

122. Aguero J. C., Graham, G. C. Identifiability of errors in variables dynamic systems // 14th IFAC Symposium on System Identification, Newcastle, Australia, 2006. P. 196-200.

123. AntoulasA.C. Approximation of Large-Scale Dynamical Systems. SIAM. Houston, Texas: Rice University, 2005.

124. AokiM., YueP.C. On the Certain Convergence Questions in System Identification // SIAM Journal of Control. 1970. V. 8. No. 2. P. 239-256.

125. BjorckA. Numerical methods for least squares problems. SIAM, Philadelphia, 1996.1411 BlombergH., Ylinen R. Algebraic Theory for Multivariable Linear Systems. London: Academic Press, 1983.

126. Bohlin T. On the Problem of Ambiguities in Maximum Likelihood Identification // Automatica. 1971. V. 7. P. 137-146.

127. BrockettR. Finite Dimensional Linear Systems. New York: Wiley, 1970.1441 ChenH.-F. Recursive Identification of EIV ARM A Processes // Proceedings of the 17th World Congress IFAC. Seoul, Korea, July 6-11, 2008. P. 1366-1371.

128. Cheng C.-L., Van Ness J. W. Statistical Regression with Measurement Error // Kendall's Library of Statistics, 6, Arnold, London. 1999.

129. DupuisP., SelsT., DriesenT., BelmansR. Exponential Parameters Measurement Using a Modified Prony Method // Proc. Instrumentation and Measurement Technology Conference. Como, Italy, 18-20 May. 2004. P. 1590-1594.

130. DurbinJ. The Fitting of Time Series Models // Rev. Inst. Int. Stat. 1960. V 28. P. 233-243.

131. EgorshinA.O., LomovA.A. Variational Identification and Filtration via Fast Algorithms // Prep.8-th IFAC/IFORS Symp. on Identification and System Parameter Estimation, Beijing, China, Aug.1988. Pergamon Press, 1988. V. 2. P. 665-671.

132. FellmanJ. On the effect of "nuisance" parameters in linear models // Sankhya. The Indian Jornal of Statistics. 1976. V. 38. Ser. A. Pt. 2. P. 197-200.

133. FriedlanderB., KailathT., LjungL. Scattering Theory and Linear Least Squares Estimation — II: Discrete Time Problems // J. Franklin Inst. 1976. V.301. No. 1-2. P. 71-82.

134. Fuller W.A. Measurement Error Models. New York: Wiley, 1987.

135. Gallant A.R. Nonlinear statistical models. New York: Wiley, 1986.

136. GeversM. System Identification without Lennart Ljung: what would have been different? // Workshop on System Identification in honor of Lennart Ljung. K. U. Leuven, 13 october 2004. http://www.inma.ucl.ac.be/publi/353406.pdf

137. GillardJ. An Overview of Linear Structural Models in Errors in Variables Regression // REVSTAT Statistical Journal. 2010. V. 8. No. 1. P. 57-80.

138. GleserL.J. Estimation in a multivariate "errors in variables" regression model: large sample results // The Annals of Statistics. 1981. V. 9. No. 1. P. 24-44.

139. GloverK., Willems J.C. Parameterizations of Linear Dynamical Systems: Canonical Forms and Identifiability // IEEE Transactions on Automatic Control. 1974. V. AC-19. No. 6. P. 640-646.

140. Glover K. All optimal Hankel-norm approximations of linear multivariable systems and their L°° -error bounds // Int. J. Control. 1984. V. 39. No. 6. P. 1115-1193.

141. Golub G.H., Van Loan C.F. An analysis of the total least squares problem //SIAM J. Numer. Anal., v. 17, pp. 883-893, 1980.

142. GuoL., TomizukaM. Parameter identification with derivative shift operator parametrization // Automatica. 1999. V. 35. P. 1073-1080.

143. HauerJ.F. Initial Results in Prony Analysis of Power System Response Signals // EEE Trans, on Power Systems. 1990. V. 5. No. 1. P. 80-89.

144. Hodges S.D., Moore P. G. Data uncertainties and least squares regression // Applied Statistics, v. 21, 1972, pp. 185-195.

145. Householder A. S. On Prony's method of fitting exponential decay curves and multiple-hit survival cerves // Oak Ridge National Lab. Report ORNL-455. 1950. Oak Ridge, Tennessee.

146. KahnM., MackisackM.S., Osborne M.R., Smyth G.K. On the consistency of Prony's method and related algorithms // J. Comput. Graph. Statist. 1992. V. 1. P. 329-349.

147. KailathT. Some Chandrasekhar-type algorithms for quadratic regulators // Proc. IEEE Conference on Detection and Control, New Orleans, LA, Dec. 1972. P. 219-223.

148. Kailath T. Some new algorithms for recursive estimation in constant linear systems // IEEE Trans. Information Theory. 1973. V. IT-19. P. 750-760.

149. KailathT. Linear Systems. Prentice-Hall, Englewood Cliffs, N.J., 1980.

150. KalmanR.E. Canonical structure of linear dynamical systems // Proc. Nat. Acad. Sci. USA. V. 48. 1962. Pp. 596-600.

151. KalmanR.E. Mathematical Description of Linear Dynamical Systems / / SIAM Journal of Control. 1963. Ser. A. V. 1. No. 2. P. 152-192.

152. KalmanR.E. Algebraic Structure of Linear Dynamical Systems, I. The Module of L // Mathematics: Proc. Nat. Acad. Sci. USA. V. 54. 1965. P. 1503-1508.

153. KalmanR.E. Identifiability and Modelling in Econometrics // Developments in Statistics / P.R. Krishnaiah, ed. New York: Academic Press, 1983. V. 4.

154. Kendall M. Regression. Structure and functional relationship (I,II) // Biometrica. 1951. V. 38. P. 11-25. 1952. V.39. P. 96-108.

155. KoopmansT.C. Linear Regression Analysis of Economic Time Series. DeErven F. Bohn, N.V. Haarlem, The Netherlands. 1937.

156. Koopmans T.C., Reiers0lO. The Identification of Structural Characteristics // Annals of Mathematical Statistics, 21, 1950.

157. Koopmans T.C., Rubin H., LeipnikR.B. Measuring the Equation Systems of Dynamic Economics // Statistical Inference in Dynamic Economic Models. Cowles Commission Monograph 10, New York, John Wiley, 1950.

158. KukushA., Markovsky I., Van Huff el S. Consistency of the structured total least squares estimator in a multivariate errors-in-variables model // Journal of Statistical Planning and Inference. 2005. V. 133. No. 2. P. 315-358.

159. KummelC.H. Reduction of observed equations which contain more then one observed quantity // The Analyst. 1879. V. 6. P. 97-105.

160. KunduD. Estimating the parameters of undamped exponential signals // Technometrics. 1993. V. 35. P. 215-218.

161. KungS.Y., HuY.H. Improved Pisarenko's sinusoidal spectrum estimate via SVD subspace approximation methods // 21st IEEE Conference on Decision and Control. 1982. V.21. P. 1312-1314.

162. LanczosC. Applied analysis. Prentice Hall, Englewood Cliffs, N.J., 1956. Пер.: Лан-цошК. Практические методы прикладного анализа. М.: ФМЛ, 1961.

163. LeeR.C.K. Optimal Estimation, Identification and Control. Cambridge, Mass.: MIT Press, 1964.

164. Lemmerling Ph., MoorDeB., VanHuffelS. On the Equivalence of Constrained Total Least Squares and Structured Total Least Squares // IEEE Trans, on Signal Processing. 1996. V. 44. No. 11. P. 2908-2911.

165. Levin M.J. Estimation of a system pulse transfer function in the presence of noise // IEEE Trans. Automatic Contr. 1964. V. AC-9. P. 229-235.

166. LevinsonN. The Wiener RMS (root mean square) error criterion in filter design and prediction // J. Math. Phys. 1946.V. 25. P. 261-278.

167. LindquistA. Optimal Filtering of Continuous-Time Stationary Processes by Means of the Backward Innovation Process // SIAM J. Control. 1974. V. 12. No. 4. P 747-754.

168. LjungL. Asymptotic Behavior of the Extended Kalman Filter as a Parameter Estimator for Linear Systems // IEEE Transactions on Automatic Control. 1979. V. AC-24. P. 36-50.

169. LjungL., SoderstromT. Theory and Practice of Recursive Identification. Cambridge: MIT Press, 1983.

170. LjungL. System Identification. London: Prentice-Hall, 1987. Пер.: ЛьюнгЛ. С. Идентификация систем. М.: Наука, 1991.

171. LjungL. Development of System Identification // Proceedings of the 13th World Congress of IFAC, volume G, pages 141-146, San Francisco, California, July 1996. ftp://ftp.control.isy.liu.Se/pub/Reports/1996/1910.ps.Z

172. LomovA.A. The program of variational identification and filtration using fast algorithms // Abstracts. IMACS/IFAC International Workshop on Methods and Software for Automatic Control Systems, Irkutsk, USSR, Sept. 3-5, 1991. P. 57-58.

173. LomovA.A. Correct Parametrizations of Linear Models // Siberian Advances in Mathematics. 1994. V.4. P. 95-113.

174. LomovA.A. Identifiability of ARMAX systems with short operating records // Proc. II Symp. Automat. Control (CIMAF'99). LaHabana, 1999. P. 207-221.

175. LomovA.A. Stochastic Linear Systems Classification Based on Complexity of Identifiability Conditions //La Habana, III Symposio de Control Automatico, 2001. P. 257-265.

176. LomovA.A. Orthoregressive estimates for the parameters of systems of linear difference equations // Journal of Applied and Industrial Mathematics. 2007. V. 1. No. 1. P. 59-76.

177. LomovA.A. Terms of uniqueness in the inverse problems for disjunctive dynamical systems // 2nd International School-Seminar "Nonlinear Analysis and Extremal Problems". Irkutsk, June 28 July 4 , 2010.

178. LuiK.W.-K., SoH.-Ch. Improved Variant of Pisarenko Harmonic Decomposition for Single Sinusoidal Frequency Estimation // IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 2007 E90-A(ll):2604-2607.

179. MackisackM.S., OsborneM.R., Smyth G.K. A modified Prony algorithm for estimating sinusoidal frequencies // J. Statist. Comput. Simul. 1994. V. 49. P. 111-124.

180. Maine R.E., IliffK.W. Formulation and Implementation of a Practical Algorithm for Parameter Estimation with Process and Measurement Noise // SIAM Journal on Applied Mathematics. 1981. V.41. No. 3. P. 558-579.

181. MarkovskyL, Van Huff el S., KukushA. On the computation of the multivariate structured total least squares estimator // Numer. Linear Algebra Appl. 2004. V. 11. P. 591-608.

182. MarkovskyL, VanHuffelS., PintelonR. Block-Toeplitz/Hankel Structured Total Least Squares // SIAM. J. Matrix Anal. & Appl. 2005. V. 26. Issue 4. P. 1083-1099.

183. MarkovskyL, SimaD.M., VanHuffelS. Total Least Squares Methods // Wiley Interdisciplinary Reviews: Computational Statistics. 2010. V. 2. P. 212-217.

184. Marple S.L. Digital spectral analysis: with applications. Prentice-Hall, Inc. Upper Saddle River, NJ, USA. 1986. Пер.: Марпл С. JI. Цифровой спектральный анализ и его приложения. М.: Мир, 1990.

185. Martsynyuk Yu. V. New multivariate central limit theorems in linear structural and functional error-in-variables models // Electronic Journal of Statistics. 2007. V. 1. P. 347-380.

186. Mathew G., DasguptaS., ReddyV.U. Improved Newton-type algorithm for adaptive implementation of Pisarenko's harmonic retrieval method and its convergence analysis // IEEE transactions on signal processing. 1994. V. 42. No. 2. P. 434-437.

187. MirskyL. Symmetric gauge functions and unitarily invariant norms // Quart. J. Math. Oxford. 1960. V. 11. P. 50-59.

188. MoorDeB. Structured total least squares and L2 approximation problems // Linear Algebra Appl. 1993. V. 188-189. P. 163-207.

189. NeymanJ. Remarks on a Paper by E.C.Rhodes //J. Royal Statistical Society. 1937. V. 100. P. 50-57.

190. Nguyen V. V, WoodE.F. Review and Unification of Linear Identifiability Concepts // SIAM Review. 1982. V.24. P. 34-51.

191. NinnessB., GoodwinG.C. Estimation of Model Quality // Automatica. 1995. V. 31. No. 12. P. 1771-1797.

192. Osborne M.R. A class of nonlinear regression problems // Data Representation / Eds. R. S. Anderssen and M. R. Osborne. St. Lucia: University of Queensland Press, 1970. P. 94-101.

193. Osborne M.R. Some special nonlinear least squares problems // SIAM J. Numer. Anal. 1975. V. 12. P. 571-592.

194. Osborne M.R., Smyth G.K. A modified Prony algorithm for fitting functions defined by difference equations // SIAM J. Sei. Statist. Comput. 1991. V. 12. P. 362-382.

195. Osborne M.R., Smyth G.K. A Modified Prony Algorithm for Exponential Function Fitting // SIAM Journal of Scientific Computing. 1995. V. 16. P. 119-138.

196. OuibrahimH. Prony, Pisarenko, and the matrix pensil: a unified presentation // IEEE Trans. Acoust. Speech Signal Process. 1989. V. 37. P. 133-134.

197. Paris Q. Robust Estimators of Errors-In-Variables Models // University of California, Davis. Working Paper No. 04-007. 2004.http: //www. escholarship. org/uc/item/7x56z5rs.

198. Pearson K. On lines and planes of closest fit to systems of points in space // Phil. Mag. 1901. VI. No. 2. P. 559-572.

199. Pisarenko V.F. On the Estimation of Spectra by Means of Non-linear Functions of the Covariance Matrix // Geophys. J. Roy. Astron. Soc. 1972. V.28. P. 511-531.

200. Pisarenko V.F. The Retrieval of Harmonics from a Covariance Function // Geophys. J. Roy. Astron. Soc. 1973. V. 33. P. 347-366.

201. PollockD.S.G. Trend estimation and de-trending via rational square-wave filters // Journal of Econometrics. 2000. V. 99. No. 2. P. 317-334.

202. Popov V.M. Some Properties of the Control Systems with Irreducible Matrix-Transfer Function // Lecture Notes in Mathematics. V. 144. Seminar on Differential Equations and Dynamical Systems, II. P. 169-180 / Berlin: Springer-Verlag, 1969.

203. Prony Estimation // StatSci.org (http://www.statsci.org/other/prony.html). 2000.

204. Redheffer R. On the relation of transmission-line theory to scattering and transfer // J. Math. Phys. 1962. V.XLI. P. 1-41.

205. Reiers0l O. Identifiability of a Linear Relation between Variables which are Subject to Error // Econometrica. 1950. V. 18. P. 375-389.

206. Rice J.A., Rosenblatt M. On frequency estimation // Biometrika. 1988. V.75. P. 477484.

207. Roorda B. Algorithms for Global Total Least Squares Modelling of Finite Multivariable Time Series // Automatica. 1995. V. 31. No. 3. P. 391-404.

208. Roorda B., HeijC. Global total least squares modelling of multivariable time series // IEEE Trans, on AC 1995. V. AC-40. P. 50-63.

209. RosenbrockH. State-Space and Multivariable Theory. New York: Wiley, 1970.

210. Rothenberg T.J. Identification in Parametric Models // Econometrica. 1971. V. 39. No. 3. P. 577-591.

211. SchneeweissH., Augustin T. Some Recent Advances in Measurement Error Models and Methods // Munchen Institut fur Statistik. Paper 452. 2005.

212. Sluis van der A., Veltkamp G. Restoring rank and consistency by orthogonal projection // Linear Algebra Appl. 1979. V. 28. P. 257-278.

213. Smyth G.K., Hawkins D.M. Robust Frequency Estimation Using Elemental Sets // Computing Science and Statistics. 1997. V. 28. P. 659-662.

214. Smyth G.K. Employing Symmetry Constraints for Improved Frequency Estimation by Eigenanalysis Methods // Technometrics. Aug. 2000. V.42. P. 277-289.

215. Soderstrom T. On the Uniqueness of Maximum Likelihood Identification // Automatica. 1975. V. 11. P. 193-197.

216. Soderstrom T., LjungL., Gustavssonl. Identifiability Conditions for Linear Multivariable Systems Operating Under Feedback // IEEE Transactions on Automatic Control. 1976. V.AC-21. No. 6. P. 837-840.

217. Soderstrom T. Errors-in-variables methods in system identification // 14th IFAC Symposium on System Identification, Newcastle, Australia, 2006. P. 1-19.

218. SongT.L., SpeyerJ.L. The Modified Gain Extended Kalman Filter and Parameter Identification in Linear Systems // Automatica. 1986. V.22. No. 1. P. 59-75.

219. SprentP. Some History of Functional Relationships // Contemporary Mathematics. V. 112. Statistical Analysis of Measurement Error Models and Applications. Providence, Rhode Island: AMS, 1990. P. 3-15.

220. Stewart G.W. On the invariance of perturbed null vectors under column scaling // Numer. Math. 1984. V.44. P. 61-65.

221. Stewart G. W. Perturbation Theory and Least Squares with Errors in the Variables // Contemporary Mathematics. V. 112. Statistical Analysis of Measurement Error Models and Applications. Providence, Rhode Island: AMS, 1990. P. 171-181.

222. VajdaS. Further Comments on "On Parameter and Structural Identifiability: Nonunique Observability/Reconstructibility for Identifiable Systems, Other Ambiguities, and New Definitions"// IEEE Trans, on Automat. Control. 1982. V.AC-27. P. 1136-1137.

223. VajdaS., RabitzH. Identifiability and Distinguishability of First-Order Reaction Systems //J. Phys. Chem. 1988. V. 92. P. 701-707.

224. VajdaS., RabitzH. State Isomorphism Approach to Global Identifiability of Nonlinear Systems // IEEE Trans, on Automat. Control. 1989. V. AC-34. P. 220-223.

225. VajdaS., GodfreyK., RabitzH. Similarity Transformation Approach to Identifiability Analysis of Nonlinear Compartmental Models // Mathematical Biosciences. 1989. V. 93. P. 217-248.

226. VajdaS., RabitzH. Identifiability and Distinguishability of General Reaction Systems // J . Phys. Chem. 1994. V. 98. P. 5265-5271.

227. Valyil. Ellipsoidal approximations in problems of control // Modelling and Adaptive Control, p. 361-384. Berlin: Springer, 1988.

228. VanecekA. Models: Equivalences, Uses, Extensions // Trends and Progress in System Identification (IFAC Series for Graduates, Research Workers & Practising Engineers) / Ed. P. Eykhoff. Oxford, New York: Pergamon Press, 1981. V. 1. P. 29-66.

229. Van Huff el S., Vandewalle J. Analysis and properties of the generalized total least squares problem AX m B when some or all columns in A are subject to error // SIAM J. Matrix Anal. 1989. V. 10. No. 3. P. 294-315.

230. VanHuffelS., Vandewalle J. The total least squares problem. SIAM, Philadelphia, 1991.

231. Van Overschee P., DeMoorB. Subspace Identification for Linear Systems: Theory, Implementation, Applications. Boston, London, Dordrecht: Kluwer Academic Publishers, 1996.

232. WaldA. Asymptotic Properties of the Maximum-Likelihood Estimate of an Unknown Parameter of a Discrete Stochastic Process // Ann. Math. Statist. 1948. V. 19. P. 40-46.

233. WaldA. Note on the consistency of the maximum likelihood estimate // Ann. Math. Statist. 1949. V. 22. P. 595-601.

234. WalterE., LecourtierY. Unidentifiable Compartmental Models: What to Do? // Mathematical Biosciences. 1981. V. 56. P. 1-25.

235. Walter E. Identifiability of State Space Models. New York: Springer-Vcrlag, 1982.

236. Walter E., LecourtierY., HappelJ. On the structural output distinguishability of parametric models, and its relations with structural identifiability // IEEE Transactions on Automatic Control. 1984. V. 29. Issue 1. P. 56-57.

237. Wiener N. Extrapolation, Interpolation, and Smoothing of Stationary Time Series with Engineering Applications. NDRC Report to the Services 370, February 1, 1942. Cambridge: MIT Press, 1949.

238. Wilkinson J.H. The Algebraic Eigenvalue Problem. Oxford: Clarendon Press, 1965. Пер.: УилкинсонДж. X. Алгебраическая проблема собственных значений. М.: Наука, 1970.

239. Wolovich W.A. The Determination of State-Space Representations for Linear Multivariable Systems // Automatica. 1973. V. 9. P. 97-106.

240. Wolovich W.A. Linear multivariable systems. New York; Berlin: Springer-Verl., 1974.

241. Wonham W.M. Linear Multivariable Control: a Geometric Approach. New York: Springer-Verlag, 1979. Пер.: УонэмМ. Линейные многомерные системы управления. М.: Наука, 1980.

242. YegorshinA.O. Orthogonalization, factorization, and identification as to the theory of recursive equation in linear algebra // Siberian Electronic Mathematical Reports (http://semr.math.nsc.ru). 2007. V. 4. P. 482-503.

243. ZadehL.A., DesoerC.A. Linear System Theory, the State Space Approach. New York: McGraw-Hill, 1963. Пер.: Теория линейных систем. М.: Наука, 1970.

244. Текст диссертации подготовлен в редакторе LyX (www.lyx.org) на основе ВД^Х