автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Численно устойчивые регрессионные методы идентификации систем по неоднородным данным

РГ6 од

На правах рукописи

КЛЕЙМАН БОРИС СЕМЁНОВИЧ

ЧИСЛЕННО УСТОЙЧИВЫЕ РЕГРЕССИОННЫЕ МЕТОДЫ ИДЕНТИФИКАЦИИ СИСТЕМ ПО НЕОДНОРОДНЫМ ДАННЫМ

Специальность 05.13.16 - Применение вычислительной техники,

математического моделирования и математических методов в научных исследованиях

Автореферат диссертации на соискание учёной степени кандидата технических наук

Самара - 1998

Работа выполнена в Самарском государственном аэрокосмическом университете имени академика С. П. Королёва

Научный руководитель

доктор физико - математических наук, профессор Жданов А. И.

Официальные оппоненты

доктор технических наук, профессор Прохоров С.А., кандидат технических наук, доцент Батищев В.И.

Ведущая организация

Научно - исследовательский институт проблем надёжности механических систем (г. Самара).

Защита состоится п,/и " ¿¿¿¿7/ 1998 г. в_часов на заседании диссертационного совета Д 063.87.02 при Самарском государственном аэрокосмическом университете имени академика С. П. Королёва по адресу: 443086, г. Самара, Московское шоссе, 34.

С диссертацией можно ознакомиться в библиотеке Самарского государственного аэрокосмического университета имени академика С. П. Королёва

Автореферат разослан "^£±£^1998 г.

Учёный секретарь диссертационного совета, к.т.н., доцент

Калентьев А.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Решение задачи построения математических моделей сложных технических, биологических, экономических и др. систем по данным наблюдений за их поведением составляет предмет теории идентификации, которая тем самым становится элементом общей научной методологии. Задаче идентификации посвящено необозримое число работ, отличающихся не только объектами исследования, которые необходимо идентифицировать, но и самими методами и алгоритмами идентификации. Наиболее значимые результаты в этой области принадлежат выдающимся российским ученым Я.З. Цыпкину, В.В. Налимову, Н.С. Райбману, Г.К. Кругу, В.В. Федорову, Б.Т. Поляку, а также зарубежным ученым П. Эйк-хоффу, Л. Льюнгу, Т. Острей у, А. Сейджу, Т. Седерстрёму и др.

Среди разнообразных методов идентификации, предназначенных для оценивания коэффициентов уравнений по наблюдаемым данным, чаще всего используются методы современного регрессионного анализа, позволяющие осуществить идентификацию в режиме нормальной работы объекта. Регрессионный анализ по существу является одним из основных математических методов идентификации сложных технических, экономических, биологических и др. систем. При этом с практической точки зрения чаще всего для решения задач регрессионного анализа продолжает использоваться классический метод наименьших квадратов (МНК), основные статистические свойства которого не зависят от класса функций распределения случайных возмущений. Это в первую очередь связано с тем, что обычно в реальных прикладных задачах априорная информация о точных функциях распределения случайных возмущений отсутствует.

Однако в настоящее время существуют две основные причины, препятствующие эффективному практическому применению МНК в регрессионном анализе:

1) плохая обусловленность матрицы экспериментальных данных;

2) наличие "грубых ошибок" (больших выбросов), т.е. сильная неоднородность дисперсий случайных отклонений в наблюдениях выходной переменной регрессионной модели идентифицируемого объекта.

Для решения каждой из вышеперечисленных задач в отдельности в настоящее время разработаны различные подходы. Однако все эти методы малоэффективны, когда в задаче регрессионного анализа од-

повременно присутствуют явление плохой обусловленности и сильная неоднородность дисперсий случайных отклонений в регрессионной модели.

Разработке эффективных методов решения этих задач и посвящена настоящая работа.

Целью диссертационной работы является разработка численно устойчивых методов и алгоритмов идентификации параметров линейных (по параметрам) регрессионных моделей в условиях плохой обусловленности и сильной неоднородности (в присутствии грубых ошибок) в исходных данных, которые не требуют априорной информации о точных функциях распределения случайных возмущений. Последнее условие особенно важно для решения задач идентификации реальных технических, экономических и др. систем, так как данная априорная информация на практике обычно отсутствует.

Для достижения поставленной в работе цели необходимо:

- провести анализ известных вычислительных алгоритмов решения плохо обусловленных линейных задач МНК в регрессионном анализе;

- выяснить влияние сильной неоднородности (грубых ошибок) на число обусловленности исходной задачи идентификации;

- разработать численно устойчивые методы и алгоритмы решения плохо обусловленных взвешенных (с сильной неоднородностью весовых коэффициентов) задач МНК;

- разработать эффективные вычислительные алгоритмы для нахождения статистически устойчивых оценок [Ьу - оценок) параметров регрессионных моделей;

- разработать комплекс имитационных регрессионных моделей для проведения тестовых исследований полученных алгоритмов идентификации;

- разработать соответствующее программное обеспечение.

Методы исследований. Полученные в работе результаты базируются на использовании современного аппарата вычислительной линейной алгебры, теории вероятностей, математической статистики (параметрического оценивания, регрессионного анализа и робастного оценивания) и теории идентификации систем. Исследования полученных методов и алгоритмов проводились на основе имитационного моделирования. При разработке программного обеспечения был использован пакет МАТЬАВ (версия 5.0).

Научная новизна работы заключается в следующем:

- исследовано влияние сильной неоднородности (грубых ошибок) в наблюдениях выходной переменной системы на число обусловленности исходной регрессионной задачи идентификации;

- разработан прямой рекуррентный алгоритм решения линейных задач взвешенного МНК, который не требует предварительного масштабирования исходных данных и превосходит по быстродействию (в смысле числа арифметических операций) все известные алгоритмы решения данного класса задач;

- предложена модификация прямого рекуррентного метода для решения линейных задач МНК неполного ранга и линейных задач МНК с комплексными элементами;

- на основе прямого рекуррентного метода решения взвешенных задач МНК, предложенного в диссертации, разработан численно устойчивый алгоритм нахождения робастных Ьи - оценок параметров регрессионных моделей объектов.

Практическая ценность и реализация результатов работы. Разработанные методы, алгоритмы и программное обеспечение позволяют существенно расширить класс эффективно решаемых прикладных задач математического моделирования в технических, экономических, медико - биологических и других исследованиях на основе регрессионных методов идентификации систем. Основные практические выводы диссертационной работы заключаются в следующем:

- разработанные алгоритмы и программное обеспечение прямого рекуррентного метода превосходят по численной устойчивости известные методы решения плохо обусловленных линейных задач МНК с сильно неоднородными по величине весами и могут эффективно использоваться в прикладных программных пакетах;

- разработанные на основе прямого рекуррентного метода решения задач взвешенного МНК алгоритмы идентификации систем обладают более высоким быстродействием и численной устойчивостью по сравнению с известными алгоритмами идентификации рассматриваемых классов объектов;

- полученные алгоритмы имеют рекуррентную структуру и позволяют вычислять решения, точно совпадающие с соответствующими решениями нерекуррентного метода наименьших квадратов, т.е. они не зависят от выбора начальных условий и, следовательно, могут эффективно использоваться в системах адаптивной идентификации, фильтрации и адаптивного управления;

- все предлагаемые в диссертации методы не требуют никакой недоступной на практике экспериментатору информации и поэтому могут успешно использоваться при решении значительного круга проблем автоматизации научного измерительного эксперимента, связанных с получением устойчивых решений многочисленных задач обработки, интерпретации и моделирования данных;

- теоретические результаты, разработанные алгоритмы и программное обеспечение были использованы для получения математических моделей при исследовании динамики изменения показателей некоторых заболеваний людей, а также математических моделей, применяемых для прогнозирования концентраций вредных примесей в атмосфере промышленных городов.

Апробация результатов работы. Основные результаты диссертационной работы докладывались на 6-й межвузовской конференции "Математическое моделирование и краевые задачи" (Самара, Сам-ГТУ, 1996), научно-технической конференции "Прикладные задачи в машиностроении и экономике" (Самара, СамГУ, 1996), 7-й межвузовской конференции "Математическое моделирование и краевые задачи" (Самара, СамГТУ, 1997).

Автором опубликовано по теме диссертации пять печатных работ, список которых приведен в конце автореферата.

Структура и объем работы. Диссертационная работа состоит из введения, трёх глав, заключения, списка цитируемой литературы (104 наименования). Объём диссертационной работы /3/машинописных страниц.

На защиту выносятся следующие основные результаты диссертационной работы.

1. Прямой рекуррентный метод решения плохо обусловленных линейных задач взвешенного МНК.

2. Модификация прямого рекуррентного метода для решения линейных задач МНК неполного ранга и линейных задач с комплексными данными.

3. Численно устойчивый алгоритм нахождения робастных - оценок параметров регрессионных моделей объектов с сильно неоднородными и грубыми ошибками в исходных данных.

4. Результаты имитационных численных исследований на ЭВМ разработанных алгоритмов и программ.

5. Результаты практического решения ряда прикладных задач

идентификации (математических моделей исследования динамики показателей заболеваемости и моделей для прогнозирования концентраций вредных примесей в атмосфере промышленных городов) с использованием разработанных в диссертации методов и алгоритмов.

Во введении обоснована актуальность темы исследования, дана общая характеристика работы, определены цель и задачи исследований, дана структура и краткое содержание диссертационной работы, основные положения, выносимые на защиту.

Первая глава посвящена анализу современного состояния численных методов решения линейных задач МНК в регрессионном анализе. Дано сравнение алгоритмов, основанных на трансформации исходной линейной задачи МНК к системе нормальных уравнений с алгоритмами, не требующими трансформации - алгоритмы, БУО -алгоритмы и т.д.). Проведён анализ известных алгоритмов по числу арифметических операций, требуемой оперативной памяти, а также по точности решения плохо обусловленных линейных задач МНК. В этой главе также исследовано влияние сильной неоднородности весовых коэффициентов, характерное для задач регрессионного анализа с грубыми ошибками в наблюдениях выходной переменной объекта, на число обусловленности вычислительной задачи МНК.

Вторая глава диссертации посвящена разработке прямого рекуррентного метода для решения взвешенных линейных задач МНК, а также задач МНК неполного ранга и с комплексными данными.

Рассмотрим формулировку линейной задачи взвешенного МНК (ВМНК). Пусть дана переопределённая (в общем случае несовместная) система линейных алгебраических уравнений (СЛАУ)

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

хе = у,

(1)

где X е Ж"хт, в е мт, у е к", гапк(Х) = т. Требуется найти псевдорешение системы (1)

в, =Аг8тш||£>(^-»)||а,

9бМт

где ¿) = diag(t^l,..., ёп) - матрица весовых коэффициентов, с/,- > О, г = 1,2,..., п, || - ¡| - евклидова векторная норма.

Введём обозначения. Пусть г = 1,2,..., п - номера, а ж,- - строки матрицы X, А",- = .. .х?)т £ К,хго, Хп — X, у, - элементы вектора

Положим также

О* = {&2Ет + хТо1ХгУ1 > О,

р! = (,52Ет + ХТО^У1 5\ г = 1,2,..., п.

Теорема. Векторы в\ и матрицы Р/, г = 1,2,...,п, удовлетворяют системе рекуррентных уравнений

= ; >+15 ^ = о, о)

Р* — Рг р<5 _ р (л\

^¡+1 - П - Тг-4' ЛЗ ~ -^т, 14;

где 6 > 0, ^ = г = 0,1,. ..,гг- 1. Следствие.

А* = (52Вт + Х*Х)-1Х*у, (5)

РЦ = + (6)

Однако из (5), (6) видно, что рекуррентные формулы (3), (4) не дают возможности вычислить точное псевдорешение СЛАУ (1), так как является смещенным решением б* при всех <5 > 0.

Рассмотрим алгоритм, позволяющий легко скорректировать ^ к вектору точного псевдорешения б1*. Обозначим

Г') = [/¿(г)] = (А(г) • ../,„(»)) € Г"*"1,

Тогда, если векторы 0,- и матрицы Р1,-, г = 1,2,..., гп, удовлетворяют рекуррентным уравнениям

Г» >

(8)

(7)

где г = 1,2,..., т, то

9т = (ХТХ)-1ХТу, = (ХТХ)~'62.

Формулы (3), (4) и (7), (8) представляют прямой рекуррентный метод (ПРМ) вычисления решений линейных задач ВМНК. Полученный ПРМ обладает следующими наиболее важными достоинствами:

1) не требует предварительного масштабирования (на соответствующие весовые коэффициенты) исходной задачи, что очень важно при многократном решении одной и той же задачи (1) при различных весовых матрицах

2) даёт возможность производить последовательную обработку информации, что позволяет снизить требования к объему необходимой оперативной памяти ЭВМ, а также позволяет использовать этот метод в системах, работающих в реальном масштабе времени (адаптивных системах фильтрации, идентификации и управления);

3) на основе специального выбора параметра 6 удаётся (как показали результаты численных экспериментов на ЭВМ) достичь высокой численной устойчивости алгоритма при решении плохо обусловленных задач и особенно при шах (с/,) пйп(<^), что очень важно для регрессионных методов идентификации систем по сильно неоднородным данным.

В этой главе также получены модификации ПРМ для решения линейных задач МНК:

- неполного ранга, представляющих большой интерес для задач дисперсионного анализа;

- с комплексными данными часто возникающих, например, в задачах компьютерной оптики.

Третья глава посвящена разработке вычислительных алгоритмов для регрессионных методов идентификации систем с сильно неоднородными данными, а также их применениям для решения некоторых

практических задач математического моделирования. Точная математическая формулировка этой задачи состоит в следующем.

Пусть некоторая система описывается регрессионной моделью вида

„(*) = вТ/Ш) + е(«),

где I - дискретное время, I — 1,2, ...,п, у{1) € К - "выходная" переменная (отклик) системы, в 6 Мт - вектор параметров (неизвестный) модели, х{{) = (#1^),..., ХкЦ))т & Шк - вектор "входных" переменных системы, / = (/1,..., /т)т - заданная векторная функция (/ : -4 Жт), состоящая из системы линейно независимых функций /,- : Ж* -)■ К, г = 1,2,..., тп, е(^) - случайное отклонение.

Предполагается, что случайные отклонения удовлетворяют условиям:

1) М(е0)|9<_1) = 0 п.н,

2) М(е2(<)|94_1)=<г«2и.н.>

где

<т? =

I 7 f, если i £ Z, 72, если г 6

- <г-алгебра, индуцированная случайными величинами е(1),... ,е(<), т.е. = сг{е(1),..., e(i — 1)}, t = 1,2,... ,п, Оо = 0; i» - случайные дискретные моменты времени Z = {ti,ti,.t/,} С {1,2,...,я}, к <£п и 0 < 7i < 72 < оо-

Дисперсии 7j и 7|, а также моменты времени ti,...,tk и величина Ar априори неизвестны. Величина 7| характеризует грубые ошибки в отклонениях e{t).

Рассмотрим матрицу

Хп =

7i(*(i)) • • ЛпМ1))'

,/iW»)) • • fm[x(n)\

Тогда, если гапк Хп = тп и матрицы Хп при п —> оо удовлетворяют условию сильной регулярности, то классические оценки МНК

параметров 9 являются несмещенными и состоятельными, однако из-за наличия грубых ошибок в отклонениях е(<) эти оценки будут мало эффективными, т.е. имеют большие среднеквадратические ошибки.

На практике в этих условиях наиболее эффективными являются так называемые - оценки, которые являются решением экстремальной задачи

Задача (9) является задачей нелинейного программирования и её решение в случае плохой обусловленности (а при наличии грубых ошибок в выходной переменной, как показано в работе, данная задача всегда плохо обусловлена) сопряжено со значительными вычислительными проблемами.

Известно, что для вычисления решений задачи (9) может использоваться итерационная процедура ("итеративный МНК"), сводящая нелинейную задачу (9) к многократному решению линейной задачи ВМНК с различными матрицами весовых коэффициентов. Основная сложность этого подхода состоит в том, что возникающие задачи ВМНК оказываются плохо обусловленными из-за сильного различия (вызванного наличием грубых ошибок) по величине весовых коэффициентов.

В работе предложена итерационная процедура, основанная на использовании развитого автором прямого рекуррентного метода решения задач ВМНК, которая (как показали результаты экспериментальных исследований на ЭВМ) позволяет существенно повысить численную устойчивость алгоритма, а также сократить число арифметических операций.

В этой же главе рассмотрены результаты практического применения разработанных в диссертации алгоритмов и программного обеспечения регрессионных методов идентификации систем к задачам математического моделирования процессов изменения статистических показателей заболеваний в медицинских исследованиях и оперативного прогнозирования концентраций вредных примесей в атмосферном воздухе в районах промышленных предприятий в зависимости от метеорологических факторов.

Моделирование и прогнозирование динамики статистических по-

п

1 < V < 2.

(9)

казателей в медицинских исследованиях. Специалистов по медицинской статистике, организации здравоохранения, геронтологии в основном интересуют долговременные закономерные процессы и тенденции, т.е. большое значение в медицине имеют задачи, возникающие как следствие исследований, проводимых в динамике. Анализ динамики статистических показателей основан на статистической теории анализа временных рядов или, как их чаще называют в медицинских исследованиях, рядов динамики. Ряды динамики в наиболее общем случае можно представить как сумму нескольких компонент: трендовой, сезонной и возмущающей. Многие временные ряды с компонентами роста и колебаний можно эффективно представлять ковариационно -стационарными моделями, содержащими линейные и синусоидальные функции тренда, а также неконтролируемыми случайными возмущениями. В общем случае, как показали результаты экспериментальных исследований, для прогнозирования большинства статистических показателей в медицинской статистике можно эффективно использовать следующий класс ковариационно - стационарных моделей вида:

г

2/(0 = v(0 + £ в*ну(* - з) + eW,

j=1 (1°)

if(t) = в0 -f в it -f в2 COS Ut + 03 sin ut + 04Í cos ut + 6st sin ut,

где t - дискретное время (t = 1,2,..., n), <p(t) - функция, характеризующая детерминированный тренд временного ряда, и — 2ж/Т, Т - период основной гармоники, обуславливающей сезонные изменения временного ряда, г - порядок авгорегрессионной составляющей модели, e(t) -неконтролируемое случайное возмущение (дискретный белый шум), удовлетворяющее вышеприведённым условиям 1) и 2).

Для решения задачи идентификации параметров 6q,0i, ... модели (10) использованы разработанные автором алгоритмы вычисления МНК - оценок параметров регрессионных моделей. Предлагаемая методика и программное обеспечение были использованы для исследования некоторых нозологических форм: болезни верхних дыхательных путей, болезни крови и кроветворных органов, гипертоническая болезнь, ишемическая болезнь сердца.

Прогнозирование концентраций вредных примесей в воздухе. Одной из важных проблем мониторинга окружающей среды является задача прогнозирования концентраций и обнаружения выбросов вред-

пых веществ от промышленных источников в воздухе населенных пунктов. Для прогнозирования загрязнения воздуха, обусловленного каким - либо промышленным источником, широко используются различные эмпирико - статистические модели. В диссертации для прогнозирования концентраций и обнаружения выбросов вредных веществ, вызванных одиночным промышленным источником, предлагается использовать эмпирическую математическую модель в виде стохастического разностного уравнения первого порядка:

1пс(*) = Д> +А Ыф- 1) +М1(*)+ *2*з(0+03*1*2+ е(*), (П)

где е(£) - среднечасовые значения концентраций вредных примесей в воздухе, < = 1,2,..., х\ = «(Осозсф), г>(0 - скорость ветра (м/сек) в момент времени t, а(1) - угол, характеризующий направление ветра (—7г < а(<) < 7Г и а{1) = 0 соответствует направлению ветра в момент времени I от источника промышленного загрязнения к точке, в которой осуществляется контроль воздуха в населенном пункте), Х2 - температура воздуха (°С), /?о, Л, , #2 > - неизвестные параметры математической модели, е{1) - неконтролируемое случайное отклонение, удовлетворяющее условиям 1), 2) и позволяющее учитывать большие выбросы вредных веществ от промышленных источников.

Основные преимущества предлагаемой модели (11) перед известными состоят в том, что в ней учитывается направление ветра и, главное, что она даёт возможность обнаружить резкие выбросы вредных веществ. Для решения задачи идентификации параметров /Зо, Рг, #1, (?2, вз модели (11) также использованы разработанные автором алгоритмы вычисления - оценок параметров регрессионных моделей. Для повышения точности прогноза концентраций вредных примесей в воздухе можно использовать стохастические разностные уравнения более высокого порядка, что повышает адекватность математической модели.

Предлагаемый подход был использован для решения задачи идентификации модели вида (11), которая применялась для прогнозирования концентраций и обнаружения выбросов фенола в воздухе г. Но-вокуйбышевска, вызванных Новокуйбышевским нефтеперерабатывающим заводом.

ЗАКЛЮЧЕНИЕ

Выполненные в работе исследования и разработанные на их основе методы, алгоритмы и программное обеспечение направлены на решение проблемы повышения эффективности применения вычислительной техники в решении задач экспериментально - статистического моделирования в технических, медико - биологических, экологических, экономических и других научных исследованиях. Основные результаты диссертационной работы состоят в следующем:

1. Проведён анализ вычислительных алгоритмов решения плохо обусловленных линейных задач наименьших квадратов, используемых в регрессионных методах идентификации систем.

2. Исследовано влияние сильной неоднородности дисперсий отклонений (грубых ошибок) в наблюдениях выходной переменной регрессионной модели на число обусловленности исходной регрессионной модели.

3. Разработан прямой рекуррентный метод решения линейных задач взвешенного МНК, который не требует предварительного масштабирования исходных данных и превосходит по быстродействию (в смысле числа арифметических операций) все известные алгоритмы решения данного класса задач.

4. Разработанные на основе прямого рекуррентного метода алгоритмы и программное обеспечение превосходят по численной устойчивости известные методы решения плохо обусловленных линейных задач МНК с сильно неоднородными по величине весами.

5. Предложена модификация прямого рекуррентного метода для решения линейных задач МНК неполного ранга и линейных задач МНК с комплексными элементами, часто встречающихся в задачах компьютерной оптики.

6. На основе прямого рекуррентного метода решения взвешенных линейных задач МНК, предложенного в диссертации, разработан численно устойчивый алгоритм нахождения робастных - оценок параметров регрессионных моделей объектов.

7. Полученные алгоритмы решения ВМНК задач имеют рекуррентную структуру и позволяют вычислять решения, точно совпадающие с соответствующими решениями нерекуррентного ВМНК, т.е. они не зависят от выбора начальных условий в отличие от известных рекуррентных методов, и могут эффективно использоваться в системах

адаптивной идентификации, фильтрации и адаптивного управления.

8. Численная устойчивость разработанных алгоритмов подтверждена проведёнными тестовыми исследованиями на ЭВМ.

9. Разработанные в диссертации регрессионные методы и алгоритмы идентификации применены для решения прикладных задач математического моделирования: динамики изменения показателей заболеваний людей и прогнозирования концентраций вредных примесей в атмосфере промышленных городов. Предложенная в диссертации математическая модель процесса изменения концентраций вредных примесей в воздухе позволяет не только прогнозировать концентрации, но и обнаруживать большие редкие выбросы вредных веществ от промышленных источников загрязнения воздуха.

Публикации по теме диссертации

1. Клейман Б.С. Прямой рекуррентный метод нахождения нормального решения систем линейных алгебраических уравнений неполного ранга (/ Труды 6 межвуз. конф. " Математическое моделирование и краевые задачи". - Самара, 1996. - С. 51 - 53.

2. Клейман Б.С. Прямой рекуррентный метод решения взвешенных линейных задач наименьших квадратов // Тез. докл. научно - технической конф. "Прикладные задачи в машиностроении и экономике". - Самара, 1996. - С. 21 - 22.

3. Клейман B.C. Об одном вычислительном алгоритме для решения задач полного метода наименьших квадратов // Труды 7 межвуз. конф. "Математическое моделирование и краевые задачи". - Самара, 1997. - С. 53 - 55.

4. Клейман B.C. Прямой рекуррентный метод нахождения псевдорешения систем линейных алгебраических уравнений / Самарский государственный аэрокосмический университет. - Самара, 1997. -18с. - Деп. в ВИНИТИ 13.01.97, №94-В97.

5. Клейман B.C. Прямой рекуррентный метод нахождения псевдорешений взвешенных линейных задач наименьших квадратов / Самарский государственный аэрокосмический университет. - Самара, 1997. - 15с. - Деп. в ВИНИТИ 04.02.97, №293-В97.