автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Квантильные многомерные модели регрессий, основанные на нелинейных дифференциальных уравнениях

На правах рукописи

м

005042693

Орлова Ирина Сергеевна

КВАНТИЛЬНЫЕ МНОГОМЕРНЫЕ МОДЕЛИ РЕГРЕССИЙ, ОСНОВАННЫЕ НА НЕЛИНЕЙНЫХ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЯХ

05.13.17 - Теоретические основы информатики

Автореферат

диссертации на соискание ученой степени кандидата физико-математических наук

1 о [/оз —>

Самара - 2012

005042693

Работа выполненна на кафедре теории вероятности и математической статистики федерального государственного бюджетного образовательного учреждения высшего профессионального образования "Самарский государственный университет".

Научный руководитель - доктор физико-математических наук,

профессор

Шатских Сергей Яковлевич Официальные оппоненты:

Соболев Владимир Андреевич, доктор физико-математических наук, профессор, федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)" , кафедра технической кибернетики, профессор;

Мясников Владислав Валерьевич, доктор физико-математических наук, доцент, федеральное государственное бюджетное образовательное учреждение науки Институт систем обработки изображений Российской академии наук, лаборатория математических методов обработки изображений, ведущий научный сотрудник.

Ведущая организация - федеральное государственное автономное образовательное учреждение высшего профессионального образования "Южный федеральный университет".

Защита состоится 18 мая 2012 г. в 15.00 часов на заседании диссертационного совета Д212.215.07 при федеральном государственном бюджетном образовательном учреждении высшего профессионального образования "Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)" (СГАУ) по адресу: 443086, г. Самара, Московское шоссе, 34.

ь

С диссертацией можно ознакомиться в библиотеке СГАУ. <

Автореферат разослан 17 апреля 2012 г.

Ученый секретарь диссертационного сове! доктор технических наук, профессор

Общая характеристика работы

Диссертация посвящена разработке, исследованию и анализу основных свойств квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений.

Актуальность темы

Главная цель создания регрессионной модели некоторой системы состоит в оптимальном построении функциональной зависимости между наблюдаемыми переменными, характеризующими работу этой системы.

Возникновение регрессионных моделей относят к концу 18 века в связи с астрономическими и геодезическими работами П.С. Лапласа, A.M. Лежандра и К.Ф. Гаусса. Термины регрессия и корреляция впервые появляются в конце 19 века в работах Ф. Гальтона, посвященных генетике и психологии.

В настоящее время регрессионные модели имеют большое многообразие форм, степеней сложности и возможностей применения для решения теоретических и прикладных задач. Регрессионные модели составляют важную часть статистической теории распознавания образов и изображений (К. Fukunaga, A. Webb, S. Li, P. Qin, L. Devroye, R. Ledley, B.B. Сергеев, В.A. Сойфер, Л.П. Ярославский), методов машинного обучения (Е. Parzen, М. Rosenblatt, Э.А. Надарайа, И.А. Ибрагимов, В.Н. Вапник, А.Я. Червонен-кис, A.B. Цыбаков), фильтрации и анализа данных, обнаружения закономерностей в данных и их извлечениях (W. Cochran, J. Tukey, R. Little, D. Rubin, Н.Г. Загоруйко, M.B. Лагутин, Ю.Н. Тюрин).

В основе квантильных статистических регрессионных моделей различных структур и процессов лежит широкое использование математической техники условных медиан и квантилей многомерных вероятностных распределений (J. Tukey, P. Bhattacharya, R. Koenker, P. Chaudhuri, Ch. Thomas-Agan, С.Я. Шатских, O.B. Горячкин). Это связано с появлением новых статистических моделей, в которых ошибки наблюдений имеют негауссовские распределения с "тяжелыми хвостами". Для таких моделей предположение о существовании моментов функций распределения уже не является справедливым. Поэтому в регрессионном анализе и теории фильтрации развивается "безмоментный" подход, в рамках которого условные медианы и квантили, как функции "объясняющих факторов" , используются вместо условных средних. Кроме того, по сравнению с оценками наименьших квадратов, выборочные условные медианы и квантили менее чувствительны к появлению резко отклоняющихся наблюдений.

Настоящая работа посвящена разработке новых квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений. Таким образом, тематика диссертационной работы является актуальной как с точки зрения развития теории, так и с точки зрения возможных практических приложений.

Цель и задачи исследования

Целью диссертации является разработка и исследование квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений, разработка алгоритмов линеаризации дифференциальных уравнений.

Для достижения поставленной цели в диссертации решаются следующие задачи:

1. Создание новой квантильной многомерной регрессионной модели, основанной на данных парных наблюдениий и дифференциальных уравнениях Пфаффа, применение этой модели к решению задач медианной фильтрации и интерполяции изображений.

2. Разработка алгоритма обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Построение теории квантильной многомерной регрессионной модели (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Разработка алгоритма приближенного решения вполне интегрируемых квантильных уравнений Пфаффа и его программная реализация.

5. Разработка алгоритмов линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Методы исследований

В диссертационной работе используются методы теории вероятностей и многомерного статистического анализа, анализа данных, статистической теории распознования образов и изображений, линейной алгебры, математического анализа, дифференциальных уравнений и вычислительной математики.

Научная новизна работы

Разработана новая квантильная регрессионная модель (КРМ), основанная на данных парных наблюдений и дифференциальных уравнениях Пфаффа. Рассмотрена возможность применения этой модели к решению задач медианной фильтрации и интерполяции изображений.

Разработан алгоритм обнаружения закономерностей в данных парных наблюдений и их извлечениях.

Разработана теория КРМ (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

Разработан алгоритм приближенного решения вполне интегрируемых квантильных уравнений Пфаффа для условных квантилей и его программная реализация.

Разработаны новые алгоритмы линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Практическая ценность работы

Диссертационная работа носит теоретический характер. Однако, разработанные в ней квантильные регрессионные модели могут быть положены в основу решения многих конкретных прикладных задач связанных с распознаванием образов и изображений, медианной фильтрации, интерполяции изображений, а также с разработкой алгоритмов анализа данных.

Реализация результатов работы

Материалы диссертации внедрены в учебный процесс кафедры теории вероятностей и математической статистики Самарского государственного университета.

Апробация работы

Основные результаты диссертационной работы были представлены на конференциях:

- Third Int. Conf. "Symmetry in nonlinear math, physics Kyiv, Ukraine, 12-18 July 1999.

- Int. Sei. Conf. on Mathematics, ISCM HERL'ANY, Slovak Republic, Oct. 21-23, 1999. University of Technology Kosice.

- The International Conference MORGAN 2000. Modern Group Analysis for the New Millennium, Ufa, RUSSIA, 27 September- 03 October, 2000.

- Всероссийская научная конференция "Качественная теория дифференциальных уравнений и её приложения Рязань, 9-13 октября 2006.

- XVII Всероссийская школа - коллоквиум по стохастическим методам, г. Кисловодск, 1-8 мая 2010 г.

- Семинар кафедры теории вероятностей и математической статистики СамГУ (рук. проф. С.Я. Шатских), (2010 - 2012 гг.)

Публикации. По теме диссертации опубликовано 8 работ, в том числе 8 статей, из них 4 - в изданиях, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени доктора и кандидата наук.

Структура и объём диссертации

Поставленные задачи определили структуру работы и содержание отдельных разделов. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников и приложения. Она изложена на 135 страницах машинописного текста (без приложения), содержит 24 рисунка, 3 таблицы, список использованных источников из 118 наименований.

На защиту выносятся

1. Новая квантильная многомерная регрессионная модель, основанная на данных парных наблюдениий и дифференциальных уравнениях Пфаффа.

2. Алгоритм обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Теория квантильной многомерной регрессионной модели (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Алгоритм приближенного решения вполне интегрируемых квантиль-ных уравнений Пфаффа и его программная реализация.

5. Алгоритмы линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Краткое содержание диссертации

Во введении обоснована актуальность темы диссертации, сформулирована цель работы, а также задачи, подлежащие решению, приведены положения, выносимые на защиту, рассмотрена структура диссертации.

Первый раздел диссертации посвящен основным определениям и свойствам квантильной регрессии.

В основе квантильных регрессионных моделей различных структур и процессов лежит широкое использование математической техники условных медиан и квантилей многомерных вероятностных распределений.

Квантиль уровня р G [0, 1] случайной величины X с функцией распределения F(x) = < х} определяется равенством

q(p) = inf{u : F(u) >р};

для непрерывной строго монотонной функции распределения F(x) :

F(qto))=p, 9(р)=тг-1(р);

квантили специальных видов:

<у'1/2) - медиана, q^^, - нижняя и верхняя квартили,

q(з/4) _ g(i/4) _ интперквартпилъный размах.

Условные квантили и медианы: условная квантиль

хп = • • ■ > En-l)

уровня р е [0,1] случайной величины Хп по случайным величинам Xi, ..., определяется равенством

Fn\i... n-i (<7^1... „_! (^ъ •••, xn-i)|a:i. •••> Xn-i) = p,

где F„|i...».i(2;„|ii, ..., x„_i) = P{Xn < xn\X\ = x\, ..., Xn_x = -

условная функция распределения (непрерывная и строго монотонная по хп).

Условная медиана: хп = п_х{х\, ..., хп^\).

Для симметричных по хп условных функций распределения

/п\1 ...п-\(хп\х\, ..., I„_l) = /п|1 ...п-\{-Хп\х\, • • • , xn-l),

условное математическое ожидание совпадает с условной медианой М{Х„|Хх -XI, Хп_1 = = Чп^.п-х^и • • •, Жп-г)-

Квантильные модели регрессий

Квантильная (медианная р = регрессия случайной величины Х„ на случайные величины Хх,... ,Хп-\ задается с помощью регрессионной функции

•••.*«-!)' ре [0,1].

Примеры использования квантильной регрессии при обработке изображений

Интерполяция.

1. На этапе восстановления изображения по обработанному (кодированному) изображению используется способ интерполяции по известной схеме «прямой крест». Сначала вычисляются аппроксимирующие значения отсчетов на краях ячейки, как условные медианы двух ближайших угловых отсчетов. Затем центральный отсчет предсказывается с помощью условной медианы четырех отсчетов на ребрах.

2. При увеличении изображения (или при искажении изображения геометрическим преобразованием) используется интерполяция уровня яркости в "промежуточном" отсчете (пикселе) с помощью условной медианы уровней яркостей в соседних отсчетах

Х3 = 9З|1245(-^-Ь Х4, Х5)

Использование условных медиан и квантилей полезно при подавлении аддитивного импульсного шума "аак-ап<1-реррсг гкл8е"и фильтрации радиолокационных изображений.

Фильтрация.

Аналог ранговых адаптивных алгоритмов локальной фильтрации: оператор фильтрации Ф использует условные квантили, построенные по отсчетам Х\,..., в скользящем окне Т> центрального отсчета Хэ

9(<!/4)=9^№,...,Х8), к = М,

х6

ф-

-ф-

Х7

Хп

-ф

V

Х8

Хд = ф[{9^4), А; = 0,4},Х9] = = ближайшая к Хд условная квантиль с/

(к/4)

Оптимальность квантильной регрессии

Минимизация байесовского риска

МЫХп-дЭД „ч№, - *„-!))} =тшМ{Рр{Хп-д(Хи ..., Х^))},

9()

с функцией потерь

/ \ Г (р — 1) и, и < О, г_ ,,

^ = {РВ1 «>0; рб[о'1]-

Многомерные распределения вероятностей, обладающие свойством воспроизводимости условных квантилей.

Графики условных квантилей - поверхности или кривые постоянного уровня, определяемые отмеченной точкой х°—(х^,.,., х'°):

) / О о \ _ о

^\\2...п\Х2ч • • • ■> хп) ~ Х1 >

Определение. Будем говорить, что для многомерного распределения вероятностей ■ • •, хп) выполняется свойство воспроизводимости условных квантилей, если система тождеств:

Ч1|2...п п УХп)'--'^п-1\п Кхп), Хп] - Яцп (Хп)

имеет место для любой отмеченной точки х°=(х..., х°) € Еп.

Примеры многомерных распределений обладающих воспроизводимостью условных квантилей: распределение Гаусса, распределение Стьюден-та (Коши), распределение Дирихле, распределение Парето, распределение Клейтона, логистическое распределение и т.д. Второй раздел диссертации

При изучении многомерных моделей в математической статистике и анализе данных обычно рассматривают выборки, размерности которых совпадают с размерностями наблюдаемых случайных векторов

{(ХЬ...,*„)} ы. {(*?>,..., *£)),..., (*<«>,..., *£»>)}.

Заметим, что использование выборок парных наблюдений объёма т

{(*,*,•)} {(x^xf),..., (х[т\х{^)}, i,j = ТТтг-

не позволяет (в негауссовском случае), построить удовлетворительные оценки параметров (или провести проверку гипотез), относящихся к распределениям более высоких размерностей.

Возникает вопрос: что можно извлечь из данных парных наблюдений для нахождения или статистической оценки объектов характеризующих распределения более высоких размерностей?

Сравнение объёма выборки \Vn\ = kmn, необходимой для построения статистической оценки "большой" условной квантили, с суммарным объёмом выборок Sn = km2n{n — 1), необходимых для построения статистических оценок всех двумерных условных квантилей и их производных:

п > 3 ига > 6 : \Vn\ > Sn, а для п > 3, lim = оо.

т—>оо Sn

Очевидно, что (при объёмах выборок т > 6) величина IV^I значительно больше Sn.

Дифференциальное уравнение Пфаффа для условных квантилей многомерных вероятностных распределений

Используя определитель

ei е2 е3 ... en_i е„

1 ^rr2)(z2) ... е-11Г2)Ы #гп)(*п) йг"^) я&хп)(*п) ... яёг^м........i.....

где e¿ - базисные орты пространства Rn, a <i^]"T:'Hxj) - производная условной квантили по переменной х3, введем дифференциальное уравнение Пфаффа

п

Ы = Aík(xi, ■ ■ ■, Xn)dxk = О, k=1

где Aik - алгебраическое дополнение орта efe.

Теорема 1. Если распределение вероятностей Fi...n(xi,... ,хп), с положительной на Еп совместной плотностью, обладает свойством воспроизводимости условных квантилей, а коэффициент Ац(х\,..., хп) ф 0, то дифференциальное уравнение Пфаффа

п

W = ^ Ац(хи • • • ,xn)dxi = 0, (*)

¿=i

вполне интегрируемо. Решением уравнения (*), проходящим через точку

(¡с ° )

х°, является "большая" условная квантиль х\ = qц2 п(%2, ■ ■ ■, хп).

В качестве примеров в диссертационной работе рассмотрены решения вполне интегрируемых квантильных уравнений Пфаффа для следующих многомерных вероятностных распределений: гауссовское, Стьюдента (Ко-ши), логистическое, Парето и др.

Замечание. Как следует из теоремы 1, воспроизводимость условных квантилей влечет за собой полную интегрируемость уравнения Пфаффа. Однако, обратное утверждение неверно (см. параграф 2.3. п.2).

На основе классического критерия полной интегрируемости дифференциальных уравнений Пфаффа (теорема Фробениуса) и известной теоремы Дарбу, в диссертации разработан следующий алгоритм построения кван-тильной регрессионной модели на основе парных наблюдений.

Пример: смесь 9-мерных гауссовских распределений с одинаковыми 8-мерными маргиналами

1 3

/(Х1,...,Х0) = -Р1(Ж1,...,Ж9)+ - д2(х1, .. .,Хд),

где гауссовские плотности 1

91 =

(2тг) 5^/1597

92 =

(2тг) 5^1220

с нулевыми математическими ожиданиями и ковариационными матрицами

В1 =

Уравнение Пфаффа для смеси гауссовских плотностей

( 1 1 1 1 1 1 1 1 1 \ / 1 1 1 1 1 1 1 1 1 \

1 3 2 2 2 2 2 2 2 1 3 2 2 2 2 2 2 2

1 2 4 3 3 3 3 3 3 1 2 4 3 3 3 3 3 3

1 2 3 5 4 4 4 4 4 1 2 3 5 4 4 4 4 4

1 2 3 4 6 5 5 5 5 ,В2 = 1 2 3 4 6 5 5 5 5

1 2 3 4 5 7 6 6 6 1 2 3 4 5 7 6 6 6

1 2 3 4 5 6 8 7 7 1 2 3 4 5 6 8 7 7

1 2 3 4 5 6 7 9 8 1 2 3 4 5 6 7 9 9

V 1 2 3 4 5 6 7 8 10 ) \ 1 2 3 4 5 6 7 9 11 /

_(у2{х8,х9) 1 \ /^(хв.жэ) 1 Л , /У2{х8,х9)

V 181440 20160/ 1 V 181440 20160/ 2 \ 60480

и

6720 )

<1.х3 +

( У2(ха,хд)__1 , /У2(х8,хд)__1_\ , ( 11у2{х8,х9)

+ \ 22680 2520 / 4 ^ 864о 960 У 5~Ч 36288

— )

4032 I

¿.Хк

(У2(Х8,Х9) 1 \

\ 1260 140)

1487

йх 8 +

61

где

у2(х8,х9) :=

181440 181440 / " ' 18144

117е458(818-919)2 + вч/ГЗе!^8-19^

¿Хд = 0,

13еЗб5 ^8хв_9х9'2 + -/ТЗег^8-19'2

Полной интегрируемости уравнения Пфаффа нет. Класс Дарбу дифференциальной 1-формы ш равен трем.

Канонический вид уравнения Пфаффа

и = «¿2/1 (жх,... ,ж9) + уъ(х&,хъ)(1уз{хи ...,х8) = 0 с линейными первыми интегралами

у\{х-1,... ,хэ) :=

_ Х\ Х2 Хз Х4 Х5 11Жб Ху 1487X8 61Ж9

20160 ~~ 20160 ~ 6720 ~ 2520 ~~ 960 ~ 4032 ~ 140 + 181440 + 18144 + ь

Уз(х1,... ,х8) :=

= ХХ + Х2 + Х3 + ХА + Хъ + 11Жб , Х7 _ 233ж8 с 181440 181440 60480 22680 8640 36288 1260 181440 3'

Интегральное многообразие МсМ9 максимальной размерности 7 задается уравнениями

2/1(2:1,...,ж9) = С\, у3{х1,...,хд) = С3.

На интегральном многообразии М условное распределение -Рд|1...8 постоянно. Таким образом, для смеси 9-мерных гауссовских распределений интегральное многообразие М является частью "большой" условной квантили

М С {(*!,..., х8) :ж9 = <3^ 8(ж1,..., ж8) }•

Интегральные кривые дифференциальных уравнений Пфаффа Теорема 2. Для дифференциального уравнения Пфаффа

п

и = ^ Ац(х1,.. .,хп)йх1 = 0, (*)

¿=1

кривые

Ъ{х°,Х2) = 2'{Х2), Х2, 9З|23 (х2), .... 9п_Ц2 Ы, 9„|З 4^2»,

-уп(х°,хп) = (д^'^Огп), ^'""'Ы, ^п3,<)(хп),..., ¿."{¡^"^п), ж„},

проходящие через произвольную отмеченную точку х° = (х^,..., ) € К™, являются интегральными кривыми, они касаются в этой точке одной и той же плоскости, которая, для не вполне интегрируемых уравнений (*), не совпадает с касательной плоскостью к "большой" условной квантили. Третий раздел диссертации

Будем искать решение и(х1,... ,хп-1) задачи Коши для многомерного дифференциального уравнения 1-го порядка

{, , ч "у^1 .....1.-1» .

йи\х 1,---,Хп-1) - А1п(хи...,хп-1) аЖг> (*)

ХП = и(х\, ■ ■■ ,

на пучке полупрямых, выходящих из точки х°1_1 = ... :

Г 11Ц) = (х°1+а\1, ... ,х°п_1+а1п_11),

{ гт(0 = (х? + аП, «>0.

Последовательно проводя сужения решения и(хх,..., хп-1) на полупрямые

Ш :

ик{1) и(х1 + а{4, ...,<_!+ Ь > О,

ик(0) = и(х 1, Х2, ■ ■ ■ ,= х°, получим задачу Коши для системы т обыкновенных дифференциальных уравнений

{¿иь = _ V*1 Аи^+а^ ...,х°п_1+акп к

М)Ь(О) = , /с = Т~т.

В качестве модельного примера рассматривалось трехмерное сферически симметричное распределение Коши с плотностью

/123(^1,2:2, ж3) =

1

7Г»(1 +Х\+Х\

Проведено сужение дифференциального уравнения Пфаффа этого распределения (1 + х\ + (¿жз — х$х\(1х\ — х^х2с1х2 = 0 на плоское семейство восьми лучей, выходящих из одной отмеченной точки

При этом дифференциальное уравнение Пфаффа сводится к системе восьми обыкновенных дифференциальных уравнений. Решая эти восемь уравнений, получаем приближенное решение исходного уравнения на лучах. Продолжение радиальных решений на окрестность точки х° проводится с помощью радиальных функций, а в случае сферической симметричности исходного распределения вероятностей с помощью "вращения" одного радиального решения.

Было реализовано численное решение системы восьми дифференциальных уравнений методом Рунге - Кутта четвертого порядка в среде МАТЬАВ (использовалась стандартная подпрограмма ос!е45 на 2-х ядерном компьютере).

В результате получено приближенное решение (табличное и графическое ) уравнения Пфаффа. Это решение было проинтерполиро-вано с помощью полиномиальной регрессии

p6(s) = 1.00001-0.471667s+0.0568953s2

+0.0173781s - 0.00674438s6

Дана оценка точности интерполяции

) -Pe(s)| < < 0.000048

Проведено наглядное графическое сравнение проинтерполированного приближенного решения уравнения Пфаффа с "большой" условной кван-тилью трехмерного сферически симметричного распределения Коши.

С4^), Ре (>/5- " I6 '

-рв (V2- sjx\

< 0.000048, (xltx2) e [-1,1] x [-1,1].

Продолжение найденных решений на лучах на всю окрестность точки х° осуществляется с помощью радиальной функции

s(r, в) - д0(г)ф (?) +91(г)ф (^в + l) +д.1(г)ф (±0 - l) +д2(г)ф (^0 + 2

+д-2(г)ф - 2) +3з(г)ф + 3) +9-з{г)Ф (J в ~ з)+д*(т)ф в + 4

+g-t(r)4>(^9-4j, ге[0,Д], в€[-тг, тг],

где gi(r) — радиальные решения уравнения Пфаффа на лучах, а ф(х) определяется следующей треугольной функцией

х < —1, -1 < X < О,

0 < х < 1,

1 < х

в результате получаем приближенное решение уравнения Пфаффа.

Четвертый раздел диссертации

Линеаризация нелинейных дифференциальных уравнений является одним из наиболее важных методов решения уравнений подобного вида.

В данном разделе рассматривается задача точечного приведения дифференциального уравнения Пфаффа к дифференциальному уравнению Пфаффа с постоянными коэффициентами (квантильное уравнение Пфаффа для многомерного гауссовского распределения).

Теорема 3. Дифференциальное уравнение Пфаффа

Ыгп, • ■ •, Уп) - тгц)) ± (¿°*dVk(t%J--'Vn)) *Vi = о,

(1)

где

1° i/j(-) - строго положительная плотность на всей оси (—оо,оо);

2° дифференцируемые функции

= viivi, ■ ■ ■ ,Уп)

.................. имеют ненулевой якобиан; (2)

хп = vn{yi,...,yn)

3° га;, а* = const, i = l,n, ai > 0

можно точечным преобразованием, обратным преобразованию (2), привести к виду дифференциального уравнения Пфаффа с постоянными коэффициентами

п

У^ ак dxk = 0. к=1

Решение (размерности п — 1) уравнения (1), проходящее через точку у0 — (у°, ..., у°), имеет следующий вид

71

«г (Vi(V 1, ■ • • , Уп) - Vi{y{, . . . , у°)) = 0.

«=1

В диссертации разработан алгоритм линеаризации автономных дифференциальных уравнений п—го порядка и дана практическая реализация этого алгоритма.

Заключение

В диссертационной работе получены следующие основные результаты:

1. Разработана новая квантильная многомерная регрессионная модель, основанная на данных парных наблюдениий и дифференциальных уравнениях Пфаффа, рассмотрено её применение к решению задач медианной фильтрации и интерполяции изображений.

2. Разработан алгоритм обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Построена теория квантильной многомерной регрессионной модели (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Разработан алгоритм приближенного решения вполне интегрируемых квантильных уравнений Пфаффа и осуществлена его программная реализация.

5. Разработаны алгоритмы линеаризации квантильных уравнений Пфаффа и автономных дифференциальных уравнений п—го порядка, дана практическая реализация этих алгоритмов.

Основные положения диссертации отражены в следующих публикациях:

Статьи в ведущих рецензируемых научных журналах и изданиях, входящих в перечень ВАК

1. Беркович JI.M., Орлова И.С. Точная линеаризация некоторых классов автономных ОДУ. Вестник СамГУ, 1998, №-4(10), с. 5-16.

2. Орлова И.С. Об одном методе точной линеаризации нелинейных дифференциальных уравнений пятого и шестого порядков. Вестник СамГУ, 2000. №-4(18), с. 35-48.

3. Орлова И.С., Шатских С.Я. Дифференциальные уравнения Пфаффа для условных квантилей многомерных вероятностных распределений. Вестник СамГУ, естественнонаучная серия, №2(76), 2010. стр. 32-47.

4. Орлова И.С., Шатских С.Я. Уравнения Пфаффа для условных квантилей. Обозрение прикладной и промышленной математики, т. 17, вып. 2, М.: Редакция журнала "ОПиПМ2010, стр. 237-239.

Другие публикации

5. Орлова И.С. Факторизация и преобразования нелинейных обыкновенных дифференциальных уравнений. Изв. Российской акад. естественных наук. 2006. № 11, с. 175-176.

6. Berkovich L.M., Orlova I.S. Linearization of second and third orders nonlinear ordinary differential equations. ISCM HERLANY 1999. University of Technology Kosice. Proceedings, pp. 35-38.

7. Berkovich L.M., Orlova I.S. Point and nonpoint transformations of nonlinear ordinary differential equations. The International Conference MORGAN 2000. Modern Group Analysis for the New Millennium, Ufa, RUSSIA, 27 September-03 October, 2000. pp. 32-36.

8. Berkovich L.M., Orlova I.S. The Exact Linearization of Some Classes of Ordinary Differential Equations for Order n > 2. Proceedings of Institute of Mathematics of NAS of Ukraine. 2000. Vol. 30, Part 1, 90-98.

Подписано в печать 10.04.2012. Тираж 100 экз. Отпечатано с готового оригинал-макета заказчика. 443086, г. Самара, Московское шоссе, 34, СГАУ.

61 12-1/1019

Министерство образования и науки РФ федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

САМАРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи

Орлова Ирина Сергеевна

Квантильные многомерные модели регрессий, основанные на нелинейных дифференциальных уравнениях

05.13.17 - Теоретические основы информатики

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата физико-математических наук

Научный руководитель доктор физико-математических наук профессор С.Я. Шатских

САМАРА 2012

Содержание

Введение 4

1 Квантильные модели регрессий 13

1.1 Квантили и медианы вероятностных распределений ....... 13

1.2 Квантили и медианы как статистические оценки значений случайной величины...........................14

1.3 Условные квантили многомерных вероятностных распределений. Квантильные модели регрессий................17

1.4 Примеры использования квантильной регрессии при обработке изображений.............................19

1.5 Многомерные распределения вероятностей, обладающие свойством воспроизводимости условных квантилей..........20

1.6 Выводы................................21

2 Дифференциальные уравнения Пфаффа для условных

квантилей многомерных вероятностных распределений 22

2.1 Парные наблюдения и наблюдения полной размерности.....22

2.2 Дифференциальные уравнения Пфаффа для условных квантилей 24

2.3 Применение теоремы Фробениуса для решения вполне интегрируемых уравнений Пфаффа известных многомерных распределений .................................27

2.4 Интегральные кривые дифференциальных уравнений Пфаффа 36

2.5 Применение теоремы Дарбу для решение дифференциальных уравнений Пфаффа в случае отсутствия полной интегрируемости. Смесь 4-мерных гауссовских распределений с одинаковыми 3-мерными маргиналами...................... . 38

2.6 Решение дифференциального уравнения Пфаффа для смеси 9-мерных гауссовских распределений с одинаковыми 8-мерными маргиналами.............................48

2.7 Использование компьютерной алгебры ("МАРЬЕ-13 "МАТНЕМАТ1СА-8") для решения и исследования дифференциальных уравнений Пфаффа..................57

2.8 Выводы................................59

3 Приближенное решение дифференциальных уравнений

Пфаффа для условных квантилей многомерных вероятностных распределений 60

3.1 Приближенное решение дифференциальных уравнений Пфаффа 60

3.2 Практическая реализация решения уравнения Пфаффа на пучке лучей, вычисление условной квантили трехмерного распределения Коши.............................62

3.3 Численное решение системы дифференциальных уравнений в среде MATLAB................................66

3.4 Вычисление условной квантили для сферически симметричных распределений (интерполяция приближенных решений дифференциальных уравнений) ......................69

3.5 Радиальные функции ...............................75

3.6 Программные реализация приближенного решения уравнения Пфаффа в среде MATLAB и на языке С .............77

3.7 Выводы................................78

4 Линеаризация дифференциальных уравнений 79

4.1 Линеаризация квантильных уравнений Пфаффа.........79

4.2 Линеаризация обыкновенных дифференциальных уравнений . . 87

4.3 Теорема о линеаризация автономных дифференциальных уравнений п - го порядка.........................94

4.4 Линеаризация дифференциальных уравнений второго порядка . 99

4.5 Линеаризация дифференциальных уравнений 4-го порядка . . . 105

4.6 Линеаризация дифференциальных уравнений 5-го порядка . . .111

4.7 Линеаризация дифференциальных уравнений 6-го порядка . . .118

4.8 Использование компьютерной алгебры ("MAPLE-13 "MATHEMATICA-8") в задачах линеаризации и факторизации обыкновенных дифференциальных уравнений . . . .125

4.9 Выводы................................127

Литература 128

А Приложение 136

А.1 Дифференциальные формы.....................136

А.2 Координатные формы.........................136

А.З Определение внешнего дифференциала...............137

А.4 Вычисление внешних произведений и внешних дифференциалов в системе MATHEMATICA - 8.................139

А.5 Уравнения Пфаффа.........................140

А.6 Кольцо обыкновенных дифференциальных операторов и его

свойства................................143

А.7 Листинг. Численное решение дифференциального уравнения

Пфаффа. Реализация на языке С..................153

Введение

Диссертация посвящена разработке, исследованию и анализу основных свойств квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений; разработке алгоритмов линеаризации дифференциальных уравнений.

Актуальность темы

Главная цель создания регрессионной модели некоторой системы состоит в оптимальном построении функциональной зависимости между наблюдаемыми переменными, характеризующими работу этой системы.

Возникновение регрессионных моделей относят к концу 18 века в связи с астрономическими и геодезическими работами П.С. Лапласа, A.M. Лежандра и К.Ф. Гаусса. Термины регрессия и корреляция впервые появляются в конце 19 века в работах Ф. Гальтона, посвященных генетике и психологии.

В настоящее время регрессионные модели имеют большое многообразие форм, степеней сложности и возможностей применения для решения теоретических и прикладных задач. Регрессионные модели составляют важную часть статистической теории распознавания образов и изображений (К. Fukunaga, A. Webb, S. Li, P. Qin, L. Devroye, R. Ledley, B.B. Сергеев, В.А. Сойфер, Л.П. Ярославский), методов машинного обучения (Е. Parzen, М. Rosenblatt, Э.А. Надарайа, И.А. Ибрагимов, В.Н. Вапник, А.Я. Червоненкис, A.B. Цыбаков), фильтрации и анализа данных, обнаружения закономерностей в данных и их извлечениях (W. Cochran, J. Tukey, R. Little, D. Rubin, Н.Г. Загоруйко, M.B. Лагутин, Ю.Н. Тюрин).

В основе квантильных статистических регрессионных моделей различных структур и процессов лежит широкое использование математической техники условных медиан и квантилей многомерных вероятностных распределений (J. Tukey, P. Bhattacharya, R. Koenker, P. Chaudhuri, Ch. Thomas-Agan, С.Я. Шатских, O.B. Горячкин). Это связано с появлением новых статистических моделей, в которых ошибки наблюдений имеют негауссовские распределения с "тяжелыми хвостами". Для таких моделей предположение о существовании моментов функций распределения уже не является справедливым. Поэтому в регрессионном анализе и теории фильтрации развивается "безмоментный" подход, в рамках которого условные медианы и квантили, как функции "объясняющих факторов" , используются вместо условных средних. Кроме того, по сравнению с оценками наименьших квадратов, выборочные условные медианы и квантили менее чувствительны к появлению резко отклоняющихся наблюдений.

Настоящая работа посвящена разработке новых квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений. Таким образом, тематика диссертационной работы является актуальной как с точки зрения развития теории, так и с точки зрения возможных практических приложений.

Цель и задачи исследования

Целью диссертации является разработка и исследование квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений, разработка алгоритмов линеаризации дифференциальных уравнений.

Для достижения поставленной цели в диссертации решаются следующие задачи:

1. Создание новой квантильной многомерной регрессионной модели, основанной на данных парных наблюдений и дифференциальных уравнениях Пфаффа, применение этой модели к решению задач медианной фильтрации и интерполяции изображений.

2. Разработка алгоритма обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Построение теории квантильной многомерной регрессионной модели (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Разработка алгоритма приближенного решения вполне интегрируемых квантильных уравнений Пфаффа и его программная реализация.

5. Разработка алгоритмов линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Методы исследований

В диссертационной работе используются методы теории вероятностей и многомерного статистического анализа, анализа данных, статистической теории распознавания образов и изображений, линейной алгебры, математического анализа, дифференциальных уравнений и вычислительной математики.

Научная новизна работы

Научной новизной обладают следующие результаты:

1. Разработана новая квантильная регрессионная модель (КРМ), основанная на данных парных наблюдений и дифференциальных уравнениях Пфаффа. Рассмотрена возможность применения этой модели к решению задач медианной фильтрации и интерполяции изображений.

2. Разработан алгоритм обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Разработана теория КРМ (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Разработан алгоритм приближенного решения вполне интегрируемых квантильных уравнений Пфаффа для условных квантилей и его программная реализация.

5. Разработаны новые алгоритмы линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Практическая ценность работы

Диссертационная работа носит теоретический характер. Однако, разработанные в ней квантильные регрессионные модели могут быть положены в основу решения многих конкретных прикладных задач связанных с распознаванием образов и изображений, медианной фильтрации, интерполяции изображений, а также с разработкой алгоритмов анализа данных.

Реализация результатов работы

Материалы диссертации внедрены в учебный процесс кафедры теории вероятностей и математической статистики Самарского государственного университета.

Апробация работы

Основные результаты диссертационной работы были представлены на конференциях:

- Third Int. Conf. "Symmetry in nonlinear math, physics Kyiv, Ukraine, 12-18 July 1999.

- Int. Sei. Conf. on Mathematics, ISCM HERL'ANY, Slovak Republic, Oct. 21-23, 1999. University of Technology Kosice.

- The International Conference MORGAN 2000. Modern Group Analysis for the New Millennium, Ufa, RUSSIA, 27 September- 03 October, 2000.

- Всероссийская научная конференция "Качественная теория дифференциальных уравнений и её приложения Рязань, 9-13 октября 2006.

- XVII Всероссийская школа - коллоквиум по стохастическим методам, г. Кисловодск, 1-8 мая 2010 г.

- Семинар кафедры теории вероятностей и математической статистики СамГУ (рук. проф. С.Я. Шатских), (2010 - 2012 гг.)

Публикации.

По теме диссертации опубликовано 8 работ, в том числе 8 статей, из них 4 - в изданиях, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные

результаты диссертаций на соискание ученой степени доктора и кандидата наук.

Результаты научных публикаций в соавторстве, принадлежащие И.С. Орловой:

[38] Формулировки теорем 1 и 2. Реализация идеи квантильной регрессионной модели, основанной на данных парных наблюдений для некоторых базовых распределений вероятностей.

[39] Доказательства теорем 1 и 2. Проверка полной интегрируемости и решение квантильных уравнений Пфаффа для базовых распределений. Вычисление класса Дарбу и решение квантиль-ного уравнения Пфаффа для смеси гауссовских распределений.

[9] Доказательство леммы 1. Доказательства предложений 4.1, 4.2, 4.3.

[66] Propositions 1.2, 2.2, 3.1.

[67] Examples 1, 2, 3. Propositions 5, 6.

[68] Propositions 3.1, 3.2, 3.3, 4.1, 4.2, 4.3.

Структура и объём диссертации

Поставленные задачи определили структуру работы и содержание отдельных разделов. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников и приложения. Она изложена на 135 страницах машинописного текста (без приложения), содержит 24 рисунка, 3 таблицы, список использованных источников из 118 наименований.

Краткое содержание диссертации

Дадим краткое изложение содержания диссертационной работы.

Первый раздел посвящен описанию квантильных многомерных регрессионных моделей.

Возникновение регрессионных моделей относят к концу 18 века в связи с астрономическими и геодезическими работами Р. Босковича (Boscovich R.J., 1711 - 1787), П.С. Лапласа, A.M. Лежандра и К.Ф. Гаусса1.

В настоящее время регрессионные модели имеют широкое многообразие форм, степеней сложности и возможностей применения для решения теоретических и прикладных задач (см., например, [90]). Так по виду функциональной зависимости различают линейные и нелинейные регрессионной модели. Использование различного вида функций потерь, а также различных методов статистического оценивания неизвестных параметров, позволяет строить

1 Несмотря на то, что появление этих работ связано с задачами практического сглаживания наблюдений, в них также рассматриваются и теоретико-вероятностные вопросы истинного характера распределений погрешностей наблюдений. В частности, в работах Лапласа и Гаусса исследуется роль нормального (гауссовского) распределения. Двумерное гауссовское распределение впервые используется Ф. Гальтоном.

регрессионные модели с различными свойствами оптимальности. Наконец, по виду и структуре наблюдений также различают разного вида модели регрессий: байесовскую, непараметрическую, ридж-регрессию и т.д. (см., например, [55], [47], [109], [114], [107], [72]).

Область применимости регрессионных моделей необозримо широка. Помимо традиционных статистических задач обработки результатов наблюдений и измерений, регрессионные модели успешно применяются в задачах управления и прогнозирования возникающих в технических науках, экономике, социологии, химии, биологии и медицине (см. [29], [1], [85], [112], [56], [40], [33], [93]).

Регрессионные модели составляет важную часть статистической теории распознавания образов и изображений (см. [14], [18], [19], [48], [49], [54], [94], [115], [117]), методов машинного обучения (см. [65], [83], [81], [116]), фильтрации и анализа данных (см. [35], [74], [24]).

В последние десятилетия условные квантили и условные медианы находят все большее применение в теории вероятностей, математической статистике и их приложениях. В частности это связано с появлением новых прикладных статистических моделей, в которых ошибки наблюдений имеют негауссовские распределения с "тяжелыми хвостами" (см., например, [18], [19], [61], [63], [64], [71], [88], [89], [90] [91], [104]). Для таких моделей предположение о существовании моментов функций распределения уже не является справедливым.

Обзор основных работ посвященных изучению и применению квантильных статистических моделей в различных областях науки и техники дан в работах [104], [107].

Условная квантиль q^ п_1 многомерного распределения вероятностей определяется как поверхность постоянного уровня р 6 [0,1] соответствующего условного распределения

К\1...п-1 {Яп\1...п-1 (ХЬ • • • , хп-\) ХЪ . . . , Хп-1) = Р . (¿i)

Квантильная (медианная р = о)

регрессия случайной величины Хп на случайные величины ..., Xn_i определяется с помощью равенства

•••>*»-!)> ре[ 0,1].

При этом условная квантиль q^ n_1(Xi,... ,Хп-\) играет роль регрессионной функции.

В параграфе 1.4. приведены примеры использования квантильной регрессии при обработке изображений. Основная идея: замена средних, медиан и порядковых статистик (традиционно используемых при обработке изображений) на условные медианы и квантили.

Так при восстановлении изображений используется способ интерполяции по известной схеме «прямой крест» (см. [49]): сначала вычисляются аппроксимирующие значения отсчетов на краях ячейки, как условные медианы двух

ближайших угловых отсчетов, затем центральный отсчет предсказывается с помощью условной медианы четырех отсчетов на ребрах.

При увеличении изображения (или при искажении изображения геометрическим преобразованием) используется интерполяция уровня яркости в "промежуточном" отсчете (пикселе) с помощью условной медианы уровней яркостей в соседних отсчетах

При локальной фильтрации изображений (см. [49]) можно применять аналог ранговых алгоритмов: оператор фильтрации Ф использует условные квантили, построенные по отсчетам Х\,..., Xg в скользящем окне Т> центрального отсчета Хд

= к = М-

В этом случае в качестве Х§ берется ближайшая к Хд условная квантиль qW 4)_

Также использование условных медиан и квантилей полезно при подавлении аддитивного импульсного шума "salt-and-pepper noise" и фильтрации радиолокационных изображений.

Возвращаясь к задаче о нахождения условной квантили qп_г с помощью решения уравнения (¿i), нам необходимо знать многомерное условное распределение ^п|1...гг-1- Однако, для некоторых типов многомерных распределений, например гауссовских, знание всех двумерных условных распределений Fi\j и их двумерных квантилей q^j позволяет найти многомерную

условную квантиль q^ п_г Для распределений других типов, восстановление "большой" условной квантили g^j п_1 по "малым" q.y может оказаться невозможным.

Аналогом такого положения вещей в задачах математической статистики является то обстоятельство, что располагая всеми выборками парных наблюдений мы, вообще говоря, не сможем построить удовлетворительные оценки параметров (или провести проверки гипотез), относящихся к расп