автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Устойчивое оценивание статистических моделей при распределении наблюдений по закону минимальных значений

кандидата технических наук
Грюнер, Дмитрий Александрович
город
Новосибирск
год
2010
специальность ВАК РФ
05.13.17
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Устойчивое оценивание статистических моделей при распределении наблюдений по закону минимальных значений»

Автореферат диссертации по теме "Устойчивое оценивание статистических моделей при распределении наблюдений по закону минимальных значений"

0046

6656

На правах рукописи

Грюнер Дмитрий Александрович

УСТОЙЧИВОЕ ОЦЕНИВАНИЕ СТАТИСТИЧЕСКИХ МОДЕЛЕЙ ПРИ РАСПРЕДЕЛЕНИИ НАБЛЮДЕНИЙ ПО ЗАКОНУ МИНИМАЛЬНЫХ

ЗНАЧЕНИЙ

05.13.17- Теоретические о сновы информатики

Автореферат диссертации на соискание ученой степени кандидата технических наук

- 9 ДЕК 2010

Новосибирск - 2010

004616656

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Новосибирский государственный технический университет»

Научный руководитель:

доктор технических наук, доцент Лисицин Даниил Валерьевич

Официальные оппоненты:

доктор технических наук, профессор Хабаров Валерий Иванович

кандидат технических наук Щеколдин Владислав Юрьевич

Ведущая организация:

Государственное образовательное учреждение высшего профессионального образования «Томский государственный университет систем управления и радиоэлектроники», г. Томск

Защита состоится «23» декабря 2010 г. в 16е2 часов на заседании диссертационного совета Д 212.173.06 при Государственном образовательном учреждении высшего профессионального образования «Новосибирский государственный технический университет» по адресу: 630092, г. Новосибирск, пр. К. Маркса, 20.

С диссертацией можно ознакомиться в библиотеке Новосибирского государственного технического университета.

Автореферат разослан « I?" » ноября 2010 г.

Ученый секретарь диссертационного совета ЧубичВ. М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Одна из основных задач в анализе данных — оценивание статистических моделей, описывающих определенные процессы или явления. В классических методах оценивания постулируется некоторое гипотетическое модельное распределение. Наиболее часто встречается гауссово распределение, основанное на центральной предельной теореме. На практике данное предположение достаточно часто нарушается, например, из-за наличия в выборке засоряющих наблюдений, вызванных нарушением условий эксперимента или неверным вводом данных. В результате данного нарушения статистические выводы могут быть существенно искажены. Классические методы оценивания оказались крайне неустойчивы даже при малых отклонениях распределения наблюдений от модельного (Дж. Тьюки). В связи с этим встал вопрос об устойчивом оценивании параметров, что привело к развитию так называемых непараметрических методов (Ф. П. Тарасенко, Ю. Н. Тюрин, Т. П. Хетгманспергер), свободных от какого-либо модельного распределения.

Отказ от постулирования модельного распределения приводит, с одной стороны, к возможности решать широкий класс задач, но, с другой стороны, мы существенно теряем в эффективности найденных оценок. Кроме того, непараметрические методы обладают преимуществом перед параметрическими лишь при резких отклонениях наблюдений от центральной части распределения, в противном случае они проигрывают по точности последним. Как правило, по результатам первичной обработки данных исследователь может выбрать определенное гипотетическое (модельное) распределение, которое разумно использовать при построении более эффективных оценок.

Следующим этапом развития устойчивого оценивания являются методы, основанные на минимаксном принципе построения оценок для некоторого множества возможных распределений, в том числе и робастные методы (П. Хьюбер, С. А. Смоляк, Б. П. Титаренко, Б. Т. Поляк, Я. 3. Цыпкин). Однако предложенные подходы, как непараметрический, так и минимаксный, теряют устойчивость при асимметричном засорении симметричных распределений.

Ф. Хампель ввел понятие функции влияния и предложил свой локально-устойчивый подход, который позволил выделить оценки, обладающие устойчивостью к асимметричному засорению данных. Но введенное им понятие В-робастности не приводит к устойчивости для данного вида засорения.

Исследованиями по проблеме робастности занимались также Дж. Пфан-загль (J. Pfanzagle), JI. Жакель (L. A. Jaeckel), Д. Эндрюс (D. F. Andrews), Б. Ю. Лемешко, JI. Д. Мешалкин, В. П. Шуленин и многие другие ученые.

В теории надежности, анализе выживаемости часто используются статистические модели с распределением наблюдений по закону Вейбулла-Гнеденко (Б. В. Гнеденко, Ю. К. Беляев, А. Д. Соловьев, Д. К. Ллойд, М. Липов). Для оценивания параметров удобнее преобразовать модели, перейдя к логарифмам наблюдения. При этом от распределения Вейбулла-Гнеденко переходим к распределению минимальных значений. Исследованию оценок параметров рас-

пределения Вейбулла-Гнеденко и экстремальных значений посвящено множество научных работ (К. Boudt, D. Caliskan, С. Croux, R. W. Berger, К. Lawrence, R. Langlois, S. D. Dubey, T. Kernane, Z. A. Raizah, N. B. Marks, V. Niola, R. Oli-viero, G. Quaremba), в которых авторы используют оценки, не обладающие свойством устойчивости к асимметричным засорениям. Асимптотическая эффективность этих оценок существенно ниже, чем у метода максимального правдоподобия.

Предлагаемые в диссертационной работе методы основаны на подходе А. М. Шурыгина, обеспечивающем локальную устойчивость оценок к широкому множеству асимметричных засорений асимметричного модельного распределения и высокую асимптотическую эффективность. Данный подход применяется впервые к оцениванию параметров распределения минимальных значений, а также к оцениванию параметров регрессии в предположении распределения остатков по закону минимальных значений.

Цель и задачи исследований. Основной целью диссертационной работы является построение и исследование устойчивых оценок параметров статистических моделей с распределением наблюдений по закону минимальных значений при асимметричном засорении данных.

Для реализации цели исследования были поставлены и решены следующие задачи:

1) конструирование устойчивых оценок;

2) теоретическое исследование построенных оценок;

3) экспериментальные исследования построенных оценок;

4) практическое применение построенных оценок.

Методы исследования. При решении поставленных задач использовался аппарат теории вероятностей, методы математической статистики, математического анализа, вычислительной математики, статистического моделирования.

Научная новизна. Автором были получены следующие основные новые результаты, которые выносятся на защиту:

- построены локально-устойчивые и стойкие оценки параметров сдвига и масштаба;

- найдены локально-устойчивые и стойкие оценки параметров регрессионной модели;

- сформулирован и доказан ряд теорем, касающихся свойств локально-устойчивых и стойких оценок параметров сдвига и масштаба;

- разработано программное обеспечение робастного оценивания статистических моделей и численного исследования оценок;

- численно исследованы локально-устойчивые и стойкие оценки сдвига и масштаба, выявлены области их превосходствк над оценкой максимального правдоподобия;

- численно исследованы устойчивые оценки параметров регрессионной модели и масштаба, выявлены области их превосходства над оценкой максимального правдоподобия;

- найдены оценки параметров регрессионной модели стойкости сверл с использованием локально-устойчивого оценивания;

- найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания;

- проведено оценивание регрессионной модели времени пробоя электроизоляционной жидкости при помощи локально-устойчивых оценок.

Обоснованность и достоверность научных положений, рекомендаций и выводов обеспечиваются:

- применением для исследования свойств рассматриваемых оценок аналитического аппарата математического анализа, математической статистики и теории вероятностей;

- подтверждением аналитических выводов результатами испытаний с использованием статистического моделирования;

- решением прикладных задач.

Практическая ценность результатов:

- построенные оценки устойчивы к наличию выбросов в массиве данных, к асимметричному засореншо наблюдений, а также обладают высокой асимптотической эффективностью;

- созданное программное обеспечение позволяет эффективно производить вычисление оценок линейных регрессионных моделей;

- полученные результаты исследований используются в учебном процессе в рамках читаемого магистрантам курса «Современные проблемы прикладной математики и информатики» (направление 010500 - «Прикладная математика и информатика», специализация «Математическое и программное обеспечение информационных технологий моделирования и анализа данных») на факультете прикладной математики и информатики Новосибирского государственного технического университета (НГТУ), при проведении лекционных и практических занятий по курсу «Эконометрика» для студентов Омского юридического института, а также при подготовке аспирантов Омской государственной медицинской академии (ОмГМА); регрессионная модель стойкости сверл используется в научно-исследовательских работах кафедры проектирования технологических машин НГТУ.

Апробация работы. Основные результаты диссертационной работы опубликованы в ряде статей, докладывались и обсуждались на следующих конференциях: VI International Symposium on Optimization and Statistics (India, Aligarh, 2008); Всероссийская научная конференция молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2009); X юбилейная окружная конференция молодых ученых «Наука и инновация XXI века» (Сургут, 2009); V Международный научный конгресс «Роль бизнеса в трансформации российского общества - 2010» (секция «Актуальные проблемы высшей и прикладной математики», Москва, 2010); Российская научно-техническая конференция «Информатика и проблемы телекоммуникаций» (Новосибирск, 2010); региональная конференция молодых ученых «Современные проблемы математики и ее прикладные

аспекты» (Пермь, 2010), а также на научных семинарах кафедры прикладной математики НГТУ.

Публикации. По теме диссертации опубликовано 7 основных работ, в том числе: 2 - в ведущих научных журналах и изданиях, входящих в перечень, рекомендованный ВАК РФ, 3 - в сборниках научных трудов, 2 - в материалах Российских конференций.

Структура работы. Диссертационная работа состоит из введения, четырех глав основного содержания, заключения, списка использованных источников из 72 наименований и приложений. Общий объем диссертации составляет 159 страниц, включая 22 таблиц и 78 рисунков.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Глава 1. Обзор методов оценивания статистических моделей

В главе приводятся основные понятия, ставятся в математической форме задачи, описывается современное состояние направления, связанного с проблемой робастности, проводится обзор подходов к ее решению и обосновываются задачи исследований.

Основные понятия. Пусть х{,...,хт - наблюдения случайной величины tf, имеющей плотность распределения f(x,6) , где xeXciR и параметр вевсЯ.

/W-оценка (П. Хьюбер, 1984) параметра в определяется следующим образом:

т

<9=argmin YM(x;,6) (1.1)

0 /=1

где М(х,в): X х<9 -> R - непрерывная, дифференцируемая почти всюду функция, которая называется функцией потерь. Оценочным уравнением называется необходимое условие минимума в выражении (1.1):

т

£>(*/,£) = о,

7=1

где функция Ц/(х,9) = М(х,9) является оценочной функцией, определенной с точностью до не зависящего отх множителя (здесь и ниже точкой сверху будем обозначать дифференцирование по параметру в).

Условие асимптотической несмещенности

Е = J у/{х,в)/(х,в)ск = 0, (1.2)

X

где Е - оператор математического ожидания (по модельной плотности), является необходимым условием состоятельности оценок (А. А. Боровков, 1997).

Асимптотической дисперсией оценки (1.1) называется величина

где N(1//,/)= 1у/(х,9)/(х,9)с1х = -$у/(х,9)/(х,9)с}х представляет собой

X X

нормирующий множитель соответствующей оценочной функции. Будем называть оценочную функцию нормированной, если N (у,/) = 1 •

Пусть реальное распределение наблюдений является а-засоренным с плотностью /а (х, в) = (1 - а )/(х, в)+а8{х - у), где 0 < а < 1 - уровень засорения, д - функция Дирака, которая моделирует аномальное наблюдение у с засоряющей плотностью 5 (у, в) (байесовское точечное засорение).

При наличии засорения оценка становится асимптотически смещенной, асимптотическое смещение при некоторых условиях регулярности, малом уровне засорения и фиксированном значении у равно г{*У,/,У,а) = а-1р(у,\//,/), где Ш{х,^/,/) = у/{х,в)1 И{ц/,/) - функция влияния по Хампелю (Ф. Хамлель, 1989).

Элементы теории локально-устойчивого оценивания. Квадрат евклидовой нормы функции влияния определяется функционалом вида (А. М. Шуры-гин, 2000)

= I У2(*,в)с1х /ЛГV,/). (1.3)

X /

и называется неустойчивостью оценки.

При использовании л {у,в) = 1 приходим к максимально неопределенному байесовскому точечному засорению (Д. В. Лисицин, К.В. Гаврилов, 2006) и критерию (1.3) как математическому ожиданию квадрата функции влияния.

При минимизации функционала (1.3) по аргументу у/ получаем оценку максимальной устойчивости (ОМУ) (А. М. Шурыгин, 2000) с оценочной функцией

Уоми(х>в) = с

Кх,9), (1.4)

где Р = Р(в) находится из условия асимптотической несмещенности (1.2), с - с(в) - ненулевая функция параметра.

Устойчивостью оценки (А. М. Шурыгин, 2000) называется относительная характеристика г Л I// = №(1//омц,/)/УУ(ц/,/), определенная по аналогии с эффективностью ейГ (¡/ = У(у/оМР>Л/У(Ч/>Л > гДе У/ОМр(.х>&) = = сДх,9)//{х ,9) - оценочная функция оценки максимального правдоподобия (ОМП) (А. А. Боровков, 1997).

Условно-оптимальное семейство (ОУО) оценок (А. М. Шурыгин, 2000) определяется оценочной функцией

Vouo(x>8) = c

я 1 Г " ~н

^ln Дх,в) + Р 1 + -

, Я£0, (1.5)

f\x,0),O (1.6)

fix,в).

где константы си р имеют тот же смысл, что и в (1.4). Данное семейство позволяет достичь минимума неустойчивости при фиксированном значении асимптотической дисперсии и одновременно минимума асимптотической дисперсии при фиксированном значении неустойчивости. Параметр Я в (1.5) позволяет изменять значения эффективности и устойчивости оценок. При значении Я = 0 получаем ОМП, при значении Я = ^ОМР/^ОМи ~ компромиссную оценку (ОК), при Я = оо имеем ОМУ. Условно-оптимальная оценка, для которой выполняется условие eff Ц/ = stb ц/, называется равнооптимальной (ОРО) (Д. В. Лисицин, К. В. Гаврилов, 2006).

Помимо условно-оптимального семейства целесообразно рассматривать семейство обобщенных радикальных оценок (OOP), которое предложил J1. Д. Мешалкин для случая нормального распределения данных, с оценочной функцией

voorw) = c In+

где Я - представляет собой параметр радикальности, си/? определяются так же, как и в (1.4). Обобщенная радикальная оценка при значении параметра радикальности Я = 1/2 называется радикальной (OP) (А. М. Шурыгин, 2000).

Теория стойких оценок. Рассмотрим ситуацию, когда засоряющая плотность s {у, в) принадлежит к классу модельных плотностей F.

Показатель неустойчивости оценки в этом случае определяется формулой (А. М. Шурыгин, 2000):

Us{V,f)= J y2{x,e)s{x,e)dx /N2{4/,f).

X /

На практике засоряющая плотность s(x,G) неизвестна. Один из подходов к решению данной проблемы - использование максиминной формулировки (А. М. Шурыгин, 2000):

j*(x,0) = argmaxmmC/J((y,/). (1.7)

seS у/

При совпадении множества S с множеством модельных плотностей F соответствующая оптимальная оценка называется стойкой (А. М. Шурыгин, 2000).

В качестве засоряющей плотности рассмотрим семейство

s(x,{is,es) = f(x,fi + 5,9/r) (1.8)

с параметрами сдвига jjs = ц + 5 и масштаба вs = в I у, где S - сдвиг засоряющей плотности относительно модельной, у - отношение масштаба модельной плотности к засоряющей. Требуется найти параметры у* и <5* как решение задачи (1.7).

vsomu(.x>0) = c

JL\nf{x,e)+p

(1.9)

Оптимальной при засоряющей плотности (1.7) оценке, которую будем называть стойкой оценкой максимальной устойчивости (СОМУ), соответствует оценочная функция

~ /(.х,в)

где Р = /?(#) определяется из условия асимптотической несмещенности (1.2), с = с(9) - ненулевая функция параметра.

Стойкостью оценки назовем относительную характеристику = из*(у/50ми,/)/и5*(у/,/), которая введена аналогично устойчивости и эффективности.

Функционал, оптимизируемый при построении оценки, может иметь компромиссный вид, учитывающий как асимптотическую дисперсию, так и неустойчивость (А. М. Шурыгин, 2000, Д. В. Лисицин, 2009):

(V,/Л) = У{уг,(у,/),

где Л 2 0 - параметр компромисса. Его минимизация по оценочной функции при з(х,&) = у*(х,&) приводит к семейству стойких условно-оптимальных оценок (СОУО). Оптимальное решение имеет вид (Д. В. Лисицин, 2009):

Ях,в)

.11 / I X. Г7 I "Г I) -

дв

Q

Vsouo{x,e) = c TZ^f{x>e) + P

-,¿¿0, (1.10)

f(x,0)+ls*(x,e)

где константы с и имеют тот же смысл, что и в (1.9), и обеспечивают минимальную неустойчивость при фиксированной асимптотической дисперсии и одновременно минимальную асимптотическую дисперсию при фиксированной неустойчивости. Параметр Л в (1.10) позволяет изменять значения неустойчивости и асимптотической дисперсии оценок. Так, при Я = 0 получаем ОМП, при Л = V(WOMP'f)/^s*(y/SOMU'f) ~ компромиссную стойкую оценку (СОК), при Л = оо - СОМУ. Условно-оптимальную стойкую оценку, удовлетворяющую условию eff у/ = stk у/, назовем стойкой равнооптимальной (COPO).

Обоснование задач исследований:

• теория робастности находится в стадии активного развития;

• классические подходы к проблеме устойчивости приводят к неустойчивым решениям при асимметричном засорении;

• подход А. М. Шурыгина применен лишь к относительно небольшому числу статистических моделей;

• применяющиеся методы оценивания параметров распределений Вейбулла-Гнеденко и минимальных значений в теории надежности (анализе выживаемости) не обладают свойством устойчивости к произвольным асимметричным видам засорений.

Глава 2. Построение и исследование устойчивых оценок

В данной главе рассматривается построение и исследование локально-устойчивых и стойких оценок параметров сдвига и масштаба распределения минимальных значений с плотностью вида

= (2.1)

где в - параметр масштаба, ¡л - параметр сдвига.

Полученные оценки сдвига обобщены на случай оценивания параметров регрессии с распределением отклика по закону минимальных значений:

/(л,Я,0) = ехр{(Л -Н)1е-е1*-п)1вув, .= ^ ^ (2 2)

к

где в - оцениваемый параметр масштаба, = bq + J] , г = 1,... - значе-

м

ние параметра сдвига, bj,j = 0,...,к - оцениваемые параметры регрессии, Хр -

значение j-го неслучайного фактора при г-м наблюдении, к - количество факторов.

Постановка задачи вида (2.2) соотносится с классической постановкой регрессионного анализа следующим образом:

Л = G"/ ~ Ув) + Щ, i = 1.....т, (2.3)

где у - постоянная Эйлера, ё,- =ув + £■;, е,- - случайная величина, распределенная по закону минимальных значений (2.1) с нулевым сдвигом и параметром масштаба в. Для модели (2.3) выполняются основные предпосылки регрессионного анализа: независимость случайных величин , Её; =0, D£; =(я#)2/б,

где D - дисперсия.

Получены следующие основные результаты. Локально-устойчивые оценки сдвига. Параметр Я семейства ОУО (1.5) для плотности (2.1) зависит от масштаба в: X=Xq/ в, где Xq > 0. В дальнейшем под значением X будем понимать значение которое не зависит от параметра масштаба в.

Теорема 1. Семейства условно-оптимальных и обобщенных радикальных оценок параметра сдвига для плотности распределения (2.1) определяются соответствующими оценочными функциями:

= ,Я*0, (2.4)

ч>оиокг,н, j )f{y,/n,9) + x/e

V00R(y>V,9) = ^{e{y~IJ)ie -\)fX(y,M>9), 0 (2.5)

Теорема 2. Неустойчивости для ОУО и OOP параметра сдвига плотности распределения (2.1) имеют соответственно вид

где

где

ВЫ{Я)~Г (X + 1)/(А + if'^, В, (X) = Г (2А)/(2 А ^.

fo(z) = ze 2, /ТУ - гамма-функция.

Теорема 3. Асимптотические дисперсии для ОУО и OOP параметра сдвига плотности распределения (2.1) определяются соответственно:

y{VouoJ>e2DE(X)lD2N{X),

где

(*-1)2 /о3

-cfz, а /Зд/ (Л) определяется в теореме 2,

V{woorJ>02Be{X)IB2N{X),

где ВЕ

(Я) = Г(2Я +1)/(2Х + 1)2^Я+1), a BN (А) определяется в теореме 2.

На рис. 2.1 представлены некоторые оценочные функции семейств ОУО (2.4) и OOP (2.5) при 19= 1,ц = 0. Рис. 2.2 демонстрирует зависимости устойчивости и эффективности ОУО для сдвига плотности (2.1) от параметра Л.

уотр(у) 2.8

voro(y) 16

Vor(y)

--------------I

yomu(y)

-4 -2 0 2 4 у Рис. 2.1. Графики оценочных функций семейств ОУО и OOP

0.1 0.2 0.3 0.4 k Рис. 2.2. Графики зависимости stb и eff для ОУО

Приведем характеристики ряда оценочных функций семейства (2.4) в формате № вИз): ОМП - 0 (100 %; 0 %), ОРО - 0,0728 (84,1 %; 84,1 %), ОК -0,125 (80 %; 90,2 %) и ОМУ - оо (63,3 %; 100 %). Для оценочной функции ОР семейства (2.5) имеем - 0,5 (82,7 %; 82,7 %).

Стойкие оценки сдвига. Основные характеристики стойких оценок сдвига представлены следующими теоремами. Максиминные значения параметров у и 5 приближенно равны у* ~ 1 и <5*~ 0,693-0.

Теорема 4. Семейство стойких условно-оптимальных оценок для параметра сдвига плотности (2.1) определяется оценочной функцией

Vsouo{y>MA¿)=~

в f(y,M,9)+¿f(y,ti + 5*,e/r*) 1

2 ~2z ze

гдe Pi(y,S/в,Л) =

ce í

-7Ye-rSie

-dz

-, ÁZO.

dz

Для СОУО были получены формулы асимптотической дисперсии и неустойчивости. Приведем характеристики конкретных оценочных функций СОУО в формате к (eff; stk): ОМП - 0 (100 %; 33,8 %), COPO - 0,428 (86 %; 86 %), СОК - 0,593 (83,2 %; 89,4 %) и СОМУ - оо (63,3 %; 100 %).

Локально-устойчивые оценки масштаба. При оценивании параметра масштаба плотность (2.1) удобно преобразовать к виду

Яу,в) = 8(у1е)1в = е*1вещ>{-еу1в}1в, (2.6)

где в параметр масштаба, переменная у имеет смысл остатка. Теорема 5. Семейства условно-оптимальных и обобщенных радикальных оценок параметра масштаба для плотности распределения (2.6) определяются соответствующими оценочными функциями:

V/ouo(yA¿) = ^ 81100

S{y¡9)

g{y¡e) + X

,Як0, (2.7)

глг г /,}- Г go V) ¿_ ?[ММ] gUz)

ze

W оок{у>в >'-) = -

в

Я+1

íhr/1

gX{y/e), OSA^l. (2.8)

(l + Я) ву

Теорема 6. Неустойчивости ОУО и OOP параметра масштаба для плотности распределения (2.6) имеют вид соответственно:

i-sh«

\2

где Eq (Я), Е\ (Я) определяются в теореме 5. £2(A)=J[lnz(l-2)]2 , .dz ,

,li «>(') ^ ,„Ч_?Г.-„ -14» if *<>(*)

A

c/z,

<93 [G0 (Я)+2(1 + Л )GX (Я )+ (l + Xf G2 (Л)1

00 2/1 00 2я

о l2-*; 0

Теорема 7. Асимптотические дисперсии ОУО и OOP для масштаба плотности распределения (2.6) имеют вид соответственно:

"я, (А)" £0(А)_ 2 АГ0(Л)-2 (А)" £0(Я)_ к,(Я)+А:2(Я)

2

где

-dz ,

£2(яН[ММ]2 , i{z)

0 z{go(z) + A)

[^(я)+(2 + Я)^(Я)+(1 + Я)^(Я)]2 '

где Я0(А) = J Wdz,Hx{X) = \]nz{\-z)g* ^dz,

о 2 о г

00 „ „2Л+1 /■ \

о 2

На рис. 2.3 представлены некоторые оценочные функции параметра масштаба семейств ОУО (2.7) и OOP (2.8). Рис. 2.4 демонстрирует зависимости устойчивости и эффективности ОУО для параметра масштаба от параметра А. 4с

уотр(у> <уого(у) 2 уог(у) уоти(у) О

-6 -4 -2 0 2 4 у Рис. 2.3. Графики оценочных функций семейств ОУО и OOP

0 0.1 0.2 ^ Рис. 2.4. Графики зависимости stb и eff для ОУО

Приведем характеристики для некоторых оценочных функций семейства (2.7) в формате X (е«; ОМП - 0 (100 %; 0 %), ОРО - 0,04 (73 %; 73 %), ОК - 0,065 (67,9 %; 80,8 %) и ОМУ - оо (43 %; 100 %). Для оценочной функции ОР семейства (2.8) имеем - 0,5 (70,1 %; 70,1 %).

Стойкие оценки масштаба. Ниже рассматриваются стойкие оценки масштаба и их основные характеристики. Максиминные значения параметров у и 5 приближенно равны у*~ 0,5813 и <5* = 0,1246 • в.

Теорема 8. Семейство стойких условно-оптимальных оценок для масштаба плотности распределения (2.6) определяется следующей оценочной функцией:

в

J-

Яу,в)+1/{у-8*,91у*) lnz(l-z)ze~2z

(2.9)

где рх

:+A.yzre

ze

yS

-2 г

yS

уд

ze Z+Xyzye ве

-гГе

dz

dz

Л£0.

Для СОУО были получены формулы асимптотической дисперсии и неустойчивости. Приведем характеристики конкретных оценочных функций СОУО (2.9) в формате X (cff; stk): ОМП - 0 (100 %; 4,47 %), COPO - 0,321 (83,7 %; 83,7 %), СОК - 0,498 (80,0 %; 88,7 %) и СОМУ - оо (60,3 %; 100 %).

Выводы. Построенные оценочные функции позволяют в значительной степени обеспечить и эффективность, и устойчивость оцениваемых параметров. Анализ графиков зависимости эффективности и устойчивости оценок от параметра л показывает, что устойчивость рассматриваемых семейств при увеличении параметра Я в начале диапазона его значений, возрастает быстрее, чем убывает эффективность. Это обстоятельство является аргументом в пользу использования локально-устойчивых методов, даже если реальным распределением наблюдений окажется «чистое» модельное. При этом более привлекательным представляется семейство ОУО и в частности ОРО, имеющая для параметра сдвига stb = eff ~ 84,1 %, для параметра масштаба sib = eff = 73 %. Однако следует отметить, что в вычислительным аспекте весьма привлекательной выгля- -дит OOP.

Стойкие оценки параметров проигрывают по точности оценке максимального правдоподобия, но обладают свойством робастности. Однако, для параметра сдвига стойкие оценки оказываются недостаточно устойчивыми при засорении слева от центра, более того, они проигрывают по устойчивости ОМП.

Глава 3. Экспериментальные исследования оценок

Целью исследования является выявление свойств предложенных устойчивых оценок в условиях засорения распределения, а также сравнение устойчивых оценок с ОМП.

Засоренное распределение представляется собой смесь модельного и засоряющего распределений.

Исследование проведено методом Монте-Карло. Для определения качества оценивания использовались среднее значение оценки и среднеквадратическая ошибка (СКО)

1=1 /

где т — число испытаний в методе Монте-Карло, г - истинное значение параметра, т,- - значение оценки в i-и испытании. Также использовался показатель относительного СКО (ОСКО)

RaDr = DvjDtoííp .

В исследовании использовалось значение т = 5000. Значения параметров были равны 9 = 112 и /¿ = 1. Основное внимание уделено случаю, когда число наблюдений т = 200, уровень засорения а = 0,1.

Рассматривается случай, когда засорение сосредоточено в точке z*, которая определяется как z* = z ■ &+¡л, где z - параметр, имеющий смысл точки за-

сорения в модели стандартного распределения с параметрами ц-Ь и 0 = 1. Параметр г меняется в диапазоне от -5 до 3.

На рис. 3.1 и 3.2 приведены соответственно средние значения и СКО оценок сдвига при изменении точки засорения (а = ОД, т= 200).

Рис. 3.1. Средние значения оценок Рис. 3.2. СКО оценок для точечного для точечного засорения при измене- засорения при изменении точки засо-нии точки засорения (а = 0,1, т= 200) рения (а = 0,1 ,т= 200)

Анализ рис. 3.1 и 3.2 показывает, что качество ОМП немного выше, чем у устойчивых оценок, при значениях параметра г примерно от -2,5 до 1,5 и существенно ниже при других значениях г.

На рис. 3.3,3.4 приведены соответственно средние значения и СКО оценок масштаба при изменении точки засорения (а = 0,1, т = 200).

-ОМП _ _ -ОМП

---ОРО 0,8 -]

.....ОР

-ОМУ 0,7 - [■)

Среднее 0,6 - ЛУ! )0,4 А * А Iм 1

-8 -6

-2

-8

Рис. 3.3. Средние значения оценок для точечного засорения при измене-

ние. 3.4. СКО оценок для точечного засорения при изменении точки засо-

нии точки засорения (а = 0,1, м= 200) рения (а = 0,1, т = 200)

Рис. 3.3 и 3.4 демонстрируют неустойчивость ОМП при засорении как слева (при г<-4), так и справа (при г>2) от центра распределения, что соответствует теоретическим свойствам. ОМП имеет преимущество лишь при значе-

ниях параметра г от -3,5 до 1,75, в любой другой точке засорения ОМП проигрывает устойчивым оценкам.

На рис. 3.5, 3.6 приведены значения СКО локально-устойчивых оценок сдвига при изменении объема выборки (случай а = 0,1, г= - 4) и уровня засорения (случай т = 200, г = - 4) соответственно.

Рис. 3.5. СКО оценок сдвига для точеч- Рис. 3.6. СКО оценок сдвига для то-ного засорения в зависимости от объе- чечного засорения в зависимости от ма выборки при а = 0,1, г = - 4 уровня засорения при т = 200, г = - 4

Анализируя рис. 3.5 приходим к заключению об уменьшении СКО оценок при увеличении объема выборки.

Рис. 3.6 показывает, что ОМП по качеству превосходит устойчивые оценки лишь при небольших уровнях засорения (а < 0,04), при больших уровнях засорения преимущество имеют устойчивые оценки.

Аналогичные исследования проведены для стойких оценок. Также исследованы локально-устойчивые и стойкие оценки параметров сдвига и масштаба при равномерной и модельной (со значениями параметров, отличающимися от истинных) засоряющих плотностях. Кроме того, исследованы локально-устойчивые оценки параметров регрессии при точечном и равномерном засорениях.

Выводы. В результате исследования выявлено, что если засоряющие наблюдения сосредоточены главным образом в центральной части распределения, то качество устойчивых оценок ниже, чем у ОМП. Если засоряющие наблюдения попадают, в том числе, и в хвосты распределения, качество устойчивых оценок может быть существенно выше, причем выигрыш появляется уже при небольших уровнях засорения (выше 0,02 - 0,04). С увеличением объема выборки качество оценок возрастает.

Однако стойкие оценки параметра сдвига являются недостаточно устойчивыми при засорении слева от центра, в частности, они проигрывают ОМП.

Глава 4. Решение прикладных задач

В данной главе рассмотрено несколько примеров из практики с реальными данными.

Исследование стойкости сверл. Рассмотрим пример из области теории надежности. Изучается регрессионная зависимость стойкости сверла Y (время жизни сверла в мм) от двух факторов - частота вращения п (об/мин) и подача на оборот S (мм/об). Имеется m = 50 наблюдений.

Регрессионная модель является квадратичной без взаимодействия факторов (В. С. Карманов, 2006). Требуется оценить параметры модели. Для решения задачи использовались МНК-оценки, ОМП, ОРО, ОР и ОМУ в предположении, что ошибки наблюдений имеют распределение минимальных значений. Целью исследования является сравнение вышеперечисленных оценок.

В таблице 4.1 приведены значения оценок дисперсии наблюдений, асимптотической дисперсии сдвига (АДС), энтропийного значения погрешности А (П. В. Новицкий, И. А. Зограф, 1991). Если не учитывать факт оценивания параметра масштаба, то получаемая АДС является коэффициентом пропорциональности асимптотических ковариационных матриц оценок параметров регрессии. Согласно приведенным показателям робастные оценки значительно выигрывают как у оценки МНК, так и у ОМП.

Таблица 4.1

Показатели МНК ] ОМП ОРО ОР ОМУ

Дисперсия 0,600678 0,626946 0,310199 0,262574 0,02678

% ню,а 104,4 51,6 43,7 4,5

АДС 0,600678 0,381137 0,224229 0,19292 0,025727

% юо,а 63,5 37,3 32,1 43

А 1,87614а 1,494467 1,051215 0,967157 0,308871

% юо,о| 79,7 56,0 51,6 16,5

Значения показателей в процентах указаны относительно соответствующих показателей для оценки МНК.

Также были найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания; проведено локально-устойчивое оценивание регрессионной модели времени пробоя электроизоляционной жидкости.

ЗАКЛЮЧЕНИЕ

В соответствии с поставленными целями исследований получены следующие основные результаты. Теоретические результаты:

1) построены локально-устойчивые и стойкие оценки параметров сдвига и масштаба;

2) сконструированы локально-устойчивые и стойкие оценки параметров регрессионной модели;

3) сформулирован и доказан ряд теорем, касающихся свойств локально-устойчивых и стойких оценок параметров сдвига и масштаба.

Экспериментальные результаты:

4) методом статистических испытаний исследованы локально-устойчивые и стойкие оценки сдвига и масштаба, выявлены области превосходства над оценкой максимального правдоподобия;

5) методом статистических испытаний исследованы параметры регрессионной модели и масштаба, выявлены диапазоны проигрыша/выигрыша оценки максимального правдоподобия.

Прикладные результаты:

6) разработано программное обеспечение робастного оценивания статистических моделей и численного исследования оценок;

7) найдены оценки параметров регрессионной модели стойкости сверл с использованием локально-устойчивого оценивания;

8) найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания;

9) проведено локально-устойчивое оценивание регрессионной модели времени пробоя электроизоляционной жидкости.

Основные результаты диссертации опубликованы в следующих работах:

1. Грюнер Д. А. Исследование устойчивых оценок параметров распределения минимальных значений при модельном засорении данных / Д. А. Грюнер, Д. В. Лисицин // Материалы Российской науч.-техн. конф. «Информатика и проблемы телекоммуникаций». - Новосибирск : СиБГУТИ, 2010.-Т. 1.-С. 49-52.

2. Грюнер Д. А. Исследование устойчивых оценок параметров регрессии с ошибками, имеющими распределение минимальных значений / Д. А. Грюнер // Сборник научных трудов НГТУ. - Новосибирск : Изд-во НГТУ, 2010.-№2(60).-С. 33-38.

3. Грюнер Д. А. Устойчивое оценивание параметра сдвига распределения минимальных значений / Д. А. Грюнер // Материалы Всерос. науч. конф. молодых ученых «Наука. Технологии. Инновации». - Новосибирск : Изд-во НГТУ, 2009. - Ч. 1.-С. 14-16.

4. Лисицин Д. В. Исследование стойких оценок параметров распределения минимального значения / Д. В. Лисицин, Д. А. Грюнер // Доклады АН ВШ РФ. - Новосибирск : НГТУ, 2010. - № 1 (14). - С. 6-17 (из перечня ВАК).

5. Лисицин Д. В. Исследование устойчивых оценок параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Научный вестник НГТУ. - Новосибирск : НГТУ, 2010. - № 2. - С. 21-30 (из перечня ВАК).

6. Лисицин Д. В. Стойкие оценки параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Сборник научных трудов НГТУ. - Новосибирск: НГТУ, 2010. - № 1 (59). - С. 63-68.

7. Лисицин Д. В. Условно оптимальные и обобщенные радикальные оценки параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Сборник научных трудов НГТУ. - Новосибирск : НГТУ, 2010.-N2 1 (59). - С. 55-62.

Отпечатано в типографии Новосибирского государственного технического университета 630092, г. Новосибирск, пр. К. Маркса, 20, тел./факс (383) 346-08-57 формат 60x84/16, объем 1.5 п.л., тираж 100 экз., заказ №1684, подписано в печать 15.11.10г.

Оглавление автор диссертации — кандидата технических наук Грюнер, Дмитрий Александрович

ВВЕДЕНИЕ.

ГЛАВА 1. МЕТОДОЛОГИЯ УСТОЙЧИВОГО ОЦЕНИВАНИЯ.

1.1. Классификация статистических моделей.

1.2. Классические методы оценивания.

1.2.1. Метод наименьших квадратов.

1.2.2. Метод максимального правдоподобия.

1.3. Робастные методы оценивания.

1.3.1. Элементы теории локально-устойчивого оценивания.

1.3.2. Теория стойких оценок.

1.4. Выводы.

ГЛАВА 2. ПОСТРОЕНИЕ И ИССЛЕДОВАНИЕ УСТОЙЧИВЫХ ОЦЕНОК.

2.1. Постановка задачи.

2.2. Оценки сдвига.

2.2.1. Локально-устойчивые оценки сдвига.

2.2.2. Стойкие оценки сдвига.'.

2.2.3. Сравнение оценок сдвига.

2.3. Оценки масштаба.

2.3.1. Локально-устойчивые оценки масштаба.

2.3.2. Стойкие оценки масштаба.

2.3.3. Сравнительный анализ оценок масштаба.

2.4. Устойчивое оценивание параметров регрессии.

2.5. Выводы.

ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ОЦЕНОК.

3.1. Постановка задачи.

3.2. Экспериментальные исследования оценок сдвига.

3.2.1. Точечное засорение.

3.2.2. Равномерное засорение.

3.2.3. Исследование оценок сдвига при модельном засорении.

3.3. Экспериментальные исследования оценок масштаба.

3.3.1. Точечное засорение.

3.3.2 Равномерное засорение.

3.3.3. Исследование оценок масштаба при модельном засорении.

3.4. Сравнительный анализ оценок при модельном засорении.

3.5. Исследование оценок параметров регрессионной модели и масштаба.

3.5.1. Исследование оценок при точечном засорении.

3.5.2. Исследование оценок при равномерном засорении.

3.6. Выводы.

ГЛАВА 4. РЕШЕНИЕ ПРИКЛАДНЫХ ЗАДАЧ.

4.1. Исследование стойкости сверл.

4.1.1. Спецификация модели.

4.1.2. Критерии качества оценок.

4.1.4. Оценка параметров модели.

4.2. Анализ выживаемости мышей, облученных радиацией.

4.3. Исследование пробоя электроизоляционной жидкости.

4.3.1. Спецификация модели.

4.3.2. Предположение о плотности минимальных значений.

4.3.3. Предположение о плотности максимальных значений.

4.4. Выводы.

Введение 2010 год, диссертация по информатике, вычислительной технике и управлению, Грюнер, Дмитрий Александрович

Актуальность темы исследований. Одна из основных задач в анализе данных - оценивание статистических моделей, описывающих определенные процессы или явления. В классических методах оценивания постулируется некоторое гипотетическое модельное распределение. Наиболее часто встречается гауссово распределение, основанное на центральной предельной теореме [6, 20, 21, 25, 37, 43, 47]. На практике данное предположение достаточно часто нарушается [8, 26], например, из-за наличия в выборке засоряющих наблюдений, вызванных нарушением условий эксперимента или неверным вводом данных [38]. В результате данного нарушения статистические выводы могут быть существенно искажены. Классические методы оценивания оказались крайне неустойчивы даже при малых отклонениях распределения наблюдений от модельного. В связи с этим встал вопрос об устойчивом оценивании параметров, что привело к развитию так называемых непараметрических методов [5, 46, 49], свободных от какого-либо модельного распределения.

Отказ от постулирования модельного распределения приводит, с одной стороны, к возможности решать широкий класс задач, но, с другой стороны, мы существенно теряем в эффективности найденных оценок. Кроме того, непараметрические методы обладают преимуществом перед параметрическими лишь при резких отклонениях наблюдений от центральной части распределения, в противном случае они проигрывают по точности последним. Как правило, по результатам первичной обработки данных исследователь может выбрать определенное гипотетическое (модельное) распределение, которое разумно использовать при построении более эффективных оценок.

Следующим этапом развития устойчивого оценивания являются методы, основанные на минимаксном принципе построения оценок для некоторого множества возможных распределений, в том числе и робастные методы,

41, 51, 52, 53, 62, 71]. Однако предложенные подходы, как непараметрический, так и минимаксный, теряют устойчивость при асимметричном засорении симметричных распределений.

Ф. Хампель ввел понятие функции влияния и предложил свой локально-устойчивый подход [48], который позволил выделить оценки, обладающие устойчивостью к асимметричному засорению данных. Но введенное им понятие ß-робастности не приводит к устойчивости для данного вида засорения.

Исследованиями по проблеме робастности занимались также Дж. Тью-ки (Tukey J. W.) [45, 72], Дж. Пфанзагль (Pfanzagle J.) [70], Л. Жакель (Jaeckel L. А.) [63], Э. Леман (Lehman Е. L.) [27], Д. Эндрюс (Andrews D. F.) [56], С. А. Смоляк, Б. П. Титаренко [41], Ф. П. Тарасенко, Б. Ю. Лемешко и многие другие ученые.

В теории надежности, анализе выживаемости часто используются статистические модели с распределением наблюдений по закону В ей булл а. Гнеденко [36, 9]. Для оценивания параметров удобнее преобразовать модели, перейдя к логарифмам наблюдения. При этом от распределения Вейбулла— Гнеденко переходим к распределению минимальных значений. Исследованию оценок параметров распределения Вейбулла-Гнеденко и экстремальных значений посвящено множество научных работ (К. Boudt, D. Caliskan, С. Croux, [58], R. W. Berger, К. Lawrence [57], R. Langlois [65],S. D. Dubey [59], T. ICernane, Z. A. Raizah [64], N. B. Marks [67], V. Niola, R. Oliviero, G. Qua-remba [68]), в которых авторы используют методы, не обладающие свойс твом устойчивости к асимметричным засорениям. Так, например, в работе [58] предлагаются квантильные и медианные методы оценивания. Представленные в работе функции влияния предлагаемых оценок не являются гладкими функциями, а также демонстрируют неустойчивость оценок при асимметричном засорении данных. Асимптотическая эффективность этих оценок существенно ниже, чем у метода максимального правдоподобия.

Предлагаемые в диссертационной работе методы основаны на подходе А. М. Шурыгина [54, 55] (см. также [18]), обеспечивающем локальную устойчивость оценок к широкому множеству асимметричных засорений асимметричного модельного распределения и высокую асимптотическую эффективность. Данный подход применяется впервые к оцениванию параметров распределения минимальных значений, а также к оцениванию параметров регрессии в предположении распределения остатков по закону минимальных значений.

Необходимо отметить, что существует ряд других распределений, которые также встречаются на практике, например, нормальное, экспоненциальное, распределение Коши и распределение Лапласа, для которых, известны решения, устойчивые к асимметричным видам засорений [54, 55].

Цель и задачи исследования. Основной целью диссертационной работы является построение и исследование устойчивых оценок параметров статистических моделей с распределением наблюдений по закону минимальных значений при асимметричном засорении данных.

Для реализации цели исследования были поставлены и решены следующие задачи:

1) конструирование устойчивых оценок;

2) теоретическое исследование построенных оценок;

3) экспериментальные исследования построенных оценок;

4) практическое применение построенных оценок.

Методы исследования. При решении поставленных задач использовался аппарат теории вероятностей, методы математической статистики, математического анализа, вычислительной математики, статистического моделирования.

Научная новизна. Автором были получены следующие основные новые результаты, которые выносятся на защиту: построены локально-устойчивые и стойкие оценки параметров сдвига и масштаба;

- найдены локально-устойчивые и стойкие оценки параметров регрессионной модели; сформулирован и доказан ряд теорем, касающихся свойств локально-устойчивых и стойких оценок параметров сдвига и масштаба;

- разработано программное обеспечение робастного оценивания статистических моделей и численного исследования оценок;

- численно исследованы локально-устойчивые и стойкие оценки сдвига и масштаба, выявлены области их превосходства над оценкой максимального правдоподобия;

- численно исследованы устойчивые оценки параметров регрессионной модели и масштаба, выявлены области их превосходства над оценкой максимального правдоподобия; найдены оценки параметров регрессионной модели стойкости сверл с использованием локально-устойчивого оценивания;

- найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания; проведено оценивание регрессионной модели времени пробоя электроизоляционной жидкости при помощи локально-устойчивых оценок.

Обоснованность и достоверность научных положений, рекомендаций и выводов обеспечиваются: применением для исследования свойств рассматриваемых оценок аналитического аппарата математического анализа, математической статистики и теории вероятностей; подтверждением аналитических выводов результатами испытаний с использованием статистического моделирования;

- решением прикладных задач.

Практическая ценность результатов:

- построенные оценки устойчивы к наличию выбросов в массиве данных, к асимметричному засорению наблюдений, а также обладают высокой асимптотической эффективностью;

- созданное программное обеспечение позволяет эффективно производить вычисление оценок линейных регрессионных моделей;

- полученные результаты исследований используются в учебном процессе в рамках читаемого магистрантам курса «Современные проблемы прикладной математики и информатики» (направление 010500 - «Прикладная математика и информатика», специализация «Математическое и программное обеспечение информационных технологий моделирования и анализа данных») на факультете прикладной математики и информатики Новосибирского государственного технического университета (НГТУ), при проведении лекционных и практических занятий по курсу «Эконометрика» для студентов Омского юридического института, а также при подготовке аспирантов Омской государственной медицинской академии (ОмГМА); регрессионная модель стойкости сверл используется в научно-исследовательских работах кафедры проектирования технологических машин НГТУ.

Апробация работы. Основные результаты диссертационной работы опубликованы в ряде статей, докладывались и обсуждались на следующих конференциях: VI International Symposium on Optimization and Statistics (India, Aligarh, 2008) [60]; Всероссийская научная конференция молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2009) [14]; X юбилейная окружная конференция молодых ученых «Наука и инновация XXI века» (Сургут, 2009) [13]; V Международный научный конгресс «Роль бизнеса в трансформации российского общества — 2010» (секция «Актуальные проблемы высшей и прикладной математики», Москва, 2010) [10]; Российская научно-техническая конференция «Информатика и проблемы телекоммуникаций» (Новосибирск, 2010); региональная конференция молодых ученых «Современные проблемы математики и ее прикладные аспекты» (Пермь, 2010) [15], а также на научных семинарах кафедры прикладной математики НГТУ.

Публикации. По теме диссертации опубликовано 7 основных работ, в том числе: 2 - в ведущих научных журналах и изданиях, входящих в перечень, рекомендованный ВАК РФ, 3 - в сборниках научных трудов, 2 - в материалах Российских конференций.

Структура диссертации. Диссертационная работа состоит из введения, четырех глав основного содержания, заключения, списка использованных источников из 72 наименований и четырех приложений. Общий объем диссертации составляет 159 страниц, включая 22 таблиц и 78 рисунков.

Заключение диссертация на тему "Устойчивое оценивание статистических моделей при распределении наблюдений по закону минимальных значений"

4.4. Выводы

В данной главе были рассмотрены некоторые задачи с реальными данными, которые взяты из практики. Исследования показали, что робастные оценки заметно превосходят по качеству и устойчивости МНК-оценку и ОМП даже при небольших объемах выборки (40-50). Главные достоинства робастных оценок заключаются в том, что они не только устойчивы к аномальным наблюдениям и неправильно подобранным модельным плотностям, но и обладают меньшей дисперсией, нежели другие методы, даже при неправильно подобранной модельной плотности.

При удалении подозрительных наблюдений из набора данных робастные оценки в меньшей степени изменяют свои значения в отличие от МНК-оценки и ОМП. Последние оценки при удалении становятся ближе к робаст-ным оценкам.

Основные полученные результаты: разработано программное обеспечение для робастного оценивания статистических моделей; найдены оценки параметров регрессионной модели стойкости сверл с использованием локально-устойчивого оценивания; найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания; проведено локально-устойчивое оценивание регрессионной модели времени пробоя электроизоляционной жидкости.

ЗАКЛЮЧЕНИЕ

В соответствии с поставленными целями исследований получены следующие основные результаты.

Теорет и чес кие результат ы:

1) построены локально-устойчивые и стойкие оценки параметров сдвига и масштаба;

2) сконструированы локально-устойчивые и стойкие оценки параметров регрессионной модели;

3) сформулирован и доказан ряд теорем, касающихся свойств локально-устойчивых и стойких оценок параметров сдвига и масштаба.

Экспериментальные результаты:

1) методом статистических испытаний исследованы локально-устойчивые и стойкие оценки сдвига и масштаба, выявлены области превосходства над оценкой максимального правдоподобия;

2) методом статистических испытаний исследованы параметры регрессионной модели и масштаба, выявлены диапазоны проигрыша/выигрыша оценки максимального правдоподобия.

Прикладные результаты:

1) разработано программное обеспечение робастного оценивания статистических моделей и численного исследования оценок;

2) найдены оценки параметров регрессионной модели стойкости сверл с использованием локально-устойчивого оценивания;

3) найдены оценки параметров сдвига и масштаба распределения времени жизни мышей, облученных радиацией, с использованием локально-устойчивого оценивания;

4) проведено локально-устойчивое оценивание регрессионной модели времени пробоя электроизоляционной жидкости.

Библиография Грюнер, Дмитрий Александрович, диссертация по теме Теоретические основы информатики

1. Айвазян С. А. Прикладная статистика и основы эконометрики / С. А. Айвазян, В. С. Мхитарян. -М. : ЮНИТИ, 1998. 1022 с.

2. Айвазян С. А. Прикладная статистика: исследование зависимостей / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. — М. : Финансы и статистика, 1985. 487 с.

3. Айвазян С. А. Прикладная статистика: основы моделирования и первичная обработка данных / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. М. : Финансы и статистика, 1983. - 471 с.

4. Афифи А. Статистический анализ: подход с использованием ЭВМ / А. Афифи, С. Эйзен. М. : Мир, 1982. - 488 с.

5. Болдин М. В. Знаковый статистический анализ линейных моделей / М. В. Болдин, Г. И. Симонова, Ю. Н. Тюрин. М. : Наука, 1997. -208 с.

6. Боровков А. А. Математическая статистика / А. А. Боровков. -Новосибирск : Наука, 1997. 772 с.

7. Бусленко Н. П. Методы статистических испытаний Монте-Карло и его реализация в цифровых машина / Н. П. Бусленко, Ю. А. Шрейдер. М. : Физматгиз, 1961. - 266 с.

8. Вапник В. Н. Восстановление зависимостей по эмпирическим данным / В. Н. Вапник. М. : Наука, 1979. - 447 с.

9. Гнеденко Б. В. Математические методы в теории надежности / Б. В. Гнеденко, Ю. К. Беляев, А. Д. Соловьев. М. : Наука, 1965. - 524 с.

10. Грюнер Д. А. Исследование устойчивых оценок параметров регрессии с ошибками, имеющими распределение минимальных значений / Д. А. Грюнер // Сборник научных трудов НГТУ. Новосибирск : Изд-во НГТУ, 2010. - № 2 (60). - С. 33-38.

11. Грюнер Д. А. Устойчивое оценивание параметра сдвига распределения минимальных значений / Д. А. Грюнер // Наука. Технологии. Инновации : материалы Всерос. науч. конф. молодых ученых. Новосибирск : Изд-во НГТУ, 2009. - Ч. 1. - С. 14-16.

12. Демиденко Е. 3. Линейная и нелинейная регрессии / Е. 3. Демиденко. М. : Финансы и статистика, 1981. - 302 с.

13. Денисов В. И. Математическое обеспечение системы ЭВМ -экспериментатор / В. И. Денисов. М. : Наука, 1977. - 252 с.

14. Денисов В. И. Методы построения многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям : монография

15. В. И. Денисов, Д. В. Лисицин. Новосибирск : Изд-во НГТУ, 2008. -360 с.

16. Дженирич Р. И. Пошаговая регрессия / Р. И. Дженирич // Статистические методы для ЭВМ / под ред. К. Энслейна, Э. Рэлстона, Г. С. Уилфа. М. : Наука, 1986. - С. 77-94.

17. Дрейпер Н. Прикладной регрессионный анализ : в 2 кн. Кн. 2 / Н. Дрейпер, Г. Смит. -М. : Финансы и статистика, 1987. 351 с.

18. Ивченко Г. И. Математическая статистика / Г. И. Ивченко, Ю. И. Медведев. М. : Высшая школа, 1984. - 248 с.

19. Карманов В. С. Исследование математических моделей стойкости режущего инструмента / В. С. Карманов // Научный вестник НГТУ. -Новосибирск : НГТУ, 2006. С. 55-64.

20. Кендалл М. Дж. Многомерный статистический анализ и временные ряды / М. Дж. Кендалл, А. Стьюарт. М. : Наука, 1976. - 736 с.

21. Кендалл М. Дж. Статистические выводы и связи / М. Дж. Кендалл, А. Стьюарт. М. : Наука, 1973. - 900 с.

22. Кендалл М. Дж. Теория распределений / М. Дж. Кендал, А. Стюарт. М. : Наука, 1966. - 588 с.

23. Колмогоров А. Н. Несмещенные оценки / А. Н. Колмогоров // Изв. АН СССР. Сер. мат. 1950. - Т. 14, № 4. - С. 303-326.

24. Леман Э. Теория точечного оценивания / Э. Леман. — М. : Наука, 1991.-444 с.

25. Лисицин Д. В. Исследование стойких оценок параметров распределения минимального значения / Д. В. Лисицин, Д. А. Грюнер // Доклады АН ВШ РФ. Новосибирск : НГТУ, 2010. - № 1 (14). -С. 6-17.

26. Лисицин Д. В. Исследование устойчивых оценок параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер //

27. Научный вестник НГТУ. Новосибирск : НГТУ, 2010. - №2. -С. 21-30.

28. Лисицин Д. В. Об оценивании параметров модели при байесовском точечном засорении / Д. В. Лисицин // Доклады АН ВШ РФ. — Новосибирск : НГТУ. 2009. №1 (12). - С. 41-55.

29. Лисицин Д. В. Свойства инвариантности при оценивании параметров модели в условиях байесовского точечного засорения / Д. В. Лисицин // Доклады АН ВШ РФ. Новосибирск : Изд-во НГТУ, 2010.-№ 1 (14).-С. 18-25.

30. Лисицин Д. В. Стойкие оценки параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Сборник научных трудов НГТУ. Новосибирск : НГТУ, 2010. - № 1 (59). - С. 63-68.

31. Лисицин Д. В. Условно оптимальные и обобщенные радикальные оценки параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Сборник научных трудов НГТУ. Новосибирск : НГТУ, 2010. - № 1 (59). - С. 55-62.

32. Лисицин Д. В. Устойчивое оценивание параметров модели при асимметричном засорении данных / Д. В. Лисицин, К. В. Гаврилов // Изв. Междунар. академии наук высшей школы. — Новосибирск, 2006. -№ 1 (35).-С. 60-73.

33. Лисицин Д. В. Конструирование робастных оценок параметров регрессии при неоднородных наблюдениях / Д. В. Лисицин // Научный вестник НГТУ. Новосибирск : НГТУ, 2004. - № 3 (18). - С. 43-55.

34. Ллойд Д. К. Надежность. Организация исследования, методы, математический аппарат / Д. К. Ллойд, М. Липов. М : Советское радио, 1964.-687 с.

35. Мудров В. И. Методы обработки измерений: квазиправдоподобные оценки / В. И. Мудров, В. Л. Кушко. М. : Радио и связь, 1983. -304 с.

36. Новицкий П. В. Оценка погрешностей результатов измерений / П. В. Новицкий, И. А. Зограф. — 2-е изд., перераб. и доп. J1. : Энерго-атомиздат. Ленингр. отд-ние, 1991. - 304 с.

37. Pao С. Р. Линейные статистические методы и их применения / С. Р. Pao. -М. : Наука, 1968. 548 с.

38. Себер Дж. Линейный регрессионный анализ / Дж. Себер. М. : Мир, 1980.-456 с.

39. Смоляк С. А. Устойчивые методы оценивания (статистическая обработка неоднородных совокупностей) / С. А. Смоляк, Б. П. Титаренко. М. : Статистика, 1980. - 208 с.

40. Соболь И. М. Численные методы Монте-Карло / И. М. Соболь. -М. : Наука, 1973.-312 с.

41. Справочник по прикладной статистике : в 2-х т. Т. 1 : пер. с англ. / под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. М. : Финансы и статистика, 1989. - 510 с.

42. Справочник по прикладной статистике : в 2-х т. Т. 2 : пер. с англ. / под ред. Э. Ллойда, У. Ледермана, С. А. Айвазяна, Ю. Н. Тюрина. -М. : Финансы и статистика, 1990. 526 с.

43. Тьюки Д. У. Анализ результатов наблюдений / под ред. В. Э. Фигурнова. М. : Мир, 1981.- 693 с.

44. Тюрин Ю. Н. Статистический анализ данных на компьютере / Ю. Н. Тюрин, А. А. Макаров. М. : ИНФРА, 1997.-558 с.

45. Ферестер Э. Методы корреляционного и регрессионного анализа / Э. Ферестер, Б. Ренц. — М. : Финансы и статистика, 1988. — 302 с.

46. Хампель Ф. Робастность в статистике: подход на основе функций влияния / Ф. Хампель, Э. Рончетти, П. Рауссеу, В. Штаэль. М. : Мир, 1989.-512 с.

47. Хеттманспергер Т. П. Статистические выводы, основанные на рангах / Т. П. Хеттманспергер. М. : Финансы и статистика, 1987. -333 с.

48. Химмельблау Д. Прикладное нелинейное программирование / Д. Химмельблау. -М. : Мир, 1975. 535 с.

49. Хьюбер П. Робастность в статистике / П. Хьюбер. М. : Мир, 1984.-303 с.

50. Цыпкин Я. 3. Основы информационной теории идентификации / Я. 3. Цыпкин. М. : Наука, 1984. - 320 с.

51. Шуленин В. П. Введение в робастную статистику / В. П. Шуленин. Томск : Изд-во ТГУ, 1993. - 227 с.

52. Шурыгин А. М. Математические методы прогнозирования / А. М. Шурыгин. М. : Горячая линия Телеком, 2009. - 180 с.

53. Шурыгин А. М. Прикладная стохастика: робастность, оценивание, прогноз / А. М. Шурыгин. М. : Финансы и статистика, 2000. -224 с.

54. Andrews D. F. A robust estimation for location: survey and advances / D. F. Andrews, P. J. Bickel, F. R. Hampel, P. J. Huber, W. H. Rodger, J. W. Tukey. N. Y. : Princeton Univ. Press, 1972. - 373 p.

55. Berger R. W. Estimating Weibull parameters by linear and non linear regression / R. W. Berger, K. Lawrence // Technometrics. 1974. — Vol. 16. -P. 617-619.

56. Boudt K. Robust explicit estimators of Weibull parameters / ЬС. Boudt, D. Caliskan, C. Croux // Metrika. 2009. In press.

57. Dubey S. D. Some percentile estimators for Weibull parameters / S. D. Dubey //Techometrics. 1971. -Vol. 13.-P. 119-129.

58. Gryuner D. Research of parameter estimations of pair linear regression depending on kinds of initial variables distribution / D. Gryuner // VI International Symposium on Optimization and Statistics, Aligarh, India, 28

59. December 2008. P. 17. Исследование параметров парной регрессии в зависимости от вида распределения переменных.

60. Hoel D. A representation of mortality data by competing risks / D. Hoel // Biometrics. 1972. - Vol. 28. - P. 475-488.

61. Huber P. J. Robust estimation of location parameter / P. J. Huber // The Annals of Mathematical Statistics. 1967. - Vol. 35, № 1. - P. 73-101.

62. Jaeckel L. A. Robust estimators of location: symmetry and asymmetric contamination / L. A. Jaeckel // The Annals of Mathematical Statistics. -1971.-Vol. 42, №3.-P. 1020-1034.

63. Kernane T. Fixed point iteration for estimating the parameters of extreme value distributions / T. Kernane, Z. A. Raizah // Communications in Statistics Simulation and Computation. - 2009. - Vol. 34, № 5. - P. 21612170.

64. Langlois R. Estimation of Weibull parameters / R. Langlois // Journal of Materials Science Letters. 1991.-Vol. 10, № 18.-P. 1049-1051.

65. Lawless J. F. Statistical models and methods for lifetime data / J. F. Lawless. Hoboken, New Jersey: John Wiley & Sons, Inc. - 2003. - 637 p.

66. Marks N. B. Estimation of Weibull parameters from common percentiles / N. B. Marks // Journal of Applied Statistics. 2005. - Vol. 32, № 1. -P. 17-24.

67. Olive D. J. Robust estimators for transformed location scale families / D. J. Olive // Southern Illinois University : Working Paper. — 2006.

68. Pfanzagle J. On measurability and consistency of minimum contrast estimates / J. Pfanzagle // Metrica. 1969. - Vol. 14, № 1. - P. 248-278.

69. Siegel A. F. Robust regression using repeated medians / A. F. Siegel // Biometrika. 1982. - Vol. 69. - P. 242-244.

70. Tukey J. W. A survey of sampling from contaminated distribution. Contribution to Probability and Statistics / J. W. Tukey. Ed. I. Olkin. Stanford : Stanford Univ. Press. - 1960. - P. 446^186.