автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Планирование эксперимента, оценивание параметров и выбор структуры при построении моделей многофакторных объектов по неоднородным, негауссовским, зависимым наблюдениям



На правах рукописи

Лнсицин Даниил Валерьевич

ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА, ОЦЕНИВАНИЕ ПАРАМЕТРОВ И ВЫБОР СТРУКТУРЫ ПРИ ПОСТРОЕНИИ МОДЕЛЕЙ МНОГОФАКТОРНЫХ ОБЪЕКТОВ ПО НЕОДНОРОДНЫМ, НЕГАУССОВСКИМ, ЗАВИСИМЫМ НАБЛЮДЕНИЯМ

Специальность 05.13.17—Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Новосибирск - 2006

Работа выполнена в ГОУ ВПО «Новосибирский государственный технический

университет»

Научный консультант:

доктор технических наук, профессор Денисов Владимир Иванович

Официальные оппоненты: доктор технических наук, профессор

Горский Владимир Григорьевич

доктор технических наук, профессор Лбов Геннадий Сергеевич

доктор технических наук, профессор Рябко Борис Яковлевич

Ведущая организация:

Томский политехнический университет

Защита состоится 27 декабря 2006 г. в 1400 часов на заседании диссертационного совета Д 212.173.06 при Новосибирском государственном техническом университете по адресу: 630092, г. Новосибирск, пр. К. Маркса, 20.

С диссертацией можно ознакомиться в библиотеке Новосибирского государственного технического университета.

Автореферат разослан « (.3 » 1 ^ 2006 г.

Ученый секретарь

Чубич В.М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследований.* Многие исследования в различных областях знаний (физике, химии,биологии,технике,'экономикёит.д.) опираются на статистическиеданные, отражающие некоторые стороны изучаемых объектов и явлений. На основе собранной статистики строятся математические модели, служащие для целей описания и прогнозирования поведения объектов изучения.

Среди основных этапов построения математической модели по статистическим данным — оценивание неизвестныхпараметров, планирование эксперимента и выбор структуры модели.

В' основе <методов,'' используемых для реализации данных- этапов, лежат некоторые предположения'о свойствах изучаемых: объектов,' в 'частности,- о свойствах-ошибок 'наблюдений. Так, метод наименьших -квадратов (МНК)-наиболее часто используемый в практике статистических исследоваяий метод оценивания параметров — обладает рядом -положительных свойств при независимых гомоскедастичных (имеющих одинаковую дисперсию) ошибках, распределенных по нормальному закону.

При зависимости ошибок наблюдений переходят к использованию многомерных методов (Т.В. Андерсон,- С.С. Уилкс, С.Р. Pao, С.А. Айвазян). Например, может использоваться обобщенный МНК (ОМНК),1 требующий, однако, знания ковариационной матрицы наблюдений:-На практике значение ковариационной матрицы неизвестно и для ее определения может вводиться некоторая экономная параметризация. позволяющая оценить параметры методом максимального правдоподобия (ММП) в условиях многомерного нормального распределения ошибок.

В то же время предположение о нормальности' ошибок часто является слишком жестким. Например, в наборе данных могут присутствовать грубые ошибки (выбросы), возникающие вследствие1 нарушения условий эксперимента, неправильного измерения,'засорения'данных и т.п. В таких случаях более адекватными; являются распределения - с тяжелыми ». хвостами,- для < которых оценки по МНК могут быть неустойчивыми.' С другой стороны, внекоторых ситуациях более адекватным будет предположение-об ошибках наблюдений, имеющих хвосты более легкие, чем у, нормального распределения, оценки по МНК при этом также теряют некоторые из положительных свойств.

На практике данные часто являются неоднородными (разнораспределен-ными). К неоднородности приводит наличие выбросов в наборе данных; другой пример - гетероскедастичность-ошибок наблюдений. В общем случае от наблюдения к наблюдению могут меняться любые параметры модели, и даже вид распределения. ".....

Возможно более полный учет статистических свойств наблюдений способствует повышению качества моделей; однако,-на практике далеко не всегда имеется полная информация.

Для решения этой проблемы разработаны различные подходы, приводящие к устойчивым методам оценивания. К таким подходам относятся робаст-ное, адаптивное и иепараметрическое оценивание. Непараметрические оценки строятся в предположении неизвестного распределения ошибок, лишь удовлетворяющего ряду ограничений. При робастном оценивании разрабатываются процедуры, оптимальные в окрестности параметрической модели. Исследования по проблеме робастности связаны с именами Дж. Тыоки, П. Хьюбера, Ф. Хампеля, а в нашей стране — Л.Д. Мешалкина, Б.Ю. Лемешко, С.А. Смоляка, Б.П. Титаренко. Одни из перспективных подходов, приводящий к устойчивым решениям и разработанный A.M. Шурыгиным, основан на модели байесовского точечного засорения данных. При адаптивном оценивании конкретный вид статистической процедуры выбирается на основе оценки какой-либо характеристики неизвестной функции распределения наблюдений. Концепция адаптивного оценивания регрессионных моделей была разработана Р.В. Хогтом. Один из подходов к адаптивному оцениванию состоит в построении квазиправдоподобных оценок при использовании некоторого параметризованного по форме семейства распределений. Благодаря наличию параметра формы имеется возможность для методов оценивания адаптироваться к свойствам ошибок измерений.

Процедуры выбора структуры модели, основанные на использовании МНК- и ОМНК-оценок, также оказываются чувствительными к нарушению предположений классической регрессионной модели. Поэтому при выборе структуры однооткликовой нестрого нормальной модели применяются устойчивые подходы: используются соответствующие модификации информационного критерия Аканке, критериев Меллоуса и cross-validation, пошаговой регрессии. Ведущим специалистом в области робастного выбора структуры является Э. Рончетги.

В классических регрессионных моделях, изучаемых в рамках планирования эксперимента, ошибки наблюдений обычно предполагаются одинаково распределенными, могут использоваться условия нормальности распределения ошибок и их гетероскедастичности. Развитие методов планирования эксперимента связано с именами Р. Фишера, Дж. Бокса, Дж. Кифера, H. Dette, а в нашей стране - В.В. Напимова, В.В. Федорова, М.Б. Малютова, С.М. Ермакова, В.Г. Горского, Е.В. Марковой, В.И. Денисова, A.A. Попова, Г.К. Круга.

При изучении сложных систем их состояние может описываться характеристиками, измеренными в разных шкалах. В связи с этим может возникнуть задача построения многофакторной модели с разнотипными откликами. Моделирование разнотипных величин рассматривается в работах I. Olkin'a, R.F. Tate, W.J. Krzanowski, Ю.И. Журавлева, Н.Г. Загоруйко, Г.С. Лбова.

На практике часто встречаются ситуации, когда наблюдения содержат пропуски. При использовании многомерных методов в этом случае необходимы специальные процедуры обработки данных (Е.М. Beale, R.J.A. Little, D.B. Rubin, Н.Г. Загоруйко).

Несмотря на широкую разработанность методов устойчивого оценивания параметров, вопросы построения моделей многофакторных объектов:по неоднородным,- негауссовским,- зависимым наблюдениям требуют дальнейшей разработки и исследования.;

■ В области оценивания параметров (Необходимо ¡развитие подхода, использующего модель байесовского точечного; засорения, недостаточно разработан подход; основанный на представлении ковариационной матрицы ошибок в виде кронекерова произведения нескольких, положительно определенных матриц,- недостаточно разработаны методы , описания разнотипных откликов и методы моделирования при возникновении пропусков в данных. .Методы планирования оптимального эксперимента при ошибках, обладающих указанными выше свойствами,- ранее,- фактически, не, разрабатывались. Недостаточно разработаны методы .выбора структуры многооткликовых и негауссовских одно-откликовых моделей. Требуется развитие методов выбора структуры, учитывающих ограничения на параметры модели. ■, .

Все вышесказанное позволяет определить задачу »разработки и исследования: методов планирования эксперимента,оценивания параметров и выбора структуры для -моделей ■ многофакторных: объектов -по неоднородным, негауссовским, зависимым наблюдениям как отдельную область научных исследований,7 имеющую важное значение для развития теории математического моделирования и ее применения на практике. ■„• ■ :

Цель и задачи'исследования. Целью работы является развитие методов оптимального планирования эксперимента, оценивания-неизвестных параметров и выбора структуры для моделей многофакторных объектов в условиях неоднородности, негауссовости, зависимости наблюдений. Основными задачами исследования является построение, исследование и . применение данных методов. ' • ■•' ' ■ " ... <-.. .......

Методы исследования. Исследование, базируется на использовании результатов теории вероятностей,- математической статистики, математического анализа, вариационного исчисления, теории оптимального планирования эксперимента, регрессионного-анализа, численных, методов,, методов, оптимизации; методов статистического моделирования.

' ' Достоверность и обоснованность научных* положений, рекомендаций и выводов обеспечивается: применением для исследования развиваемых подходов аналитических методов; результатами исследования методов с использованием статистического моделирования; решением прикладных задач.

Научная новизна.получены,следующие;, новые результаты, которые выносятся назащнту: . ..г.;т п.-•

- получены вид критерия качества оценок,и вид оптимальных оценочных ~ функций' устойчивых оценок параметров одномерных моделей при неоднород-ньж данных и неоднородном байесовском точечном засорении; доказаны теоремы' о свойствах: оценочных! функций;; получен .вид устойчивыхоценочных функций неоднородной ■ двусторонней экспоненциальной модели, однородных

финитной и приближенной финитной моделей, неоднородной многомерной нормальной модели;

- введена общая мультипликативная ковариационная структура, когда ковариационная матрица ошибок наблюдений представляется в виде кронеке-рова произведения нескольких положительно определенных матриц, изучены свойства ММП-оценок регрессионной модели при эллиптическом распределении ошибок наблюдений, предложена схема покомпонентного вычисления оценок, в которой используются простые вычислительные формулы;

- предложена модель для описания зависимости откликов количественного и качественного типов от входных переменных, решена задача оптимального планирования эксперимента для данной модели, разработаны ЕМ-алгоритмы поиска оценок параметров модели при мультипликативной ковариационной структуре ошибок количественных откликов и наличии пропусков в наборе данных;

- впервые поставлена и исследована задача планирования эксперимента при оценивании параметров модели по неоднородным негауссовским наблюдениям методом максимального правдоподобия и робастными методами; для случая робастного оценивания изучены свойства непрерывных планов эксперимента и получены условия их оптимальности;

- впервые поставлена и исследована задача оптимального планирования эксперимента при оценивании параметров многооткликовых регрессионных моделей в условиях действия вероятностного механизма возникновения пропусков в наборе данных;

- впервые сформулирована обобщенная задача выбора структуры модели, включающая оптимизацию состава регрессоров (функций от входных переменных) и системы линейных ограничений на параметры;

- предложены критерии качества многооткликовых моделей с линейными ограничениями на параметры; разработаны эффективные по затратам вычислительные схемы алгоритмов решения обобщенной задачи выбора структуры;

- предложены критерии качества при робастном оценивании многоот-кликовой нормальной модели и однооткликовой двусторонней экспоненциальной модели; предложен принцип варьирования модели для конструирования критериев в случае негауссовских и зависимых ошибок наблюдений.

Личный вклад. Все результаты, приведенные в диссертации без ссылок на чужие работы, принадлежат лично автору.

Практическая полезность и реализации результатов работы. Разработанные в диссертации подходы позволяют эффективно решать задачи оценивания параметров, планирования эксперимента и выбора структуры при построении многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям. Созданное программное обеспечение позволяет автоматизировать процесс построения моделей. Разработаны модели реальных технологических и социально-экономических процессов. Полученные результаты на-

шли практическое применение в Новосибирском государственном техническом университете (НГТУ), Новосибирском институте информатики и регионального управления, Западно-Сибирском центре антикоррозийной защиты ООО «МОБИЛ СТРОЙ XXI», ОАО «Новосибирский завод химконцентратов».

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на .Международных конференциях' «Актуальные проблемы электронного приборостроения» (г. Новосибирск, 1996,' 1998, 2000, 2002, 2004 гг.), на Международных научно-технических конференциях «Информатика и проблемы телекоммуникаций» (г. Новосибирск, 1997, 2001, 2002 гг.), на Международной научно-технической конференции * «Информационные. системы. и технологии» (г. Новосибирск, 2000 г.), на Российских научно-технических конференциях «Информатика и проблемы , телекоммуникаций» (г. Новосибирск, 1994, 1996, 2000, 2004, 2005, 2006 гг.), на Всероссийской научной конференции молодых ученых«Наука. Технологии. Инновации» (г. Новосибирск, 2003 г.), на Сибирских конгрессах по прикладной и индустриальной математике (г. Новосибирск, 1996, 2000 гг.), на научном семинаре кафедры прикладной математики Томского политехнического университета'; и кафедры АСУ Томского государственного университета систем; управления и радиоэлектроники (г.. Томск,. 2006 г.),. на научных семинарах кафедры: прикладной; математики НГТУ.

Работа над диссертацией в 2005 — 2006 гг. проходила в рамках проектов, поддержанных грантом Президента РФ (№ МК-3376.2005.9, ,2005 - 2006 гг.), Министерством образования и науки РФ (ведомственная программа «Развитие научного потенциала высшей школы», коды проектов-4574 (2005 г.),,РНП-2.1.2.43 (2006 г.)), грантом»Администрации Новосибирской области (договор № ФГМ-4-05,2005 г.).

Публикации. Автор имеет 57 научных работ, из них по теме диссертации - 42 работы, в том числе: 19 статей в ведущих научных журналах и изданиях, входящих в перечень, рекомендованный'ВАК РФ, (представлены в автореферате); 10 статей-в сборниках научных трудов; 13 статей в материалах Международных и Российских конференций^

Структура и объем работы. Диссертация состоит из введения, шести глав основного содержания, заключения, списка использованных источников из 298 наименований и приложений. Общий объем диссертации составляет 505 страниц, включая 106 таблиц и 62 рисунка.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ .

В первой главе содержится введение в анализ многофакторных моделей, рассматриваются методы оценивания неизвестных параметров, проверки гипотез, оптимального планирования эксперимента и выбора структуры для одно- и многооткликовых моделей,'дается обзор подходов к:моделированию по неоднородным, негауссовским, зависимым данным.

Вторая глава посвящена развитию теории устойчивого оценивания параметров. Основная часть результатов главы посвящена рассмотрению подхода, основанного на модели байесовского точечного засорения.

В § 2.1 рассматривается оценивание однородной одномерной модели. Рассматривается задача оценивания одномерного параметра 0 по однородным наблюдениям z(-, i = l,...,Af, имеющим распределение с плотностью g(r,6). Состоятельная М -оценка параметра 0 находится как решение уравнения чЧ2/>9) = 0, где функция ц/, названная А.М. Шурыгиным оценочной, удовлетворяет условию асимптотической несмещенности Ev|/ = 0, Е - математическое ожидание по плотности распределения наблюдений.

В основе рассматриваемого подхода - концепция байесовского точечного засорения (A.M. Шурыгин, 2000). Пусть засоренная плотность имеет вид (1 — ct)g(z,0) + a 5(z — J;), где a - доля аномальных наблюдений (уровень засорения), 0 < a < 1; б — функция Дирака; Е, - случайная величина, имеющая распределение с плотностью s(z,Q). При выполнении некоторых условий регулярности показателем качества оценок является Ys(y) = E^/F^iy), где Ег -математическое ожидание по плотности i(z,9), ¡F(z,\\i) = vj;(z,0)//V(v|/) - функция влияния Хампеля, W(»jf)= j^\p(z,0)gg(z,8) dfe = -j^\|/e(z,e)g(z,0) dz, Z —

область определения исследуемой случайной величины.

Конкретизируя функцию s(z,0), можно получить различные оценочные функции, доставляющие минимальное значение функционалу (у). Одно из оптимальных решений — введенная Л.Д. Мсшалкиным для нормального распределения экспоненциально-взвешенная оценка с оценочной функцией

y(z,0) = c[31ng(z,0)/3e + ß]g5(z,0), где с = с(6) - ненулевая константа, (1 = р(0) определяется из условия асимптотической несмещенности, 05551 -параметр оценочной функции; данные оценки будем называть далее обобщенными радикальными (при 8 = 1/2- радикальными (OP) (А.М. Шурыгин, 2000)).

Показатель зависит от функции f(z,0), которая неизвестна на

практике. Один из путей решения этой проблемы — использование максимин-ной формулировки s, ~ arg шах min (у), если множество S совпадает с мно-

AeS V

жеством модельных плотностей, то соответствующая оптимальная оценка называется стойкой (А.М. Шурыгин, 2000).

Другой путь - использование показателя неустойчивости оценки вида

fF(vy) = jz IF2 (2,41) dz (A.M. Шурыгин, 2002), условием устойчивости оценки является выполнение требования №r(\i>)<co, минимизация функционала на множестве устойчивых оценок приводит к оценке максимальной устойчиво-

сти (ОМУ) (A.M. Шурыгин, 2000), являющейся обобщенной радикальной при 6=1.

Устойчивбсгпыб' оценки- называется относительная характеристика stb' 4/ = ^(4/ому (AM. Шурыгин,- 2000),' введенная аналогично эффек-

тивности eff \(/ = ^(VoMnV^iv)» где К'— асимптотическая дисперсия, Уому< Уомп. ~ оценочные функции ОМУ и оценки максимального правдоподобия (ОМП)." Во множестве устойчивых оценок условно оптимальные оценки обеспечивают максимальную устойчивость при фиксированной. эффективности и максимальную эффективность при фиксированной .устойчивости,, оценочная

функция имеет вид A|/(z,e)=c[9tag(z,e)/3e + p][l+.y/^(r,e)]~1, где .ySO - параметр (AIM. Шурыгин, 2000):

В работе введены равнооптималъная оценка (ОГО),' являющаяся условно оптимальной и-удовлетворяющая условии»: eff y = stb v|/, и обобщенная компромиссная оценка, оптимизирующая функционал' (l-8)/efFy+5/stb\|/, 0S5<1. При 8 = 1/2 последняя оценка является компромиссной (OK) (А.М; Шурыгин, 2000). В работе показано, чтообобщенная компромиссная оценка является условно оптимальной с у = 8К(ц/0МП)/[(1-(уому )]

В работе получены следующие свойства рассматриваемых оценок.

Теорема 2.2. Для оценочной функции ОМУ имеет место

»r(VoMy) = c2[j^4'OMy(2,0)ife]T =c/tf(V ому)-

Теорема.2.3. Пусть. 9 — параметр сдвига." Тогда, если значения функции g(z,6) в граничных точках интервала Z равны между собой, то для обобщенной ■ радикальной оценочной функции и для условно оптимальной оценочной функции имеет место 0 = 0.

. Теорема 2. ¿Пусть 0 .— параметр масштаба. Тогда, если в граничных точках интервала Z значения zgl+X(z,Q) равны между собой, то для обобщенной

радикальной оценочной функции имеет место 0 = 9~' 5/(1+5).

Теорема 2.5. Пусть 8 - параметр сдвига. Тогда, если значения функции g(z,d) в граничных точках интервала Z равны между собой, то для радикальной оценочной функции справедливо efF vj/ = stb \\i.

Теорема 2.6. Пусть 0 — параметр'масштаба. Тогда, если в граничных точках интервала Z соблюдается условие zg(z,6)=0,To для радикальной оценочной функции условие efF Лу =stb 4/ равносильно'условию

где используется представление g(z,0)=м = z/8 е Г/.

Следствие. Пусть в - параметр масштаба! Тогда, если плотность распределения принадлежит семейству g(z,6) = [0T(l/v +1)]~' expf-(r/e)v], Г - гам-

ма-функция, у>0, г>0, или я(г,0)= [20 Г(1/у + 1)]-'ехр[-(|г|/0)у], у>0, -со < г < од, то для радикальной оценочной функции имеет место ей1 \|/ = вЛ у.

На практике оцениваемый параметр часто является векторным. Например, вместе с параметром сдвига оцениваются мешающие параметры (параметры масштаба и формы). Для совместной оценки параметров будем использовать вектор из оценочных функций, полученных для каждого параметра в отдельности.

Для обобщенных радикальных оценок получены связанные с ними вспомогательные оптимизационные формулировки, используемые, например, при выборе одного решения оценочного уравнения из нескольких.

Теорема 2.7. Пусть 01 - параметр сдвига, О2 — параметр масштаба и справедливы условия теорем 2.3 и 2.4. Тогда локальный минимум функции

-В2 (^,в1,02)/5 соответствует обобщенной радикальной оценке

параметров 01, 02.

В общем случае определить оптимизируемую функцию невозможно, однако можно указать функцию, в некотором смысле близкую ей.

Теорема 2.8. Пусть 0 — вектор оцениваемых параметров, тогда локальный минимум функции удовлетворяет системе оценочных

уравнений Х^й^.фэь^.вуэе^ =0.

Оценочные функции в теореме 2.8 отличаются от обобщенных радикальных тем, что не учитывают условие асимптотической несмещенности.

В § 2.2 рассматривается оценивание неоднородной одномерной модели.

Пусть вектор, составленный из независимых наблюдений за выходной переменной (откликом) исследуемой системы, можно разделить на р подвек-торов (групп наблюдений) так, что ошибки наблюдений одной группы являются одинаково распределенными. Рассматривается регрессионная модель вида

Уц =/Т(хуУЗ + Ч0, ( = 1,...,р, j = l,...,n,, (1)

где у у- - у-е наблюдение в /-й группе; /(х) - заданная вектор-функция (значения регрессоров); ху — вектор входных переменных; 0 — от-мерный вектор неизвестных параметров; е,у - значение ненаблюдаемой ошибки; п,- количество наблюдений в 1-й группе. Ошибки наблюдений 1-й группы имеют распределение с плотностью g¡(z), нулевым параметром сдвига и мешающими параметрами: параметром масштаба и, возможно, параметром формы.

Состоятельная М -оценка 0 вектора параметров 0 определяется путем решения системы оценочных уравнений вида Х/^Ху^/О^уОЧ'Д'/у) = 0> где

- Ч- "

у,- - скалярная оценочная функция, гу - /у(в}=у у -/ (х,у)9.

Используется неоднородное байесовское .точечное засорение, когда? все наблюдения выборки имеют:различные засоряющие импульсы. Обозначим че-pe3 . s,-(z) плотность распределения засоряющих импульсов для наблюдений Г-й группы. -I .

Показателем! - качества оценок является функционал

°Sr> [Е^^У^Г^:]»"1'. где D ^f^'iXTXf , wf - положительный весовой коэффициент i -й группы, , Е^ — математическое ожидание , по плотности Sj(z)i Xi~ щ хт -матрица, составленнаяиз векторов-сгрок fT(xy)

значений регрессоров Z-й лруппы. При некоторых условиях регулярности данный показатель связан с асимптотическим смещением-оценки, возникающим вследствие малого засорения, и с функцией влияния Хампеля.

Поскольку оптимизация Us в общем случае трудна, рассматриваются два варианта с ограничениями. В первом случае, ограничением является Jcf-Xj- =kjA, где к{ — положительная константа, ' А - симметричная положительно определенная матрица. Во втором случае используется оптимизация Us но каждому элементу вектора параметров - отдельно. Получена оптимальная оценочная функция для показателя Us: \\ij(z) = c{[Inд(z)]' + р,:}gj(г)Дwt-ij(г)], где р^ — константа, определяемая из условия^ Ех^ ==0,' / = 1,'...,/>, включая ее конкретизации, соответствующие обобщенным радикальным оценкам. Получена , оценочная . функция условно ' оптимальных оценок: у,-(z)=с{[big/(z)]' + + Y/g/(z)], включая обобщенную компромиссную.

Для обобщенных радикальных, оценок получены связанные с ними вспомогательные оптимизационные^ формулировки, аналогичные приведенным в теореме 2.8.

В условиях, когда на параметры модели (1) наложенасистема ограничений вида

RB = d, (2)

где R - известная и х т -матрица полного строчного ранга; d — известный и -мерный вектор, получен вид оценочных уравнений при М -оценивании вектора

б. Показана возможность вычисления оценок'параметров итеративным МНК (Демиденко Е.З., 1981).-

В § 23. рассмотрено устойчивое оценивание регрессионной модели вида (1) с ограничениями на параметры вида (2) и векторами ошибок наблюдений групп (одной размерности), имеющими засоренное многомерное нормальное распределение. Получен вид оценочных уравнении для М Оценивания вектора

в. Для устойчивого оценивания используются обобщения известных «одномерных» оценочных функций (Тыоки, Хьюбера, Хампеля, Эццрюса и др.), оценки. Мешалкина, а также оценки, предложенные A.M. Шурыгиным (А.М.

Шурыгин, 2000) для оценивания параметров многомерного нормального распределения: стойкая, компромиссная, радикальная.

Исследование оценок, проведенное методом статистических испытаний, показало их высокое качество по сравнению с МНК и ММП для нормального распределения. В частности, показано высокое качество стойкой, компромиссной и радикальной оценок. Так, при оценивании параметров двухоткликовой нормальной регрессионной модели с условиях асимметричного засорения

- -г -

среднее значение величины (9 - 9) (9-9) в ста испытаниях для ММП-оценки было равно 0,7253716, для стойкой — 0,0200843, для компромиссной -0,02920227, для радикальной - 0,02641671.

Для неоднородной многомерной модели без ограничений на параметры, когда многомерные наблюдения разделены на группы, каждая из которых характеризуется своей ковариационной матрицей, получены оценочные уравнения оценок Мешалкина (обобщенных радикальных) параметров регрессии.

В § 2.4 получены оценки параметров неоднородной регрессионной модели (1) при двустороннем экспоненциальном (ДСЭ) распределении ошибок i-й

группы с плотностью Д,V,-) = [2Х,-Г(1 +1/V;)' exp(| z |Д;.)v' j, где X,- >0

- параметр масштаба, v,- > 1 - параметр формы. Получены ММП-оценки, обобщенные радикальные и стойкие оценки всех параметров модели, условно оптимальные и обобщенные компромиссные оценки вектора 9. Получен вид робастных оценок всех параметров модели при наименее благоприятном распределении в классе засоренных ДСЭ-распределений (S.A. Kassam, J.B. Thomas, 1976). Рассмотрены особенности вычисления оценок. Исследование, проведенное методом статистических испытаний, показало полезность учета при оценивании неоднородности наблюдений и высокое качество обобщенных радикальных оценок в условиях засорения. Так, при оценивании параметров неоднородной регрессионной модели с засоренным ДСЭ-распределением оши-

- -г "

бок среднее значение величины (9-9) (9-9) в трехстах испытаниях для ММП-оценки было равно 0,0018920, для обобщенной радикальной при 5 = 0,4 -0,0005481.

В § 2.5 рассмотрено устойчивое оценивание финитной и приближенной

где X>0, 0й V< 1, соответственно. В качестве модельных плотностей распределения выбираются наименее благоприятные (Я.З. Цыпкин, 1984; В.Н. Вап-ник, 1979). Однако соответствующие ММП-оценки являются неустойчивыми при асимметричном (а для финитной модели - и при симметричном) засорении. Для финитной модели получен вид оценочных функций ОМУ, ОР, ОК, ОРО, условно оптимальных оценок для параметра сдвига, ОМУ и ОР для параметра масштаба. Для приближенной финитной модели получен вид оценочных функций ОМУ и ОР параметров сдвига и масштаба, а также непараметрическая

финитной моделей, задаваемых условиями

оценка ¡параметрам. Исследование, .проведенное методом статистических испытаний, показало устойчивость и высокое качество предложенных оценок.

.Третья главка посвящена методам оцениваниянеоднородных регрессионных моделей вслучае, когда ошибки, групп наблюдений являются зависимыми и имеют многомерное эллиптическое распределение с псевдоковариационной матрицей (матричным параметром масштаба), параметризованной в виде кронекерова произведения нескольких положительно определенных матриц. Отдельно рассматривается ситуация, когда наряду с количественными откликами имеются отклики качественной природы, а наблюдения могут содержать пропуски.

В §3.1: рассматривается-оценивание, параметров .регрессионной модели (1), (2) с эллиптическим распределением векторов ошибок групп наблюдений.

Обозначим через Е{ вектор ошибок наблюдений 1-й группы'и введем предположение, что он. имеет эллиптическое' распределение: с плотностью, пропорциональной , л,-, ), где У] — симметричная положительно

определенная псевдоковариационная1 матрица; , л,-, Уу^ ) - функция,; обладающая свойствами плотности распределения) (за исключением ,-условия норт т —1

мировки); ■ <7, = £/ 1— размерность вектора -Щ;, Ууфпараметр формы

распределения, при этом функция- ставит' в соответствие; номеру • группы номер параметра формы и всего имеется щ различных векторных параметров формы ¿ 'У— 1 • Псевдоковариационные матрицы векторов ^ параметризуются посредством симметричных'положительно'1 определенных' матриц . Щ, ] = 1,размерности Ау > 1>., Для псевдоковариационной матрицы 1-й

группы используется мультипликативная параметризация в виде кронекерова произведения параметров: Р} = ® С/7, 1 = 1,...,р,'где ^(У})- упорядоченная

последовательность. индексов - матриц>: (/,-, посредством - которых параметризована матрица '¿7'. Данная параметризация может быть использована:при наличии структурированности вектора наблюдений,'в частности,-при такой структурированности вектора наблюдения • г -й группы, которая может быть отражена введением мультииндекса наблюдений (5Л»5/2>—)'»где т/ — количество

элементов У(Кг). При этом эдементы-вектора Я/ упорядочены посредством мультииндекса таким- образом, что; быстрее, изменяется индекс,, стоящий правее. Тогда ковариаци* двух элементов вектора - £(а/1,о/2,...,а/т/) и

Ефл р-м.) — пропорциональна произведению элементов матричных параметров (и,- ) , - *-й элемент ^(Ц), к = 1,...,т{. Каждый матричный параметр псевдоковариационной матрицы является с точностью до скалярного

сомножителя кросс-ковариационной матрицей некоторых подвекторов вектора Е,.

Для оценивания параметров модели используется ММП. Получен вид системы уравнений правдоподобия. В частности, матричные уравнения, соответствующие ковариационным параметрам имеют вид

0)=ГГ]хк] £ и], ; = I.....Щ,, (3)

/еУ(£/у)

где Nj - X "/! -ЦУу) ~ множество номеров групп наблюдений, в число

параметров псевдоковариационных матриц которых входит матрица С/у;

.. (<)) = 1 п ¿(<7,-, , )) / 9<7,- - весовая функция, используемая в итеративном МНК; ¿)у] — матрица размерности г-й столбец которой содержит в исходном порядке элементы вектора остатков Е-(, для которых соответствующий матрице С/у элемент мультииндекса равен /; Уцд - матрица У} с исключенным сомножителем С/у.

В работе произведен анализ системы уравнений правдоподобия на основе матрицы А, элемент Ау; которой равен единице, если параметр С/у присутствует среди сомножителей матрицы У/, и нулю — в противном случае.

Если ранг матрицы А равен р, то при выполнении ряда условий величины Оу и и■} можно представить как функции размерностей групп. В результате можно говорить об априорной идентифицируемости данных величин.

Полученный результат позволяет свести процедуру оценивания параметров в рассматриваемом случае к ММП-оцениванию в условиях нормального

распределения ошибок с ковариационной матрицей /-й группы, равной тц^. Более того, ММП-оценки вектора параметров 9 исходной модели можно получить в рамках модели нормального распределения ошибок с ковариационной

матрицей 1-й группы V/ , параметризованной как У{ = <§) С/у, где С/у - матрицы тех же размерностей, что С/у, причем справедливо равенство У{ = Существование такой модели обосновывается следующей теоремой.

Теорема 3.1. При выполнении условия С/у ' где Рхпи~

матрица А~ ранга р является левой слабо обобщенной обратной к матрице А, выполняется У-, = и

В случае; когда ранг матрицы А меньше р, может оказаться возможным найти априорные значения части величин и)-и Уу,.за счет,которых.упро-г стать процесс оценивания. .

Решение системы оценочных уравнений в общем случае можно осуществлять методом покомпонентного оценивания (Каминскас В:А:, 1982).! Удобно

выделить подмножества оцениваемых параметров'{в}', {£/]},..., ji/^J'.^vi}, ....jv^J.Ha этапе уточнения оценки параметра 6.можно пользоваться итеративный МНК. Поиск очередного приближения оценок параметров сводится к вычислению по формуле (3).

Теорема 3.2. Необходимыми условиями положительной определенности очередных приближений оценок'С/у, у = полученных на любой итера-

ции покомпонентного оценивания.являются

" S m>a{kj,ni/kj}^.kj, J = i,...,nu.

шщу - " • •

- Параметризация ковариационной матрицы,. приводящая к случаю априорной идентифицируемости:всех величин я vy, полезна для практики,

поскольку,в данном случае можно воспользоваться оцениванием нормальной модели. В результате может быть целесообразным специально конструировать ковариационную структуру, обладающую данным свойством.

Проведено экспериментальное, исследование, которое > показало высокое качество оценок вектора 6, учитывающих: априорную идентифицируемость, а в ряде случаев - оценок вектора.0.при специально конструируемых ковариационных структурах к при нарушении модельной мультипликативной ковариационной структуры. Так, при оценивании параметров двухоткликовой регрессии со стьюдентовскими ошибками и ковариационной структурой;:приводящей:к случаю:априорной:идентифицируемости!всех величин и»,- и Vy, среднее

значение величины (0 — 0)^ (в—в) в. ста' испытаниях; для • оценки ■■ в рамках^ исходной модели (с оцениванием параметра формы) было равно 3,80986-КГ*,1для оценки в рамках нормальной модели - 3,79346-Ю"6, причем последняя вычислялась на порядок быстрее..

В§3.2 рассматривается оценивание регрессионной модели с количественными и качественными откликами ¡при наличии пропусков в данных. Рассматриваемая модель является дальнейшим развитием; общей модели сдвига (Little R.JA., SchluchterM.D., 1985; Liu С., Rubin D.B;1998).

Пусть проводятся независимые наблюдения за откликами системы. В <-м наблюдении при фиксированном значении вектора входных переменных. х, измеряются значения векторов Yt и Zt количественных и качественных откликов соответственно.

Введем обозначения: nz - размерность вектора Zt, Is — количество возможных значений егоs -го элемента. Тогда качественные отклики задают таблицу сопряженности с nz входами, имеющую пс = f"JyL|/y ячеек. Обозначим z, номер ячейки, в которую попало Г-с наблюдение; г, - скалярная дискретная величина, принимающая значения из множества {1,...,лс}. В результате вместо вектора Z, может использоваться скаляр г,.

Распределение переменной zt задается в виде P{r, =j\xt] = тсу(х(,Э), j— I,...,nc, где Р — вероятность.

чественных откликов, 9 — вектор параметров модели качественных откликов.

Вектор У, представляется состоящим из л, подвекторов (групп элементов) У,1 размерности «(|, /=1так, что условная плотность распределения

вектора Ус в j-и ячейке имеет вид % (У/ I •*> >Ф) = ГТ/!] 8п] I >Ф) > где ф -совокупность параметров модели количественных откликов, £/,у(1/, |*/>Ф) — условная плотность распределения вектора У1( в у"-й ячейке. Распределение вектора Уц в у -й ячейке является стьюдентовским с параметром сдвига , псевдоковариационной матрицей = Х^П^у и параметром формы .

где функция у(Г,/,у) ставит в соответствие номерам наблюдения, группы и ячейки номер параметра формы и всего имеется различных параметров формы v,., г = 1.....9, 0(у и >0 - соответственно векторный, матричный и скалярный параметры; Хц} — матрица значений регрессоров, описывающих / -ю группу / -го наблюдения в у -й ячейке. На параметры в при этом наложена система ограничений вида (2). Предельным случаем распределения Стыодснта при ^(г./.у) —> °° является нормальное распределение, которое также может использоваться в модели.

Матрицы параметризованы посредством кронекерова произведения

ряда симметричных положительно определенных матриц Щ и = 1,...,А[, размера ¿ы £ 1: П„у = ® Щи, где У(П/у ) - упорядоченная последователь-

ность индексов матриц Щ и, посредством которых параметризована матрица П„у. Скалярные величины \ц, параметризованы посредством произведения

ueJ(nUJ)

положительных параметров ^,,, u = l,...,A2:X,iy = f] f/2u, где J(X,y) -

множество индексов параметров U^ü, являющихся сомножителями в Хщ.

Векторы Zt и Yt могут содержать пропуски. Для оценивания множества параметров модели используется ММП, функция правдоподобия строится на основе маргинального распределения реально наблюдавшихся значений откликов.

В полученных в § 3.1 алгоритмах вычисления ММП-оценок для ковариационных, параметров используются достаточно: простые вычислительные формулы. При ММП-оценйвании по данным с пропусками ковариационная структура, основанная на кронекеровом произведении, нарушается, вследствие чего указанные вычислительные.схемы не могут быть.использованы. Поэтому для поиска оценок разрабатываются EM-алгоритмы (Литтл Р.ДжА., Рубин Д.Б., 1990), сохраняющие указанное преимущество мультипликативной ковариационной структуры; ■

Для построения EM-алгоритмовj используется представление стыоден-товского распределения ввиде бесконечной смеси нормальных распределений (Liu C., 1997), при этом матрицы U\u считаютсяпараметрами нормального распределения, a Ujru— параметрами смешивающего распределения;-последнее может приводить к ускорению работы EM-алгоритмов.-В работе построен частный случай ЕСМ-алгоритма (Meng X>L., Rubin D.B., 1993), соответствующий покомпонентному оцениванию (см. § 3.1). Для модели с откликами только количественного. типа< построен также ЕСМЕ-алгоритм (Liu C., Rubin D.B., 1994; Liu С., 1997), модифицирующий шаги оценивания,параметров формы и С/2 н ЕСМ-алгоритма и способный приводить к ускорению процесса получения

решения." ■■ '•■

Проведенноеэкспериментальное исследование подгвердило работоспособность разработанных модификаций алгоритмов, а в ряде случаев — и заложенные в них возможности ускорения работы.. •

' Четвертая' глава1 посвящена методам: оптимального планирования эксперимента при оценивании параметров линейных' по! параметрам; регрессионных моделей по негауссовским, разнораспределенным, зависимым наблюдениям.--- • ■

В § 4.1 рассматриваются постановки задач планирования эксперимента при ММП-оцениванни многооткликовых регрессионных моделей в условиях негауссовских разнораспределенных ошибок. В данном случае информационная матрица, используемая при планировании эксперимента, содержит: функцию эффективности, зависящую от мешающих параметров распределения ошибок (параметров масштаба и формы), значения которых предполагаются зависящими от точки факторного (Пространства. Это требует использования при планировании эксперимента сложных стратегий, таких как локально опти-

малыюе и последовательное планирование. Планирование при этом осуществляется с учетом полученной на основе данных информации о свойствах ошибок наблюдений. Приведены примеры функций эффективности при различных спецификациях негауссовских разнораспределенных ошибок (одновременные наблюдения разных откликов могут быть независимыми или зависимыми). Исследован аналитическими методами ряд моделей, результаты говорят о влиянии на свойства планов эксперимента вида зависимости мешающих параметров от точек факторного пространства и демонстрируют наличие выигрыша при планировании эксперимента от учета данной зависимости.

В § 4.2 развивается теория оптимального планирования эксперимента при робастпом оценивании параметров многооткпиковых регрессионных моделей по неоднородным наблюдениям.

Пусть в каждой j-й точке факторного пространства, j = 1.....п, производится по гу наблюдений за / откликами исследуемой системы. Состоятельная

М -оценка 8 вектора параметров 8 уравнения регрессии находится решением системы оценочных уравнений - F(xj)Q,Xj) = 0, где

F{xj) — /хот-матрица регрессоров в точке Xj, i|/(z,je) - векторная оценочная функция, удовлетворяющая условию Eiy(z,.r) = 0, д>д — к-е измерение вектора откликов в j-й точке факторного пространства,.

Целью планирования эксперимента является оптимизация некоторого скалярного показателя качества оценки за счет выбора точек факторного пространства, в которых должны проводиться наблюдения. Путем планирования эксперимента можно повысить точность робастных оценок, при этом показателем качества будет некоторый функционал от матрицы асимптотического разброса (Боровков A.A., 1997). С другой стороны, качество робастных оценок характеризуется не только точностью, но и устойчивостью, поэтому при планировании эксперимента для робастных оценок может быть целесообразно выбрать показателями качества функционалы от матричного показателя, учитывающего устойчивость оценок (см. главу 2). Получен вид показателя качества оценок при неоднородном байесовском точечном засорении многомерных неоднородных наблюдений. В дальнейшем рассматривается частный случай данного показателя вида D = Dp = MJ"1 М2 Mf1, где М] = Х!у=|Pj

Pj - rj/N, tf = £}=1ry, M1(X)=Fr(x)Q,(Ä)JFW. £2i(*) = E94i(z,x)/dzT (Qj(jc) является симметричной матрицей), M2 =М2)р =YIj=\Pj МгС*/)» M2(jO=M2,pto=^7'(*)ß2,p (*)*■(*>• Матрица П2М=а2,рМ ПРИ зависимых откликах имеет вид n2,ß(*) = E[4,(z'*)vr(z,*)g~'3(z>x)l, где ß -скаляр-

ный:параметр, ,g(z,jc)".— плотность распределения, вектора ошибок в точке х. При независимых откликах данная матрица является диагональной с элементами [fí2,p= E[v?(zi>x)g¡?' (zí'.x)^ ¿: где ßf - скалярный параметр, g¡{z¡,x)

— плотность распределения вектора ошибок i-го отклика вточке х, y¡(z¡,x) — Г-й элемент оценочной'функции \y(z,x). При выполнении некоторых условий рехулярности в случае ß = 0 (ß,=0, i = 1,...,/) данный показатель является матрицей асимптотического разброса, в случае ß = l (ß,- =l, í = l,...,/) — показателем неустойчивости, аналогичным W(\|/) из главы 2,' при значениях 0 < ß < 1 (О <ßj',< 1!,* / = 1,...,/) получаем характеристику, аналогичную, приводившей в главе 2 "к обобщенным; радикальным: оценкам и • неявно 'учитывающую неточность и неустойчивость оценки.

Матрица- D зависит от мешающих параметров распределения ошибок и параметров оценок,-которые могут зависеть от точки факторного пространства. Рассмотрим; локально оптимальное планирование эксперимента. Наряду с матрицей D, также будем:использовать матрицу М = Мр = D-1. Матрицы Mj, M¿

будем называть квазиинформационными.

Непрерывному плану е со спектром, имеющим п точек, сопоставляется значение •матрицы D, при этом фигурирующие в квазиинформа-

ционных матрицах величины pj, j=1,...,и,.удовлетворяют только ограниче-

™^*T!j=\Pj =rf-/»yiOí Если непрерывному плану е;соответствует вероятностная мера заданная на области планирования X, то квазиинформационные матрицы определяются формулой MJ(e)= J^.F'r(x)Qí(x)F(x)dPe(х),

s = 1,2. . ..'.'.'

Георема Справедливы следующие высказывания.

1. Для любого плана е матрицы М](б) и Мз(£) симметричны, матрица M2(s) положительно полуопределенная.

2. Если матрицы М](е),и М2 (е) невырождены, то матрицы М(е) и D(e) существуют, матрицы М2(в), М(е) и D(s) - положительно определены, в случае конечного числа точек в плане справедливо неравенство n~Z.mll.

3. Множества квазиинформационных матриц {Mjfe),ееН}, где 5= 1,2, Н - множество всех непрерывных'планов, выпуклы, а если компактны множества (Мд[Е(х)],хе^} , где j = l,2, Цх) -одноточечный план, то компактны и

множества квазиинформационных матриц.

4. Дня любого плана е с заданными квазиинформационными матрицами Mj(е) и М2(е) всегда найдется некоторый план в; содержащий не более чем ид = т(т +1)+1 точек такой, что Mj (é) = M¿ (s), s -1,2.

5. Для любых двух планов е и ё, для которых существуют матрицы М(е) и М(ё), справедливо (1 - а) М(е) + а М(ё) > M [(1 - а)е + аё], где неравенство понимается в смысле положительной полуопределенности разности матриц, стоящих слева и справа.

План е называется Ч' -оптимальным, если он минимизирует значение

некоторого функционала *F от матрицы М(е):е* =аг£гшпЧ'[М(е)]. План е*

ееЕ

называется Ч'-оптимальным, если е* = arg min >I'[e] = arg min max 'F, [M(e)].

tes eehl s/<r

План, которому соответствуют невырожденные квазиинформационные матрицы, будем называть невырожденным. В дальнейшем будем предполагать, что оптимальный план существует и является невырожденным.

Предположим, что функции Ч*[М] и Ч'ДМ], í = l,...,r, непрерывно дифференцируемы. Рассмотрим условия Ч*-оптимальности планов эксперимента.

М^М,

Введем обозначения ср(Ё,е)= trMi (ё)

ЭМ ЭМ

-1гМ2(ё)М5' М^М, М21, ф(л:,е) = ф(в(х),б), где М = М(е), ЭМ

М5 = Мх(е), ^ = 1,2, план е - невырожденный. Величина ф(дгу,е) является производной функционала Ч*[М(е)] по весу ] -й точки.

Теорема 4.2. Для любого невырожденного плана е справедливо тождество ¡х ч>(х,е)ЫРе(х) = (гМ(е)9Ч,[М(е)]/ЭМ(е).

Теорема 4.3. Для того чтобы план б* был -оптимальным, необходимо, а в случае выпуклости функционала на множестве Н и достаточно, чтобы

выполнялось равенство тт ф(х, ё* ) = 0- N1(6* )ЗЧ'[М(е* )]/Э М(е) , в точках опти-хеХ

малыюго плана выполняется ф(лу,е*) = 1гМ(е*)ЭЧ'[М(е*)]/ЭМ(е), у = 1,...,и.

Для иллюстрации полученных результатов в табл. 1 приведены условия оптимальности планов для ряда критериев, при этом используются следующие обозначения: Цщах и д - некратное максимальное собственное число матрицы Э и соответствующий ему нормированный собственный вектор, Ц/, / = 1,...,т —

собственные числа матрицы Б, О = С)(е*), М^. = МДе*), 5 = 1,2. Заметим, что соответствующие функционалы не выпуклы на множестве Н, поэтому приведенные условия являются лишь необходимыми.

Рассмотрим условия Ч* -оптимальности планов эксперимента.

Теорема 4.5. Для того чтобы план в*, содержащий п точек, был Ч'-оптимапьным, необходимо, а в случае выпуклости Ч'(- по координатам

Таблица 1

Условия оптимальности планов эксперимента

Критерий Функционал Условия оптимальности

D ln|D| m^tr|2M,(x)Mf1-M2(*)M5l| = m

А trD maxtr|2M,(x)Mf1D- M2(x)Mf2} = trD

Е ^max m^tr^MjixJMf'^Pmax - -Мз^МГ'^/МГ^Цшах

Фг г-1 trD' maxtr{2M,(x)Mr,Dr--M2(x)Mf' Dr_1 Mf1J = trDr

Л X^-iO2, m max tri 4Mi (x)| МГ1 D2- Mf1D— -xeX L L m J -2M2(x)|^Mf1 DMfMf2 j = 2tr D2-—tr2 D

P-\_Ph—*Pn\ и достаточно, чтобы существовали такие величины йО, /е/[М(е*)], X С* = 1 > что

/б/[Л/(Е*)]

min £ С;Ф,(дг,е*)= 2 CtrM(e*)34VM(e*)]/3M(e), x6^i6/[A/(e')] ieJ[M(c*)]

в точках оптимального плана выполняется

£ £ф,(*у,в')= Z trM(e*)fW,tM(8*)]/3M(n), у = 1.....л,

is/[A/(e*)] /е/[Л/(Е*)]

где /[М(е*)] = |/|ч',[М(е*)] = Ч'[е*],1й/йг|, функция ф,(*,е) определяется

аналогично ф(х,е) с заменой ЭЧ'[М(е)]/ЭМ(е) на аТ,[М(Е)]/ЭМ(е).

Данный результат применен к критерию MF-оптимальности, для которого 4',[M(e)] = Dil(ß), / = 1,...,/п. В этом случае

q>[(x,E*) = [МГ1 M2(x)Mf'-2Mf' Mj (*)»]„ .

£ С,* trM(E')dVi[M(z')]/dM(.E) = - max D„-(e*), /6/[Л/(Е')] Ш£т

где Mi = Mi(s*), D = D(e').' Заметим, что получаемые условия вновь являются лишь необходимыми; - ' . • ••':■''

Изученные; свойства;планов, эксперимента, квазиинформационных матриц и.палученные -условия, оптимальности позволяют применять в рассматриваемом случае алгоритмы построения оптимальных планов, используемые в классическом случае. для синтеза непрерывных планов это двойственный алгоритм (Федоров B.BJ, 1971) и 'алгоритм, комбинирующий прямой и двойственный подходы(Денисов В.И.,1977). Получены модификации для алгоритмов синтеза дискретных D -оптимальных планов (Федоров В.В., 1971; Mitchell T.J.; 1974). .

Проведенное исследование? показывает зависимость характеристик планов от значений мешающих'параметров и параметров показателя качества ß. Так, в одном из рассмотренных ^случаев при D -оптимальном планировании: (ß = 0) для обобщенных радикальных оценок и ДСЭ-распределении ошибок потери от использования плана,.!) -оптимального для ММП, доходят до 22%

В § 43 рассматривается задача планирования эксперимента при наличии модели с разнотипными откликами, для которой в § 3.2 рассмотрено оценивание параметров. 1

, Вектор качественных откликов ^ размерности nz описывается моделью вида (4). Для я^-мерного вектора количественных откликов" Yt ¡ в -/-й; ячейке

используется '■ распределение с параметром сдвига (уравнением - регрессии) Fj(xt)Q и плотностью gj{Yt | лг/.в.ф), где Fj(xt) — матрица значений регрессо-

ров модели количественных откликов, 0 — вектор параметров уравнения регрессии количественных откликов, ф - вектор прочих (мешающих) параметров модели количественных откликов.

Планирование эксперимента производится - с использованием информационной матрицы вектора всех оцениваемых параметров модели, который обозначим Ф. Показано, что информационная матрица имеет блочную структуру и зависит от параметров модели ф и Э . Получен вид информационной'матрицы при различных параметризациях откликов. Рассмотрены стратегии локально оптимального и последовательного планирования.

..... При наличии пропусков в наборе данных.оценивание неизвестных параметров производят по методу максимального правдоподобия с использованием маргинальной'плотности распределения совокупности реально наблюдавшихся откликов (см. § 3.2). В результате информационная матрица, соответствующая реальному набору данных, отличается от информационной матрицы, соответствующей гипотетическому полному набору данных, и зависит от структуры пропусков набора данных.

При разработке методов планирования эксперимента в этих условиях был использован вероятностный подход к учету пропусков (Литтл Р.Дж.А., Рубин Д.Б.,1990). Структуру пропусков /-го измерения вектора откликов можно от-

разить бинарным (пу +пг) -мерным вектором Rt, элементы которого равны нулю или единице в зависимости от того, пропущены или нет соответствующие элементы в векторе откликов, всего имеется и = 2 ' z возможных структур пропусков. Будем считать вектор структуры пропусков случайным, тогда он может рассматриваться как дополнительный (мешающий) качественный отклик, и может стоять задача построения его модели одновременно с построением модели основных откликов, включающая оптимизацию характеристик качества оценок параметров модели с использованием методов планирования эксперимента.

Предположим независимость вектора Rt от векторов Yt , и введем модель распределения вектора Rt в виде набора вероятностей р,-(дгг,Р), /'= 1.....и,

где р - вектор параметров, например, может использоваться модель типа (4). Информационная матрица непрерывного плана е, соответствующая всем параметрам является блочио-диагональной с блоками, соответствующими параметрам Ф и р.

Информационная матрица, соответствующая Ф, представима в виде Мф(е | Ф,р) = Е,Л=11"=1ЛР/(х„Р)М^ {х, | Ф), где pt - вес точки плана xt, Мф (xt | ф) — информационная матрица вектора параметров Ф в точке xt при i-й структуре пропусков (нижний индекс в обозначении информационной матрицы указывает множество параметров, которому она соответствует).

В случае, когда имеются только количественные отклики, справедливо Mg (х, | Ф) = , где F^ (х) - подматрица матрицы F(x), соот-

ветствующая наблюдаемым откликам при «-й структуре пропусков; О^ -

матрица эффективности, построенная по маргинальному распределению вектора наблюдаемых откликов при i-й структуре пропусков.

Для модели с разнотипными откликами матрица Мф [х, | ф) определяется формулой М{&(дг/|Ф) = Х/,=Лл £

х-Д- X кк (х,,&)gk (robs,(i) I, где и, - количество возмож-ЗФ keJlu)

ных значений вектора наблюдаемых качественных откликов в /'-й структуре пропусков (при нулевом подвекгоре структур пропусков, соответствующем качественным откликам, щ =1); А,- - область определения вектора Y0bs,(i)> i,j) - множество возможных номеров ячеек при }-м возможном значении вектора наблюдаемых качественных откликов в /-й структуре пропусков; Y0bs,{i) ~ век"

тор наблюдаемых количественных откликов вч'-йструктуре пропусков. В данном случае информационная матрица Мф(^|ф) может быть вычислена ана-литическишринезависимости-количественных и качественных откликов или при отсутствии (Пропусков в наблюдениях качественных откликов. В общем случае: невозможно ; получить ее. значение аналитически и. требуется применение численного интегрирования..

Для ■ ряда частных случаев выявлены свойства инвариантности £)-оптимальных планов, позволяющие снизить требования к априорной информации о модели, упростить. алгоритмы построения оптимальных планов, получить аналитические решения. .

Результаты; проведенного . исследования. при. возникновении пропусков показывают влияние значений мешающих параметров и вероятностей появления пропусков на характеристики планов. При большой вероятности появления пропусков использование плана, полученного без учета возникновения пропусков, может быть нецелесообразно. Так, при исследовании в важном для практики случае латентного качественного отклика при Л-оптимальном планировании, наблюдались потери эффективности около 58%, а при« А -оптимальном планировании такойплан, практически.оказался вырожденным.

Пятая глава посвященаразвитию методов выбора структуры линейной по параметрам многофакторной модели.

' В' § 5.1 сформулированаобобщеннаязадачавыбора структуры модели, разработаны критерии качества структур многооткликовых (главным образом, гауссовских) регрессионных моделей.

Рассматриваются два типа моделей. Традиционная многоотюшковая модель имеет вид

У-ХЭ + Е, (5)

где Т — /Ух/-матрица Я измерений / откликов,¡А' — Nx.ni-матрицазначений регрессоров, ..©-— матрица неизвестных параметров, Е - матрица ошибок измерений откликов, строки Е распределены независимо с нулевым вектором математического ожидания и ковариационной матрицей Е. Характерной особенностью данной модели является то, что состав регрессоров во всех уравнениях регрессии одш! и тот же.

В общем случае различные отклики могут быть совместно параметризованы У1 + ¡ = У1 — /-мерный вектор измерений откликов в 1'-м наблюдении; - /хт-матрица значений регрессоров в »-м наблюдении, 8 - вектор параметров, е,- - вектор ошибок /-го наблюдения с нулевым вектором математического ожиданияи ковариационной матрицей X . Такую модель можно представить' в виде (5) при наложении на элементы матрицы © системы линейных ограничений-равенств.''

Модель<(5) может быть преобразована в.однооткликовую модель с некоррелированными гомоскедастичными наблюдениями вида

' у=Хв+ё, (б)

где ^ = Ф/дг)^7,...,}?^ , - 1-й столбец матрицы У,

Х = (5,-1®/дг](/,®Х), в = [©Г,...,©,Г]Г, 0,- - 1-й столбец матрицы ©,

ё = (5-1 ® , Е) — /-й столбец матрицы Е, 5 — невырожденная

/ х/-матрица, для которой справедливо 2 = , /дг - единичная матрица размерности N.

Задачу, состоящую в определении регрессоров, полезных для описания откликов, будем называть традиционной задачей выбора структуры модели. Заметим, что для традиционной многооткликовой модели исключение из модели £ -го регрессора эквивалентно наложению на параметры исключающего ограничения /¿0 = 0/, где ¡к — к-я единичная вектор-строка, 0/ — нулевая вектор-строка. Аналогично для общей модели исключение из модели к-го регрессора, описывающего _/-й отклик, эквивалентно наложению иа параметры модели (5) исключающего ограничения ©^ =0.

При построении модели исследователю может быть доступна априорная информация об объекте исследования, на основании которой можно сформировать набор предположений в виде линейных ограничений-равенств на параметры модели. Например, в виде линейного ограничения можно сформулировать предположение о прохождении графика зависимости через определенную точку; можно задать линейное ограничение, отражающее незначимость различий между двумя уровнями качественного фактора. Если ограничения соответствуют экспериментальным данным, то их учет делает модель более адекватной объекту исследования. Обычно проверку соответствия ограничений экспериментальным данным осуществляют с помощью механизма проверки гипотез. Другой путь использования данных предположений состоит в формировании оптимальной системы линейных ограничений на параметры одновремешю с

выбором регрессоров путем решения задачи со* =а^1ШпСЯ(ю), где ю* - оп-

шеП

тимальная структура модели, со — структура модели, £2- априорно заданное множество структур, СЯ(оз) — критерий качества.

Введем множество, которое состоит из и* ограничений общего айда, заданных на основе априорной информации. Для традиционной многооткликовой модели данное множество представим в матричном виде следующим образом: СТ& = Е, где СГи 5 - известные матрицы размерности и>хт и и>х/ соответственно. Аналогично для общей модели множество ограничений общего вида состоит из уравнений, приравнивающих произвольной константе произвольную линейную комбинацию ненулевых элементов матрицы 0. В дальнейшем будем считать, что во множество ограничений общего вида не входят исключающие ограничения.

Тогда обобщенная задача выбора структуры модели состоит в формировании совместной системы ограничений на параметры, которая является подмножеством исходного множества ограничений,! включающего множество ограничений общего вида и множество исключающих ограничений. Врезультате структура модели может быть представлена в видесистемы линейных ограничений на параметры «полной» модели, включающей все регрессоры. С другой стороны обобщенная задача выбора структуры модели подразумевает формирование множества (множеств)регрессоров, описывающих отклики; и; фор^ мирование совместной системы ограничений на параметры; являющейся1 подмножеством? множества ограничений.'общего вида. Сложностью структуры модели1 является число степеней свободы, используемых на оценивание параметров регрессии.

" Рассмотрим 'критерии качества, предложенные в работе для■ решения обобщённой задачи выбора структуры многооткликовой регрессионной модели.; Критерии качества удобно разделить на'две группы: критерии, использующие экзаменационную выборку, и критерии, не использующие экзаменационную выборку. ..

Рассмотрим критерии, .использующие экзаменационную выборку. Пусть исходная выборка W: [ Y, X] = [ Yw, AV] разделена на части А: [ YA, ХА ] и В: [Уя,Хв]. Введем, обозначения: ©у, и ,©в оценки матрицы параметров ©.вычисленные с использованием выборок. W, А, и-. В г соответственно,

= для любых?двух

выборок А,В. Оценки параметров при этом учитывают систему наложенных ограничений..

Введем в рассмотрение матричные аналоги (Ix!-матрицы) для критериев, , используемых' в однооткликовом случае (Ивахненко А.Г., Степашко B.C., 1985):для несимметричного и'симметричного' критериев регулярности Reg(,By=RSS(B/Ay, Reg=RSS(Ä/B)'+ RSS(B/А); для несимметричного и симметричного критериев стабильности Stab(A) = RSS(W/А), Stab = RSS(fV/A) + RSSQV/B); для несимметричного и симметричного критериев непротиворечивости

NC=(ß/i-&в)ТХТХ(®х-®в){/щ несимметричного и симметричного

А * * • у» ■ ■ J» »< *... - J»

критериев 'вариативности; К(В) = (©>р-©л); ХвХв(®в-®цг),

V = ХТХ(&в-&fy)y для критерия скользящего контроля

«^¿Ä^Äf^o'^^ Х(0 - '-ечлроки мат-

риц Г иХл соответственно, оценка параметров модели при исключен-

ном j 1-м наблюдений;для обобщенного критерия скользящего контроля

osr-ftir1 ;

матриц Г и X, исключаемых из выборки при t'-м удалении наблюдений, / = 1,...,«!, ©pj - оценка параметров модели при исключенных fy], Хщ.

В качестве критериев используются свертки матричных аналогов. Свертки в виде детерминанта (D-свертка), следа (А-свертка), максимального собственного числа (Е-свертка), максимального диагонального элемента (М-свертка), произведения диагональных элементов (Р-свертка) можно рассматривать как различные способы нахождения Парето-оптимальных решений в задачах векторной оптимизации. В результате преобразования (6) получается свертка в виде следа матричного аналога с взвешиванием tr(R-свертка), где Q — любой из матричных аналогов критериев. Также в результате преобразования (б) приходим к свертке в виде следа, априорно положив S = //. Для критериев вариативности применяются R-, А-, М-, Р-свертки, при этом в последних трех свертках используются абсолютные значения элементов матриц.

Можно вычислить критерий скользящего контроля для одномерной модели (6), удаляя из «одномерной» выборки по одному из N • I ее наблюдений. Такой критерий обозначим US1. В предположении линейной независимости столбцов матрицы X для традиционной многооткликовой модели доказана эквивалентность критериев US1 и сверток матрицы SI, связанных с преобразованием (6).

Для матричного аналога обобщенного критерия скользящего контроля в традиционной многооткликовой модели получена формула эффективных вычислений при условии, что на параметры модели наложена система ограничений K® = U, где К к U - известные матрицы:

gsi=ЦлзГ1 s-i.ili,] - xmew f [/^ - %с,4]]~2 (ifo -

х"^ X к^

где Ci - верхний диагональный блок матрицы

L к 0

В рамках традиционной задачи выбора структуры для однооткликовых моделей известен ряд отношений между критериями качества (Ивахненко А.Г., Степашко B.C., 1985). Такие же отношения между матричными аналогами критериев качества получены в работе для традиционной многооткликовой модели в рамках обобщенной задачи выбора структуры. Приведем основные отношения: Reg(B) = NC(B) + RSS(B), Stab(A) = NC(B) + /Ж(Л) + RSS(B), V(B) = RSS{A!W) - RSS(A), V + Stab(A) = NC(B) + RSS(W). В общей модели подобные соотношения справедливы для сверток матричных аналогов критериев, связанных с преобразованием (б).

Каждый из матричных аналогов критериев для традиционной многооткликовой модели можно интерпретировать как матрицу остаточных сумм квадратов-произведений некоторой модели с введенными на параметры дополнительными ограничениями специального вида, либо как изменение матрицы

остаточных сумм квадратов-произведений некоторой модели, вызванное введением дополнительных ограничений.. ,

Обозначим <? матрицу-остаточных сумм квадратов-произведений вспомогательной модели с дополнительными ограничениями, Я - изменение матрицы остаточных сумм квадратов-произведений вспомогательной модели, вызванное введением. в модель. дополнительных ограничений; если моделей' несколько, то у матриц появляется индекс. В качестве вспомогательных моделей выступают исходная модель (5), аналогичные модели, описывающие отдельно выборки Аи В, а также модель вцда ••

Перечень моделей; дополнительных ограничений'и ряд интерпретаций получаемых матриц дан в табл. 2.

Таблица 2

Интерпретация матричных аналогов критериев" ' • ■ '_

" Модель Ограничения Интерпретация-'

: Гд=ХВ&+ЕВ

(5) ® = ®А _

УА=ХЛ®*ЕЛ • 0 = 0^ К(Д)=Я

. (7) : ..

Две модели Г-Х©1 +Е,Ы 1,2. . 01=0А,&2=вД ЗшЬ = Сг1 +62 :

(7) ' 0] =&(у, ®2=®)Г : У = Н

В общей модели подобная интерпретация возможна для матричных аналогов критериев регулярности и стабильности, для критериев непротиворечивости - и - вариативности! возможность интерпретации сохраняется . только для сверток,- связанных с преобразованием (6). ,, • ■

• Матричныйаналогнормированногокритерия регулярности. введенного А:А; Поповым для одноотклшсовоймодели (Попов А.А., 1997), для традиционной многооткликовой модели без ограничений на параметры имеет вид,

где .Уд - количество наблюдений в~ выборке В. Для него получены следующие простые выражения Nreg{B)=RSS{B)±V.

. Рассмотримкритерии, неиспользующие экзаменационную выборку, при этом первой формулой представлен матричный аналогдля традиционной мно-гооткликовой модели, а второй формулой — критерий для общей модели, полу-

ченный, исходя из возможности преобразования (6), м — количество ограничений, наложенных на параметры полной модели: критерий Меллоуса

МС = гГ'&ЩГ) + [2(т-и)- Ы]1/, МС = + 2(т- «)- М; кри-

терий финальной ошибки прогнозирования МЕРЕ = У + т—" _

N — т + и

-; средний квадрат ошибки

N1 —т + и

Л45Е = (ЛГ-т + и)~|ЙЩ»г), А/Ж = 1 /(М-т + и). Для традици-

онной многооткликовой модели в качестве критериев следует использовать различные свертки матриц МС, МЕРЕ и МБЕ.

В работе рассматриваются два подхода к решению задачи выбора структуры многоотюшковых моделей с качественными и разнотипными факторами. Первый подход аналогичен подходу, применяемому в одномерном случае (Попов А.А., 1988), и связан с приведением исходной модели к регрессионной модели полного ранга. Другой подход к построению модели реализуется в рамках обобщенной задачи выбора структуры и основан на использовании идентифицирующих ограничений (Шеффе Г., 1980).

С целью исследования работоспособности критериев качества многоот-кликовых регрессионных моделей было проведено экспериментальное исследование. Рассмотрим результаты исследования критериев качества для традиционной задачи выбора структуры. Для обобщенной задачи выбора структуры результаты исследования в целом совпадают с представленными ниже.

Обобщения критериев непротиворечивости и вариативности, как и для однооткликовых моделей, работоспособны только при малом уровне шума (Ивахненко А.Г., Степашко В.С., 1985). Обобщения остальных критериев работоспособны в большей степени. В целом большую работоспособность имеют критерии типа скользящего контроля и Меллоуса.

Среди различных сверток для матричных аналогов критериев при высокой степени коррелированности элементов вектора ошибок преимущество показали детерминант и след матрицы с взвешиванием. Приведем максимальные значения уровня шума, при которых различные свертки матричного аналога критерия скользящего контроля в последовательности испытаний выбирают истинную структуру для двумерной традиционной многооткликовой модели не менее, чем в половине случаев. Три числа соответствуют значениям коэффициента корреляции элементов вектора ошибок 0,1, 0,5, 0,9. Для Я: 0,2, 0,35, 0,8; для О: 0,05, 0,2 0,65; для А и Р: 0,2, 0,2, 0,05; для Е: 0,05, менее 0,05, 0,05; для М: 0,05, менее 0,05, менее 0,05.

Исследование обобщений критериев Меллоуса, скользящего контроля и регулярности показало, что при малом уровне шума минимум критерия соответствует истинной структуре, а при увеличении уровня шума сложность оптимальной структуры уменьшается. Подобное свойство свидетельствует о по-

мехоустойчивости - рассматриваемых.': критериев (Ивахненко А.Г., Степашко B.C., 1985).

Исследование для. модели с различными уравнениями регрессий для различных откликов и без общих параметров показало, что разработанный подход имеет преимущество перед «традиционным» подходом, когда выбор структуры производится независимо для каждого отклика. Приведем максимальные значения -уровня шума,.при которых различные критерии в последовательности испытаний выбирают истинную структуру не менее, чем в половине случаев, два числа соответствуют предложенному (для R-свертки): и. традиционному подходам. Для Л/: 0,35,0,05; для Stab я Reg : 0,2, менее 0,05.

В § 5.2 описываются и исследуются: алгоритмы выбора структуры для многооткликовых : моделей: Рассматриваются алгоритмы для . решения как традиционной, так и обобщенной задач выбора структуры.

Предлагаются-алгоритмполногоперебора (в заданном диапазоне сложности) ) и • алгоритмы направленного > перебора,. различным. образом комбинирующие шаги включения; исключения и обмена следующих элементов перебора: регрессоров, ограничений1 на-параметры из множества ограничений общего вида, блоков, состоящих из нескольких регрессоров и ограничений, .которые должны* одновременно: присутствовать или отсутствовать в. модели. В числе прочих рассматриваются аналоги многоэтапного селекционно-комбинаторного алгоритма (Ивахненко Л.Г., Степашко B.C., 1985). . .

Для - решения: обобщенной ^ задачи - выбора структуры' предлагается .также алгоритм; аналогичный пошаговой регрессии. Для традиционной многооткли-ковой модели - вводятся Л -статистики гУилкса включения s и, исключения ограничений (исключения и включения регрессоров соответственно). Фактически в алгоритме используются F-статисгнки, переход к которым производится в общем случае' с помощью аппроксимации Pao (Pao С.Р., 1968). Возможно также оперировать блоками регрессоров и ограничений специального вида.

Для вычисления значений критериев.и F-статистик при,переборе структур используется применение оператора выметания (Дженнрич Р.И., 1986)_ к матрице, которая для традиционной многооткликовой модели имеет вид

Al А°3

а22 ¿23 •.

¡А ¿Р А

Ail *32 АЗЪ ■

' В общей модели матрица А° формируется аналогично для'одномерной модели, полученной в результате преобразования (6); с использованием оценки ковариационной матрицы ошибок по полной модели.

. , Обозначим через, А матрицу, полученную из в результате выметаний,* соотвегствующюс. некоторой структуре модели. Тогда для включения (исключения) регрессора необходимо осуществить прямое (обратное) выметание мат-

ХТХ

/ст

XTY

С

о ... н

YTX ST'"' YTY

риды А по соответствующему диагональному элементу блока At |. Для включения (исключения) ограничения из множества ограничений общего вида необходимо осуществить прямое (обратное) выметание матрицы А по соответствующему диагональному элементу блока 2-

Работоспособность алгоритмов изучена на регрессионных моделях и моделях с качественными факторами. Отмечено, что усложнение стратегий направленного перебора повышает способность алгоритмов находить минимум критерия качества и последовательности лучших структур различной сложности.

В § 53 рассматриваются подходы к выбору структуры при негауссовских и зависимых ошибках.

Для рассмотренной в § 2.3 однородной многооткликовой регрессионной модели с засоренным многомерным нормальным распределением ошибок без ограничений на параметры получен вид робастного критерия Акаике AICR (Ronchetti Е., 1997) при использовании оценок Мешалкина параметров уравнения регрессии и ковариационной матрицы 2 (Айвазян С.А., Енюков И.С., Ме-шалкин Л.Д., 1985). Для однородной однооткликовой регрессионной модели без ограничений на параметры при ДСЭ-распределении ошибок и обобщенных радикальных оценках параметров получен вид критерия качества, введенного А.М. Шурыгиным (А.М. Шурыгин, 2000) и названного в работе робастным критерием финальной ошибки прогнозирования, и критерия AICR (при фиксированном значении параметра формы).

При построении критериев робастного выбора структуры модели, основанных на использовании экзаменационной выборки, в качестве мер ошибок предсказания могут применяться робастные функции потерь (Ronchetti Е., Field С.А., Blanchard W., 1997). Если не имеется оптимизационных формулировок, критерии можно строить (главным образом, для нормальных моделей) на основе значений робастных оценок дисперсии ошибок наблюдений (сверток оценок ковариационной матрицы).

Для получения робастных модификаций критериев, основанных на использовании экзаменационной выборки, воспользуемся интерпретацией критериев, приведенной в § 5.1 (см. табл. 2). Оптимальной будет считаться та структура, для которой вспомогательная модель с дополнительными ограничениями будет иметь наибольшее качество. Можно считать варьируемыми и такие элементы модели, как мешающие параметры распределения ошибок наблюдений (параметры масштаба и формы), и использовать их при формировании дополнительных ограничений. Данный способ конструирования критериев, обобщающий принцип использования экзаменационной выборки, назван принципом варьирования модели. Критерии, основанпые на использовании принципа варьирования модели, могут быть использованы при решении обобщенной задачи выбора структуры, а также в условиях неоднородных данных.

Рассмотрены особенности выбора структуры при произвольной форме зависимости наблюдений. В данном случае критерии, связанные с разбиением

выборки, необходимо конструировать так,, чтобы информация о зависимости не была потеряна. . Здесь можно воспользоваться преобразованием, приводящим.в гауссовской модели.к независимым наблюдениям (см.(б).как его частный случай) или принципом варьирования модели. В последнем случае вспомогательная модель должна описывать всю выборку.

. Решение задачи .'выбора структуры в рассматриваемых случаях можно осуществить путем перебора структур— полного или направленного. Для снижения трудоемкости перебора в работе предлагается алгоритм, основанный на возможности представления М -оценки в виде ОМНК-оценки с весами наблюдений специального вида,,аналогичный подход используется для.построения устойчивой процедуры пошаговой регрессии (Мостеллер Ф.,Тьюки Дж., 1982).

Проведенное экспериментальное исследование. показало' работоспособность предложенных подходов и их определенное преимущество перед традиционными;, среди наиболее работоспособных в первую очередь можно назвать обобщенный критерий скользящего контроля,таюке часто имели высокую работоспособность робастные варианты критерия Акаике.

. Шестая глава посвящена применению методов построения моделей.

В - § 6.1 построены многофакторны'е мЬдели технологического процесса струйного электрофоретического осаждения композиционных покрытий на детали машин. Были применены устойчивые'методы оценивания параметров из §§2.3,.2.5,! 3.1, в результате получены прогнозы откликов, на которые далеко отстоящие наблюдения имеют меньшее влияние. Был построен и исследован ряд непрерывных оптимальных планов эксперимента с использованием методов из §§4.1,4,2.

В § 6Л построена многооткликовая регрессионная модель, служащая для предсказания распределения температуры по длине слитка при его индукционном нагреве в,технологическом процессе прокатки слитков. В результате при-меиенияметодоввыбора структуры (§§ 5.1, 5.2) из девяноста регрессоров в оптимальную структуру вошли двадцать четыре.

В,§ 63 с использованием методов выбора структуры построенымодели возрастных, коэффициентов ¿рождаемости для г. Новосибирска. В § 6.4 построены модели ряда социально-экономических показателей крупных городов России, в, том числе объема >фомы1шенной продукции на душу населения и индексов промышленного^ производства; использованы методы оценивания из § 3.1<и методы выбора структуры при зависимых наблюдениях из § 5.3.

- ^ ЗАКЛЮЧЕНИЕ ;

Основные результаты диссертации заключаются в следующем.:

,1.Впервые разработана теория устойчивого оценивания по неоднородным данным, основанная на_ модели байесовского точечного засорения: предложена : модель - неоднородного байесовского точечного засорениянеоднородного ^набора данных. и показатели качества устойчивых оценок параметров,

связанные с асимптотическим смещением и функцией влияния Хампеля, получены оптимальные оценочные функции. В отличие от известной теории, основанной на модели байесовского точечного засорения, здесь имеется возможность оценивать параметры регрессионной модели по данным, разбитым на неоднородные группы. Учет имеющейся неоднородности данных приводит к получению более адекватных моделей и повышению качества оценивания.

Доказаны теоремы о свойствах оценочных функций, которые позволяют упростить конструирование, вычисление и исследование оценок, строить критерии качества структуры модели.

Получен вид устойчивых оценочных функций неоднородной двусторонней экспоненциальной модели, однородных финитной и приближенно финитной моделей, оценок Мешалкина неоднородной многомерной нормальной модели. Полученные оценки отличаются от известных оценок тем, что обладают свойством устойчивости к асимметричному засорению.

2. Для моделирования зависимости наблюдений введена общая мультипликативная ковариационная структура, обобщающая ряд мультипликативных ковариационных структур частного вида (с двумя-тремя матричными параметрами). Использование мультипликативной ковариационной структуры приводит к простым вычислительным формулам при покомпонентном оценивании.

Изучены свойства ММП-оценок регрессионной модели при эллиптическом распределении и мультипликативной ковариационной структуре ошибок. В частности, получены условия, при которых исходную модель с неизвестным эллиптическим распределением наблюдений при оценивании параметров уравнения регрессии можно заменить моделью с нормальным распределением наблюдений. Последнее позволяет производить оценивание при меньшем уровне априорной информации о свойствах ошибок наблюдений.

3. Предложена вероятностная модель для описания зависимости одновременно откликов количественного и качественного типов от входных переменных, обобщающая ряд частных случаев (общую модель сдвига, модель с наблюдаемым количественным и ненаблюдаемым качественным откликом).

Решена задача оптимального планирования эксперимента для рассматриваемой модели, планирование позволяет увеличить точность оценивания.

Разработаны частные случаи и одна модификация ЕМ-апгоритмов поиска оценок параметров модели в условиях наличия пропусков в наборе данных при мультипликативной ковариационной структуре ошибок количественных откликов. В отличие от обычных методов нелинейного программирования ЕМ-алгоритмы сохраняют вычислительные преимущества мультипликативной ковариационной структуры. Модификация может приводить к ускорению процесса поиска оценок.

4. Впервые поставлена и исследована задача планирования эксперимента при ММП-оценивании параметров многооткликовой регрессионной модели по неоднородным негауссовским наблюдениям. Планирование позволяет увеличить точность оценивания в указанных условиях. Учет негауссовости отличает

данную постановку, от известной постановки задачи для гауссовской.гетеро-скедастичной модели. Планирование производится с использованием;инфор7 мационной г матрицы, , зависящей от., мешающих параметров распределения ошибок. Результаты проведенных исследований говорят о необходимости учета при планировании эксперимента зависимости мешающих параметров от точек факторного пространства.

.. 5. Впервые разработана теория оптимального планирования эксперимента при робастном оценивании параметров многооткликовой регрессионной модели по неоднородным наблюдениям. При этом целью планирования.экспериг. мента является увеличение как точности, .так.и устойчивости оценок. Учет неоднородности наблюдений, отличает данную постановку от известных постановок задачи. Впервые при планировании используются показатели качества оценок в модели неоднородного байесовского точечного засорения.

Полученные свойства, квазиинформационных матриц и: непрерывных планов эксперимента, а,также условия оптимальности планов эксперимента позволяют использовать естественные , модификации известных алгоритмов синтеза оптимальных планов.

6. Впервые поставлена и исследована задача оптимального планирования эксперимента при оценивании параметров .многооткликовых регрессионных моделей С:количественными и,разнотипными (количественными и качественными) откликами в условиях, действия вероятностного механизма возникновения пропусков. Планирование позволяет увеличить точность оценивания.

• • 7. Впервые сформулирована обобщенная задача выбора структуры модели, включающая оптимизацию состава регрессоров и системы линейных огра-нимений. ■ на - параметры., Учет'» ограничений. на. параметры модели позволяет учесть специфику объекта исследования, например, априорные предположения о поведении отклика, дает, возможность работы с качественными факторами.

.. 8. Предложены!критерии.качества многооткликовых (главным образом,: нормальных) моделей с линейными ограничениями на параметры, которые обобщают,1фитерии,: полученные при. отсутствии ограничений на параметры; критерии, использующие экзаменационную выборку, (в отличие от известных) учитывают, статистические связи откликов.

• Разработаны.эффективные,по затратам вычислительные схемы алгоритмов,. предназначенных, для /решения обобщенной задачи выбора структуры многооткликовых* моделей.. Получены, формулы,. выражающие взаимосвязи критериев. и формулы дляэффективного вычисления критериев. Данные результаты обобщают известные результаты, полученные при отсутствии ограничений на-параметры, и позволяют эффективно, осуществлять поиск оптимальной структуры в рамках обобщенной задачи выбора структуры!

9. Получены ; формулы робастного критерия Акаике многооттсликовой нормальной .модели, робастных . критериев Акаике и финальной ошибки про-гиозирования однооткликовой ДСЭ-модели (как частные случаи известных общих формул) при использовании обобщенных радикальных оценок парамет-

ров. Критерии позволяют определять качество структур при робастном выборе структуры.

Предложен принцип варьирования модели, обобщающий принцип использования экзаменационной выборки, для конструирования критериев в случае негауссовских и зависимых ошибок наблюдений. Данный принцип позволяет оценивать качество структуры по согласованности (с точки зрения модели) разных частей выборки.

Для многооткликовой модели многомерные методы робастного выбора структуры предложены впервые.

10. Построенные модели реальных технологических и социально-экономических процессов демонстрируют практическую пользу развиваемых подходов.

Совокупность полученных в диссертации результатов вносит вклад в развитие методов прикладной математической статистики.

Основные научные результаты диссертации опубликованы в следующих работах:

1. Денисов В.И., Лисицин Д.В. Оценивание параметров регрессионной модели с эллиптическим распределением и мультипликативной ковариационной структурой ошибок // Сибирский журнал индустриальной математики. -2002. - Т. V, № 3(11). - С. 92 - 102.

2. Денисов В.И., Лисицин Д.В. О свойствах оценок параметров регрессионной модели с эллиптическим распределением и мультипликативной ковариационной структурой ошибок // Сибирский журнал индустриальной математики. - 2003. - Т. VI, № 2(14). - С. 37 - 45.

3. Денисов В.И., Лисицин Д.В. Планирование эксперимента с учетом появления пропусков в данных // Научный вестник НГТУ. — Новосибирск, 2004. -№ 1(16).-С. 53-61.

4. Денисов В.И., Лисицин Д.В., Гаврилов К.В. Планирование эксперимента при оценивании параметров многофакторной модели по неоднородным наблюдениям // Сибирский журнал индустриальной математики. - 2002. -Т. V,№4(12).-С. 14-28.

5. Денисов В.И., Чистяков В.М., Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фаддеенков А.В. Прогнозирование численности населения города Новосибирска: опыт математического моделирования // Научный вестник НГТУ. -Новосибирск, 1998.-№ 1(4).-С. 123- 138.

6. Лисицин Д.В. Оценивание параметров многооткликовой регрессии при мультипликативной параметризации ковариационной матрицы ошибок П Научный вестник НГТУ. - Новосибирск, 2000. - № 1(8). - С. 12 - 22.

7. Лисицин Д.В. Устойчивые методы оценивания параметров и выбора структуры многооткликовой линейно параметризованной модели // Научный вестник НГТУ. - Новосибирск, 2001. -№ 2(11). - С. 53 - 66.

8. Лисицин ДВ. Регрессионная модель с эллиптическим распределением и мультипликативной ковариационной структурой ошибок // Научный вестник НГТУ,- Новосибирск;2001. - № 2(11). - С. 67 - 76;

9. ЛисицинД.В. ЕМ-алгоритмы оценивания регрессионной модели с мультипликативной хоюриационной структурой ошибок //Автометрия. — 2004.— № 1.-С. 15-26. •

10. Лисицин ДВ. О критериях выбора структуры многооткликовой регресси-"■'- онной модели //Сибирский журнал'индустриальной математики. - 2004. -

Т. vn, №1(17).-С. 61 -72.

11. ЛисицинД.В.1 Планирование эксперимента при робастномоценивании параметров регрессионной!модели>по неоднородным^наблюдениям/ЛСибирский журнал индустриальной математики. — 2004: — Т. VII, № 4(20). — С.92 —106? - .

12. Лисицин ДВ. Конструирование робастных оценок параметров регрессии при неоднородных наблюдениях // Научный вестник НГТУ. — Новосибирск,

' 2004Í-№ 3(18).-С.'43 - 55.*

13. Лисицин ДВ. Оценивание параметров многофакторной: модели при нали-' чии разнотипных откликов ■' //• Научный' вестник' НГТУ. - Новосибирск,

• 2005.—№.1(19); — С; 11—20.' ■ "

Н. Лисицин Д.В: Ппанированиеэксперимента при оценивании параметров регрессионной модели с разнотипными - откликами // Научный: вестник НГТУ. - Новосибирск, 2005; - № 3(21). - С. 53 - 66.

15: Лисицин'ДВ; Выбор структуры многооткликовой регрессионной модели //

: Научный вестник НГТУ. - Новосибирск,' 2006. -№ 1 (22). - С. 17 - 32г ,

16. Лисицин ДВ. Об устойчивом оценивании параметров модели .'по неодно: родным наблюдениям'// Научный вестник НГТУ. — Новосибирск, 2006. -' №2(23).'-С. 35-42' "'•'■••• ; ' - ' •

17. Лисицин ДВ. Критерии выбора структуры регрессионной модели при не' гауссовских и' зависимых ошибгах // Сибирский журнал индустриальной .'математики! —'2006.'— T.IX, № 2(26): —С.' 90—106.

18. Лисицин ДВ., Гаврилов К.В. Устойчивое- оценивание параметров модели при асимметричном засорении данных // Известия Международной академии наук высшей школы. — 2006: - №1(35). - С. 60 — 73.

19. Лисицин ДВ., Филимоненко В.Щ Гаврилов КЗ. Математическое моделирование процессов струйного электрофоретического осаждения // Научный вестник НГТУ. — Новосибирск; 2006. — № 1(22)."— С. 71 — 83.u \

Отпечатано в типографии Новосибирского государственного технического университета 630092, г. Новосибирск, пр. К. Маркса, 20, тел. 346-08-57 формат 60x84/16, объем 2,5 пл., тираж 110 экз., заказ № 1324, подписано в печать 7.11.06 г.

ВВЕДЕНИЕ.

ГЛАВА 1. СОСТОЯНИЕ ВОПРОСА И ОБОСНОВАНИЕ ЗАДАЧ ИССЛЕДОВАНИЯ.

1.1. Оценивание параметров.

1.1.1. Однооткликовая модель.

1.1.2. Многооткликовая модель

1.1.3. Модель с качественными и разнотипными факторами.

1.1.4. Оценивание при наличии пропусков в данных.

1.1.5. М-оценки.

1.1.6. Устойчивое оценивание одномерных моделей.

1.1.7. Устойчивое оценивание многомерных моделей.

1.1.8. Оценивание при наличии неоднородных данных и разнотипных откликов.

1.2. Оптимальное планирование эксперимента.

1.2.1. Задачи оптимального планирования эксперимента.

1.2.2. Критерии и условия оптимальности планов эксперимента.

1.2.3. Алгоритмы численного построения оптимальных планов

1.3. Выбор структуры модели.

1.3.1. Задача выбора структуры.

1.3.2. Критерии качества структур.

1.3.3. Алгоритмы выбора структуры.

1.3.4. Вопросы устойчивости в задаче выбора структуры.

1.4. Выводы и обоснование задач исследования.

ГЛАВА 2. УСТОЙЧИВОЕ М -ОЦЕНИВАНИЕ.

2.1. Оценивание однородной одномерной модели.

2.1.1. Теоретические основы.

2.1.2. Исследование.

2.2. Оценивание неоднородной одномерной модели

2.2.1. Показатели качества.

2.2.2. Оптимизация с ограничениями на матрицы регрессоров.

2.2.3. Поэлементная оптимизация.

2.2.4. Оценивание при ограничениях на параметры.

2.3. Многомерная нормальная модель.

2.3.1. Оценивание.

2.3.2. Исследование.

2.4. Двусторонняя экспоненциальная модель.

2.4.1. Адаптивное оценивание.

2.4.2. Адаптивное робастное оценивание при байесовском точечном засорении.

2.4.3. Минимаксный подход.

2.4.4. Исследование.

2.5. Финитная и приближенная финитная модели.

2.5.1. Оценивание финитной модели.

2.5.2. Оценивание приближенной финитной модели.

2.5.3. Исследование финитной модели

2.5.4. Исследование приближенной финитной модели.

2.6. Выводы.

ГЛАВА 3. ОЦЕНИВАНИЕ ПРИ МУЛЬТИПЛИКАТИВНОЙ КОВАРИАЦИОННОЙ СТРУКТУРЕ ОШИБОК

3.1. Оценивание параметров регрессионной модели с эллиптическим распределением ошибок.

3.1.1. Модель.

3.1.2. Оценивание параметров.

3.1.3. Частные случаи эллиптического распределения.

3.1.4. Прикладные аспекты разработанного подхода.

3.1.5. Исследование.

3.2. Оценивание параметров модели при наличии разнотипных откликов и пропусков в данных.

3.2.1. Модель.

3.2.2. Оценивание параметров.

3.2.3. Исследование.

3.3. Выводы.

ГЛАВА 4. ОПТИМАЛЬНОЕ ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА.

4.1. Планирование эксперимента при ММП-оценивании параметров по неоднородным наблюдениям.

4.1.1. Планирование эксперимента при независимых ошибках наблюдений.

4.1.2. Планирование эксперимента при зависимых ошибках наблюдений.

4.1.3. Исследование свойств планов эксперимента.

4.2. Планирование эксперимента при робастном оценивании параметров по неоднородным наблюдениям.

4.2.1. Показатели качества М -оценок.

4.2.2. Постановка задачи планирования эксперимента.

4.2.3. Условия оптимальности планов эксперимента.

4.2.4. Алгоритмы построения оптимальных планов.

4.2.5. Исследование свойств планов эксперимента.

4.3. Планирование эксперимента при оценивании параметров модели с разнотипными откликами и пропусками в данных.

4.3.1. Постановка задачи планирования эксперимента.

4.3.2. Планирование эксперимента с учетом появления пропусков.

4.3.3. Свойства инвариантности планов эксперимента.

4.3.4. Исследование свойств планов эксперимента при возникновении пропусков.

4.3.5. Исследование стратегии последовательного планирования эксперимента.

4.4. Выводы.

ГЛАВА 5. ВЫБОР СТРУКТУРЫ МОДЕЛИ.

5.1. Обобщенная задача и критерии выбора структуры.

5.1.1. Обобщенная задача выбора структуры.

5.1.2. Критерии, использующие разбиение выборки на две части.

5.1.3. Критерии типа скользящего контроля.

5.1.4. Критерии, не использующие экзаменационную выборку

5.1.5. Выбор структуры при наличии качественных и разнотипных факторов.

5.1.6. Исследование критериев выбора структуры.

5.2. Алгоритмы выбора структуры.

5.2.1. Алгоритмы решения традиционной задачи выбора структуры.

5.2.2. Алгоритмы решения обобщенной задачи выбора структуры.

5.2.3. Исследование алгоритмов выбора структуры.

5.3. Выбор структуры при негауссовских и зависимых ошибках.

5.3.1. Подходы к выбору структуры.

5.3.2. Исследование робастных критериев выбора структуры.

5.3.3. Исследование алгоритма последовательного уточнения оптимальной структуры.

5.3.4. Исследование выбора структуры при зависимых ошибках.

5.4. Выводы.

ГЛАВА 6. ПРИМЕНЕНИЕ МЕТОДОВ ПОСТРОЕНИЯ МОДЕЛЕЙ.

6.1. Моделирование процессов струйного электрофоретического осаждения.

6.1.1. Постановка задачи.

6.1.2. Моделирование с использованием одномерных методов.

6.1.3. Моделирование с использованием многомерных методов

6.2. Построение модели индукционного нагрева слитков.

6.3. Моделирование возрастных коэффициентов рождаемости.

6.4. Моделирование социально-экономических показателей крупных городов России.

6.5. Выводы.

Актуальность темы исследований. Многие исследования в различных областях знаний (физике, химии, биологии, технике, экономике и т.д.) опираются на статистические данные, отражающие некоторые стороны изучаемых объектов и явлений. На основе собранной статистики строятся математические модели, служащие для целей описания и прогнозирования поведения объектов изучения.

Среди основных этапов построения математической модели по статистическим данным - оценивание неизвестных параметров, планирование эксперимента и выбор структуры модели.

В основе методов, используемых для реализации данных этапов, лежат некоторые предположения о свойствах изучаемых объектов, в частности, о свойствах ошибок наблюдений. Так, метод наименьших квадратов (МНК) -наиболее часто используемый в практике статистических исследований метод оценивания параметров - обладает рядом положительных свойств при независимых гомоскедастичных (имеющих одинаковую дисперсию) ошибках, распределенных по нормальному закону.

При зависимости ошибок наблюдений переходят к использованию многомерных методов (Т.В. Андерсон, С.С. Уилкс, С.Р. Рао, С.А. Айвазян). Например, может использоваться обобщенный МНК (ОМНК), требующий, однако, знания ковариационной матрицы наблюдений. На практике значение ковариационной матрицы неизвестно и для ее определения может вводиться некоторая экономная параметризация, позволяющая оценить параметры методом максимального правдоподобия (ММП) в условиях многомерного нормального распределения ошибок.

В то же время предположение о нормальности ошибок часто является слишком жестким. Например, в наборе данных могут присутствовать грубые ошибки (выбросы), возникающие вследствие нарушения условий эксперимента, неправильного измерения, засорения данных и т.п. В таких случаях более адекватными являются распределения с тяжелыми хвостами, для которых оценки по МНК могут быть неустойчивыми. С другой стороны, в некоторых ситуациях более адекватным будет предположение об ошибках наблюдений, имеющих хвосты более легкие, чем у нормального распределения, оценки по МНК при этом также теряют некоторые из положительных свойств.

На практике данные часто являются неоднородными (разнораспределен-ными). К неоднородности приводит наличие выбросов в наборе данных, другой пример - гетероскедастичность ошибок наблюдений. В общем случае от наблюдения к наблюдению могут меняться любые параметры модели, и даже вид распределения.

Возможно более полный учет статистических свойств наблюдений способствует повышению качества моделей, однако, на практике далеко не всегда имеется полная информация.

Для решения этой проблемы разработаны различные подходы, приводящие к устойчивым методам оценивания. К таким подходам относятся робаст-ное, адаптивное и непараметрическое оценивание. Непараметрические оценки строятся в предположении неизвестного распределения ошибок, лишь удовлетворяющего ряду ограничений. При робастном оценивании разрабатываются процедуры, оптимальные в окрестности параметрической модели. Исследования по проблеме робастности связаны с именами Дж. Тьюки, П. Хьюбера, Ф. Хампеля, а в нашей стране - Л.Д. Мешалкина, Б.Ю. Лемешко, С.А. Смоляка, Б.П. Титаренко. Один из перспективных подходов, приводящий к устойчивым решениям и разработанный A.M. Шурыгиным, основан на модели байесовского точечного засорения данных. При адаптивном оценивании конкретный вид статистической процедуры выбирается на основе оценки какой-либо характеристики неизвестной функции распределения наблюдений. Концепция адаптивного оценивания регрессионных моделей была разработана Р.В. Хоггом. Один из подходов к адаптивному оцениванию состоит в построении квазиправдоподобных оценок при использовании некоторого параметризованного по форме семейства распределений. Благодаря наличию параметра формы имеется возможность для методов оценивания адаптироваться к свойствам ошибок измерений.

Процедуры выбора структуры модели, основанные на использовании МНК- и ОМНК-оценок, также оказываются чувствительными к нарушению предположений классической регрессионной модели. Поэтому при выборе структуры однооткликовой нестрого нормальной модели применяются устойчивые подходы: используются соответствующие модификации информационного критерия Акаике, критериев Меллоуса и cross-validation, пошаговой регрессии. Ведущим специалистом в области робастного выбора структуры является Э. Рончетти.

В классических регрессионных моделях, изучаемых в рамках планирования эксперимента, ошибки наблюдений обычно предполагаются одинаково распределенными, могут использоваться условия нормальности распределения ошибок и их гетероскедастичности. Развитие методов планирования эксперимента связано с именами Р. Фишера, Дж. Бокса, Дж. Кифера, Н. Dette, а в нашей стране - В.В. Налимова, В.В. Федорова, М.Б. Малютова, С.М. Ермакова, В.Г. Горского, Е.В. Марковой, В.И. Денисова, А.А. Попова, Г.К. Круга.

При изучении сложных систем их состояние может описываться характеристиками, измеренными в разных шкалах. В связи с этим может возникнуть задача построения многофакторной модели с разнотипными откликами. Моделирование разнотипных величин рассматривается в работах I. Olkin'a, R.F. Tate, W.J. Krzanowski, Ю.И. Журавлева, Н.Г. Загоруйко, Г.С. Лбова.

На практике часто встречаются ситуации, когда наблюдения содержат пропуски. При использовании многомерных методов в этом случае необходимы специальные процедуры обработки данных (Е.М. Beale, R.J.A. Little, D.B. Rubin, Н.Г. Загоруйко).

Несмотря на широкую разработанность методов устойчивого оценивания параметров, вопросы построения моделей многофакторных объектов по неоднородным, негауссовским, зависимым наблюдениям требуют дальнейшей разработки и исследования.

В области оценивания параметров необходимо развитие подхода, использующего модель байесовского точечного засорения, недостаточно разработан подход, основанный на представлении ковариационной матрицы ошибок в виде кронекерова произведения нескольких положительно определенных матриц, недостаточно разработаны методы описания разнотипных откликов и методы моделирования при возникновении пропусков в данных. Методы планирования оптимального эксперимента при ошибках, обладающих указанными выше свойствами, ранее, фактически, не разрабатывались. Недостаточно разработаны методы выбора структуры многооткликовых и негауссовских одно-откликовых моделей. Требуется развитие методов выбора структуры, учитывающих ограничения на параметры модели.

Все вышесказанное позволяет определить задачу разработки и исследования методов планирования эксперимента, оценивания параметров и выбора структуры для моделей многофакторных объектов по неоднородным, негауссовским, зависимым наблюдениям как отдельную область научных исследований, имеющую важное значение для развития теории математического моделирования и ее применения на практике.

Цель и задачи исследования. Целью работы является развитие методов оптимального планирования эксперимента, оценивания неизвестных параметров и выбора структуры для моделей многофакторных объектов в условиях неоднородности, негауссовости, зависимости наблюдений. Основными задачами исследования является построение, исследование и применение данных методов.

Методы исследования. Исследование базируется на использовании результатов теории вероятностей, математической статистики, математического анализа, вариационного исчисления, теории оптимального планирования эксперимента, регрессионного анализа, численных методов, методов оптимизации, методов статистического моделирования.

Достоверность и обоснованность научных положений, рекомендаций и выводов обеспечивается: применением для исследования развиваемых подходов аналитических методов, результатами исследования методов с использованием статистического моделирования, решением прикладных задач.

Научная новизна. Получены следующие новые результаты, которые выносятся на защиту:

- получены вид критерия качества оценок и вид оптимальных оценочных функций устойчивых оценок параметров одномерных моделей при неоднородных данных и неоднородном байесовском точечном засорении; доказаны теоремы о свойствах оценочных функций; получен вид устойчивых оценочных функций неоднородной двусторонней экспоненциальной модели, однородных финитной и приближенной финитной моделей, неоднородной многомерной нормальной модели;

- введена общая мультипликативная ковариационная структура, когда ковариационная матрица ошибок наблюдений представляется в виде кронеке-рова произведения нескольких положительно определенных матриц, изучены свойства ММП-оценок регрессионной модели при эллиптическом распределении ошибок наблюдений, предложена схема покомпонентного вычисления оценок, в которой используются простые вычислительные формулы;

- предложена модель для описания зависимости откликов количественного и качественного типов от входных переменных, решена задача оптимального планирования эксперимента для данной модели, разработаны ЕМ-алго-ритмы поиска оценок параметров модели при мультипликативной ковариационной структуре ошибок количественных откликов и наличии пропусков в наборе данных;

- впервые поставлена и исследована задача планирования эксперимента при оценивании параметров модели по неоднородным негауссовским наблюдениям методом максимального правдоподобия и робастными методами; для случая робастного оценивания изучены свойства непрерывных планов эксперимента и получены условия их оптимальности;

- впервые поставлена и исследована задача оптимального планирования эксперимента при оценивании параметров многооткликовых регрессионных моделей в условиях действия вероятностного механизма возникновения пропусков в наборе данных;

- впервые сформулирована обобщенная задача выбора структуры модели, включающая оптимизацию состава регрессоров (функций от входных переменных) и системы линейных ограничений на параметры;

- предложены критерии качества многооткликовых моделей с линейными ограничениями на параметры; разработаны эффективные по затратам вычислительные схемы алгоритмов решения обобщенной задачи выбора структуры;

- предложены критерии качества при робастном оценивании многоот-кликовой нормальной модели и однооткликовой двусторонней экспоненциальной модели; предложен принцип варьирования модели для конструирования критериев в случае негауссовских и зависимых ошибок наблюдений.

Личный вклад. Все результаты, приведенные в диссертации без ссылок на чужие работы, принадлежат лично автору.

Практическая полезность и реализация результатов работы. Разработанные в диссертации подходы позволяют эффективно решать задачи оценивания параметров, планирования эксперимента и выбора структуры при построении многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям. Созданное программное обеспечение позволяет автоматизировать процесс построения моделей. Разработаны модели реальных технологических и социально-экономических процессов. Полученные результаты нашли практическое применение в Новосибирском государственном техническом университете (НГТУ), Новосибирском институте информатики и регионального управления, Западно-Сибирском центре антикоррозийной защиты ООО м

МОБИЛ СТРОИ XXI», ОАО «Новосибирский завод химконцентратов».

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на Международных конференциях «Актуальные проблемы электронного приборостроения» (г. Новосибирск, 1996, 1998, 2000, 2002, 2004 гг.) [93, 97, 103, 106, 122], на Международных научно-технических конференциях «Информатика и проблемы телекоммуникаций» (г. Новосибирск, 1997, 2001, 2002 гг.) [99, 102, 123], на Международной научно-технической конференции «Информационные системы и технологии» (г. Новосибирск, 2000 г.) [98], на Российских научно-технических конференциях «Информатика и проблемы телекоммуникаций» (г. Новосибирск, 1994, 1996^2000, 2004, 2005, 2006 гг.) [17, 18, 27, 89, 94, 118, 124 - 126, 129 - 131], на Всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации» (г. Новосибирск, 2003 г.) [26], на Сибирских конгрессах по прикладной и индустриальной математике (г. Новосибирск, 1996, 2000 гг.) [95, 119], на научном семинаре кафедры прикладной математики Томского политехнического университета и кафедры АСУ Томского государственного университета систем управления и радиоэлектроники (г. Томск, 2006 г.), на научных семинарах кафедры прикладной математики НГТУ.

Работа над диссертацией в 2005 - 2006 гг. проходила в рамках следующих проектов: «Информационная технология построения многофакторных моделей по неоднородным, негауссовским, коррелированным наблюдениям» (поддержан грантом Президента РФ, № МК-3376.2005.9, 2005 - 2006 гг., автор - руководитель проекта), «Планирование эксперимента, оценивание параметров и выбор структуры при построении многофакторных моделей по статистическим данным, содержащим разнораспределенные, негауссовские, коррелированные ошибки» (поддержан Министерством образования и науки РФ, ведомственная научная программа «Развитие научного потенциала высшей школы», код проекта 4574, 2005 г., автор - руководитель проекта), «Методы построения многофакторных моделей по статистическим данным и их применение к моделированию технологических процессов» (поддержан грантом Администрации Новосибирской области, договор № ФГМ-4-05, 2005 г., автор - руководитель проекта), «Методы моделирования статических и динамических многофакторных объектов стохастической природы» (поддержан Министерством образования и науки РФ, аналитическая ведомственная целевая программа «Развитие научного потенциала высшей школы», код проекта РНП-2.1.2.43, 2006 г.).

Публикации. Автор имеет 57 научных работ, из них по теме диссертации - 42 работы ([18, 26, 42 - 45, 50, 70, 90, 91, 93, 94, 96, 97, 100 - 117, 120 -123,126-128, 130 - 132]), в том числе: 19 статей в ведущих научных журналах и изданиях, входящих в перечень, рекомендованный ВАК РФ, (представлены в автореферате); 10 статей в сборниках научных трудов; 13 статей в материалах Международных и Российских конференций.

Структура диссертации. Диссертация состоит из введения, шести глав, заключения, списка использованных источников и двух приложений.

Основные результаты диссертации заключаются в следующем.

1. Впервые разработана теория устойчивого оценивания по неоднородным данным, основанная на модели байесовского точечного засорения: предложена модель неоднородного байесовского точечного засорения неоднородного набора данных и показатели качества устойчивых оценок параметров, связанные с асимптотическим смещением и функцией влияния Хампеля, получены оптимальные оценочные функции. В отличие от известной теории, основанной на модели байесовского точечного засорения, здесь имеется возможность оценивать параметры регрессионной модели по данным, разбитым на неоднородные группы. Учет имеющейся неоднородности данных приводит к получению более адекватных моделей и повышению качества оценивания.

Доказаны теоремы о свойствах оценочных функций, которые позволяют упростить конструирование, вычисление и исследование оценок, строить критерии качества структуры модели.

Получен вид устойчивых оценочных функций неоднородной двусторонней экспоненциальной модели, однородных финитной и приближенно финитной моделей, оценок Мешалкина неоднородной многомерной нормальной модели. Полученные оценки отличаются от известных оценок тем, что обладают свойством устойчивости к асимметричному засорению.

2. Для моделирования зависимости наблюдений введена общая мультипликативная ковариационная структура, обобщающая ряд мультипликативных ковариационных структур частного вида (с двумя-тремя матричными параметрами). Использование мультипликативной ковариационной структуры приводит к простым вычислительным формулам при покомпонентном оценивании.

Изучены свойства ММП-оценок регрессионной модели при эллиптическом распределении и мультипликативной ковариационной структуре ошибок. В частности, получены условия, при которых исходную модель с неизвестным эллиптическим распределением наблюдений при оценивании параметров уравнения регрессии можно заменить моделью с нормальным распределением наблюдений. Последнее позволяет производить оценивание при меньшем уровне априорной информации о свойствах ошибок наблюдений.

3. Предложена вероятностная модель для описания зависимости одновременно откликов количественного и качественного типов от входных переменных, обобщающая ряд частных случаев (общую модель сдвига, модель с наблюдаемым количественным и ненаблюдаемым качественным откликом).

Решена задача оптимального планирования эксперимента для рассматриваемой модели, планирование позволяет увеличить точность оценивания.

Разработаны частные случаи и одна модификация ЕМ-алгоритмов поиска оценок параметров модели в условиях наличия пропусков в наборе данных при мультипликативной ковариационной структуре ошибок количественных откликов. В отличие от обычных методов нелинейного программирования ЕМ-алгоритмы сохраняют вычислительные преимущества мультипликативной ковариационной структуры. Модификация может приводить к ускорению процесса поиска оценок.

4. Впервые поставлена и исследована задача планирования эксперимента при ММП-оценивании параметров многооткликовой регрессионной модели по неоднородным негауссовским наблюдениям. Планирование позволяет увеличить точность оценивания в указанных условиях. Учет негауссовости отличает данную постановку от известной постановки задачи для гауссовской ге-тероскедастичной модели. Планирование производится с использованием информационной матрицы, зависящей от мешающих параметров распределения ошибок. Результаты проведенных исследований говорят о необходимости учета при планировании эксперимента зависимости мешающих параметров от точек факторного пространства.

5. Впервые разработана теория оптимального планирования эксперимента при робастном оценивании параметров многооткликовой регрессионной модели по неоднородным наблюдениям. При этом целью планирования эксперимента является увеличение как точности, так и устойчивости оценок. Учет неоднородности наблюдений отличает данную постановку от известных постановок задачи. Впервые при планировании используются показатели качества оценок в модели неоднородного байесовского точечного засорения.

Полученные свойства квазиинформационных матриц и непрерывных планов эксперимента, а также условия оптимальности планов эксперимента позволяют использовать естественные модификации известных алгоритмов синтеза оптимальных планов.

6. Впервые поставлена и исследована задача оптимального планирования эксперимента при оценивании параметров многооткликовых регрессионных моделей с количественными и разнотипными (количественными и качественными) откликами в условиях действия вероятностного механизма возникновения пропусков. Планирование позволяет увеличить точность оценивания.

7. Впервые сформулирована обобщенная задача выбора структуры модели, включающая оптимизацию состава регрессоров и системы линейных ограничений на параметры. Учет ограничений на параметры модели позволяет учесть специфику объекта исследования, например, априорные предположения о поведении отклика, дает возможность работы с качественными факторами.

8. Предложены критерии качества многооткликовых (главным образом, нормальных) моделей с линейными ограничениями на параметры, которые обобщают критерии, полученные при отсутствии ограничений на параметры; критерии, использующие экзаменационную выборку, (в отличие от известных) учитывают статистические связи откликов.

Разработаны эффективные по затратам вычислительные схемы алгоритмов, предназначенных для решения обобщенной задачи выбора структуры многооткликовых моделей. Получены формулы, выражающие взаимосвязи критериев, и формулы для эффективного вычисления критериев. Данные результаты обобщают известные результаты, полученные при отсутствии ограничений на параметры, и позволяют эффективно осуществлять поиск оптимальной структуры в рамках обобщенной задачи выбора структуры.

9. Получены формулы робастного критерия Акаике многооткликовой нормальной модели, робастных критериев Акаике и финальной ошибки прогнозирования однооткликовой ДСЭ-модели (как частные случаи известных общих формул) при использовании обобщенных радикальных оценок параметров. Критерии позволяют определять качество структур при робастном выборе структуры.

Предложен принцип варьирования модели, обобщающий принцип использования экзаменационной выборки, для конструирования критериев в случае негауссовских и зависимых ошибок наблюдений. Данный принцип позволяет оценивать качество структуры по согласованности (с точки зрения модели) разных частей выборки.

Для многооткликовой модели многомерные методы робастного выбора структуры предложены впервые.

10. Построенные модели реальных технологических и социально-экономических процессов демонстрируют практическую пользу развиваемых подходов.

Совокупность полученных в диссертации результатов вносит вклад в развитие методов прикладной математической статистики.

ЗАКЛЮЧЕНИЕ

1. Авербух Е.А. К вопросу о выборе вида регрессионных моделей с учетом их прогнозирующей способности // Заводская лаборатория. 1990. -Т. 56, №3.- С. 92-96.

2. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974. - 240 с.

3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983.-471 с.

4. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985. - 487 с.

5. Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 1998. - 1022 с.

6. Акаике X. Развитие статистических методов // Современные методы идентификации / Под ред. П. Эйкхоффа. М.: Мир, 1983. - С. 148 - 176.

7. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н. Вапника. М.: Наука, 1984. - 816 с.

8. Арене X., Лейтер Ю. Многомерный дисперсионный анализ. М.: Финансы и статистика, 1985. - 232 с.

9. Бард Й. Нелинейное оценивание параметров. М.: Статистика, 1979.-349 с.

10. Богданович В.А., Вострецов А.Г. Теория устойчивого обнаружения, различения и оценивания сигналов. М.: Физматлит, 2004. - 320 с.

11. Болдин М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука. Физматлит, 1997. - 288 с.

12. Боровков А.А. Математическая статистика. Новосибирск: Наука; Изд-во Ин-та математики, 1997. - 772 с.

13. Бостанджиян В.А. Пособие по статистическим распределениям. -Черноголовка, 2000. 1007 с.

14. Боровиков В.П., Боровиков И.П. STATISTIC А Статистический анализ и обработка данных в среде Windows. - М.: Информационно-издательский дом «Филинъ», 1998. - 608 с.

15. Бримкулов У.Н., Круг Г.К., Саванов B.JI. Планирование экспериментов при исследовании случайных полей и процессов. М.: Наука, 1986. -153 с.

16. Буньков Р.В., Лисицин Д.В. Выбор структуры многомерной динамической стохастической модели // Рос. науч.-техн. конф. «Информатика и проблемы телекоммуникаций», Новосибирск, 22-23 апр., 2004.: Материалы конф. Новосибирск, 2004. - Т. 1. - С. 111.

17. Валентей Д.И., Кваша А.Я. Основы демографии. М.: Мысль, 1989. -286 с.

18. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. - 447 с.

19. Венецкий И.Г. Математические методы в демографии. М.: Статистика, 1971.-296 с.

20. Вержбицкий В.М. Основы численных методов. М.: Высшая школа, 2002. - 840 с.

21. Верулава Ю.Ш., Поляк Б.Т. Выбор порядка регрессионной модели // Автоматика и телемеханика. 1988. -№ 11. - С. 113 - 129.

22. Вощинин А.П. Метод анализа данных с интервальными ошибками в задачах проверки гипотез и оценивания параметров неявных линейно параметризованных функций // Заводская лаборатория. 2000. - Т. 66, № 3. -С. 51-65.

23. Вощинин А.П., Бочков А.Ф., Сотиров Г.Р. Метод анализа данных при интервальной нестатистической ошибке // Заводская лаборатория. -1990. Т.56, № 7. - С. 75-81.

24. Гаврилов К.В., Лисицин Д.В. Локальная устойчивость в задаче оценивания параметров распределений // Наука. Технологии. Инновации: Материалы докладов всероссийской научной конференции молодых ученых. Новосибирск: Изд-во НГТУ, 2003. - Ч. 1. - С. 17 - 18.

25. Гаврилов К.В., Лисицин Д.В. Робастное оценивание параметра локализации финитной модели // Рос. науч.-техн. конф. «Информатика и проблемы телекоммуникаций», Новосибирск, 22-23 апр., 2004.: Материалы конф. Новосибирск, 2004. - Т. 1. - С. 112.

26. Гантмахер Ф.Р. Теория матриц М.: Наука, 1988. - 552 с.

27. Голикова Т.И., Микешина Н.Г. Свойства D-оптимальных планов и методы их построения // Новые идеи в планировании эксперимента / Под ред.

28. B.В. Налимова. -М.: Наука, 1969. С. 21 - 58.

29. Голикова Т.И., Панченко Л.А. Непрерывные А и <2-оптимальные планы второго порядка на кубе // Регрессионные эксперименты (Планирование и анализ) / Под ред. В.В. Налимова. - М.: Изд-во Моск. ун-та, 1977.1. C. 71-84.

30. Голованов И.Н., Пономаренко B.C., Кузьменко Ю.И. Оптимизационный метод сокращения перебора моделей в комбинаторных алгоритмах МГУА//Автоматика. 1983.-№3.-С. 12-17.

31. Горский В.Г. Планирование кинетических экспериментов. -М.: Наука, 1984.-241 с.

32. Губарев В.В. Вероятностные модели: Справочник. В 2-х ч. / Ново-сиб. электротехн. ин-т. Новосибирск, 1992.

33. Гусев В.А. Использование подвыборок и понятия устойчивости в задаче определения общего вида искомой зависимости // Заводская лаборатория. 1987. - Т. 53, № 1. - С. 48 - 53.

34. Дайитбегов Д.М., Калмыкова О.В., Черепанов А.И. Программное обеспечение статистической обработки информации. М.: Финансы и статистика, 1984.- 192 с.

35. Демиденко Е.З. Псевдонезависимые регрессии и их оценивание // Малоразмерные модели экономического роста. М.: ИМЭМО АН СССР, 1978.-С. 115-147.

36. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1981. - 302 с.

37. Демиденко Е.З. Оптимизация и регрессия. М.: Наука, 1989.296 с.

38. Денисов В.И. Математическое обеспечение системы ЭВМ-экспериментатор. М.: Наука, 1977. - 252 с.

39. Денисов В.И., Лаптев В.Н. О численном построении оптимальных планов / Новосиб. электротехн. ин-т, 1973. Деп. в ВИНИТИ, № 5476-73.

40. Денисов В.И., Лемешко Б.Ю., Цой Е.Б. Оптимальное группирование, оценка параметров и планирование регрессионных экспериментов / Новосиб. гос. техн. ун-т. Новосибирск, 1993. - 346 с.

41. Денисов В.И., Лисицин Д.В. Оценивание параметров регрессионной модели с эллиптическим распределением и мультипликативной ковариационной структурой ошибок // Сиб. журн. индустр. матем. 2002. - Т. V, №3(11).-С. 92-102.

42. Денисов В.И., Лисицин Д.В. О свойствах оценок параметров регрессионной модели с эллиптическим распределением и мультипликативной ковариационной структурой ошибок // Сиб. журн. индустр. матем. 2003. -Т. VI, №2(14).-С. 37-45.

43. Денисов В.И., Лисицин Д.В. Планирование эксперимента с учетом появления пропусков в данных // Научный вестник НГТУ. Новосибирск, 2004.-№1(16).-С. 53-61.

44. Денисов В.И., Лисицин Д.В., Гаврилов К.В. Планирование эксперимента при оценивании параметров многофакторной модели по неоднородным наблюдениям // Сиб. журн. индустр. матем. 2002. - Т. V, № 4(12).' — С. 14-28.

45. Денисов В.И., Попов А.А. Условия оптимальности планов экспериментов для функционалов типа дискретного минимакса / Новосиб. электро-техн. ин-т, 1978. Деп. в ВИНИТИ, № 3731-78. - 21 с.

46. Денисов В.И., Попов А.А. Алгоритмы построения точных оптимальных планов регрессионных экспериментов / Новосиб. электротехн. ин-т, 1979. Деп. в ВИНИТИ, № 560 - 79.

47. Денисов В.И., Попов А.А. Пакет программ оптимального планирования эксперимента. -М.: Финансы и статистика, 1986. 159 с.

48. Денисов В.И., Тимофеев B.C. Знаковый метод: преимущества, проблемы, алгоритмы // Научный вестник НГТУ. Новосибирск, 2001. -№ 1(10). - С. 21 -35.

49. Денисов В.И., Чистяков В.М., Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фадцеенков А.В. Прогнозирование численности населения города Новосибирска: опыт математического моделирования // Научный вестник НГТУ. Новосибирск, 1998. - № 1(4). - С. 123 - 138.

50. Дженнрич Р.И. Пошаговая регрессия // Статистические методы для ЭВМ / Под ред. К. Энслейна, Э. Рэлстона, Г.С. Уилфа. М.: Наука, 1986. -С. 77-94.

51. Джонстон Дж. Эконометрические методы. М.: Статистика, 1980.450 с.

52. Дисперсионный анализ и синтез планов на ЭВМ / Маркова Е.В., Денисов В.И., Полетаева И.А., Пономарев В.В. М.: Наука, 1982. - 196 с.

53. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн. 2. М.: Финансы и статистика, 1987. - 351 с.

54. Духин С.С., Дерягин Б.В. Электрофорез. М.: Наука, 1976 - 328 с.

55. Дюк В. Обработка данных на ПК в примерах. СПб.: Питер, 1997.240 с.

56. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987. - 320 с.

57. Ершов А.А. Стабильные методы оценки параметров // Автоматика и телемеханика. 1978. - № 8. - С. 66 - 100.

58. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. -Новосибирск: Изд-во Ин-та математики, 1999. 270 с.

59. Зельнер А. Байесовские методы в эконометрии. М.: Статистика, 1980.-439 с.

60. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем. Киев: Наук, думка, 1982. - 296 с.

61. Ивахненко А.Г. Задача регуляризации и унимодальности критерия непротиворечивости и ее решение в алгоритмах объективного системного анализа и объективной компьютерной кластеризации // Автоматика. 1988. -№ 3. - С. 12-17.

62. Ивахненко А.Г. Переборные методы моделирования и кластеризации (Обзор работ по МГУА в 1983 88 гг.) // Автоматика. - 1988. - № 4. -С. 3-16.

63. Ивахненко А.Г., Кротов Г.И., Костенко Ю.В. Самоорганизация тензорных моделей (на примере моделирования гидрохимической системы водохранилищ) // Автоматика. 1988. - № 6. - С. 17-23.

64. Ивахненко А.Г., Мюллер И.А. Самоорганизация прогнозирующих моделей. Киев: Техшка, 1985. - 221 с.

65. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. Киев: Наук, думка, 1985. - 216 с.

66. Ивахненко А.Г., Степашко B.C. Структурная идентификация как задача выделения сигнала на фоне помех // Автоматика. 1987. - № 1.-С. 37-42.

67. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987. - 120 с.

68. Изместьев Д.И., Филимоненко В.Н., Лисицин Д.В. Оптимизация процесса нанесения электрофоретического покрытия на детали машин объемно-погружным методом // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ, 1999.-Вып. 2(15).-С. 33-38.

69. Изместьев Д.И., Филимоненко В.Н., Лисицин Д.В. Локализация процесса электрофоретического осаждения и его математическое описание // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ, 1999. - Вып. 2(15). - С. 39 -44.

70. Каминскас В.А. Идентификация динамических систем по дискретным наблюдениям. Вильнюс: Мокслас, 1982. - Ч. 1. - 245 с.

71. Качала В.В. Роль контрольных точек в задачах идентификации // Многомерный статистический анализ и вероятностное моделирование реальных процессов. М.: Наука, 1990. - С. 91 - 94.

72. Каширин Б.Л. Построение оптимальной модели по результатам наблюдений функций многих переменных // Прикладной многомерный статистический анализ. М.: Наука, 1978. - С. 368 - 373.

73. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. -М.: Наука, 1973.-900 с.

74. Кильдишев Г.С., Аболенцев Ю.И. Многомерные группировки. -М.: Статистика, 1978. 160 с.

75. Клейнер Г.Б., Смоляк С.А. Эконометрические зависимости. -М.: Наука, 2003.-104 с.

76. Козубовский С.Ф., Юрачковский Ю.П. Информационные критерии селекции моделей // Автоматика. 1981. - № 4. - С. 80 - 89.

77. Кокс Д., Хинкли Д. Теоретическая статистика. М.: Мир, 1978.560 с.

78. Кононенко И.В. Исследование алгоритма выбора структуры прогнозирующих моделей, основанного на использовании Н-критерия // Автоматика. 1990. - № 6. - С. 28 - 34.

79. Котюков В.И. Многофакторные кусочно-линейные модели. -М.: Финансы и статистика, 1984. 216 с.

80. Куке Я.П., Тийтс Т.В., Вийкманн Э.В. Программы множественного регрессионного анализа. Таллин: АН ЭССР, 1979. - 61 с.

81. Кулаичев А.П. Методы и средства анализа данных в среде Windows: STADIA 6.0. М.: Информатика и компьютеры, 1996. - 257 с.

82. Лбов Г.С. Методы обработки разнотипных экспериментальных данных.-М.: Наука, 1981.-160 с.

83. Лбов Г.С., Старцева Н.Г. Логические решающие функции и вопросы статистической устойчивости решений. Новосибирск: Изд-во Ин-та математики, 1999.-212 с.

84. Леман Э. Теория точечного оценивания. М.: Наука, 1991. - 448 с.

85. Лемешко Б.Ю., Постовалов С.Н. К вопросу о робастности оценок по группированным данным // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ. - 1996. - № 2(4). - С. 9 - 18.

86. Лемешко Б.Ю. Группирование наблюдений как способ получения робастных оценок // Надежность и контроль качества. 1997. - № 5. -С. 26-35.

87. Лемешко Б.Ю. Робастные методы оценивания и отбраковка аномальных измерений // Заводская лаборатория. 1997. - Т.63, № 5. - С. 43 - 49.

88. Лисицин Д.В. Шаговая процедура выбора многооткликовой модели, оперирующая линейными гипотезами и ограничениями произвольного вида // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 1995. - Вып. 2. - С. 31 - 34.

89. Лисицин Д.В. Алгоритмы выбора структуры для многомерных моделей // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ, 1997. - Вып. 2(7). -С. 33-38.

90. Лисицин Д.В. Выбор структуры многомерной линейной модели при построении зависимостей по статистическим данным: Дис. канд. техн. наук. -Новосибирск, 1998.-272 с.

91. Лисицин Д.В. Обобщенная задача выбора структуры многомерной модели // Труды IV Междунар. конф. «Актуальные проблемы электронного приборостроения» АПЭП-98. Новосибирск, 1998. - Т. 3. - С. 69 - 72.

92. Лисицин Д.В. Оценивание параметров многооткликовой регрессии при мультипликативной параметризации ковариационной матрицы ошибок // Научный вестник НГТУ. Новосибирск, 2000. - № 1(8). - С. 12 - 22.

93. Лисицин Д.В. Адаптивные методы построения многооткликовых регрессионных моделей // Труды V Междунар. конф. «Актуальные проблемы электронного приборостроения» АПЭП-2000. Новосибирск, 2000. - Т. 3. -С. 14-18.

94. Лисицин Д.В. Выбор структуры многооткликовой регрессионной модели при использовании М -оценивания // Междунар. науч.-техн. конф. «Информатика и проблемы телекоммуникаций», Новосибирск, 26-27 апр., 2001.: Материалы конф. Новосибирск, 2001. - С. 83.

95. Лисицин Д.В. Устойчивые методы оценивания параметров и выбора структуры многооткликовой линейно параметризованной модели // Научный вестник НГТУ. Новосибирск, 2001. - № 2(11). - С. 53 - 66.

96. Лисицин Д.В. Регрессионная модель с эллиптическим распределением и мультипликативной ковариационной структурой ошибок // Научный вестник НГТУ. Новосибирск, 2001. - № 2(11). - С. 67 - 76.

97. Лисицин Д.В. Устойчивое оценивание регрессии при ошибках, имеющих двустороннее экспоненциальное распределение // Материалы VI Междунар. конф. «Актуальные проблемы электронного приборостроения» АПЭП-2002. Новосибирск, 2002. - Т. 6. - С. 43-45.

98. Лисицин Д.В. ЕМ-алгоритмы оценивания регрессионной модели с мультипликативной ковариационной структурой ошибок // Автометрия. -2004.-№1.-С. 15-26.

99. Лисицин Д.В. О критериях выбора структуры многооткликовой регрессионной модели // Сиб. журн. индустр. матем. 2004. - Т. VII, № 1(17). - С. 61 - 72.

100. Лисицин Д.В. Планирование эксперимента при использовании логит-модели пропусков // Материалы VII Междунар. конф. «Актуальные проблемы электронного приборостроения» АПЭП-2004. Новосибирск, 2004. -Т. 6.-С. 273-277.

101. Лисицин Д.В. Планирование эксперимента при робастном оценивании параметров регрессионной модели по неоднородным наблюдениям // Сиб. журн. индустр. матем. 2004. - Т. VII, № 4(20). - С. 92 - 106.

102. Лисицин Д.В. Конструирование робастных оценок параметров регрессии при неоднородных наблюдениях // Научный вестник НГТУ. Новосибирск, 2004. -№3(18). - С. 43 - 55.

103. Лисицин Д.В. Оценивание параметров многофакторной модели при наличии разнотипных откликов // Научный вестник НГТУ. Новосибирск, 2005. -№ 1(19). — С. 11-20.

104. Лисицин Д.В. Планирование эксперимента при оценивании параметров регрессионной модели с разнотипными откликами // Научный вестник НГТУ. Новосибирск, 2005. - № 3(21). - С. 53 - 66.

105. Лисицин Д.В. Выбор структуры многооткликовой регрессионной модели // Научный вестник НГТУ. Новосибирск, 2006. - № 1(22). -С. 17-32.

106. Лисицин Д.В. Об устойчивом оценивании параметров модели по неоднородным наблюдениям // Научный вестник НГТУ. Новосибирск, 2006.-№2(23).-С. 35-42.

107. Лисицин Д.В. Критерии выбора структуры регрессионной модели при негауссовских и зависимых ошибках // Сиб. журн. индустр. матем. -2006. Т. IX, № 2(26). - С. 90 - 106.

108. Лисицин Д.В., Гаврилов К.В. О локально устойчивом оценивании параметров распределений // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2004. - Вып. 2(36). - С. 37 - 46.

109. Лисицин Д.В., Гаврилов К.В. Робастное оценивание финитной модели // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2004. - Вып. 2(36). -С. 47-56.

110. Лисицин Д.В., Гаврилов К.В. Робастное оценивание приближенной финитной модели // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2005. -Вып. 1(39).-С. 39-48.

111. Лисицин Д.В., Гаврилов К.В. Устойчивое оценивание параметров модели при асимметричном засорении данных // Известия Международной академии наук высшей школы. 2006. - № 1(35). - С. 60 - 73.

112. Лисицин Д.В., Попов А.А. Структурная оптимизация многомерных регрессионных моделей // Второй Сибирский конгресс по прикладной и индустриальной математике: Тез. докл. Новосибирск, 1996. - Ч. II. - С. 179.

113. Лисицин Д.В., Попов А.А. Конструирование критериев селекции многомерных регрессионных моделей // Сб. науч. тр. НГТУ. Новосибирск: Изд-воНГТУ, 1996. - Вып. 1.-С. 13-20.

114. Лисицин Д.В., Попов А.А. Исследование критериев селекции мно-гооткликовых регрессионных моделей // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ, 1996. - Вып. 2(4). - С. 19 - 28.

115. Лисицин Д.В., Попов А.А. Исследование работоспособности критериев выбора многомерных моделей // Материалы Междунар. науч.-техн. конф. «Информатика и проблемы телекоммуникаций», Новосибирск, 24 25 апр., 1997.-Новосибирск, 1997.-С. 103- 105.

116. Лисицин Д.В., Солнышков В.А. Исследование локально оптимальных планов эксперимента при разнораспределенных ошибках наблюдений // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2006. - Вып. 1(43). -С. 15-22.

117. Лисицин Д.В., Филимоненко В.Н., Гаврилов К.В. Математическое моделирование процессов струйного электрофоретического осаждения // Научный вестник НГТУ. Новосибирск, 2006. - № 1(22). - С. 71 - 83.

118. Лисицин Д.В., Форманчук Д.С. Исследование адаптивных робаст-ных оценок линейной регрессионной модели при неоднородных данных // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2006. - Вып. 1(43). - С. 23 - 30.

119. Литтл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. -М.: Финансы и статистика, 1990. 336 с.

120. Логинов Э.А., Логинов В.Э. О выборе вида уравнения регрессии // Заводская лаборатория. -1989. Т. 55, № 1. - С. 87 - 91.

121. Малолеткин Г.Н., Мельников Н.Н., Хашин В.М. Об алгоритмах выбора наилучшего подмножества признаков в регрессионном анализе // Вопросы кибернетики. Вып. 35. - М.: Советское радио, 1977. - С. 110 - 144.

122. Маркова Е.В., Лисенков А.Н. Планирование эксперимента в условиях неоднородностей. -М.: Наука, 1973. 219 с.

123. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия. М.: Финансы и статистика, 1982. - Вып. 2. - 239 с.

124. Мудров В.И., Кушко В.Л. Методы обработки измерений: Квазиправдоподобные оценки. М.: Радио и связь, 1983. - 304 с.

125. Налимов В.В., Голикова Т.И. Логические основания планирования эксперимента. М.: Металлургия, 1981. - 152 с.

126. Никифоров A.M. Статистический анализ наблюдений со случайными пропусками // Пятая Международная Вильнюсская конференция по теории вероятностей и математической статистике: Тез. докл. Вильнюсе, 1989. -С. 98-99.

127. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. Л.: Энергоатомиздат, 1991. - 304 с.

128. Областной центр город Новосибирск: информационно-аналитический сборник. - Новосибирск: НИИРУ, 1997. - 122 с.

129. Орлов А.И. Предельное распределение одной оценки числа базисных функций // Прикладной многомерный статистический анализ. М.: Наука, 1978.-С. 380-381.

130. Орлов А.И. Оценка размерности модели регрессии // Алгоритмическое и программное обеспечение прикладного многомерного статистического анализа. М.: Наука, 1980. - С. 92 - 99.

131. Орлов А.И. Методы поиска наиболее информативного множества признаков в регрессионном анализе // Заводская лаборатория. 1995. - Т. 61, № 1.- С. 56-58.

132. Перельман И.И. Методология выбора структуры модели при идентификации объектов управления // Автоматика и телемеханика. 1983. -№ 11.-С. 5-29.

133. Пинскер И.Ш., Трунов В.Г., Кипнис В.М., Айду Э.А.И. Имитационные оценки качества решения // Поиск зависимости и оценка погрешности. -М.: Наука, 1985.-С. 14-32.

134. Планирование эксперимента в задачах нелинейного оценивания и распознавания образов / Г.К. Круг, В.А. Кабанов, Г.А. Фомин, Е.С. Фомина -М.: Наука, 1981.-172 с.

135. Полотнов М.М. Метод построения математической модели по неоднородным данным // VII Всесоюзн. конф. по планированию и автоматизации эксперимента в научных исследованиях: Тез. докл. М., 1983. - Ч. 1. -С. 137- 139.

136. Полотнов М.М. Разработка и исследование методов построения регрессионных моделей объектов управления при воздействии неконтролируемого дискретного фактора неоднородности: Автореф. дис. . канд. техн. наук. М, 1986.-20 с.

137. Полотнов М.М., Фомин Г.А. Оценивание параметров модели объекта по неоднородным экспериментальным данным // Заводская лаборатория. -1986.-№7. -С. 37-43.

138. Пономарев В.В. Диалоговая система обработки данных многооткликовых экспериментов с качественными и количественными факторами: Дис. канд. техн. наук. Новосибирск, 1985. - 193 с.

139. Попов А.А. Дисперсионный анализ моделей с качественными факторами как задача структурного моделирования // Машинные методы оптимизации, моделирования и планирования эксперимента. Новосибирск: Ново-сиб. электротехн. ин-т, 1988. - С. 130 - 133.

140. Попов А.А. Конструирование дискретных и непрерывно-дискретных моделей регрессионного типа // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ, 1996. - Вып. 1. - С. 21 - 30.

141. Попов А.А. Композиционный подход построения адекватных регрессионных моделей в схемах активного эксперимента. // Сб. науч. тр. НГТУ. Новосибирск: Изд-во НГТУ, 1996. - Вып. 2(4). - С. 29 - 38.

142. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: Дис. д-ра техн. наук. Новосибирск, 1997. - 424 с.

143. Прикладная статистика: Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин. М.: Финансы и статистика, 1989. - 607 с.

144. Пуарье Д. Эконометрия структурных изменений. М.: Финансы и статистика, 1981.- 183 с.

145. Рао С.Р. Линейные статистические методы и их применения. -М.: Наука, 1968.-548 с.

146. Редько М.Ю. Квазиправдоподобные оценки для линейной регрессии. Новосибирск: Новосиб. электротехн. ин-т, 1988. - 31 с. - Деп. в ВИНИТИ, №4821-В88.

147. Редько М.Ю. Реализация алгоритма пошаговой регрессии для многооткликовой модели // Электронная техника. Сер. 7. Технология, организация производства и оборудование. 1993. - Вып. 2(177) - 3(178). - С. 41 - 44.

148. Робастность в статистике. Подход на основе функций влияния / Ф. Хампель, Э. Рончетти, П. Рассеу, В. Штаэль М.: Мир, 1989. - 512 с.

149. Розин Б.Б. Теория распознавания образов в экономических исследованиях. М.: Статистика, 1973. - 224 с.

150. Розин Б.Б., Котюков В.И., Ягольницер М.А. Экономико-статистические модели с переменной структурой. Новосибирск: Наука, 1984. -242 с.

151. Романов В.Л. Выбор наилучшей линейной регрессии: сравнение формальных критериев (Обобщающая статья) // Заводская лаборатория. -1990. Т. 56, №1.-С. 90-95.

152. Савараги Е., Соэда Т., Накамизо Т. «Классические» методы и оценивание временных рядов // Современные методы идентификации / Под ред. П. Эйкхоффа. М.: Мир, 1983. - С. 74 - 147.

153. Салуквадзе М.Е. Задачи векторной оптимизации в теории управления. Тбилиси: Мецниереба, 1975. - 201 с.

154. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. -1990.-№5.-С. 28-33.

155. Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980.456 с.

156. Сильвестров Д.С. Программное обеспечение прикладной статистики: Обзор состояния. Тенденции развития. -М.: Финансы и статистика, 1988. -240 с.

157. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: (Статистическая обработка неоднородных совокупностей). М.: Статистика, 1980.-208 с.

158. Спектор А.А. Гауссовские дискретные поля с разделимыми спектрально-корреляционными характеристиками // Прикладная теория случайных процессов и полей / Под ред. К.К. Васильева, В.А. Омельченко. Ульяновск: УлГТУ, 1995.-С. 143-164.

159. Степашко B.C. Помехоустойчивость выбора моделей по критерию баланса прогнозов // Автоматика. 1984. - № 5. - С. 27 - 37.

160. Степашко B.C., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. 1985. - № 5. - С. 29 - 37.

161. Стогов Г.В., Макшанов А.В., Мусаев А.А. Устойчивые методы обработки результатов измерений // Зарубежная радиоэлектроника. 1982. -№ 9. - С. 3 - 46.

162. Трунов В.Г. Оценка погрешности прогноза при выборе переменных в линейной регрессии // Поиск зависимости и оценка погрешности. М.: Наука, 1985.-С. 57-68.

163. Трунов В.Г. Выбор линейной модели и оценка числа избыточных переменных // Алгоритмы обработки экспериментальных данных. М.: Наука, 1986.-С. 75-81.

164. Устойчивые статистические методы оценки данных / Под ред. Ло-нера Р.Л., Уилкинсона Г.Н. М.: Машиностроение, 1984. - 229 с.

165. Федоров В.В. Свойства и методы построения планов, минимизирующих выпуклые функционалы от информационной матрицы. М.: Изд-во Моск. ун-та, 1970. - 11 с.

166. Федоров В.В. Теория оптимального планирования эксперимента (планирование регрессионных экспериментов). -М.: Наука, 1971.-312 с.

167. Федоров В.В. Оценивание параметров регрессии в случае вектор-наблюдения // Регрессионные эксперименты (Планирование и анализ) / Под ред. В.В. Налимова. М.: Изд-во Моск. ун-та, 1977. - С. 112 - 122.

168. Федоров В.В. Активные регрессионные эксперименты // Математические методы планирования эксперимента. Новосибирск: Наука, 1981. -С. 19-73.

169. Финн Дж.Д. Многомерный дисперсионный и ковариационный анализ // Статистические методы для ЭВМ / Под ред. К. Энслейна, Э. Рэлстона, Г.С.Уилфа.-М.: Наука, 1986.-С. 219-268.

170. Фомин Г.А., Фомина Е.С. Планирование эксперимента при изучении неоднородных объектов // VI Всесоюзн. конф. по планированию и автоматизации эксперимента в научных исследованиях: Тез. докл. М., 1980. -Ч. 2.-С. 54-57.

171. Хеттманспергер Т. П. Статистические выводы, основанные на рангах. М.: Финансы и статистика, 1987. - 333 с.

172. Хокинг P.P. Выбор наилучшего подмножества регрессионных переменных // Статистические методы для ЭВМ / Под ред. К. Энслейна, Э. Рэлстона, Г.С. Уилфа. М.: Наука, 1986. - С. 53 - 77.

173. Хьюбер П. Робастность в статистике. М.: Мир, 1984. - 303 с.

174. Цибель Н.А. Доасимптотические свойства оценок размерности модели регрессии // Заводская лаборатория. 1989. - Т. 55, № 7. - С. 88 - 94.

175. Цибель Н.А. Некоторые свойства оценок размерности модели регрессии // Многомерный статистический анализ и вероятностное моделирование реальных процессов. М.: Наука, 1990. - С. 73 - 83.

176. Цыпкин Я.З. Основы информационной теории идентификации. -М.: Наука, 1984.-320 с.

177. Шеффе Г. Дисперсионный анализ. М.: Наука, 1980. - 512 с.

178. Шуленин В.П. Введение в робастную статистику. Томск: Изд-во Том. ун-та, 1993.-227 с.

179. Шурыгин A.M. Оценки параметров нормального распределения с экспоненциальным взвешиванием наблюдений: асимптотическая теория // Алгоритмическое и программное обеспечение прикладного статистического анализа. М.: Наука, 1980. - С. 241 - 259.

180. Шурыгин A.M. Прикладная стохастика: робастность, оценивание, прогноз. М.: Финансы и статистика, 2000. - 224 с.

181. Шурыгин A.M. Асимптотическая теория устойчивого оценивания: Дис. д-ра техн. наук. М., 2002. - 28 с.

182. Яковлев А.А., Ставицкая Н.А. Алгоритм выбора субоптимальной совокупности предикторов для множественной многомерной регрессии // Вопросы кибернетики. Вып. 73.-М.: ВИНИТИ, 1981.-С. 110-118.

183. Agresti A. An introduction to categorical data analysis. New York: John Wiley, 1996.-312 p.

184. Akaike H. A new look at the statistical model identification // IEEE Trans. Automatic Control. 1974. - Vol. 19. - P. 716 - 723.

185. Allen D.M. The relationship between variable selection and data augmentation and a method for prediction // Technometrics. 1974. - Vol. 16. - P. 125-127.

186. Al-Subaihi A.A. Variable selection in multivariable regression using SAS/IML // Journal of Statistical Software. 2002. - Vol. 7, issue 12. - 20 p.

187. Atkinson A.C., Cook R.D. D-optimum designs for heteroscedastic linear models // J. Amer. Statist. Assoc. 1995. - Vol. 90. - P. 204 - 212.

188. Bearse P.M., Bozdogan H. Subset selection in vector autoregressive models using the genetic algorithm with informational complexity as the fitness function // Systems analysis, modeling and simulation. 1998. - Vol. 31. -P. 61 -91.

189. Bedrick E.J., Tsai C.C. Model selection for multivariate regression in small samples // Biometrics. 1994. - Vol. 50. - P. 226 - 231.

190. Biernacki C., Celeux G., Govaert G. Strategies for getting the highest likelihood in mixture models: Rapport de recherche / INRIA. № 4255. - 2001. -20 p.

191. Bozdogan H. Multivariate regression models for nonnormal data: A new model selection approach // Bulletin of the International Statistical Institute: Proceedings of the 52nd Session. 1999. - Tome LVIII.

192. Cantoni E., Mills Flemming J., Ronchetti E. Variable selection for marginal longitudinal generalized linear models // Biometrics. 2005. - Vol 61. -P. 507-514.

193. Cavanaugh J.E. A large-sample model selection criterion based on Kull-back's symmetric divergence // Statistics and Probability Letters. 1999. - Vol. 44. -P. 333-344.

194. Dempster A.P., Laird N.M., Rubin D.B. Maximum likelihood estimation from incomplete data via the EM algorithm // Journal of the Royal Statistical Society, ser. B. 1977. - Vol. 39.- 1 -38.

195. Dempster A.P., Laird N.M., Rubin D.B. Iteratively reweighted least squares for linear regression when errors are normal/independent distributed // Multivariate analysis V / Krishnaiah P.R., eds. North Holland, Amsterdam, 1980. -P. 35-57.

196. Dette H., Haines L.M., Imhof L.A. Bayesian and maximin optimal designs for heteroscedastic regression models // The Canadian Journal of Statistics. -2005.- Vol. 33.-P. 221-241.

197. Dette H., Song D., Wong W.K. Robustness properties of minimally-supported Bayesian D-optimal designs for heteroscedastic models // The Canadian Journal of Statistics. 2001. - Vol. 29. - P. 633 - 647.

198. Dette H., Wong W.K. Optimal Bayesian designs for models with partially specified heteroscedastic structure // The Annals of Statistics. 1996. - Vol. 24.-P. 2108-2127.

199. Dette H., Wong W.K. Bayesian D-optimal designs on a fixed number of design points for heteroscedastic polynomial models // Biometrika. 1998. - Vol. 85.-P. 869-882.

200. Efroimson M.A. Multiple regression analysis // Mathematical methods for digital computers / Ralston A., Wilf H.S., eds. New York: John Wiley, 1960. -P. 191 -203.

201. Efron В., Hinkley D.V. Assessing the accuracy of the maximum likelihood estimator: observed versus expected Fisher information // Biometrika. 1978. -Vol. 65.-P. 457-487.

202. Fedorov V.V., Gagnon R.C., Leonov S.L. Design of experiments with unknown parameters in variance // Appl. Stochastic Models Bus. Ind. 2002. -Vol. 18. - P. 207-218.

203. Fletcher R., Grant J.A., Hebden M.D. The calculation of linear best Lp approximations // Computer Journal. 1971. - Vol. 14. - P. 276 - 279.

204. Fujikoshi Y., Satoh K. Modified AIC and Cp in multivariate linear regression // Biometrika. 1997. - Vol. 84. - P. 707 - 716.

205. Gorman J.W., Toman R.J. Selection of variables for fitting equations to data // Technometrics. 1966. - Vol. 8. - P. 27 - 51.

206. Gupta V. К., Bhar L., Lai K. Robustness of designed experiments against missing data // Journal of Applied Statistics. 2001. - Vol. 28. - P. 63 - 79.

207. Hannan E.J., Quinn B.G. The determination of the order of an autore-gression // Journal of the Royal Statistical Society, ser. B. 1979. - Vol. 41. -P. 190-195.

208. Heise M.A., Myers R.H. Optimal designs for bivariate logistic regression // Biometrics. 1996. - Vol. 52. - P. 613 - 624.

209. Helms R.W. The average estimated variance criterion for the selection-of-variables problem in general linear models // Technometrics. 1974. - Vol. 16. -P. 261 -273.

210. Hocking R.R. Criteria for selection of a subset regression: which one should be used? // Technometrics. 1972. - Vol. 14. - P. 967 - 970.

211. Hocking R.R., Leslie R.N. Selection of the best subset in regression analysis // Technometrics. 1967. - Vol. 9. - P. 531 - 540.

212. Hogg R.V. Adaptive robust procedures: A partial review and some suggestions for future applications and theory // J. Amer. Statist. Assoc. 1974. - Vol. 69.-P. 909-923.

213. Hosmer D.W. A comparison of iterative maximum likelihood estimates of the parameters of a mixture of two normal distributions under three different types of sample // Biometrics. 1973. - Vol. 29. - P. 761 - 770.

214. Hosmer D.W., Lemeshow S. Applied Logistic Regression. New York: John Wiley, 2000.-375 c.

215. Huber P.J. Minimax aspects of bounded-influence regression // J. Amer. Statist. Assoc. 1983. - Vol. 78. - P. 66 - 80.

216. Humak K.M.S. Statistische Methoden der Modellbildung. Band I. Berlin: Akademie-Verlag, 1977. -516 s.

217. Jacobs R.A., Jordan M.I., Nowlan S.J., Hinton G.E. Adaptive mixtures of local experts // Neural Computation. 1991. - Vol. 3. - P. 79 - 87.

218. Jamshidian M. Adaptive robust regression by using a nonlinear regression program // Journal of Statistical Software. 1999. - Vol. 4, issue 6. - 25 p.

219. Jamshidian M. A note on parameter and standard error estimation in adaptive robust regression // J. Statist. Comput. Simul. 2001. - Vol. 71. -P. 11-27.

220. Jennrich R.I., Schluchter M.D. Unbalanced repeated-measures models with structured covariance matrices // Biometrics. 1986. - Vol. 42. -P. 805 - 820.

221. Kashid D.N., Kulkarni S.R. A more general criterion for subset selection in multiple linear regression // Communications in Statistics Theory and Methods. -2002.-Vol. 31.-P. 795-811.

222. Kassam S.A., Thomas J.B. Asymptotically robust detection of a known signal in contaminated non-gaussian noise // IEEE Trans. Information Theory. -1976.-Vol. 22.-P. 22-26.

223. Kent J.T., Tyler D.E. Redescending M -estimates of multivariate location and scatter // Annals of Statistics. 1991. - Vol. 19. - P. 2102 - 2119.

224. Kent J.T., Tyler D.E. Constrained M -estimation of multivariate location and scatter // Annals of Statistics. 1996. - Vol. 24. - P. 1346 - 1370.

225. Kiefer N.M. Discrete parameter variation: efficient estimation of a switching regression model // Econometrica. 1978. - Vol. 46. - P. 427 - 434.

226. Konishi S., Kitagawa G. Generalised information criteria in model selection//Biometrika.- 1996.-Vol. 83.- P. 875-890.

227. La Motte L.R., Hocking R.R. Computational efficiency in the selection of regression variables // Technometrics. 1970. - Vol. 12. - P. 83 - 93.

228. Lange K.L., Little R.J.A., Taylor J.M.G. Robust statistical modeling using the t distribution // J. Amer. Statist. Assoc. 1989. - Vol. 84. - P. 881 - 896.

229. Lee T.-W., Lewicki M.S. The generalized Gaussian mixture model using ICA // Proceedings of the Second International Workshop on Independent Component Analysis and Blind Signal Separation (ICA'00). Espoo, 2000. - P. 239 - 244.

230. Li L., Chow S.-Ch., Smith W. Cross-validation for linear model with unequal variances in genomic analysis // Journal of Biopharmaceutical Statistics. -2004.-Vol. 14.- P. 723-739.

231. Little R.J.A., Schluchter M.D. Maximum likelihood estimation for mixed continuous and categorical data with missing values // Biometrika. 1985. -Vol.72. - P. 497-512.

232. Liu C. ML estimation of the multivariate /-distribution and the EM algorithms // Journal of Multivariate Analysis. 1997. - Vol. 63. - P. 296 - 312.

233. Liu C., Rubin D.B. The ECME algorithm: A simple extension of EM and ECM with faster monotone convergence // Biometrika. 1994. - Vol. 81. -P. 633 - 648.

234. Liu C., Rubin D.B. ML estimation of the t distribution using EM and its extensions, ECM and ECME // Statistica Sinica. 1995. - Vol. 5. - P. 19 - 39.

235. Liu C., Rubin D.B. Ellipsoidally symmetric extensions of the general location model for mixed categorical and continuous data // Biometrika. 1998. -Vol. 85. - P. 673 - 688.

236. Liu C., Rubin D.B., Wu Y. Parameter expansion to accelerate EM: the PX-EM algorithm // Biometrika. 1998. - Vol. 85. - P. 755 - 770.

237. Lucas A. Outlier robust unit root analysis: PhD Thesis. Amsterdam: Thesis Publishers, 1996. - 236 p.

238. Mallows C.L. Some comments on Cp II Technometrics. 1973. - Vol. 15.- P. 661 -675.

239. Mallows C.L. More comments on Cp II Technometrics. 1995. - Vol. 37.- P. 362-372.

240. Mansson R.A., Prescott P. Missing values in replicated Latin squares // Journal of Applied Statistics. 2001. - Vol. 28. - P. 743 - 757.

241. Mardia K.V., Goodall С. Spatial-temporal analysis of multivariate environmental monitoring data // Multivariate Environmental Statistics / Patil G.P., Rao C.R., eds. New York: Elsevier, Amsterdam: North-Holland, 1993. - Vol. 6. -P. 347-385.

242. Maronna R.A. Robust M -estimators of multivariate location and scatter // Annals of statistics. -1976. Vol. 4. - P. 51 - 67.

243. Meng X.-L., Rubin D.B. Maximum likelihood estimation via the ECM algorithm: A general framework // Biometrika. 1993. - Vol. 80. - P. 267 - 278.

244. McLachlan G.J., Peel D. An algorithm for unsupervised learning via normal mixture models // ISIS: Information, Statistics and Induction in Science / Dowe D.L., Korb K.B., Oliver J.J., eds. Singapore: World Scientific Publishing, 1996.-P. 354-363.

245. McLachlan G.J., Peel D. MIXFIT: an algorithm for the automatic fitting and testing of normal mixture models // Proceedings of the 14th International Conference on Pattern Recognition. 1998. - Vol. I. - P. 553 - 557.

246. McQuarrie A. D., Tsai C. Regression and time series model selection. -River Edge, NJ: World Scientific Publishing Co., 1998.

247. Mineo A.M., Ruggieri M. A software tool for the exponential power distribution: The normalp package // Journal of Statistical Software. 2005. - Vol. 12, issue 4. - 24 p.

248. Mitchell T.J. An algorithm for construction of D-optimal experimental designs // Technometrics. 1974. - Vol. 16. - P. 203 - 210.

249. Moberg T.F., Ramberg J.S., Randies R.H. An adaptive multiple regression procedure based on M -estimators I I Technometrics. 1980. - Vol. 22. -P. 213-224.

250. Muller Ch.H. High breakdown point designs // Robust statistics, data analysis, and computer intensive methods / Rieder H., eds. Lecture Notes in Statistics. - Vol. 109. -New York: Springer, 1996. - P. 353 - 360.

251. Muller Ch.H. Optimal breakdown point maximizing designs // Tatra Mountains Math. Publ. 1996. - Vol. 7. - P. 79 - 85.

252. Naik D.N., Rao S.S. Analysis of multivariate repeated measures data with a Kronecker product structured covariance matrix // Journal of Applied Statistics. 2001. - Vol. 28. - P. 91 - 105.

253. Peel D., McLachlan G.J. Robust mixture modelling using the t distribution // Statistics and Computing. 2000. - Vol. 10. - P. 339 - 348.

254. Pinheiro J.C., Liu C., Wu Y.N. Efficient algorithms for robust estimation in linear mixed-effects models using the multivariate /-distribution // Journal of Computational and Graphical Statistics. 2001. - Vol. 10. - P. 249 - 276.

255. Prescott P., Mansson R.A. Robustness of balanced incomplete block designs to randomly missing observations // Journal of Statistical Planning and Inference. 2001. - Vol. 92. - P. 283 - 296.

256. Rencher A.C. Methods of multivariate analysis. New York: John Wiley, 2002.-708 p.

257. Ronchetti E. Robustness aspects of model choice // Statistica Sinica. -1997.-Vol. 7.-P. 327-338.

258. Ronchetti E., Field C.A., Blanchard W. Robust linear model selection by cross-validation // J. Amer. Statist. Assoc. 1997. - Vol. 92. - P. 1017 - 1023.

259. Ronchetti E., Staudte R.G. A robust version of Mallow's Cp // J. Amer.

260. Statist. Assoc. 1994. - Vol. 89. - P. 550 - 559.

261. Rothman D. Letter to editor // Technometrics. 1968. - Vol. 10. -P. 432.

262. Sakamoto Y., Ishiguro M., Kitagawa G. Akaike information criterion statistics. Tokyo: D. Reidel Publ. Сотр., 1986. - 290 p.

263. Sakamoto Y., Ishiguro M., Kitagawa G. Bootstrapping log likelihood and EIC, an extension of AIC // Ann. Inst. Statist. Math. 1997. - Vol. 40. -P. 411-434.

264. SAS/STAT. User's guide release 6.03 edition. Cary: SAS Inst. Inc., 1988.-1028 p.

265. Schwarz G. Estimating the dimension of a model // Annals of Statistics. 1978.-Vol. 6.-P. 461-464.

266. Searle S.R. Linear models. New York: John Wiley, 1971. - 532 p.

267. Shao J. Linear model selection by cross-validation // J. Amer. Statist. Assoc. 1993. - Vol. 88. - P. 486 - 494.

268. Shi P., Tsai Ch.-L. A note on the unification of the Akaike information criterion // Journal of the Royal Statistical Society, ser. B. 1998. - Vol. 60. -P. 551 -558.

269. Siotani M., Hayakawa Т., Fujikoshi Y. Modern multivariate statistical analysis: A graduate course and handbook. Columbus, Ohio: Amer. Sci. Press, 1985.-759 p.

270. Sommer S., Staudte R.G. Robust variable selection in regression in the presence of outliers and leverage points // Austral. J. Statist. 1995. - Vol. 37. -P. 323-336.

271. Sparks R.S., Coutsourides D., Troskie L. The multivariate Cp II Communications in Statistics Theory and Methods. - 1983. - Vol. 12. - P. 13 - 26.

272. Srivastava R., Gupta V.K., Dey A. Robustness of some designs against missing observations // Communications in Statistics Theory and Methods. -1990.-Vol. 19.-P. 121-126.

273. Srivastava R., Gupta V.K., Dey A. Robustness of some designs against missing data//Journal of Applied Statistics. 1991. - Vol. 18. - P. 313 -318.

274. Sugiura N. Further analysis of the data by Akaike's information criterion and the finite corrections // Communications in Statistics Theory and Methods. -1978.-Vol. 7.-P. 13-26.

275. Varghese С., Rao A.R., Sharma V.K. Robustness of Williams square change-over designs // Metrika. 2002. - Vol. 55. - P. 199 - 208.

276. Verbeke G., Lesaffre E. The effect of drop-out on the efficiency of longitudinal experiments // Journal of the Royal Statistical Society, ser. C. 1999. -Vol. 48.-P. 363-375.

277. Verbeke G., Molenberghs G. Linear mixed models for longitudinal data. New York: Springer, 2000. - 568 p.

278. Wiens D.P. Robust designs for approximately linear regression: M -estimated parameters // Journal of Statistical Planning and Inference. 1994. -Vol. 40.-P. 135-160.

279. Wu Y. An M-estimation-based model selection criterion with a data-oriented penalty // J. Statist. Comput. Simul. 2001. - Vol. 70. - P. 71 - 87.

280. Wu Y., Zen M.M. A strongly consistent information criterion for linear model selection based on M -estimation // Probab. Theory Relat. Fields. 1999. -Vol. 113.-P. 599-625.

281. Zellner A. An efficient method of estimating seemingly unrelated regressions and tests for aggregation bias // J. Amer. Statist. Assoc. 1962. - Vol. 57. -P. 348-368.

282. Zocchi S.S., Atkinson A.C. Optimum experimental designs for multinomial logistic models // Biometrics. 1999. - Vol. 55. - P. 437 - 444.