автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Применение компьютерного моделирования для расширения прикладных возможностей классических методов проверки статистических гипотез

На правах рукописи

Постовалов Сергей Николаевич

ПРИМЕНЕНИЕ КОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ ДЛЯ РАСШИРЕНИЯ ПРИКЛАДНЫХ ВОЗМОЖНОСТЕЙ КЛАССИЧЕСКИХ МЕТОДОВ ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ

05.13.17 - «Теоретические основы информатики»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

1 и ДПР ¿2]!

Новосибирск - 2014

005546886

005546886

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессонального образования «Новосибирский государственный технический университет»

Научный консультант: доктор технических наук, профессор

Лемешко Борис Юрьевич

Официальные оппоненты: Антонов Александр Владимирович,

доктор технических наук, профессор, Обнинский институт атомной энергетики - филиал федерального государственного автономного образовательного учреждения высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», декан факультета кибернетики

Рябко Борис Яковлевич, доктор технических наук, профессор, Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования «Сибирский государственный университет телекоммуникаций и информатики», ректор

Тарасенко Феликс Петрович, доктор технических наук, профессор, Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Национальный исследовательский Томский государственный университет», профессор кафедры теоретической кибернетики

Ведущая организация: Федеральное государственное бюджетное учреждение

науки «Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук».

Защита состоится «05» июня 2014 г. в 1400 часов на заседании диссертационного совета Д 212.173.06 при Федеральном государственном бюджетном образовательном учреждении высшего профессонального образования «Новосибирский государственный технический университет» по адресу: 630073, Новосибирск, пр. К.Маркса, 20.

С диссертацией можно ознакомиться в библиотеке Новосибирского государственного технического университета.

Автореферат разослан «31» марта 2014 г.

Ученый секретарь

диссертационного совета ШцЁ-'' Чубич Владимир Михайлович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Использование методов статистического анализа на практике всегда связано с применением вычислительных и, как правило, сложных алгоритмов. Однако численные методы, к сожалению, редко используются для получения новых фундаментальных знаний в самой математической статистике.

Методика компьютерного моделирования, основанная на методе Монте-Карло, позволяет более эффективно решать классические задачи статистического анализа. Данная методика дополняет аналитические методы, обеспечивая нахождение приближенного решения в тех случаях, когда этого не удается сделать аналитическими методами. Численное моделирование на компьютере дает наиболее реальный, надежный и относительно простой аппарат для исследования законов распределений различных статистик, для исследования их изменчивости в зависимости от различных факторов. На основании результатов моделирования можно прослеживать изменения закономерностей с ростом объемов выборок и изменением размерности данных. Методика позволяет на основе результатов имитационного моделирования строить модели распределений любой исследуемой статистики в конкретной ситуации.

Появление метода Монте-Карло совпало по времени с появлением первых электронных вычислительных машин (ЭВМ). Именно рост мощности современных ЭВМ сделал возможным применение компьютерного моделирования не только для исследования фундаментальных закономерностей, но и для исследования в интерактивном режиме (в ходе проводимого статистического анализа) закономерностей, имеющих место в реальных (нестандартных) условиях приложений, с последующим использованием полученных результатов (вместо асимптотических, часто существенно отличающихся от имеющих место) в процессе принятия решения.

Степень разработанности. Метод Монте-Карло предложен в 1945 году в процессе работы группы американских физиков и математиков (Дж. фон Нейман, С. Улам, Н. Метрополис, Г.Кан, Э. Ферми и др.) над созданием атомного реактора. Значительный вклад в развитие метода Монте-Карло внесли С. М. Ермаков, Г. А. Михайлов, И. М. Соболь, G. S. Fishman, С. P. Robert, G. Casella.

Обширные исследования статистических критериев с помощью компьютерного моделирования проводились Б.Ю. Лемешко, С.Б. Лемешко, Е.В. Чи-митовой, С.С. Помадиным, В.М. Волковой, А.П. Рогожниковым.

Объект исследования. Объектом исследования диссертационной работы являются критерии проверки статистических гипотез. Проверка статистических гипотез является одной из важнейших задач как математической, так и прикладной статистики. При проверке статистических гипотез на практике любой исследователь сталкивается со следующими вопросами.

Во-первых, как выбрать статистический критерий, и какой критерий наиболее предпочтителен? Во-вторых, насколько точными (корректными) являются статистические выводы при проверке гипотезы по применяемому критерию? В-третьих, как уменьшить затраты на проведение экспериментов, необходимых для проверки статистической гипотезы?

Традиционно при ответе на эти вопросы и при решении соответствующих проблем использовались аналитические методы. В то же время для разрешения множества проблем с успехом можно применять компьютерное моделирование.

Цели и задачи. Основной целью диссертации является развитие аппарата прикладной математической статистики, предназначенного для решения задач проверки статистических гипотез, за счет интенсивного использования методов компьютерного моделирования для исследования вероятностных и статистических закономерностей.

Для достижения этой цели решаются следующие задачи.

1. Построение более точных аппроксимаций законов распределений статистик критериев при конечных объемах выборок.

2. Сравнительный анализ мощности критериев и решение задачи выбора наиболее предпочтительного критерия при разных конкурирующих гипотезах.

3. Построение точных критических границ в последовательных критериях проверки статистических гипотез.

4. Оптимальное планирование эксперимента для различения двух статистических гипотез с заданными вероятностями ошибок I и II рода.

При этом в диссертации рассматриваются, главным образом, гипотезы о виде распределения (простые и сложные гипотезы, с оцениванием параметров законов распределений) и гипотезы однородности распределений.

Научная новизна диссертационной работы заключается: • в выявлении зависимости мощности непараметрических критериев согласия при проверке сложных гипотез от метода оценивания параметров; в сравнительном анализе мощности критериев Колмогорова, Крамера-Ми-зеса-Смирнова, Андерсона-Дарлинга;

• в построении точных критических границ последовательных критериев Вальда, Айвазяна и Лордена;

• в результатах сравнительного анализа мощности критерия однородности Андерсона-Дарлинга-Петита с другими критериями однородности относительно ряда близких альтернатив;

• в результатах сравнительного анализа мощности инвариантных критериев многомерной нормальности для ряда близких альтернатив;

• в выявлении зависимости оптимального объема выборки и стоимости проведения эксперимента от симметричной дивергенции Кульбака-Лейблера между распределениями в выборке случаев и в контрольной выборке при проведении полногеномного анализа ассоциаций по критерию МАХЗ;

• в оценке относительной эффективности критерия МАХЗ по сравнению с критерием тренда Кокрена-Армитеджа при оптимальном наборе коэффициентов.

Теоретическая и практическая значимость работы. В диссертационной работе численные методы и статистическое моделирование направлены на изучение закономерностей самой математической статистики, на уточнение условий, в которых корректно применение конкретных теоретических результатов математической статистики, на исследование постановок, появившихся в последнее время в связи с потребностями практики. Теоретическая значимость работы заключается в том, что полученные результаты развивают аппарат прикладной математической статистики.

Практическая значимость заключается в расширении сферы корректного применения ряда статистических критериев в приложениях, в повышении точности статистических выводов при проверке статистических гипотез, в случае применения последовательных критериев (за счет использования более точных критических границ) в сокращении средних объемов выборок, требуемых для принятия решения (следовательно, в сокращении стоимости проведения экспериментов).

Результаты исследований и средства моделирования включены в программные системы «Интервальная статистика» 18\У и конфигурации «НКЦ ИТР:Статистика 1.0», разработанной для платформы «1 С:Предприятие 8.2».

На основе результатов исследований свойств критериев согласия при проверке простых и сложных гипотез разработаны рекомендации по стандартизации Госстандарта РФ по правилам применения критериев согласия:

• Р 50.1.033-2001 (Рекомендации по стандартизации. Прикладная статистика.

5

Правила проверки согласия опытного распределения с теоретическим. Часть

I. Критерии типа хи-квадрат. - М.: Изд-во стандартов. - 2002. - 87 е.);

• Р 50.1.037-2002 (Рекомендации по стандартизации. Прикладная статистика.

Правила проверки согласия опытного распределения с теоретическим. Часть

II. Непараметрические критерии. - М.: Изд-во стандартов. 2002. - 64 е.).

Методология и методы исследования. Для решения поставленных задач

использовался аппарат теории вероятностей, математической статистики, статистического моделирования, математического программирования, теории принятия решений в условиях неопределенности.

Положения, выносимые на защиту:

1. Алгоритм определения точных критических границ для последовательных критериев Вальда, Айвазяна и Лордена;

2. Результаты исследования распределений статистик и сравнительного анализа мощности критериев согласия Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга при проверке сложных гипотез о виде распределения и различных методах оценивания параметров.

3. Результаты исследования распределений статистики и мощности критерия однородности Андерсона-Дарлинга-Петита, сравнительного анализа мощности с другими критериями однородности.

4. Результаты исследования распределений статистик и сравнительного анализа мощности критериев многомерной нормальности.

5. Результаты исследования распределений статистик и сравнительного анализа мощности критериев ассоциаций.

6. Алгоритмы оптимального планирования экспериментов при проведении полногеномного анализа ассоциаций.

Соответствие диссертации паспорту научной снециальности. Содержание диссертации соответствует п.5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях, разработка и исследование методов и алгоритмов анализа текстов, устной речи и изображений» паспорта специальности 05.13.17 - «Теоретические основы информатики» (в области технических наук).

Степень достоверности и апробация результатов. Результаты исследований докладывались на Российской научно-технической конференции «Информатика и проблемы телекоммуникаций" (Новосибирск, 1996, 2004, 2005, 2006, 2010, 2011); Международной научно-технической конференции «Информатика и проблемы телекоммуникаций» (Новосибирск, 1995, 1997, 1998, 1999,

2001, 2002); Российской научно-технической конференции "Обработка информационных сигналов и математическое моделирование" (Новосибирск, 2012, 2013); Международном симпозиуме по непараметрическим и робастным методам в кибернетике (Красноярск, 1995, Железногорск, 1997); Международных конференциях «Актуальные проблемы электронного приборостроения" (АПЭП) (Новосибирск, 1996, 1998, 2000, 2004, 2006, 2008, 2010, 2012); Международной научно-технической конференции «Микропроцессорные системы автоматики" (Новосибирск, 1996); Сибирском Конгрессе по Прикладной и Индустриальной Математике (ИНПРИМ) (Новосибирск, 1996); Межреспубликанском совещании по интервальной математике (Новосибирск, 1996); Международной конференции «Информационные технологии в моделировании и управлении» (Санкт-Петербург, 1996); Международной научно-методической конференции «Новые информационные технологии в университетском образовании» (Новосибирск, 1997); Международной научной конференции «Всесибирские чтения по математике и механике" (Томск, 1997); Международном совещании по интервальной математике (Красноярск, 1997); Международной конференции "Korea-Russia International Symposium of Science and Technology" (KORUS) (Ulsan, 1997, 2003; Novosibirsk, 1999; Tomsk, 2004); Международной конференции "Computer Data Analysis and Modeling: Robustness and Computer Intensive Methods" (CDAM) (Минск, 2004); Международной конференции "Mathematical Methods in Reliability. Theory. Methods. Applications" (MMR) (Москва, 2009); Международной конференции «Accelerated Life Testing, Reliability-based Analysis and Design» (ALT) (Clermont-Ferrand, France, 2010); Международной научно-практической конференции "Новые информационные технологии в образовании" (Москва, 2011, 2013); Международной конференции «Applied Stochastic Models and Data Analysis» (ASMDA) (Крит, Греция, 2007, Рим, 2011); Международной конференции "Applied Methods of Statistical Analysis. Simulations and Statistical Inference" (AMSA) (Новосибирск, 2011, 2013), Всероссийской конференции по вычислительной математике (КВМ) (Новосибирск, 2011), на семинаре "Многомерный статистический анализ и вероятностное моделирование реальных процессов" в ЦЭМИ РАН (Москва, 2012).

Работа выполнена при поддержке федеральной целевой научно-технической программы «Исследования и разработки по приоритетным направлениям развития науки и техники» на 2002-2006 годы (проекты № РИ-19.0/002/091, 2006-РИ-19.0/001/119), федеральной целевой программы «Научные и научно-педагогические кадры инновационной России 2009-2013 гг» (проекты НК-

421П, НК-15П/15, ГК № 02.740.11.5187, соглашение № 14.В37.21.0860), аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» (проект № 2.1.2/11855), грантов РФФИ (№ № 00-01-00913а, 06-01-00059а, 09-01-00056а), Министерства образования и науки РФ в рамках госзадания (проект 8.1274.2011). Результаты главы 7 получены во время научной стажировки в институте медицинской биометрии и статистики (г. Любек, Германия) при поддержке DAAD (грант А/11/76161).

Публикации. Основные результаты исследований по теме диссертации опубликованы в 106 печатных работах общим объемом 113 п.л., в том числе монография [1], 23 статьи в рецензируемых научных журналах (из них 19 статей в журналах, входящих в перечень изданий, рекомендуемых ВАК РФ) [224], учебные пособия с главами научного содержания [25-27], 78 публикаций в сборниках научных работ, трудах и материалах научных конференций. Получено пять свидетельств о государственной регистрации программ для ЭВМ [35-39].

Структура и объем работы. Диссертация состоит из введения, 8 глав основного содержания, заключения, списка литературы и приложений. Общий объем работы составляет 285 страниц, включая 58 таблиц, 82 рисунка и список литературы из 281 источника.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В первой главе рассмотрена методика компьютерного моделирования в применении к задачам проверки статистических гипотез. Сформулированы алгоритмы моделирования достигаемого уровня значимости и мощности статистического критерия. Рассмотрены вопросы определения необходимого числа повторений метода Монте-Карло для получения заданной погрешности. Предложена методика определения скорости сходимости распределения статистики к предельному закону.

Компьютерное моделирование уже много лет успешно применяется при изучении сложных объектов во многих областях науки и техники. Одним из методов компьютерного моделирования является метод Монте-Карло (или метод статистических испытаний), который базируется на получении большого числа реализаций стохастического (случайного) процесса.

С помощью метода Монте-Карло решается множество задач в математике, физике, химии, экономике, социологии и других науках. В настоящей работе метод Монте-Карло применяется для решения теоретических задач мате-

матической статистики, в частности в применении к задачам проверки статистических гипотез.

Статистической гипотезой называется любое утверждение о виде или свойствах распределения наблюдаемых в эксперименте случайных величин. Обычно статистические гипотезы делят на следующие виды: однородности, если имеется две или более выборок случайных величин; независимости, если имеется выборка многомерной случайной величины; случайности, если есть предположения о наличии в последовательности наблюдений систематических изменений; о виде распределения, если есть предположения о законе распределения случайной величины.

Гипотезу, которую мы проверяем, будем называть основной или нулевой гипотезой, и будем всегда обозначать Н0. Альтернативные или конкурирующие гипотезы будем обозначать НХ,Н2, ..., Нт.

Для проверки одной и той же гипотезы, как правило, существует несколько различных статистических критериев Тх, Т2,..., Тк. Выбор подходящего статистического критерия, вообще говоря, не является тривиальной задачей. Можно сформулировать следующие принципы подбора статистических критериев.

1. Должны выполняться "стандартные" предположения, обуславливающие возможность применения рассматриваемого критерия (например, о виде распределения случайной величины и о наблюдаемых данных).

2. Критерий должен быть состоятельным, т.е. его мощность должна стремиться к единице с ростом объема выборки.

3. Критерий должен быть несмещенным, т.е. мощность должна быть больше, чем вероятность ошибки первого рода.

4. Критерий должен обладать наибольшей мощностью при заданном объеме выборки и заданном уровне значимости критерия.

Реализация последнего принципа на практике, как правило, оказывается невозможной, потому что построить наиболее мощный критерий удается только в очень редких случаях, например, когда основная и конкурирующая гипотезы являются простыми. Чаще всего, для разных конкурирующих гипотез, для разных уровней значимости, для разных объемов выборки, более мощными оказываются различные критерии.

В такой ситуации для выбора оптимального критерия можно применить классическую теорию принятия решений в условиях неопределенности. В этом случае критерии отождествляются со стратегиями, конкурирующие гипотезы -

9

с состояниями среды, функция полезности и(7],Яу.) - это мощность критерия.

Другим способом задания функции полезности при выборе критерия может быть стоимость проведения эксперимента по различению основной и конкурирующей гипотез с заданными вероятностями ошибок I и II рода.

Существуют разные подходы к выбору оптимальной стратегии при принятии решения в условиях неопределенности. Когда нет никакой информации о том, какая конкурирующая гипотеза может быть верна, рациональным выглядит выбор критерия по правилу Вальда:

Т' = а.щ шах гшп и (7], Я,).

Критерий, выбранный по правилу Вальда, максимизирует полезность против самой «неудобной» конкурирующей гипотезы.

Вычисление достигаемого уровня значимости (р-уа1ие) относительно просто, когда известно теоретическое распределение статистики критерия при справедливости основной гипотезы. Однако возможны ситуации, когда:

• неизвестен аналитический вид закона распределения статистики;

• известен только асимптотический закон распределения статистики;

• закон распределения статистики меняется от объема выборки, от метода оценивания параметров, от доли цензурирования и т.п.

В таких ситуациях для вычисления /?-уа1ие можно эффективно применить метод Монте-Карло (алгоритм 1.1).

Алгоритм 1.1. Вычисление достигаемого уровня значимости статистического критерия методом Монте-Карло.

Входные данные: гипотеза Я0, выборка Хп, количество повторений Ы, функция

вычисления статистики критерия Б(Хп).

Действия.

1.Вычислить 8 = 3(Хп) - статистику критерия по выборке.

2.Установить т = 0.

3.Сгенерировать выборку Уп при верной гипотезе Щ.

4.Вычислить значение 5(У„).

5.Если 5(У„)>5'(Х„),то т = т + \.

6. Повторять шаги 3-5 N раз.

Выходные данные", оценка достигаемого уровня значимости (р-уа1ие) равна

tn „

• p = — для правосторонней критическои области;

N

я 777

• р = 1--для левосторонней критической области;

N

• р = 2min Для двусторонней критической области.

Для вычисления мощности статистического критерия необходимо знать распределения статистики критерия при основной и конкурирующей гипотезах. Если распределение статистики критерия при верной основной гипотезе часто можно получить при достаточно общих предположениях, то распределение статистики критерия при верной конкурирующей гипотезе найти аналитическими методами очень сложно. Естественно, что это распределение будет зависеть от множества факторов: от вида конкурирующей гипотезы, от объема выборки, от метода оценивания параметров (если он используется при вычислении статистики), от процента цензурирования (для цензурированных выборок) и т.п. Поэтому основным методом проведения исследований, связанных со сравнительным анализом мощности статистических критериев, является метод Монте-Карло.

Для вычисления мощности критерия по методу Монте-Карло можно воспользоваться алгоритмом 1.2.

Алгоритм 1.2. Вычисление мощности статистического критерия методом Монте-Карло.

Входные данные: гипотеза Нх, критическая область Wa с уровнем значимости а, количество повторений N, функция вычисления статистики S(Yn) по выборке Yn. Действия.

1. Установить т = 0.

2. Сгенерировать выборку Yn при верной гипотезе Я,.

3. Вычислить значение S(Yn).

4. Если критическая область правосторонняя и S(Yn)e Wa, то т = т +1.

5. Повторять шаги 2-4 N раз. Выходные данные: оценка мощности равна

Оценка точности характеристик и необходимое число реализаций (повторений) в методе Монте-Карло приводится в книге Вентцель Е.С. (Вентцель Е.С. Исследование операций. М.: Советское радио, 1972. - 552 е.), причем рассматривается простейший случай, когда с помощью метода Монте-Карло оценивается вероятность наступления некоторого события. В параграфе 1.7 диссертации рассмотрена задача определения количества повторений при оценивании функции распределения, процентных точек (квантилей распределения статистики критерия) и мощности статистического критерия.

Погрешность оценивания достигаемого уровня значимости р с доверительной вероятностью у равна

7 Jn '

(1)

где. -

квантиль стандартного нормального распределения.

•'"12

Отсюда количество повторений, при котором погрешность моделирования не превышает £, равно

".2 Р(\~Р)

N--

+ 1,

(2)

где [•] означает целую часть.

В качестве оценки процентной точки порядка р используется выборочная квантиль, вычисляемая по формуле

t„ =

(3)

Известно, что данная статистика в асимптотике имеет нормальное распределение с математическим ожиданием и дисперсией

г п -1 Г "1 рО-р)

где /(х) - функция плотности. Тогда формулы (1) и (2) для оценивания значения .Р-1 (р) с помощью выборочной квантили примут вид

£ = Г„

JpQ-p)

f(F-\p))yfN'

N =

P(l-P)

£2f\F'l(p)).

+ 1.

(4)

На оценку мощности методом Монте-Карло накладываются две погрешности - первая при определении процентной точки и вторая - при вычислении вероятности ошибки второго рода. Оценка погрешностей в этом случае оказывается более сложной задачей, чем оценка погрешностей при вычислении процентных точек. С помощью метода Монте-Карло на ряде примеров было показано, что распределение погрешности подчиняется нормальному закону, параметры которого зависят от распределений статистики, поэтому для оценивания мощности предложено выполнять моделирование сериями с последующим вычислением доверительного интервала.

В первой главе предложен также алгоритм оценивиания скорости сходимости распределения статистики к предельному закону.

Во второй главе рассмотрены критерии различения двух простых гипотез, как с фиксированным объемом выборки, так и для случая, когда объем определяется в процессе выполнения наблюдений. Рассмотрена симметричная дивергенция Кульбака-Лейблера и ее связь с процедурой оптимального планирования эксперимента по различению двух простых гипотез. Предложен численный алгоритм для определения оптимального объема выборки для критерия отношения правдоподобия.

Различение двух простых гипотез, когда и основная, и конкурирующая гипотезы полностью определены, является самым простым случаем проверки гипотез. Фундаментальный результат в этой ситуации был получен в 1933 году Нейманом и Пирсоном, которые установили, что наиболее мощным критерием при различении двух простых гипотез является критерий отношения правдоподобия.

Позднее Вальдом был предложен последовательный критерий отношения правдоподобия (БРЯТ), в котором объем выборки не фиксируется заранее, а определяется в процессе наблюдения. Вальдом и Вольфовицем в 1948 году было доказано, что БРЯТ имеет минимальный средний объем выборки среди всех критериев при заданных вероятностях ошибок первого и второго рода. Критерий с фиксированным объемом выборки можно рассматривать как частный случай последовательного критерия, поэтому свойство оптимальности БРЯТ распространяется как на последовательные критерии, так и на критерии с фиксированным объемом выборки.

Вальд также нашел нижнюю границу среднего объема выборки любого последовательного критерия, как функцию от вероятностей ошибок первого и второго рода, деленную на меру различия функций распределения основной и

конкурирующей гипотез, позднее названную дивергенцией Кульбака-Лейблера. Дивергенция Кульбака-Лейблера есть средняя информация, которую несет одно наблюдение для различения основной гипотезы от конкурирующей.

Экономичность последовательного критерия отношения правдоподобия по сравнению с критерием принятия решения по выборке фиксированного объема, т.е. выигрыш в среднем числе наблюдений, была оценена А. Вальдом и уточнена С.А. Айвазяном.

Несмотря на то, что последовательная процедура различения двух простых гипотез является самой «экономичной» по числу наблюдений, условия проведения эксперимента не всегда позволяют выполнять последовательную процедуру проверки гипотезы. В связи с этим возникает задача оптимального планирования статистического эксперимента, которая заключается в выборе критической области и объема выборки таким образом, чтобы вероятности ошибок первого и второго рода были меньше или равны заданным значениям.

Значительный вклад в определение необходимого объема выборки для разных статистических критериев внес Н.И. Володин.

Пусть относительно вида распределения случайной величины ^ сделаны два предположения: гипотеза Н0 о том, что распределение имеет плотность /¡¡(х), и гипотеза Нх о том, что распределение имеет плотность /¡(х). Если случайная величина дискретная, то /(х) обозначает вероятность события <?=х. Так как гипотезы полностью определены, то это простые гипотезы.

Для различения двух гипотез Но и Н\ проводятся наблюдения случайной величины х1,х2,...,хП. Момент прекращения наблюдения (п) может быть выбран заранее, тогда это процедура проверки статистической гипотезы с фиксированным объемом выборки, или определяться в процессе наблюдения - при последовательной процедуре проверки гипотезы.

Отношение г. = 1п называется информацией о различии между

/о(*,)

гипотезами Н0ш Ни которую несет одно наблюдение х1. Среднее значение информации о различии между Н0 и Нх называется дивергенцией Кульбака-Лейблера

Симметричная дивергенция Кульбака-Лейблера определяется выражением

р(Я0,Я1) = ДЯ0,Я1) + /?(ЯрЯ0)=Г(/(дс)-/0(х))/0(х)1п^А. (6)

* лм

Критерий отношения правдоподобия строится на основании статистики отношения правдоподобия

д тт/ОО, (7)

или)

или ее логарифма

С точки зрения теории информации статистика отношения правдоподобия Хп равна информации, содержащейся во всей выборке, о различии между гипотезами Я0 и Пл.

Гипотеза Но отвергается по критерию отношения правдоподобия, если Л„>/а, где критическое значение определяется из условия Р{ЯП > Я0] = а.

Все рассмотренные способы нахождения необходимого объема выборки -являются асимптотическими - требуется либо стремление вероятностей ошибок первого и второго рода к нулю, либо сближение основной и конкурирующей гипотез. В то же время, можно воспользоваться методом Монте-Карло для определения необходимого объема выборки, используя следующее свойство логарифма статистики отношения правдоподобия

Формула (9) означает, что очередное значение Яп можно получить, зная предыдущее В результате получается алгоритм 2.1, в котором А° и - у'-я

реализация статистики отношения правдопоподбия по выборке объема /, при верных гипотезах Я0 и Я,, соответственно.

Алгоритм 2.1. Определение необходимого объема выборки для критерия отношения правдоподобия по точечным наблюдениям.

Входные данные: гипотезы Я0 и Я,, вероятности ошибок первого и второго

рода а и /?, количество повторений N.

Действия.

¡.Задать начальные значения: i = l,Aj¡J = 0 и = О, / = 1,Л'. Вычислить £м по формуле (1), гдер=/?, ^ = 0.99.

2. Смоделировать случайные величины х° и х\, подчиняющиеся законам

распределения в соответствии с гипотезами Н0 и Н1, 7 = 1,//.

3.Вычислить =Л°... и 1'=2' ... 7 = 1^

4. Вычислить га - критическое значение статистики критерия при уровне

значимости а по выборке _/ = 1,7У| по формуле (3), где ц = 1 — а.

5.Вычислить оценку вероятности ошибки второго рода Д, как количество Я!, не превосходящих 1а, деленное на N.

6. Если Д > /? — , то увеличить индекс / := / +1 и перейти на шаг 2. Выходные данные: оценка необходимого объема выборки п = /.

Пример использования алгоритма 2.1 приведен в таблице 1 в сравнении с различными теоретическими оценками необходимого объема выборки для проверки гипотезы о нормальном распределении против логистичесого распределения с заданными вероятностями ошибок первого и второго рода. Результаты моделирования показывают, что необходимый объем выборки больше, чем асимптотическая оценка при сближении гипотез, полученная Айвазяном, но меньше, чем асимптотическая оценка, полученная при использовании центральной предельной теоремы.

Таблица 1 - Необходимый объем выборки для различения нормального и

логистического распределений

а Р Оценка снизу по Вальду Оценка снизу Оценка Айвазяна Асимптотическая оценка Алг. 2.1 при N = 1660000

0,05 0,05 253 278 436 548 472

0,01 0,01 429 555 871 1095 935

10" 10" 657 978 1537 1932 1640

В параграфах 2.7-2.8 рассмотрена задача оптимального группирования при различении двух простых гипотез по критерию отношения правдоподобия. Очевидно, что группирование наблюдений приводит к потере информации, и эти потери зависят от выбора способа группирования данных. На практике обычно строят интервалы равной длины или, в лучшем случае, интервалы равной вероятности. Однако еще в 1951 Кульбак и Лейблер предлагали выполнять

группирование, минимизируя потери информации о различии между законами, соответствующими основной и конкурирующей гипотезам.

В общем виде задача оптимального группирования имеет следующий вид. Пусть область определения случайной величины ^ разбита на к интервалов граничными точками </2 <...</м. Нижняя граница области определения равна , верхняя граница равна 4. Требуется найти такие точки < /2 <... < 1к_х, при которых достигается максимум дивергенции Кульбака-Лейблера по группированной выборке:

(10)

г, I,

где Рш = | /0(х)ск и Ри = | Л(х)ск - вероятности попадания в интервал при основной и конкурирующей гипотезах соответственно.

Существует взаимосвязь между дивергенцией Кульбака-Лейблера и информационной матрицей Фишера (Кульбак С. Теория информации и статистика. М.: Наука, 1967. - 408 с). Пусть /п(х) = /(х,в), /1(х) = /(х,в +Лв). Тогда

1

где /(в) = Е

Э1п/(х,0)п2 дв

ЩНа,Нх) ~ —I(в)(Ав) , (12)

информационное количество Фишера. Таким обра-

зом, если конкурирующие гипотезы принадлежат одному параметрическому семейству, то максимизация дивергенции Кульбака-Лейблера эквивалентна максимизации информационного количества Фишера.

Автором покзано, что оптимальное группирование (10) максимизирует мощность критерия х~, когда основная и конкурирующая гипотеза принадлежат различным семействам распределений.

В третьей главе рассмотрены последовательные критерии различения двух гипотез о виде распределения Вальда, Айвазяна и Лордена. Предложен алгоритм для оценивания точных критических границ с помощью компьютерного моделирования. Проведено численное сравнение среднего объема выборки для последовательных критериев с использованием приближенных границ и оценок точных границ.

В последовательном критерии Вальда используется статистика критерия отношения правдоподобия (8), где объем выборки увеличивается (процедура проверки продолжается) до момента наступления одного из событий: Яп>с1, тогда принимается гипотеза Н1, или Лп < с0, тогда принимается гипотеза Н0. При этом границы с0, с, определяются по приближенным формулам.

Последовательный критерий отношения правдоподобия является оптимальным по величине среднего объема выборки, требуемого для различения двух простых гипотез. Однако его оптимальность нарушается, если ни одна из заданных гипотез не верна. В этом случае средний объем выборки увеличивается, вплоть до того, что процедура различения двух простых гипотез может стать бесконечной.

Для решения данной проблемы, получившей название «проблема Ки-фера-Вейсса», были предложены различные процедуры усечения последовательного критерия отношения правдоподобия. Андерсоном был сформулирован оптимальный обобщенный критерий отношения правдоподобия (СБРЯТ), который имеет ограниченную область неопределенности и минимальный средний объем выборки. С.А. Айвазяном в 1965 году была найдена линейная аппроксимация СБРЯТ в виде треугольной области неопределенности. Другое решение проблемы Кифера-Вейсса было предложено Лорденом в 1976 году в виде одновременной проверки двух пар гипотез (2ЯРЯТ).

Последовательные критерии Вальда, Айвазяна и Лордена используют приближенные критических границы, применение которых приводит к увеличению среднего объема выборки. В 1977 году Каннер с помощью метода Монте-Карло нашел оценки точных критических границ при различении двух биномиальных распределений.

Обширные исследования последовательных критериев были проведены С .Я. Гродзенским, И.С. Гродзенской и Я.С. Гродзенским. В частности, И.С. Гродзенская разработала последовательный критерий с параболическими границами, параметры которых определяются при помощи моделирования.

Следует отметить, что во всех рассмотренных работах основная и конкурирующая гипотеза принадлежат одному и тому же семейству распределений. Однако не существует никаких препятствий использовать эти критерии для распределений из разных семейств. В частности, в данной главе все результаты получены при рассмотрении двух пар простых конкурирующих гипотез: нормального распределения против логистического и распределения Вейбулла-Гнеденко против гамма-распределения.

Переход от задачи различения двух гипотез из разных семейств распределений к задаче проверки параметрической гипотезы из одного семейства решается таким же образом, как в п. 2.7 диссертации, путем рассмотрения смеси распределений g{x,в) = {\. — в)f(s{x) + вf^{x) при основной и конкурирующей гипотезах. Тогда проверка гипотезы Н0:/(х)= /0(х) против //,:/{х) = /х(х) эквивалентна проверке параметрической гипотезы Н0:в = 0 против Н{: в — 1, где в - параметр смеси g{x,в).

Использование приближенных границ вместо точных в последовательных критериях приводит к увеличению среднего объема выборки. Найти точные критические границы с помощью аналитических методов очень сложно вследствие того, что при вычислении вероятности ошибок первого и второго рода случайные величины Д и (статистики отношения правдоподобия на г'-м и на

j-м шаге) являются зависимыми. Однако это не является препятствием для оценивания вероятностей ошибок первого и второго рода для последовательных критериев с помощью метода Монте-Карло, как было показано автором в работе [24], для чего может быть использован алгоритм 3.1. Алгоритм 3.1 Алгоритм оценивания вероятности ошибки первого рода для последовательных критериев методом Монте-Карло

1. Выбирается область моделирования на основании приближенных границ последовательного критерия.

2. Строится сетка с маленьким шагом на выбранной области. Для каждого узла сетки счетчик числа ошибок т(с0, с,) устанавливается равным нулю.

3. Моделируется случайная величина в соответствии с гипотезой Н0.

4. Вычисляется статистика критерия.

5. Проверяется условие выхода для каждого узла сетки (с0, с,). Если в узле (с0,с,) произошла ошибка первого рода, т.е. была принята гипотеза Нх, то счетчик т(с0, с,) увеличивается на единицу.

6. Если для какой-то точки сетки условие выхода не выполнено, то следует перейти на шаг 3.

7. Шаги 3-6 повторяются N раз.

8. Для каждой точки сетки оценка вероятности ошибки первого рода вычисляется по формуле:

где т(са, с,) - количество ошибок первого рода в узле (с0, с,).

Для вычисления вероятности ошибки второго рода используется аналогичный алгоритм, только на шаге 3 моделирование случайной величины проводится по закону распределения, соответствующему конкурирующей гипотезе Н1, а на шаге 5 накапливается количество ошибок второго рода, когда принимается гипотеза Н0.

В результате моделирования получаем две функции а(с0, с,) и /?(с0,с,). Для нахождения точных критических границ с0, с, необходимо решить систему

Алгоритм 3.1 и решение системы (12) позволяют оценить точные критические границы, однако у данного подхода имеется ряд недостатков. Во-первых, оценка вероятностей ошибок первого и второго рода по результатам моделирования требует достаточно много времени. Во-вторых, алгоритм 3.1 дает оценки вероятностей ошибок первого и второго рода, но не дает самих критических границ, которые приходится находить, решая систему (12).

Причина излишней трудоемкости алгоритма 3.1 заключается в избыточном количестве узлов, в которых вычисляются оценки вероятностей ошибок первого и второго рода. На самом деле область моделирования, заданная приближенными границами, слишком большая. Если требуется найти одну точку (с0,с,), в которой выполняются равенства (12), то можно локализовать ее окрестность при относительно небольшом числе повторений. По этому принципу построен адаптивный алгоритм 3.2 нахождения критических границ, когда сетка сгущается в области, близкой к заданным вероятностям ошибок первого и второго рода.

Алгоритм 3.2. Алгоритм оценивания точных критических границ последовательных критериев

1. Выбирается область, которая содержит критические границы с0, с, для заданных вероятностей а и .

2. Строится сетка из (кхк) узлов.

3. Вычисляются оценки а(са,сх) и по алгоритму 3.1.

4. Находится узел О,Л, Для которого достигается

(12)

а = шш шах ||«(с0/, с1у.) - а\ ,|Дс0,, с|у) - /?|]

20

5. Если <Л<е & тах

'Ю-/?) ^ 1

<£, где N - количество

повторов по методу Монте-Карло при справедливости основной гипотезы Н0, Ир - количество повторов при справедливости конкурирующей

гипотезы Я,, то (с0;,с17) - искомые критические границы, выход.

6. Строится новая область с центром в найденном узле (/,_/). Размер области уменьшается, если найденный узел находится внутри области, иначе размер остается прежним.

7. Если погрешность моделирования больше £, то Ыа := 2 • Ыа, NN р.

8. Переход на шаг 2.

Использование оценок точных критических границ для последовательных критериев проверки гипотез позволяет существенно снизить средний объем выборки наблюдений, требуемый для принятия решения о результатах проверки. На рассмотренных примерах (для вероятностей ошибок первого и второго рода 0.05) показано, что более существенный выигрыш в требуемом для принятия решения объеме выборки имеет место для критерия Лордена (до 30% если рассматриваетсяе нормальное распределение против логистического, и до 35% если рассматривается распределение Вейбулла-Гнеденко против гамма-распределения) и для критерия Айвазяна (до 31% и до 37% соответственно). В то же время, выигрыш в случае критерия Вальда составляет 11% при проверке гипотезы о нормальном распределении против логистического закона и 23% при проверке гипотезы о распределении Вейбулла-Гнеденко против гамма-распределения. Очевидно, что преимущество в требуемом объеме выборок от использования оценок точных критических границ меняется в зависимости от значений вероятностей ошибок первого и второго рода и вида проверяемых гипотез [18].

Предложенный автором алгоритм оценивания точных критических границ для различения двух простых гипотез позволяет осуществить процесс поиска за сравнительно небольшое время. Использование метода Монте-Карло для нахождения критических границ позволяет расширить круг задач, решаемых методами последовательного анализа, возможностью проверки гипотез по цензурированным и группированным данным.

Использование метода Монте-Карло для нахождения критических границ возможно также и при проверке сложных гипотез, однако в этом случае при по-

становке задачи о проверке гипотез должны быть заданы дополнительные ограничения на возможные значения неизвестных параметров [18].

В четвертой главе рассмотрены непараметрические критерии согласия Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга и их обобщение для проверки сложных гипотез. Показано, что распределения статистик и мощность критериев зависят от используемого метода оценивания

В работах [9,10,12,14,15,16] представлены результаты исследований мощности ряда критериев согласия в случае проверки простых и сложных гипотез. Для двух рассматриваемых пар конкурирующих гипотез были проанализированы мощности критериев %2 Пирсона (при разных способах группирования и числе интервалов), Колмогорова, Смирнова, Крамера-Мизеса-Смирнова, Андерсона-Дарлинга и сделаны выводы о предпочтительности тех или иных критериев в разных условиях.

В работе [14] при проверке сложных гипотез с использованием всех исследуемых критериев согласия для оценивания неизвестных параметров применялся метод максимального правдоподобия (ММП). Метод оценивания параметров закона распределения влияет на законы распределения статистик непараметрических критериев согласия при проверке сложной гипотезы о виде распределения и, следовательно, влияет на мощность критериев согласия, что было показано в 2001 году [11].

В работах [13] рассматривается применение критериев согласия для проверки адекватности непараметрических моделей при использовании ядерных оценок функции плотности с ядром Епанечникова.

В работе [19] получены результаты исследования мощности непараметрических критериев согласия при тех же альтернативах, что и в работе [14], но с применением методов оценивания, отличных от ММП, а именно: метода минимального расстояния Колмогорова, метода минимального расстояния ю2 Ми-зеса, метода минимального расстояния О.2 Мизеса (.МО-оценки) и метода оценивания по порядковым статистикам (¿-оценки).

Сравнивая полученные значения мощности при оценивании обоих параметров нормального закона распределения, можно заметить, что рассмотренные критерии имеют большую мощность при использовании метода максимального правдоподобия. Это хорошо иллюстрирует рисунок 1, на котором приведены распределения статистики критерия Андерсона-Дарлинга при проверке сложной гипотезы Н0 о согласии с нормальным распределением против

гипотезы Я,, соответствующей логистическому закону. Распределения статистик критериев, соответствующие справедливости Нх, наиболее сильно сдвинуты вправо именно при использовании оценок максимального правдоподобия.

6(3)

0,75 0,90 1,05 1,20 1,35 1,50

Рисунок 1 - Распределения статистики критерия £12 Андерсона — Дарлинга

О(8п|Н0) и 0(8п|Н]) при проверке сложной гипотезы Н0о согласии с нормальным законом в случае использования разных методов оценивания параметров при объеме выборки 500 наблюдений Анализируя результаты оценки мощности критериев относительно двух пар конкурирующих гипотез (нормальное распределение против логистического и распределение Вейбулла-Гнеденко против гамма-распределения), можно отметить следующее.

В тех случаях, когда при проверке сложной гипотезы оцениваются оба параметра или только параметр масштаба, рассмотренные критерии согласия обладают большей мощностью, как правило, при использовании метода максимального правдоподобия.

Однако при сложной гипотезе, в процессе проверки которой оценивается только параметр сдвига нормального распределения, критерии оказываются более мощными при использовании оценок, получаемых в результате минимизации статистики применяемого критерия согласия.

В то же время при проверке сложной гипотезы относительно распределения Вейбулла-Гнеденко с оцениванием только параметра формы закона критерии показали более высокую мощность в случае использования оптимальных Ь-оценок по выборочным квантилям.

Таким образом, распределения статистик непараметрических критериев согласия при проверке сложных гипотез зависят от вида проверяемой гипотезы и существенно зависят от метода оценивания [6]. Метод оценивания параметров оказывает существенное влияние на мощность непараметрических критериев [11]. Если подходить к выбору метода оценивания с позиций максимизации мощности используемого критерия, то в общем случае предпочтение следует отдать, как и было показано в [11], методу максимального правдоподобия. К тому же оценки максимального правдоподобия обладают наилучшими статистическими свойствами.

В то же время, как показывают результаты данных исследований, в "частных" случаях сложных проверяемых гипотез (при оценивании части параметров), преимущество в мощности (конечно, это зависит от конкурирующей гипотезы) может быть за другим методом оценивания. Вообще говоря, это открывает некоторые перспективы. Если нас интересует задача построения критерия максимальной мощности, можно (в зависимости от вида сложной гипотезы) для заданной пары конкурирующих законов выбрать тот метод оценивания, при котором мощность соответствующего критерия будет наиболее высокой [19].

В пятой главе рассмотрены критерии проверки однородности распределений Смирнова, Лемана-Розенблатта и Андерсона-Дарлинга-Петита, исследована мощность последнего по сравнению с двумя первыми. Проведено сравнение мощности ряда критериев однородности на данных типа времени жизни для альтернатив с пересечениями и без пересечений функций распределения.

Гипотеза однородности - это предположение о том, что две (и более) выборки взяты из одной и той же генеральной совокупности. Для данной гипотезы неважно, какое именно распределение имеет генеральная совокупность, поэтому «идеальный» критерий однородности не должен зависеть от вида закона распределения случайной величины.

В работе (Лемешко Б.Ю., Лемешко С.Б. О сходимости распределений статистик и мощности критериев однородности Смирнова и Лемана-Розенблатта // Измерительная техника. 2005. № 12. - С.9-14.) представлены результаты исследований критериев однородности Смирнова и Лемана-Розенблатта. Эти критерии являются двухвыборочными аналогами критериев согласия Кол-

могорова и Крамера-Мизеса-Смирнова соответственно. В работах [14-16] по сравнительному анализу мощности критериев согласия относительно ряда конкурирующих гипотез было показано, что из рассмотренных непараметрических критериев согласия Колмогорова, Крамера-Мизеса-Смирнова и Андерсона-Дарлинга наиболее мощным, как правило, оказывается критерий Андерсона-Дарлинга.

По-видимому, первое исследование критерия Андерсона-Дарлинга как критерия однородности было проведено Петитом в 1976 году. Позднее Шольц и Стефенс обобщили этот критерий на случай к выборок. В данной главе проведены исследования мощности критерия однородности Андерсона-Дарлинга-Петита для ряда фиксированных альтернатив и выполнено его сравнение с другими критериями однородности.

Двухвыборочный аналог критерия Андерсона-Дарлинга имеет вид

т + п1(.1-Нт+„(х))Нт+п(х) т+Д Петитом в 1976 году получено простое выражение для статистики (13)

Л2_ 1 ^-'(М.Ст + ^-ш)2 (14)

тп ¡(т + п — г)

где М1 - число элементов из первой выборки, меньших или равных г'-му элементу вариационного ряда объединенной выборки.

Для исследования того, насколько значительно распределение статистики А2 при ограниченных объемах сравниваемых выборок отличается от предельного закона а2(() (насколько быстро распределение статистики А2 сходится к предельному закону), использовалась методика исследования скорости сходимости распределения статистики к предельному, описанная в главе 1 диссертации (п. 1.8).

Моделировались выборки одинакового объёма от и и от 5 до 50. По каждой выборке вычислялась статистика А2. Процедура повторялась N раз (N=1660000). Расстояние до предельного закона распределения вычислялась по формуле

А^=зир|С„„(х)-С?(4 (15)

где Сп д, (х) - эмпирическая функция распределения статистики при конечном и, а Сг(.т) - предельное распределение статистики.

Расстояние £)пЛ, уменьшается с ростом числа наблюдений в выборках и при п = т> 15 описывается степенной зависимостью с высоким коэффициентом детерминации, а скорость сходимости примерно равна О (и"0,93). Для того

чтобы расстояние (15) от распределения статистики А2 до предельного закона распределения а2(1) не превышало 0,01 достаточно взять выборки объемом 45 наблюдений.

В работе [32] проведено исследование различных критериев однородности по данным типа времени жизни. Были рассмотрены критерии проверки гипотезы однородности Смирнова, Лемана-Розенблата, Андерсона-Дарлинга-Пе-тита, Вилкоксопа, логарифмический ранговый критерий, (^-критерий, критерий Багдонавичуса-Никулина при близких конкурирующих гипотезах.

Результаты исследований позволяют сделать следующие выводы.

1.Мощность критерия Андерсона-Дарлинга-Петита, как правило, превосходит мощность критериев Смирнова и Лемана-Розенблатта, особенно при близких альтернативах.

2. При проверке гипотезы однородности по данным типа времени жизни для альтернативы с пересечениями функций распределения наибольшую мощность имеет критерий Багдонавичуса-Никулина, а для альтернативы без пересечений - логранговый критерий.

3. Если вид конкурирующей гипотезы неизвестен, то наиболее предпочтительными по правилу Вальда оказываются критерии Лемана-Розенблатта, Андерсона-Дарлинга-Петита и Багдонавичуса-Никулина.

В шестой главе рассмотрены инвариантные критерии проверки гипотезы о многомерной нормальности. Исследованы вопросы сходимости распределений статистик критериев многомерной нормальности к предельному закону. Найдены аппроксимации законов распределения статистик критериев радиуса. Проведено сравнение мощности инвариантных критериев многомерной нормальности.

Выполнение предположения о нормальности многомерной случайной величины является необходимым условием корректного применения большинства классических критериев многомерного статистического анализа. Например, многомерная нормальность предполагается при проведении дисперсионного анализа (МАМОУА), дискриминантного анализа и многомерной регрессии. Исследования, проведенные Хопкинсом и Клаем, Мардия, Коновером и Иманом показали важность выполнения предположения о многомерной нор-

мальности, неробастность многих процедур и влияние на корректность результатов анализа нарушения предположения о нормальности данных.

Для проверки многомерной нормальности разработаны специальные статистические критерии. В данной главе рассмотрены критерии, которые являются подмножеством класса инвариантных критериев проверки многомерной нормальности, приведенные в обзоре Хенце в 2002 году.

В многомерном случае нормальное распределение является симметричным, поэтому его коэффициент многомерной асимметрии равен нулю, а коэффициент эксцесса зависит от размерности с] случайной величины и равен ¿/(¿/ + 2). Критерии, основанные на вычислении коэффициентов асимметрии и эксцесса, исследовались многими авторами. В 1970 году Мардия предложил критерии проверки гипотезы о принадлежности многомерной выборки нормальному закону, в которых статистики критериев основывались на выборочных коэффициентах асимметрии и эксцесса. Мори, Рохатги и Шекпи предложили свою модификацию критерия, основанного на вычислении коэффициента асимметрии. В 1984 Шривастава предложил использовать разложение ковариационной матрицы на собственные вектора в критериях проверки многомерной нормальности

Другой подход к проверке многомерной нормальности основан на полярной декомпозиции — представлении нормального вектора в виде произведения угловой части и радиуса. При этом угловая часть имеет равномерное распределение на поверхности единичной сферы, а квадрат радиуса подчиняется распределению.

Критерии нормальности, основанные на полярной декомпозиции, исследовались в работах автора [29, 30].

Пусть Хх, Х2, ... , Хп последовательность независимых случайных семерных векторов Хп N¿(¿1,1.) - ¿/-мерное нормальное распределение с вектором математического ожидания М = [М,,...,М1/] и ковариационной матрицей 2. Функция плотности многомерного нормального закона имеет вид

1 —(Х-М)ТЕ"'(^-М)

• <16)

Обозначим через — класс всех невырожденных ¿/-мерных нормальных распределений. Задача проверки многомерной нормальности состоит в проверке гипотезы: #0 : Рх е N4, где Рх - распределение вектора X .

Среди множества критериев проверки многомерной нормальности выделяются инвариантные критерии. Критерий называется инвариантным относительно аффинных преобразований, если выполняется следующее условие: по выборкам {X,, Х2, ... XJ и {AXl+b,AX1+b, ...АХп+Ь} они должны с одинаковой вероятностью отклонять или принимать гипотезу Н0. Следовательно, любая статистика Т„ = Тп(Хх,...,Х„) инвариантного критерия проверки гипотезы Я0 должна удовлетворять условию инвариантности: Tn(AXl+b,...,AX„+b) = Tn(Xx,...,Xn), для произвольного вектора be RJ и

невырожденной матрицы А е R'/yJ.

В основе критериев типа «радиуса» лежит статистика:

=А,, = \К II2={Ху-Хл )т s;' (Х;-Х„), (17)

1 п \ П __у

где Xn=-^Xj, S„=-^L{X]-Xn){Xj-Xl) , которая асимптотически п м п У=1

распределена по xl -распределению.

Пусть Gd{t) - функция ^-распределения. Тогда проверка гипотезы о нормальности эквивалентна проверке гипотезы о том, что статистика (17) подчинена Xd -распределению. Это можно сделать с помощью критериев согласия, описанных в главе 4 диссертации. В 1982 году Козиол предложил использовать статистику Крамера-Мизеса, в 1987 году Полсон, Рухон и Сулло предложили использовать критерий Андерсона-Дарлинга.

Гипотеза о том, что статистика (17) подчинена ^-распределению, является простой. Но так как Dn л являются зависимыми друг от друга величинами, то распределения статистик критериев согласия при справедливости проверяемой гипотезы в данном случае отличаются от предельных законов, имеющих место при проверке простых гипотез о выборках независимых одинаково распределенных случайных величин.

В таких ситуациях распределения статистик критериев Колмогорова, Ан-дерсона-Дарлинга и Крамера-Мизеса зависят от размерности d и хорошо аппроксимируются бета-распределениями Ш-го рода. При построении моделей распределений статистик критериев аппроксимация проводилась по выборкам статистик критериев радиуса при и = 1000 (объем выборки многомерной нормальной случайной величины), N = 1000000 (количество выборок). С ростом размерности d различие между законами распределения статистик уменьша-

28

ется так, что графики законов распределений при с1 = 7 и Л = 8 становятся практически неразличимы. Поэтому для практических целей при размерностях больших 8 можно пользоваться аппроксимацией для с! = 8.

В данной работе при исследовании мощности в качестве конкурирующих рассматриваются гипотезы, предполагающие принадлежность выборки многомерному распределению, построенному на базе одномерных законов, отличных от нормального: Н1 - на основании распределения Коши; Н2 - на основаниии распределения Лапласа; Нъ - на основании логистического распределения; Н4 — на основании двустороннего экспоненциального распределения с параметром формы 4; Н5 - на основании равномерного распределения; Н6 - на основании распределения наибольшего значения. Моделирование многомерного распределения основано на известном алгоритме (Ермаков С.М., Михайлов Г.А. Статистическое моделирование. М.: ФИЗМАТЛИТ, 1982. - 296 е.), но вместо выборок из одномерного нормального распределения используются выборки из другого одномерного (ненормального) закона.

Результаты исследования мощности критериев показали следующее.

Наибольшей мощностью относительно конкурирующих гипотез Н{ (распределение Коши), Н2 (распределение Лапласа) и Я3 (логистическое распределение) обладает критерий эксцесса Мардия. Немного уступают ему критерии эксцесса Козиола и Шриваставы.

Наибольшей мощностью относительно гипотез Я4 (двустороннее экспоненциальное распределение с параметром формы 4), Н5 (равномерное распределение) обладает "критерий радиуса" Крамера-Мизеса-Смирнова. Немного уступает ему "критерий радиуса" Андерсона-Дарлинга.

Наибольшей мощностью относительно конкурирующей гипотезы Н6 (распределение наибольшего значения) обладают критерии асимметрии Мардия и Мори. Немного меньше мощность у критерия асимметрии Шриваставы.

Критерии асимметрии, как и следовало ожидать, оказались наилучшими для случая несимметричной альтернативы, однако относительно конкурирующих законов с легкими хвостами (без асимметрии) они имеют нулевую мощность, т.е. являются смещенными и несостоятельными. Критерии эксцесса оказались очень хороши относительно конкурирующих законов с более тяжелыми хвостами (Коши, Лапласа), а также против логистического распределения. Однако, как и критерии асимметрии, критерии эксцесса являются смещенными и несостоятельными против альтернативы с легкими хвостами. Критерий "уг-

29

лов " показал невысокую мощность практически на всех альтернативах, и также как критерии асимметрии и эксцесса оказался смещенным при альтернативах с легкими хвостами. Критерии "радиуса" оказались наилучшими против альтернатив с легкими хвостами, уступая при этом критериям асимметрии и эксцесса в случае остальных альтернатив. Недостатком критериев данного типа является быстрое падение мощности при увеличении размерности d при небольших объемах выборок.

Применение правила Вальда к результатам исследования критериев позволяет указать в качестве наиболее предпочтительного для применения на практике критерий "радиуса" Андерсона-Дарлинга. Для всех рассмотренных конкурирующих гипотез этот критерий показал наибольшую мощность в наихудших условиях.

В седьмой главе рассмотрены критерии проверки однородности выборки случаев и контрольной выборки при проведении полногеномного анализа ассоциаций. Проведено сравнение мощности критериев ассоциаций. Рассмотрена задача оптимального планирования эксперимента для проверки гипотезы однородности. Показана связь между симметричной дивергенцией Кульбака-Лейб-лера и процедурой оптимального планирования эксперимента при проверке гипотезы однородности при полногеномном анализе ассоциаций.

В генетической эпидемиологии полногеномный анализ ассоциаций (genome-wide association study, GWAS) - это изучение общей генетической информации у разных индивидуумов с целью обнаружения того, какие генетические варианты ассоциированы с заболеванием. Обычно в GWAS исследуют связь между однонуклеотидным полиморфизмом (single nucleotide polymorphism, SNP) и основными заболеваниями.

Предположим, что имеется три генотипа АА, Аа, и аа для однонуклеотидного полиморфизма с двумя аллелями, А и а. Пусть имеется г объектов в выборке случаев (cases) и 5 объектов в контрольной выборке (controls). Среди г объектов в выборке случаев г0, >\ и г2 человек имеют генотипы АА, Аа и аа соответственно. Среди s объектов в контрольной выборке s0, ^ и s2 человек имеют генотип АА, Аа и аа соответственно.

Основной гипотезой Н0 является предположение, что нет никакой связи между заболеванием и SNP. Имеется три группы конкурирующих гипотез, основанных на модели наследования (MOI - mode of inheritance): Hr - рецессивной, Hd - доминантной и На — аддитивной модели наследования.

Пусть ра = Р(а) - частота аллели а в популяции, p¡ = Р {число аллелей а равно / |объект из выборки случаев} и </, = Р {число аллелей а равно г |объект из контрольной выборки}; £ = Р{объект в выборке случаев | число аллелей а равно г} - пенетрантность, К=?{попадание в выборку случаев} - распространенность заболевания в популяции.

Конкретная конкурирующая гипотеза задается М01, частотой ра, и отно-

/* (\ -С \

шением шансов ц/ = ——— = , / = 1,2, или относительным генетиче-/оО ~/,) Ра ■ Я,

Г

ским риском у, — г = 1,2.

/о

Разницу между распределениями в выборке случаев и контрольной выборке (Р = {р0,р1,р2] и (2 = {ссоответственно) можно измерить с помощью дивергенции Кульбака-Лейблера (которая была рассмотрена в главе 2 диссертации, п.2.3):

(18)

/=о

Если гипотеза Но верна, то ¿)д7 = 0. Дивергенция Кульбака-Лейблера связана с ра, К, у/х и как [34]

= 1п + 2р"(1 1п у/, (19)

Л Л + Кщ Л+Ку/2

где Л может быть найдено из уравнения [34]

(1 -ра)2 | 2ра(Х-ра)Щ | р1-¥1 =1 Л + К Л + Кцг, Л + Куг

Дивергенция Кульбака-Лейблера связана с ра, К, у{ и у2 как [34] ~1 -К _ „ ч . У,{\-К) 2 . уг{\-К)

(20)

(21)

где г = (1 -ра)2 + 2ра(\ -ра)у, + р] ■ у2.

Сравнение мощности критериев ассоциаций проведено для трех конкурирующих гипотез с разными видами наследуемости. Показано, что мощность критерия основанного на эмпирической дивергенции Кульбака-Лейблера больше, чем мощность критерия X" > н0 меньше, чем мощность критериев МАХЗ, СМ8 и СЫ1Т, которые наиболее предпочтительны при использовании на практике [33].

В результате исследований выявлена статистическая зависимость необходимого объема выборки от симметричной дивергенции Кульбака-Лейблера между законами распределения в выборке случаев и в контрольной выборках для заданной альтернативной гипотезы (модели наследования).

Различные критерии ассоциаций можно сравнить на основании объемов выборок, требуемых для принятия решения с заданными вероятностями ошибок первого и второго рода. Необходимый объем выборки для критерия тренда Кокрена-Армитеджа пропорционален величине

/ф~{1~?) + Ф~1(1~/?)) ' (22)

(24)

где аир- вероятности ошибок первого и второго рода, соответственно.

Тогда для критерия тренда Кокрена-Армитеджа зависимость необходимого объема выборки от вероятностей ошибок первого и второго рода и симметричной дивергенции Кульбака-Лейблера между распределениями в выборке случаев и контрольной выборке имеет вид [34]

_ 4,035 • д{а,р)

САТТ ~ ' У.*-3)

Рю.

а для критерия МАХЗ соответственно [34]

_4,238 д{а,Р)

пмлхг ~

Ра.

В этом случае относительная эффективность критерия МАХЗ по отношению к критерию тренда Кокрена-Армитеджа с оптимальным набором коэффициентов, равна 0,95, т.е. критерий МАХЗ требует в среднем на 5% больше наблюдений, чем оптимальный критерий [34].

Целью оптимального планирования эксперимента является нахождение таких планов, при которых затраты на проведение эксперимента минимальны. Для одноэтапного эксперимента это эквивалентно минимизации объема выборки при заданных вероятностях ошибок первого и второго рода, к чему и сводится оптимальное планирование.

Оптимизация для двухэтапного эксперимента состоит в выборе пропорции между размерами выборок на первом и втором этапах, а также критических границ таким образом, чтобы минимизировать совокупные затраты при заданных вероятностях ошибок первого и второго рода.

Совокупные затраты двухэтапного эксперимента вычисляются как

С = и(Ся + хтСск + (1 -я)((т - с1)а, + ¿(1 - Д ))С02), (25)

где CR - затраты на фенотипнрование одного человека, CGi - затраты на гено-типирование одного маркера на первом этапе и Ссг - на втором этапе, т - количество маркеров, d - число ассоциированных с заболеванием маркеров, п -общее число людей, протестированных на обоих этапах, я- - пропорция между числом человек, протестированных на первом этапе, и общим количеством людей, <Х\ - вероятность ошибки первого рода на первом этапе, Д - вероятность ошибки второго рода на первом этапе.

Показано, что зависимость затрат (25) на проведение эксперимента обратно пропорционально симметричной дивергенции Кульбака-Лейблера между распределениями в выборке случаев и контрольной выборке (рисунок 2).

sym. K-L divergence (х)

Рисунок 2 - Зависимость затрат от pKL для критерия МАХЗ В восьмой главе рассмотрено программное обеспечение статистического анализа данных, которое использовалось при получении представленных в диссертации результатов, а также программное обеспечение, в котором были реализованы полученные в диссертации результаты.

Современный статистический анализ невозможен без специализированного программного обеспечения. Большинство результатов, полученных в данной работе, связаны с разработанным программным обеспечением для статистического анализа и компьютерного моделирования статистических закономерностей.

Автор диссертационной работы занимался разработкой системы статистического анализа интервальных наблюдений одномерных непрерывных случайных величин "Интервальная статистика" (ISW) с 1996 года [2,3,28]- В результате была разработана объектная модель системы, реализованы процедуры ввода/вывода выборок, оценивания параметров, проверки гипотезы о согласии, моделирования выборок, распределений оценок и распределений статистик непараметрических критериев. На программные системы ISW версий 4.0, 5.0 и 5.1 получены свидетельства о государственной регистрации [37-39].

Программная система «НКЦ ИТР: Статистика 1.0» разрабатывалась по заказу ООО «Научно-консультационный центр инженерно-технических решений» и была поддержана грантом Фонда содействия развитию малых форм предприятий в научно-технической сфере в 2011 году (проект №13653). Автор диссертационной работы занимался общим руководством проекта, разработал объектную модель, интерфейс системы, модули визуализации [31]. На систему «НКЦ ИТР: Статистика 1.0» имеются свидетельства о государственной регистрации программы ЭВМ [35, 36], а также сертификат фирмы «1С» о совместимости с системой 1С:Предприятие 8.2.

Программная платформа 1С:Предприятие 8.2 широко распространена на территории Российской Федерации и ряда стран СНГ. Особенностью данной платформы является масштабируемость разрабатываемых на ее базе конфигураций: приложение может работать как на локальном компьютере, так и в связке с мощными системами управления базами данных, такими как MS SQL Server и ORACLE. Платформа позволяет работать с базой данных в различных режимах: толстый клиент, тонкий клиент и Web-клиент.

Разработанные системы базируются на фундаментальных результатах, представленных в монографии [1]. Программное обеспечение может быть использовано в промышленности в отделах по контролю качества и метрологических лабораториях; в медицинских, научных и образовательных учреждениях.

В приложении А приведен акт о внедрении результатов диссертационной работы в учебный процесс Новосибирского государственного технического университета. В приложениях Б и В приведены копии свидетельств о регистрации программ для ЭВМ. В приложениях Г и Д приведены фрагменты рекомендаций по стандартизации Госстандарта РФ по правилам применения критериев согласия Р 50.1.033-2001 и Р 50.1.037-2002.

ЗАКЛЮЧЕНИЕ

Таким образом, в диссертации на базе развиваемого программного обеспечения, ориентированного на интенсивное использование компьютерных методов исследования статистических закономерностей, получил дальнейшее развитие классический аппарат прикладной математической статистики. Основные результаты, полученные в диссертационной работе и расширяющие возможности методов прикладной математической статистики, состоят в следующем.

1. Разработан алгоритм оптимального планирования эксперимента для различения двух простых гипотез по критерию отношения правдоподобия.

2. Разработан алгоритм оценивания точных критических границ для последовательных критериев Вальда, Айвазяна и Лордена. Показано, что использование точных критических границ может сократить средний объем наблюдений примерно на 6-11% для критерия Вальда и на 25-30% для критериев Айвазяна и Лордена.

3. Показано, что распределения статистик непараметрических критериев согласия и их мощность при проверке сложных гипотез зависят от вида проверяемой гипотезы и существенно зависят от метода оценивания.

4. Показано, что распределение статистики критерия однородности Андер-сона-Дарлинга-Петита сходится к предельному распределению со скоростью примерно О(,Г0да). Для практических целей можно использовать

распределение уже при выборках объемом 45 наблюдений.

5. Показано, что наиболее предпочтительными по правилу Вальда при проверке гипотезы однородности распределений являются критерии Лемана-Розенблатта, Андерсона-Дарлинга-Петита и Багдонавичуса-Никулина.

6. Построены модели, аппроксимирующие законы распределения статистик критериев "радиуса" Крамера-Мизеса-Смирнова, Андерсона-Дарлинга и Колмогорова при проверке гипотезы о многомерной нормальности.

7. На основании правила Вальда принятия решения в условиях неопределенности сделана рекомендация о предпочтительном использовании для проверки многомерной нормальности критерия "радиуса" Андерсона* Дарлинга.

8. В результате исследования критерия тренда Кокрена-Армитеджа с использованием оптимального набора коэффициентов и критерия МАХЗ показано, что оптимальный объем выборки обратно пропорционально зависит от симметричной дивергенции Кульбака-Лейблера между законами распределения в выборке случаев и в контрольной выборке для любой мо-

35

дели наследования. Показано, что критерий МАХЗ требует в среднем на 5% больше наблюдений, чем оптимальный критерий. 9. При участии автора разработано программное обеспечение для проведения статистического анализа, которое использовалось для получения новых результатов. Разработанные системы, в свою очередь, базируются на полученных фундаментальных результатах исследований. Ю.На основе результатов исследований свойств критериев согласия при проверке простых и сложных гипотез разработаны рекомендации по стандартизации Госстандарта РФ по правилам применения критериев согласия Р 50.1.033-2001 и Р 50.1.037-2002.

Основные публикации автора по теме диссертации Монография

1. Постовалов С.Н. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход: монография / Б.Ю. Лемешко, С.Б. Лемешко, С.Н. Постовалов, Е.В. Чимитова. - Новосибирск : Изд-во НГТУ, 2011. - 888 с. (серия "Монографии НГТУ").

Журналы из Перечня ВАК ведущих рецензируемых научных изданий для опубликования основных результатов диссертаций на соискание учёной степени доктора и кандидата наук:

2. Постовалов С.Н. Статистический анализ одномерных наблюдений по частично группированным данным / Лемешко Б.Ю., Постовалов С.Н.// Изв. вузов. Физика.

- Томск, 1995. - № 9. - С. 39-45.

3. Постовалов С.Н. Вопросы обработки выборок одномерных случайных величин / Лемешко Б.Ю., Постовалов С.Н. // Научный вестник НГТУ. - Новосибирск, 1996.

- № 2. - С. 3-24.

4. Постовалов С.Н. О решении задач статистического анализа интервальных наблюдений / Лемешко Б.Ю., Постовалов С.Н. // Вычислительные технологии. -1997. -Т.2.-№ 1.-С. 28-36.

5. Постовалов С.Н. О зависимости предельных распределений статистик Хи-квад-рат Пирсона и отношения правдоподобия от способа группирования данных / Лемешко Б.Ю., Постовалов С.Н. // Заводская лаборатория. 1998. Т. 64. - № 5. - С. 56-63.

6. Постовалов С.Н. О распределениях статистик непараметрических критериев согласия при оценивании по выборкам параметров наблюдаемых законов / Лемешко Б.Ю., Постовалов С.Н. // Заводская лаборатория. 1998. Т. 64. - № 3. - С. 61-72.

7. Постовалов С.Н. Об оценивании параметров распределений по интервальным наблюдениям / Лемешко Б.Ю., Постовалов С.Н. // Вычислительные технологии. 1998. Т.З.-№2.-С. 31-38.

8. Постовалов С.Н. К оцениванию параметров надежности по цензурированным выборкам / Лемешко Б.Ю., Гильдебрант СЛ., Постовалов С.Н. // Заводская лаборатория. Диагностика материалов. 2001. Т. 67. - № 1. - С. 52-64.

9. Постовалов С.Н. Проверка сложных гипотез о согласии с распределениями Джонсона на основе использования непараметрических критериев / Зайцева Е.А., Лемешко Б.Ю., Постовалов С.Н. // Вестник СибГАУ, 2002. Вып.З. - Красноярск: Издательство СибГАУ. - С.70-77.

10. Постовалов С.Н. Применение непараметрических критериев согласия при проверке сложных гипотез / Лемешко Б.Ю., Постовалов С.Н. // Автометрия, 2001. -№2.-С. 88-102.

11. Постовалов С.Н. О зависимости распределений статистик непараметрических критериев и их мощности от метода оценивания параметров / Лемешко Б.Ю., Постовалов С.Н. // Заводская лаборатория. Диагностика материалов, 2001. - Т.67. - № 7. - С. 62-71.

12. Постовалов С.Н. О распределениях статистики и мощности критерия типа Хи-квадрат Никулина / Лемешко Б.Ю., Постовалов С.Н., Чимитова Е.В. // Заводская лаборатория. Диагностика материалов, 2001. - Т. 67. - № 3. - С. 52-58.

13. Постовалов С.Н., Французов А.В. К применению непараметрических критериев согласия для проверки адекватности непараметрических моделей / Лемешко Б.Ю., Постовалов С.Н., Французов А.В. // Автометрия, 2002. - № 2. - С.3-14.

14. Постовалов С.Н. Сравнительный анализ мощности критериев согласия при близких альтернативах. II. Проверка сложных гипотез / Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н. // Сибирский журнал индустриальной математики, 2008. -Т.Н.-№4(36).-С.78-93.

15. Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н. Сравнительный анализ мощности критериев согласия при близких конкурирующих гипотезах. I. Проверка простых гипотез // Сибирский журнал индустриальной математики, 2008. - Т.Н. -№2(34).-С.96-111.

16. Постовалов С.Н. Мощность критериев согласия при близких альтернативах / Лемешко Б.Ю., Лемешко С.Б., Постовалов С.Н. // Измерительная техника, 2007. -№ 2. - С.22-27.

17. Postovalov S.N. Statistic Distribution Models for Some Nonparametric Goodness-of-Fit Tests in Testing Composite Hypotheses / Lemeshko B.Yu., Lemeshko S.B. and Postovalov S.N. // Communications in Statistics - Theory and Methods, 2010. -Vol. 39.-No. 3.-P. 460-471.

18. Постовалов С. Н. Проверка простых и сложных гипотез с использованием последовательных критериев Лордена и Айвазяна / С. Н. Постовалов, М. Р. Шахмаметова // Научный вестник НГТУ, 2011. - № 3 (44). - С. 17-28.

19. Постовалов С. Н. Сравнительный анализ мощности критериев согласия при проверке сложных гипотез в зависимости от метода оценивания / С. Н. Постовалов, Е. А. Наумова // Сибирский журнал индустриальной математики. - 2013. - том XVI, №1 (53). - С. 84-94

20. Постовалов С. Н. Компьютерное моделирование и исследование вероятностных закономерностей / Б. Ю. Лемешко, А. А. Горбунова, С. Б. Лемешко, С. Н. Постовалов, А. П. Рогожников, Е. В. Чимитова // Вестник Томского государственного университета. Управление, вычислительная техника и информатика, 2013. -№1(22).-С. 74-85.

Публикации в рецензируемых изданиях:

21. Постовалов С.Н. Прикладные аспекты использования критериев согласия в случае проверки сложных гипотез / Лемешко Б.Ю., Постовалов С.Н. // Надежность и контроль качества, 1997. - № 11. - С. 3-17.

22. Постовалов С.Н. О правилах проверки согласия опытного распределения с теоретическим / Лемешко Б.Ю., Постовалов С.Н. // Методы менеджмента качества. Надежность и контроль качества, 1999. - № 11. - С. 34-43.

23. Постовалов С.Н. Непараметрические критерии при проверке сложных гипотез о согласии с распределениями Джонсона / Лемешко Б.Ю., Постовалов С.Н. // Доклады СО АН ВШ, 2002. - № 1(5). - С.65-74.

24. Постовалов С.Н. Проверка простых и сложных гипотез с использованием последовательного критерия Вальда / Постовалов С.Н. // ДОКЛАДЫ АН ВШ РФ, 2011. - № 2(17). - С.140-150.

25. Постовалов С.Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть I. Критерии типа Хи-квадрат. / Денисов В.И., Лемешко Б.Ю., Постовалов С.Н.- Новосибирск: Изд-во НГТУ, 1998. - 126 с.

26. Постовалов С.Н. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Методические рекомендации. Часть II. Непараметрические критерии. / Лемешко Б.Ю., Постовалов С.Н. - Новосибирск: Изд-во НГТУ, 1999. - 85 с.

27. Постовалов С.Н Компьютерные технологии анализа данных и исследования статистических закономерностей. Учебное пособие / Лемешко Б.Ю., Постовалов С.Н. - Новосибирск: Изд-во НГТУ, 2004. - 119 с.

28. Software System for Simulation and Research of Probabilistic Regularities and Statistical Data Analysis in Reliability and Quality Control / B.Yu. Lemeshko, S.B. Le-meshko, E.V. Chimitova, S.N. Postovalov, A.P. Rogozhnikov // In: Mathematical and

Statistical Models and Methods in Reliability. Applications to Medicine, Finance, and Quality Control / Editors: V. Rykov, N. Balakrishnan, M. Nikulin / Series "Statistics for Industry and Technology" / Birkhäuser, Boston. - 2011. - P. 417-432. Материалы конференций:

29. Постовалов C.H. Исследование критериев проверки многомерной нормальности / С. В. Чебукина, С. Н. Постовалов // Рос. науч.-техн. конф. "Информатика и проблемы телекоммуникаций", Новосибирск, 21 - 22 апр., 2011.: Материалы конф. - Новосибирск: Изд-во СибГУТИ, 2011. - Т. 1. - С.121-124

30. Постовалов С. Н. Критерии проверки многомерной нормальности, основанные на углах и радиусе / С. Н. Постовалов, М. В. Каньшин // Рос. науч.-техн. конф. "Обработка информационных сигналов и математическое моделирование", Новосибирск, 26 - 27 апр., 2012.: Материалы конф. - Новосибирск: Изд-во СибГУТИ, 2012. - С.34-36

31. Программная система статистического моделирования в задачах проведения и обработки измерений на платформе 1С:Предприятие 8.2 / С. Н. Постовалов, Д. Г. Демин, М. В. Каньшин, Б. И. Окурин, А. В. Поздеева, Т. В. Тимошенко, П. А. Филоненко, М. В. Шиловский // Материалы XI международной конференции "Актуальные проблемы электронного приборостроения" АПЭП-2012, Новосибирск, 2-4 октября 2012г. - Новосибирск: Изд-во НГТУ, 2012. - Т. 6. - С. 41-47

32. Постовалов С. Н. Сравнение мощности критериев однородности для альтернатив с пересечениями и без пересечений / С. Н. Постовалов, П. А. Филоненко // Материалы Российской научно-технической конференции "Обработка информационных сигналов и математическое моделирование", Новосибирск, 23-24 мая 2013 г. - Новосибирск : СибГУТИ, 2013. - С. 91-94.

33. Постовалов С. Н. Сравнение мощности критериев однородности при проведении полногеномного анализа ассоциаций / С. Н. Постовалов // Материалы Российской научно-технической конференции "Обработка информационных сигналов и математическое моделирование", Новосибирск, 23-24 мая 2013 г. -Новосибирск: СибГУТИ, 2013. - С. 88-91.

34. Postovalov S. Optimal Discrete Two-Stage Study Design for Genome-Wide Association Studies / S. Postovalov, A. Ziegler, E. Konomanina // Applied Methods of Statistical Analysis. Simulations and Statistical Inference (AMSA 2013) International Conference. Proceedings. - 2013. Novosibirsk, Russia - P. 238-249 Свидетельства о государственной регистрации программы для ЭВМ:

35. Пат. 2009613046. Набор классов для статистического анализа интервальных наблюдений одномерных непрерывных случайных величин / Постовалов С.Н. // Свидетельство о государственной регистрации программы на ЭВМ № 2009613046 от 16.06.09

36. Пат. 2011618443. Программное обеспечение статистического моделирования в задачах проведения и обработки измерений «НКЦ ИТР: Статистика 1.0» / Постовалов С.Н., Макеева П.М., Постовалова А.Ю., Шиловский М.В., Чебукина C.B., Каньшин М.В., Макеев А.Г., Косарева Л.А. // Свидетельство о государственной регистрации программы на ЭВМ № 2011618443 от 10.01.12

37. Пат. 2012613663. Статистический анализ интервальных наблюдений одномерных непрерывных случайных величин "Интервальная статистика 4.0" / Лемешко Б.Ю., Постовалов С.Н. // Свидетельство о государственной регистрации программы на ЭВМ № 2012613663 от 19.04.12

38. Пат. 2012613664. Статистический анализ интервальных наблюдений одномерных непрерывных случайных величин "Интервальная статистика 5.0" / Лемешко Б.Ю., Постовалов С.Н., Лемешко С.Б., Чимитова Е.В., Рогожников А.П., Щеглов А.Е., Горбунова A.A. И Свидетельство о государственной регистрации программы на ЭВМ № 2012613664 от 19.04.12

39. Пат. 2013615968. Статистический анализ интервальных наблюдений одномерных непрерывных случайных величин «Интервальная статистика 5.1» / Лемешко Б.Ю., Постовалов С.Н., Лемешко С.Б., Чимитова Е.В., Рогожников А.П., Горбунова A.A. // Свидетельство о государственной регистрации программы на ЭВМ №2013615968 от 25.06.13

Отпечатано в типографии Новосибирского государственного технического университета 630073, Новосибирск, пр. К. Маркса, 20 Тел./факс (383) 346-08-57 Формат 60х 84/16 Объем 2,5 п.л. Тираж 120 экз. Заказ № 437 Подписано в печать 05.03. 2014 г.

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»

На правах рукописи

05201451195

Постовалов Сергей Николаевич

ПРИМЕНЕНИЕ КОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ ДЛЯ РАСШИРЕНИЯ ПРИКЛАДНЫХ ВОЗМОЖНОСТЕЙ КЛАССИЧЕСКИХ МЕТОДОВ ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ

05.13.17 - «Теоретические основы информатики»

Диссертация на соискание ученой степени доктора технических наук

Научный консультант: Лемешко Борис Юрьевич

Новосибирск - 2013

Оглавление

ВВЕДЕНИЕ........................................................................................................................................7

ГЛАВА 1. МЕТОДИКА КОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ В ПРИМЕНЕНИИ К ЗАДАЧАМ ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ....................................................17

1.1 Метод Монте-Карло........................................................................................................17

1.2 Статистические гипотезы и критерии их проверки.....................................................18

1.3 Вычисление достигаемого уровня значимости............................................................23

1.4 Аппроксимация функции распределения статистики критерия.................................26

1.5 Вычисление критических значений...............................................................................27

1.6 Вычисление мощности критерия...................................................................................28

1.7 Определение количества повторений............................................................................29

1.7.1 Определение количества повторений при оценивании вероятности наступления некоторого события..........................................................................................29

1.7.2 Погрешность моделирования функции распределения...........................................32

1.7.3 Погрешность моделирования процентных точек.....................................................34

1.7.4 Погрешность моделирования мощности статистического критерия.....................35

1.7.5 Погрешность моделирования мощности статистического критерия при известном виде закона распределения статистики критерия..............................................39

1.8 Исследование скорости сходимости распределения статистики критерия к предельному закону....................................................................................................................41

1.8.1 Определение скорости сходимости...........................................................................42

1.8.2 Алгоритм моделирования закона распределения статистики критерия при конечном объеме выборки......................................................................................................43

1.8.3 Аппроксимация расстояния до предельного закона степенной функцией...........45

1.9 Моделирование псевдослучайных величин..................................................................46

1.9.1 Генераторы псевдослучайных величин.....................................................................47

1.9.2 Моделирование псевдослучайных величин по непрерывному закону..................48

1.10 Выводы.............................................................................................................................48

ГЛАВА 2. ОПТИМАЛЬНОЕ ПЛАНИРОВАНИЕ СТАТИСТИЧЕСКОГО ЭКСПЕРИМЕНТА ДЛЯ РАЗЛИЧЕНИЯ ДВУХ ПРОСТЫХ ГИПОТЕЗ....................................................................51

2.1 Простая гипотеза о виде распределения.......................................................................52

2.2 Дивергенция Кульбака-Лейблера..................................................................................53

2.3 Критерий отношения правдоподобия............................................................................54

2.4 Последовательный критерий отношения правдоподобия...........................................56

2.5 Необходимый объем выборки для критерия отношения правдоподобия.................60

2.6 Относительная эффективность критерия......................................................................65

2.7 Оптимальное группирование для различения двух простых гипотез........................66

2.8 Связь между оптимальным группированием и мощностью критерия % ................68

2.9 Оптимальное планирование эксперимента по различению двух гипотез.................69

2.10 Необходимый объем выборки и ошибки измерения...................................................74

2.11 Выводы.............................................................................................................................76

ГЛАВА 3. СОКРАЩЕНИЕ СРЕДНЕГО ОБЪЕМА ВЫБОРКИ В ПОСЛЕДОВАТЕЛЬНЫХ КРИТЕРИЯХ....................................................................................................................................77

3.1 Критерий Вальда.............................................................................................................78

3.2 Критерий Айвазяна..........................................................................................................79

3.3 Критерий Лордена...........................................................................................................81

3.4 Оценивание точных критических границ методом Монте-Карло..............................83

3.5 Средний объем выборки до принятия решения по последовательным критериям при использовании оценок точных и приближенных критических границ.........................90

3.6 Применение последовательных критериев к цензурированным наблюдениям........94

3.7 Вычисление критических границ для последовательного t-критерия.......................98

3.8 Вычисление критических границ при проверке сложных гипотез..........................100

3.9 Выводы...........................................................................................................................103

ГЛАВА 4. ИССЛЕДОВАНИЕ МОЩНОСТИ КРИТЕРИЕВ СОГЛАСИЯ ПРИ ПРОВЕРКЕ СЛОЖНЫХ ГИПОТЕЗ.................................................................................................................105

4.1 Исследуемые критерии.................................................................................................107

4.1.1 Критерий Колмогорова.............................................................................................107

4.1.2 Критерии типа СО2.....................................................................................................108

4.2 Методы оценивания......................................................................................................109

4.2.1 Метод максимального правдоподобия....................................................................109

4.2.2 Методы минимального расстояния.........................................................................110

4.2.3 Оценивание параметров по порядковым статистикам..........................................110

4.3 Сравнение мощности критериев согласия для пары гипотез «Нормальное распределение против логистического»..................................................................................111

4.4 Мощность критериев для пары гипотез «распределение Вейбулла-Гнеденко против гамма-распределения».................................................................................................116

4.5 Выводы...........................................................................................................................121

ГЛАВА 5. СРАВНЕНИТЕЛЬНЫЙ АНАЛИЗ МОЩНОСТИ КРИТЕРИЕВ ОДНОРОДНОСТИ ЗАКОНОВ РАСПРЕДЕЛЕНИЯ................................................................124

5.1 Гипотеза однородности.................................................................................................125

5.1.1 Критерий Смирнова..................................................................................................125

5.1.2 Критерии типа (О .....................................................................................................126

5.1.3 Критерий Лемана-Розенблатта................................................................................127

5.1.4 Критерий однородности Андерсона-Дарлинга-Петита.........................................128

5.2 Сравнение мощности критериев..................................................................................131

5.2.1 Мощность критерия Андерсона-Дарлинга-Петита................................................132

5.2.2 Мощность критерия однородности Смирнова.......................................................136

5.2.3 Мощность критерия Лемана-Розенблатта...............................................................138

5.3 Сравнение мощности критериев однородности по данным типа времени жизни.. 140

5.4 Выводы...........................................................................................................................142

ГЛАВА 6. ИНВАРИАНТНЫЕ КРИТЕРИИ ПРОВЕРКИ ГИПОТЕЗЫ О МНОГОМЕРНОЙ НОРМАЛЬНОСТИ........................................................................................................................143

6.1 Гипотеза о многомерной нормальности......................................................................144

6.2 Моделирование многомерной случайной величины.................................................145

6.3 Инвариантные критерии проверки многомерной нормальности.............................146

6.3.1 Критерии, основанные на вычислении коэффициента асимметрии....................147

6.3.2 Критерии, основанные на вычислении коэффициента эксцесса.........................160

6.3.3 Критерии многомерной нормальности, основанные на полярной декомпозиции вектора наблюдения случайной величины................................................169

6.4 Сходимость распределений статистик критериев многомерной нормальности к предельному закону..................................................................................................................179

6.5 Исследование мощности критериев проверки многомерной нормальности..........181

6.5.1 Конкурирующие гипотезы........................................................................................181

6.5.2 Зависимость мощности критериев многомерной нормальности от размерности выборки...........................................................................................................183

6.5.3 Анализ мощности инвариантных критериев многомерной нормальности.........186

6.6 Выводы...........................................................................................................................194

ГЛАВА 7. ОПТИМАЛЬНОЕ ПЛАНИРОВАНИЕ ПРОВЕРКИ ГИПОТЕЗЫ ОДНОРОДНОСТИ ПРИ ПРОВЕДЕНИИ ДВУХЭТАПНОГО ПОЛНОГЕНОМНОГО АНАЛИЗА АССОЦИАЦИЙ.........................................................................................................196

7.1 Полногеномный анализ ассоциаций............................................................................196

7.2 Одноэтапный эксперимент по выявлению ассоциации.............................................198

7.3 Основная и конкурирующие гипотезы........................................................................198

7.4 Критерии ассоциаций....................................................................................................202

7.4.1 Критерий Хи-квадрат................................................................................................202

7.4.2 Критерий отношения правдоподобия с ограничением (СЬЯТ)............................202

7.4.3 Критерий тренда Кокрена-Армитеджа....................................................................203

7.4.4 МЕЯТ критерий.........................................................................................................205

7.4.5 Критерий максимума (МАХЗ)..................................................................................206

7.4.6 Критерий минимума (МШ2)....................................................................................207

7.4.7 Критерий выбора генетической модели (вМЗ).....................................................207

7.4.8 Критерий Кульбака-Лейблера..................................................................................208

7.5 Сравнительный анализ мощности критериев ассоциаций........................................209

7.6 Зависимость необходимого объема выборки от дивергенции

Кульбака-Лейблера....................................................................................................................211

7.7 Относительная эффективность критериев ассоциаций.............................................219

7.8 Оптимальное планирование двухэтапного эксперимента.........................................220

7.8.1 Моделирование вероятностей ошибок первого и второго рода..............................221

7.8.2 Оптимальное планирование двухэтапного эксперимента........................................223

7.8.3 Оптимальное дискретное планирование двухэтапного эксперимента...................227

7.9 Выводы...........................................................................................................................228

ГЛАВА 8. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СТАТИСТИЧЕСКОГО АНАЛИЗА.............230

8.1 Программная система статистического анализа интервальных наблюдений одномерных непрерывных случайных величин "Интервальная статистика" (18\¥)..........231

8.2 Программное обеспечение статистического моделирования в задачах проведения и обработки измерений «НКЦ ИТР: Статистика 1.0».......................................233

8.2.1 Программная платформа 1С:Предприятие 8.2.......................................................233

8.2.2 Объектная модель программной системы..............................................................234

8.2.3 Идентификация закона распределения...................................................................239

8.2.4 Проверка статистических гипотез...........................................................................241

8.2.5 Выявление зависимостей и значимых факторов....................................................242

8.2.6 Поддержка ГОСТов по статистике..........................................................................243

8.3 Выводы...........................................................................................................................248

ЗАКЛЮЧЕНИЕ..............................................................................................................................249

СПИСОК ЛИТЕРАТУРЫ.............................................................................................................251

ПРИЛОЖЕНИЕ А. АКТ О ВНЕДРЕНИИ В УЧЕБНЫЙ ПРОЦЕСС.......................................286

ПРИЛОЖЕНИЕ Б. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ ПРОГРАММЫ ДЛЯ ЭВМ «ИНТЕРВАЛЬНАЯ СТАТИСТИКА» 18\¥.................................................................................287

ПРИЛОЖЕНИЕ В. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ ПРОГРАММЫ ДЛЯ ЭВМ «НКЦ ИТР: СТАТИСТИКА 1.0».................................................................................................290

ПРИЛОЖЕНИЕ Г. ГОСТ Р 50.1.033-2001 (ФРАГМЕНТ).........................................................293

ПРИЛОЖЕНИЕ Д. ГОСТ Р 50.1.037-2002 (ФРАГМЕНТ)........................................................296

ВВЕДЕНИЕ

Актуальность темы исследования. Использование методов статистического анализа на практике всегда связано с применением вычислительных и, как правило, сложных алгоритмов. Однако численные методы, к сожалению, редко используются для получения новых фундаментальных знаний в самой математической статистике.

Методика компьютерного моделирования, основанная на методе Монте-Карло, позволяет более эффективно решать классические задачи статистического анализа. Данная методика дополняет аналитические методы, обеспечивая нахождение приближенного решения в тех случаях, когда этого не удается сделать аналитическими методами. Численное моделирование на компьютере дает наиболее реальный, надежный и относительно простой аппарат для исследования законов распределений различных статистик, для исследования их изменчивости в зависимости от различных факторов. На основании результатов моделирования можно прослеживать изменения закономерностей с ростом объемов выборок и изменением размерности данных. Методика позволяет на основе результатов имитационного моделирования строить модели распределений любой исследуемой статистики в конкретной ситуации.

Появление метода Монте-Карло совпало по времени с появлением первых электронных вычислительных машин (ЭВМ). Именно рост мощности современных ЭВМ сделал возможным применение компьютерного моделирования не только для исследования фундаментальных закономерностей, но и для исследования в интерактивном режиме (в ходе проводимого статистического анализа) закономерностей, имеющих место в реальных (нестандартных) условиях приложений, с последующим использованием полученных результатов (вместо асимптотических, часто существенно отличающихся от имеющих место) в процессе принятия решения.

Степень разработанности. Метод Монте-Карло предложен в 1945 году в процессе работы группы американских физиков и математиков (Дж. фон Нейман, С. Улам, Н. Метрополис, Г.Кан, Э. Ферми и др.) над созданием атомного реактора. Значительный вклад в развитие метода Монте-Карло внесли С. М. Ермаков, Г. А. Михайлов, И. М. Соболь, G. S. Fishman, С. P. Robert, G. Casella.

Обширные исследования статистических критериев с помощью компьютерного моделирования проводились Б.Ю. Лемешко, С.Б. Лемешко, Е.В. Чи-митовой, С.С. Помадиным, В.М. Волковой, А.П. Рогожниковым.

Объект исследования. Объектом исследования диссертационной работы являются критерии проверки статистических гипотез. Проверка статистических гипотез является одной из важнейших задач как математической, так и прикладной статистики. При проверке статистических гипотез на практике любой исследователь сталкивается со следующими вопросами.

Во-первых, как выбрать статистический критерий, и какой критерий наиболее предпочтителен? Во-вторых, насколько точными (корректными) являются статистические выводы при проверке гипотезы по применяемому критерию? В-третьих, как уменьшить затраты на проведение экспериментов, необходимых для проверки статистической гипотезы?

Традиционно при ответе на эти вопросы и при решении соответствующих проблем использовались аналитические методы. В то же время для разрешения множества проблем с успехом можно применять компьютерное моделирование.

Цели и задачи. Основной целью диссертации является развитие аппарата прикладной математической статистики, предназначенного для решения задач проверки статистических гипотез, за счет интенсивного использования методов компьютерного моделирования для исследования вероятностных и статистических закономерностей.

Для достижения этой цели решаются следующие задачи.

1. Построение более точных аппроксимаций законов распределений статистик критериев при конечных объемах выборок.

2. Сравнительный анализ мощности критериев и решение задачи выбора наиболее предпочтительного критерия при разных конкурирующих гипотезах.

3. Построение точных критических границ в последовательных критериях проверки статистических гипотез.

4. Оптимальное планирование эксперимента для различения двух статистических гипотез с заданными вероятностями ошибок I и II рода.

При этом в диссертации рассматриваются, главным образом, гипотезы о виде распределения (простые и сложные гипотезы, с оцениванием параметров законов распределений) и гипотезы однородности распределений.

Научная новизна диссертационной работы заключается:

• в выявлении зависимости мощности непараметрических критериев согласия при проверке сложных гипотез от метода оценивания параметров; в сравнительном анализе мощности критериев Колмогорова, Крамера-Ми-зеса-Смирнова, Андерсона-Дарлинга;

• в построении точных критических границ последовательных критериев Вальда, Айвазяна и Лордена;

• в результатах сравнительного анализа мощности критерия однородности Андерсона-Дарлинга-Петита с другими критериями однородности относительно ряда близких альтернатив;

• в результатах сравнительного анализа мощности инвариантных критериев многомерной нормальности для ряда близких альтернатив;

• в выявлении зависимости оптимального объема в