автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Асимптотическая теория устойчивого оценивания

Сокращения и условные обозначения

Общая характеристика работы

Введение

I. ТОЧЕЧНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ

1.1. Оценки минимального контраста

1.2. Оценка центра нормального распределения: задачи Колмогорова, Тьюки и теория робастности

1.3. Квадратичная ошибка оценки минимума контраста

1.4. Методы функциональной оптимизации оценивания

1.5. Загрязнение и аппроксимация

1.6. Максиминная оптимизация: медианные и стойкие оценки

1.7. Примеры максиминной оптимизации оценивания

1.8. Локальная устойчивость: компромиссные и радикальные оценки

1.9. Примеры вариационной оптимизации оценивания

1.10. Устойчивость оценки центра к большим изменениям модели

1.11. Мультипликативные помехи

1.12. Сравнение методов

1.13. Радикальность оценок

1.14. Выводы

И. ОЦЕНИВАНИЕ ПАРАМЕТРОВ МНОГОМЕРНОГО

НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ

II. 1. Минимально контрастные оценки параметров

11.2. Оценки Мешалкина

11.3. Статистический кластер-критерий

11.4. Максиминная оптимизация: медианные и стойкие оценки

11.5. Вариационная оптимизация: компромиссные и радикальные оценки

11.6. Регуляризация оценки матрицы ковариаций

11.7. Шаровое распределение и его проекции

11.8. Выводы

III. РЕГРЕССИЯ

III. 1. Минимально контрастная, классическая и робастная регрессия

111.2. Погрешность регрессии минимума контраста

111.3. Максиминная оптимизация: медианная и стойкая регрессия

111.4. Линейная множественная регрессия

111.5. Сравнение регрессий

111.6. Экстраполяция локально-линейного тренда 168 III. Т. Вариационная оптимизация: компромиссная и радикальная регрессия

111.8. Выбор модели

111.9. Простейшие регрессии 175 III. 10. Редуцированная регрессия 182 III. 11. Выводы

IV. ЛИНЕЙНАЯ КЛАССИФИКАЦИЯ

РАСПОЗНАВАНИЕ ОБРАЗОВ)

IV. 1. Решения многомерной статистики

Реальные распределения неизбежно отличаются от модельных, что может приводить к грубым ошибкам в получаемых решениях, особенно при наличии "загрязняющих" наблюдений. При массовой автоматической обработке материала нет возможности визуально отыскивать "загрязняющие" наблюдения и исключать их из выборок. Распространённые пакеты статистической обработки данных не учитьшают необходимости придания процедурам оценивания свойства быть устойчивыми к таким отклонениям. Главная цель настоящей работы — создать методику получения оценок, устойчивых к малым изменениям в "генераторе данных".

На примере оценки центра /х нормального распределения N(/z, 1) Тьюки (1960) показал катастрофическую неустойчивость оценки максимума правдоподобия (ОМП) при малых изменениях плотности распределения (п.р.). Позже Хьюбер (1981) аналогично дискредитировал ОМП дисперсии. В приложениях неизбежны малые отклонения п.р. от модельной, оптимальность ОМП для приложений была поставлена под л сомнение, и возникла проблема отыскания устойчивых оценок в параметра в, от которого зависит используемая модель п.р. /(х, 9). Для поиска был расширен круг рассматриваемых оценок: Годамб (1960), Хьюбер (1964) и Пфанзагль (1969) предложили минимально контрастные оценки, являющиеся решениями неявных уравнений, которые отыскиваются итерациями.

На этих оценках Хьюбер (1964) провёл функциональную оптимизацию: нашёл наилучшую оценку центра нормального распределения для наихудшего симметричного е -загрязнения выборки и назвал её робастной. Термин привился, и робастными стали называть оценки, устойчивые в е-окрестности модельной п.р. Мешалкин (1971) и Ма-ронна (1976) предложили обобщения на многомерное нормальное распределение. Жакель (1971) предложил уменьшать е с ростом выборки: £2~п-1, и эта асимптотика использовалась в дальнейших работах.

В Принстонском университете шесть известных статистиков (Эн-дрюс и др., 1972) провели большой эксперимент по исследованию оценок центра нормального распределения при несимметричном искажении п.р., которое моделировалось точечным загрязнением при п=20. Робастная оценка Хьюбера оказалась неустойчивой. В результате эксперимента каждый из участников эмпирически подобрал свою оценочную функцию. Перенесение рецептов на задачу регрессии индуцировало робастные регрессии.

Робастности посвящена очень большая литература, но проблему нельзя считать решённой: все оценки зависят от неоцениваемого параметра е , среди оценок, устойчивых при несимметричном загрязнении, нет оптимальной, не ясно, как оценивать параметр, отличный от центра нормального распределения.

Цель работы — создать способ устойчивого оценивания параметров распределения, пригодный для плотностей, имеющих ОМП этих параметров. Реализуется он двумя путями. Первый путь — это максимин-ная оптимизация в серии выборок со случайным точечным загрязнением. Второй путь — это использование функционального дифференцирования для определения неустойчивости оценки и введение меры её устойчивости. Оптимизация по двум показателям — эффективности и устойчивости — даёт оценки с высоким значением обоих показателей. В одномерном случае оба пути приводят к сходным оценкам. Предлагается характеристика, синтезирующая два этих показателя и отражающая прикладную полезность оценки.

Оба подхода обобщаются на многомерный случай и дают возможность получить устойчивые решения задач регрессии и дискриминации (распознавания образов).

В методическом отношении автор старался следовать классическим приёмам. Предельные теоремы доказываются асимптотическими разложениями в специально созданной асимптотике (1.2.13), избавляющей оценки от зависимости от неоцениваемых параметров. Их результатом являются функционалы, которые оптимизируются специально созданным вариационным методом — аналогом уравнения Эйлера для функций, зависящих от параметров (уравнение 1.4.1). В отличие от Прин-стонского экспериментального подбора робастных оценок, оценки для известных распределений выписываются аналитически. Для иллюстрации практической полезности результатов используются методы статистического моделирования в окрестности реальных задач (рис.11).

В диссертации изложена теория, дающая возможность получить устойчивые оценки для решения основных типов практических задач. Оценки получаются в итерационном процессе и поэтому требуют специального программного обеспечения. Программы оценок параметров многомерного нормального расределения и вычисления коэффициентов линейной регрессии ПМБ-БИМ была составлена Институтом математики АН БССР и широко распространялись по заинтересованным организациям, внедрявших методы в проводимые исследования.

Основные результаты по мере их получения с 1967 г. докладывались на многих семинарах, конференциях и симпозиумах: на семинаре Межфакультетской лаборатории статистических методов МГУ А.Н. Колмогорова, на семинаре ЦЭМИ С.А. Айвазяна, на всесоюзных, российских и международных конференциях по алгоритмическому обеспечению прикладного статистического анализа (1982, 1986, 1990, 1994,1999, 2000), на Вильнюсской Международной конференции по теории вероятности и математической статистике (1985, 1989, 1992), на Международной конференции по модельно-ориентированному анализу (Санкт-Петербург, 1992), на Республиканских и международных семинарах КАДМ (Компьютерный анализ данных и моделирование) (Минск, 1988, 1991, 1993, 1995, 1998, 2001), на Первом Бернуллиевском конгрессе (Ташкент, 1986), на школе-семинаре "Статистический и дискретный анализ данных и экспертное оценивание" (Одесса, 1991), на Первой американо-японской конференции по граничным задачам статистического моделирования (Ноксвилл, США, 1994), на Международных Российско-Французских симпозиумах " Прикладная статистика и анализ данных" (1982-1998), на Всероссийских школах-коллоквиумах по стохастическим методам (1998, 1999, 2000), на Международной конференции по дифференциальным уравнениям и динамическим системам (2000).

Результаты диссертации опубликованы в 35 работах автора (одна работа в соавторстве). Основные работы приведены в списке литературы.

Введение

За первую половину XX века статистические методы вошли во все области знания как способы представления информации в сжатом виде, как способы оценки значимости выводов, как способы получения дополнительной информации, не наблюдающейся в исходных данных непосредственно. С 60-х годов применение математических методов расширилось в связи с появлением компьютеров, расширилось и углубилось: кроме методов классической математической статистики, появились методы прикладной статистики, в которых отказ от некоторых классических рекомендаций компенсировался расширением круга решаемых задач, и методы анализа данных, которые, в отличие от статистических, не опираются на представление о законах распределения исходных величин.

Причины ограниченной прикладной ценности классической статистики указывались Колмогоровым (1950) и стали очевидными после статьи Тьюки (1960), который на простом примере оценки центра нормального распределения показал неустойчивость оценки максимума правдоподобия к слабому отклонению плотности распределения от модельной (рассматривалась е-загрязненное нормальное распределение).

Элегантную оптимизацию решения предложил Хьюбер (1964): он нашёл наилучшую оценку центра нормального распределения при наихудшем симметричном загрязнении и назвал её робастной (robust).

Мешалкин (1971) предложил семейство устойчивых оценок всех параметров многомерного нормального распределения. Объёмное статическое моделирование в Принстонском университете (Эндрюс и др., 1972) показало, что оценка Хьюбера неустойчива при нарушении симметрии загрязнения. Было опробовано и рекомендовано много других оценок центра, более устойчивых (но каждая из них сильно зависила от неоцениваемого параметра г), и в математическое обеспечение теперь включаются способы оценки центра, более устойчивые, чем простое среднее, они тоже называются робастными оценками. Эти способы были перенесены на задачу регрессии, решения называются робастной регрессией.

Хотя проблеме робастности посвящено очень много работ, особенно за рубежом, направление нельзя считать определившимся как в отношении теоретической базы, так и по практической полезности. Кроме центра нормального распределения, необходимо устойчиво оценивать и другие параметры и других распределений, но мы не можем это делать, используя аналитический аппарат робастности. Кроме того, нет способов оценки параметра г или интервала его изменения, существенно влияющего на все робастные оценки.

Исходной схемой в теории робастности является е-загрязненное распределение. Автор рассмотрел схему серии таких загрязненных выборок, и полученные на ней оптимальные оценки при некоторых дополнительных асимптотических предположениях лишены указанных недостатков робастных оценок. Круг решаемых задач расширился за счёт того, что получены способы устойчивого оценивания параметра распределения, имеющего оценку максимума правдоподобия, но поскольку необходимые выкладки более громоздки, чем выкладки, необходимые для получения классических оценок, круг решённых задач не очень широк, но они полезны и уже включены в стандартное математическое обеспечение (Давидович и Петрович, 1987).

Работа состоит из четырёх глав. В главе I рассматривается устойчивость оценки параметра одномерного распределения и обосновывается методический подход к получению устойчивых оценок. В главе II выписываются устойчивые оценки параметров многомерного нормального распределения. Глава III посвящена устойчивым оценкам коэффициентов регрессии. В главе IV рассматривается простейшая задача классификации (распознавания образов). Каждую главу завершают выводы, а всю работу Заключение (•). Доказательства и вычисления ограничиваются знаками ►и А. Номерация утверждений и формул раздельная по главам и по разделам глав; при ссылке на формулу внутри той же главы номер главы опускается.

Количество публикаций по робастным методам оценивания практически необъятно. Наиболее полные сводки на русском языке содержатся в статье Ершова (1978), в главах справочника Айвазяна и др. (1983, 1985, 1989), написанных Л.Д. Мешалкиным, в монографии Смоляка и Титоренко (1980) и в переведённых монографиях Хьюбера (1984) и Хампеля и др. (1989), а также в сборнике "Робастность" (1984). В небольшом списке литературы настоящей работы приводятся лишь те публикации, которые автор активно использовал. Библиография указывается по годам публикации. В ссылках на публикации самого автора содержится год, но не указывается автор (Шурыгин).

13

Начальным импульсом настоящей работы явился анализ (1979) экспоненциально взвешенных оценок безвременно скончавшегося Л.Д. Ме-шалкина, которому автор глубоко признателен: его оценки оказались чрезвычайно интересными, рассмотрение связанных с ними задач продуктивным, а его советы но рукописи существенно улучшили изложение. Были очень полезны конструктивные советы В.М. Бухштабера и Н.К. Бакирова по аналитическому обоснованию решений, аналитические консультации В.В. Козлова, замечания Н.Г. Ушакова, Ю.С. Ха-рина и М.С. Стригуновой. Основная часть материала регулярно рассказывается на семинаре по прикладной статистике в ДЭМИ РАН (руководители С.А. Айвазян и Л.Д. Мешалкин), много лет читалась в двухсеместровом спецкурсе на механико-матаматическом факультете МГУ, автор благодарен за все замечания, которые способствовали улучшению работы.

Исследования в наметившихся направлениях продолжаются.

I. ТОЧЕЧНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ

1У.7.Выводы

• Стандартные методы классического дискриминантного анализа вряд ли пригодны для решения реальных задач из-за неустойчивости используемых оценок максимума правдоподобия, из-за погрешностей оценки параметров, количество которых квадратично растет с ростом размерности, из-за показательного роста неустойчивости решения.

• Надежды на то, что "думающие машины" будут лучше, чем профессионалы, решать задачи традиционных нематематических отраслей знания, вряд ли обоснованы.

• Визуализация данных может быть полезной для компактного представления векторов.

• Редукция многомерной задачи к последовательности двумерных задач представляется наиболее переспективным из рассмотренных статистических методов.

Заключение

• Неустойчивость оценки максимума правдоподобия к изменению модельных предположений была показана Колмогоровым (1950) и Тьюки (1960) на примере оценки центра нормального распределения. Соответственно в решении задачи наметилось два направления: в школе Колмогорова Мешалкин (1971) аналитически получил устойчивые оценки параметров многомерного нормального распределения. В школе Тьюки эмпирически были подобраны оценки центра одномерного нормального распределения, устойчивые к точечному загрязнению (Эндрюс и др., 1972), эти оценки были названы робастными. В обоих случаях использовались оценки минимума контраста, являющиеся решениями неявных уравнений, и в обоих случаях опенки оказывались зависящими от неоцениваемых параметров.

• Цель настоящей работы — создать математические модели и, используя методы оптимизации, аналитически получить оценки параметров различных распределений, а также коэффициентов регрессии и дискриминантной функции, устойчивые по квадратичной ошибке при малых изменениях модельных предположений, в частности при наличии в выборке "загрязняющих" наблюдений.

• Для этого была использована асимптотическая квадратичная ошибка оценки минимума контраста, найденная Пфанцаглем и другими исследователями.

• Особенность решаемых задач оптимизации в том, что функция, по которой ищется экстремум функционала, зависит от параметра, а функционал зависит от этой функции и её производной по параметру. Выписано необходимое условие экстремума такого функционала, похожее на уравнение Эйлера.

• Оптимизация оценивания при несимметричном загрязнении проводится в предположении, что это загрязнение случайно и имеет "симметричное" распределение в серии выборок. Решение оказывается не зависящим от неоцениваемого параметра е, если предположить, что е2 —> 0 медленнее, чем 1 /п. Получена оптимальная (максиминная) оценка: наилучшая для наихудшего распределения загрязнения в серии выборок. Непараметрическая оптимизация даёт оценки, названные медианными, их квадратичная ошибка не зависит от распределения загрязнения. Параметрическая оптимизация квадратичной ошибки по "функционально подобным" загрязнениям даёт оценки, названные стойкими, их можно считать решением проблемы робастности, инициированной Тьюки.

• Вторым способом решения задачи является оптимизация оценил вания по двум характеристикам: эффективности eff в и устойчивости

Ч <4 stb в оценки 9\ последняя определена при помощи введённого понятия неустойчивости. Неустойчивость положительна и достигает минимума на оценке, названной оценкой максимальной устойчивости, поэтому мера устойчивости построена аналогично мере эффективности оценки.

Ч Л

На плоскости (eff 9, stb 9) область возможных оценок ограничивается линией, соответствующей оценкам, названным условно оптимальными: они имеют наибольшую устойчивость при фиксированной эффективности и наибольшую эффективность при фиксированной устойчивости. Среди них интересны оценки, названные компромиссными, у которых значения эффективности и устойчивости примерно равны. К ним близки оценки, названные радикальными, они близки и к стойким оценкам (а при оценке центра нормального распределения они совпадают) , так что два принципиально разных способа оптимизации — максиминный и вариационный — дают близкие результаты, что можно рассматривать как достоинство полученных решений. Предложенное понятие радикальности оценки синтезирует в равной мере значения эффективности и устойчивости и удобно как показатель прикладной полезности оценки.

• Обобщение минимально контрастных оценок на случай многомерного нормального распределения затрудняется интегрированием в многомерном пространстве, поэтому известны лишь два способа многомерного оценивания первых моментов: Мешалкин (1971) предложил экспоненциально взвешенные оценки, а Маронна (1976) обобщил ро-бастную оценку Хьюбера. В диссертации многомерный интеграл сведён к отношению двух однократных, что даёт возможность обобщить на многомерный случай другие оценки минимального контраста.

• Обе схемы оптимизации оценивания (максиминная и вариационная) автоматически переносятся на случай многомерного нормального распределения, но, в отличие от одномерного случая, дают разный результат. При росте размерности пространства р стойкие оценки увеличивают эффективность, снижают устойчивость и сходятся к оценкам максимума правдоподобия. Вряд ли такая оптимизация практически полезна: известно, что с ростом размерности качество статистических решений ухудшается. А вариационная оптимизация оказываеся приемлемой. Компромиссные оценки при росте р снижают и эффективность, и устойчивость; если для оценки центра нормального распределения в одномерном случае значения этих характеристик около 0,9, то при размерности р=13 они снижаются до 0,5. Для радикальных оценок такое снижение происходит уже при р=10. Отсюда следует вывод, что существенно многомерное нормальное распределение не может иметь устойчивых оценок, этот вывод согласуется со стараниями прикладников уменьшить размерность задачи.

• И стойкие, и радикальные оценки параметров многомерного нормального распределения принадлежат к экспоненциально взвешенному семейству оценок Мешалкина. На этих же оценках основан предлагаемый критерий для проверки гипотезы об однородности выборки, чувствительный к появлению излишнего количества наблюдений на периферии распределения и имеющий асимптотически нормальное распределение; выписаны его параметры.

• Неустойчивость оценок параметров многомерного нормального распределения обусловлена неограниченностью носителя. Её можно избежать, если привычную модель заменить равномерным распределением точек в р-мерном шаре: проекция точек на прямую быстро сходится (при росте р) к нормальному распределению, параметры которого выписаны. Но если модель многомерного нормального распределения используется для решения некоторой задачи, то вопрос об устойчивом оценивании естественнее рассматривать применительно к рассматриваемой задаче.

• Для задачи множественной регресссии выписана функция риска — квадратичная погрешность предсказания линии регрессии при использовании оценок минимального контраста. Если способ оценивания выбран, она даёт возможность выбирать регрессионную модель, минимизирующую квадратичную погрешность предсказания. Оптимизация на модели серии загрязнённых выборок даёт медианную и стойкую регрессии.

• По аналогии с оценкой параметра распределения, определяется эффективность и устойчивость регрессии. По этим двум характеристикам преимущество имеют компромиссная и радикальная регрессии. Радикальные регрессии выписаны для полиномиальной регрессии на отрезок и на многомерное нормальное распределение, для множественной линейной регрессии на куб и на многомерное нормальное распределение. При регрессии на многомерное нормальное распределение, как и при оценке параметров многомерного нормального распределения, происходит уменьшение эффективности и устойчивости с ростом размерности пространства.

• Максиминная оптимизация использована для прогноза локально-линейного тренда: получена квадратично-экспоненциальная весовая функция, оптимально занижающая веса наблюдений, отдалённых от точки прогноза по сравнению с близкими наблюдениями: она наилучшая для наихудшего загрязнения распределения.

• Для избежания неустойчивости линейной регрессии на многомерное нормальное распределение предлагается редукция многомерной задачи к последовательности двумерных задач с устойчивым решением. Выписанная квадратичная погрешность регрессии даёт возможность вести отбор "информативных" предикторов.

• Аналогичная редукция предлагается и для классификации двух совокупностей в дискриминантном анализе (распознавания образов); выписаны формулы для отбора "информативных" параметров для дискриминации.

• На реальной 12-мерной задаче сравниваются эффективности десяти способов решения задачи классификации. Методы дискриминант-ного анализа оказываются наихудшими. "Зануление" части коэффициентов корреляции улучшает решение, но оно всё-таки хуже решения специалиста по табличным данным и результата распознавания образов. А наилучшим оказывается редуцированное решение.

Основные методические выводы диссертации следующие.

• • Рассмотрены два способа оптимизации оценивания: максимин-ный, могущий быть вероятностной моделью для робастных построений, и вариационный. В одномерном случае эти два способа дают близкие результаты, но для многомерных задач решения оказываютя различными, и предпочтение следует отдать вариационной оптимизации, лучше согласующейся с практикой приложений.

• • Для рассмотренных задач введена новая характеристика решения — его устойчивость. Показано, что популярные оценки максимума правдоподобия имеют нулевую устойчивость. Из множества рассмотренных оценок наиболее перспективны радикальные, сочетающие простоту с хорошей эффективностью и устойчивостью.

• • Для регрессионной и дискриминантной задач выписаны функции риска с учетом погрешностей оценки параметов. Их минимизация рекомендуется для выбора математической модели.

• • Показано, что не может быть устойчиво оценено существенно многомерное распределение на неограниченном носителе, например, многомерное нормальное распределение. Неустойчивость решений линейных задач многомерной статистики, таких как множественная регрессия и дискриминация (распознавание образов), преодолевается редукцией к последовательности задач двумерных, при решении которых количество оцениваемых параметров линейно, а не квадратично растёт с ростом размерности.

1. Айвазян и др. (1983) — Айвазян С.А., Ешоков И.С., Мешалкин Л.Д. Прикладная статистика: основы моделирования и первичная обработка данных. М.: Финансы и статистика, 472 е.

2. Айвазян и др. (1985) — Айвазян С.А., Енкжов И.С., Мешалкин Л.Д. Прикладная статистика: исследование зависимостей. М.: Финансы и статистика, 487 е.

3. Айвазян и др. (1989) — Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: классификация и снижение размерности. М.: Финансы и статистика, 607 е.

4. Андерсон (1963) — Anderson, T.W. An introduction to multivariate statistical analysis. John Wiley and Sons, N.Y., 1958. (Перевод: Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963, 500 е.).

5. Андерсон и Бахадур (1962) — Anderson, T.W., Bahadur, R.R. Classification into two multivariate normal distributions with different covari-ance matrises. Ann. Math. Statist., v.33, no.2, p.420-431.

6. Барндорф-Нильсен О. и Кокс Д. (1989). Barndorf-Nielsen, О.Е., Сох, D.R. Asymptotic techniques for use in statistics. Chapman and Hall, London, 1989 (Перевод: Асимптотические методы в математической статистике. М.: Мир, 1999, 256с.).

7. Барсов Д.М. (1985). Минимизация ошибки классификации при использовании смещённых дискриминантных функций. Статистика, вероятность, экономика. М.: Наука, 1985, с.376-379.

8. Бенткус и др. (1995) — Bentkus, V., Bloznelis, М., Gotze, F. А Barry -Essen bound for M-estimators. Preprint 95-068 of Universitat Bielefeld, Germany, 32 p.

9. Беран (1981) — Beran, R.J. Efficient robust estimator in parametric models. Z. Wahrcheinlichkeits theorie verw. Gebiete, v.55, p.91-108.

10. Бикел (1984) — Bickel, P.J. Robust regression based on infinitesimal neighbourhoods. Ann. Statist., v.12, no.4, p.1349-1369.

11. Бозе и Рой (1938) — Bose, R.J., Roy, S.N. The exact distribution of the studentized D2-statistic. Sanchya, v.4, no.l, p. 19-38.

12. Бонгард M.M. (1967). Проблемы узнавания. M.: Наука.

13. Гаранин А.В. (1968). Применение дискриминантных функций для геохимической классификации геологически сходных объектов. Математические методы в геологии. М.: Наука, с.43-47.

14. Го дамб (1960) — Godambe, V.P. Optimum property of regular maximum likelihood estimation. Ann. Math. Statist., v.31, p.1208-1212.

15. Давидович М.И. и Петрович M.JI. (1987). Прикладная статистика. Оценка параметров. Программное обеспечение ЭВМ. Библиотека прикладных программ БИМ-М. Минск: Изд. Ин-та матаматики АН БССР. 166 е.

16. Данн и Вэреди (1966) — Dunn, O.J., Varady, P.D. Probabilities of correct classification in discriminant analysis. Biometrics, v.22, no.4, p.908-924.

17. Деев А.Д. (1970). Асисмптотическое разложение статистик классификации в нормальном случае. Докл. АН СССР, т.195, N- 4, с.759-762.

18. Джон (1961) — John, S. Errors in discrimination. Ann. Math. Statist., v.32, p.1125-1144.

19. Джонсон и Коц (1970) — Johnson, N.L., Kotz, S. Continuous univariate distribution. 2 vols. Boston: Haughton Mifflin.

20. Ди Пилло (1979) — Di Pillo, P.J. Biased discriminant analysis: evaluation of of the optimus probability of misclassification. Commun. Statist., Theor. Meth., AB(14), p.1447-1457.

21. Ершов A.A. (1978). Стабильные методы оценки параметров. Автоматика и телемеханика. N- 8. с.66-100.

22. Жакель (1971) — Jaeckel, L.A. Robust estimators of location: symmetry and asymmetric contamination. Ann. Math. Statist., v.42, no.3, p.1020-1034.

23. Журавлев Ю.И. (1998). Избранные научные труды. М.: Магистр, 418 с.

24. Закс Ш. (1971) — Zaks, Sh. The theory of statistical inference. N.Y.: John Wiley and Sons. (Перевод: Закс Ш. Теория статистических выводов. М.: Мир, 1975, 776 е.).

25. Кардилло и Фу (1960) — Cardillo, G.P., Fu, K.S. Divergence and linear classifiers for future selection. Trans. Autom. Control, v. 12, no.6, p.780-781.

26. Кендалл и Стьюарт (1976) — Kendall, M.G., Stuart, A. The advanced theory of statistics. Charles Griffin, London 1968 (Перевод: Кендалл M., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 736 е.).

27. Колмогоров А.Н. (1950). Несмещенные оценки. Изв. АН СССР, сер. мат., т. 14, с.303-326.

28. Лаченбрук (1967) — Lachenbruk, Р.А. An almost unbiased method ofobtaining confidence interval for the probability of misclassificatuin in discriminant analysis. Biometrics, v.23, p.639-645.

29. Лаченбрук и Миккей (1968) — Lachenbruk, P.A., Mickey, M.A. Estimation of error rates in discriminant analysis. Technometriccs, v.10, no.l, p. 1-12.

30. Леман (1991). — Lehman, E.L. Theory of point estimation. New York: John Wiley and Sons 1983 (Перевод: Леман Э. Теория точечного оценивания. М.: Наука, 444 е.).

31. Маронна (1976) — Maronna, R.A. Robust M-estimators of multivariate location and scutter. Ann. Math. Statist., v.4, no.l, p.51-57.

32. Махалонобис (1936) — Mahalanobis, P.S. On generalized distance in statistics. Proc. of National Inst, of Science of India, no. 12, p.49-55.

33. Мешалкин (1971) — Meshalkin, L.D. Some mathematical methods for the study of non-communicable diseases. Proc. 6-th Intern. Meeting of Uses of Epidemiol, in Planning Health Services. Yugoslavia, Primosten, v.l, p.250-256.

34. Мешалкин Л.Д. (1974). Использование весовой функции при оценке регрессионной зависимости. Монгомерный статистический анализ в социально-экономических исследованиях. М.: Наука, с.25-30.

35. Мешалкин Л.Д. (1977). Параметризация многомерных распределений. Докл. II Вильнюсской конференции по теории вероятностей и математической статистике. Вильнюс, т. 1.

36. Мешалкин Л.Д., Курочкина А.й. (1979). Новый подход к параметризации регрессионных зависимостей. Исслед. по мат. статистике. Зап. научн. семинаров ЛОМИ АН СССР. Л-гр., т. 87, с.79-86.

37. Мешалкин Л.Д. и Ребрий В.А. (1969). Классификация наблюдений посредством аппроксимации в окрестности точки деления. Статистические методы классификации (выпуск 1). Препринт N-6 Межфакультетской лаборатории статист, методов, Изд. МГУ, с.53-57.

38. Микешина Н.Г. (1966). Выявление и исключение аномальных значений. Заводская лаборатория, т.32. N.3, с.310-318.

39. Мичел и Пфанцагль (1971) — Michel, R., Pfanzagle, J. The accuracy of the normal aproximation for minimum contrast estimates. Z. Wahrsch-einlichkeitstheorie verw. Geb., v.18, no.l, p.73-84.

40. Мостеллер и Тьюки (1982) — Mosteller, F., Tukey, J.W. Data anal-isis and regression. Addison-Westley Publishing Company (Перевод: Ф. Мостеллер, Дж. Тьюки. Анализ данных и регрессия. Вып.1, 2. М.: Финансы и статистика, 1982, 319, 240 е.).

41. Николай Кузанский (1980). Сочинения в двух томах. М.: Мысль.

42. Окамото (1963) — Okamoto, М. An asymptotic expansion for the distribution of the linear discriminant function. Ann. Math. Statist., v.34, p.1236-1301.

43. Петрович M.JI. и Шлег Г.К. (1987). Изучение методом статистических испытаний робастных методов оценивания параметров регрессии. Заводская лаборатория, N- 3.

44. Петрович M.JI. и Шурыгин A.M. (1985). Устойчивые методы оценивания и их программная реализация. Докл. Республ. конференции по алгоритмическому и программному обеспечению. Минск.

45. Поплавский Н.Н. и Гольдин С.В. (1967). Некоторые вопросы применения метода дискриминантной функции. Докл. II Сибирского совещания по применению матем. методов и ЭВМ в геологии игеофизике. Новосибирск, с.98-99.

46. Пфанцагль (1969) — Pfanzagle, J. On measurability and consistency of minimum contrast estimates. Metrica, v.14, p.248-278.

47. Pao (1947) — Rao, C.R. A statistical criterion to determine the group to which an individual belongs. Natures, 160, p.835-836.

48. Раю (1950) — Rao, C.R. A note on distribution of D2 and some aspected of D^-D2-statistic and discriminant function. Sankhya, v. 10, no.3, p.251-263.

49. Pao (1966) — Rao, C.R. Distant function between composite hypotheses and related problems. Biometrika, v.53, p.339.

50. Робастность (1984) — Robustness in statistics. Ed. R.L.Launer, N.Y., 1979. (Перевод: Устойчивые статистические методы оценки данных. М.: Машиностроение, 1984, 229 е.).

51. Ронкетти и Штаудт (1994) — Ronchetti, Е., Staudte, R.G. A robust version of Mallow's Cp. //Journ. of the American Statist. Assoc., v.89, no.426, p.550-559.

52. Смолл (1990) — Small, C.G. A survey of multidimensional median. Intern. Statist. Review, 58, p.263-277.

53. Смоляк C.A. и Титоренко Б.П. (1980). Устойчивые методы оценивания. М.: Статистика. 280 е.

54. Степанов B.C. (1991). О вероятности ошибки линейного фишеровского классификатора с использованием отбора главных компонент. Заводская лаборатория, N- 5, с.57-431.

55. Тюрин Ю.Н. и Макаров А.А. Статистический анализ данных на компьютере. М.: ИНФРА, 1998.

56. Тьюки (1960) — Tukey, J.W. A survey of sampling from contaminated distribution. Contribution to Probability and Statistics. Ed. I.Olkin. Stanford: Stanford Univ. Press, p.446-486.

57. Фишер (1936) — Fisher, R.A. The use of multiple measurments in taxo-nomic problems. Ann. Eugen., no.7, p.179-188.

58. Форсайт и др. (1973) — Forsyth, A.B., Engelman, L., Gennrich, R., May, F.R.A. A strong rule for variable selection in multiple regression. J. of Amer. Statist. Assoc., v.68, N.341, p.74-77.

59. Харин Ю.С. (1992). Робастность в статистическом распознавании образов. Минск: Изд. БГУ.

60. Харин Ю.С. и Сталевская С.Н. (1997). Об устойчивости многомерного линейного регрессионного прогнозирования. Весщ АН Бел ару ci, №■ 4, с.9-13.

61. Хилс (1968) — Hills, М. Alocation rules and their error rates. Royal Statist. Soc., ser.B, v.28, p.1-31.

62. Хьюбер (1964) — Huber, P.J. Robust estimation of location parameter. Ann. Math. Statist., v.35, no.l, p.73-101.

63. Хьюбер (1981), (1984) — Huber, P.J. Robust statistics. New York: John Wiley and Sons, 1981. (Перевод: Хьюбер П. Робастность в статистике. М.: Мир, 1984, 303 е.).

64. Черноф (1973) — Chernoff, Н. Using fases to represent points in k-dimentional space graphically. Journ. Amer. Statist. Ass., v.68, p.361-368.

65. Чибисов Д.М. (1973). Асимптотическое разложение для класса оценок, содержащего оценки максимума правдоподобия. Теор. вероятностей и её применение, т.18, N-2, с.295-305.

66. Шурыгин A.M. (1969). Поиск наилучшего деления двух выборок. Статистические методы классификации (выпуск 1). Препринт N-6 Межфакультетской лаборатории статистических методов. Изд. МГУ, с.53-57.

67. Шурыгин A.M. (1972). Задачи статистической классификации в геологии. Советская геология, N- 4, с.43-47.

68. Шурыгин A.M. (1979). Оценка параметров нормального распределения по "загрязненной " выборке и статический кластер-критерий. Теория вероятностей и её применение, N- 1. с.233-234.

69. Шурыгин A.M. (1980i). Оценки параметров нормального распределения с экспоненциальным взвешиванием наблюдений: асимптотическая теория. Алгоритмическое и программное обеспечение прикладного статистического анализа. М.: Наука, с.241-259.

70. Шурыгин A.M. (1980г). Сравнение эффективности различных алгоритмов классификации при решении реальных задач. Алгоритмическое и програм. обеспечение прикладного статистического анализа. М.: Наука, с.354-360.

71. Шурыгин A.M. (1980з). Статистический кластер-критерий. Алгоритмическое и программное обеспечение прикладного статистического анализа. М.: Наука, с.360-366.

72. Шурыгин A.M. (1982). Устойчивые оценки параметров распределения. Заводская лаборотория, N- 2, с.88—93.

73. Шурыгин A.M. (1983). Линейная комбинация простейшего и фише-ровского дискриминаторов. Прикладная статистика. М., Наука, с.144-159.

74. Шурыгин A.M. (1985i). Робастность и устойчивость статических оценок. Статистика, вероятность, экономика. М.: Наука, с.90-98.

75. Шурыгин A.M. (19852). Устойчивые оценки параметров многомерного нормального распределения. Статистика, вероятность, экономика. М.: Наука, с.314-317.

76. Шурыгин A.M. (1985з). Устойчивая точка деления двух выборок. Статистика, вероятность, экономика. М.: Наука, 1985, с.345-349.

77. Шурыгин A.M. (19854). Пути улучшения дискриминации в нормальном случае. Статистика, вероятность, экономика. М.: Наука, с.379-382.

78. Шурыгин A.M. (19865). Минимизация систематической ошибки. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исслед. зависимостей. М.: Финансы и статистика, 1985, с.221-225.

79. Шурыгин A.M. (1989i). Стойкая оценка параметра экспоненциального распределения. Докл. IV Всесоюзной научно-технической конференции " Применение многомерного статистического анализа в экономике и анализе качества продукции". Тарту, изд. ТГУ, с.23.

80. Шурыгин A.M. (1989з). Экстраполяция локально-линейного тренда. Докл. IV Всесоюзной научно-технической конференции "Применение многомерного статистического анализа в экономике и анализе качества продукции". Тарту, изд. ТГУ, с.61-62.

81. Шурыгин A.M. (1990i). Параметрическая минимаксная оптимизация регрессии в серии выборок. Многомерный статистический анализи моделирование реальных процессов. М.: Наука, с.107-117.

82. Шурыгин A.M. (19902). Непараметрическая минимаксная оптимизация регрессии в серии выборок. В сб. Многомерный статист, анализ и моделирование реальных процессов. М.: Наука, с.163—166.

83. Шурыгин (1994i) — Shurygin, A.M. New approach to optimization of stable estimation. Proc. 1 US/Japan Conf. on Frontiers of Statistical Modeling. Netherlands, Kluwer Academic Publishers, p.315—340.

84. Шурыгин A.M. (19942). Вариационная оптимизация устойчивости статистической оценки. //Автоматика и телемеханика, N-11, с.73—86.

85. Шурыгин A.M. (1995). Размерности многомерной статистики. //Автоматика и телемеханика, N-8, с.103—123.

86. Шурыгин A.M. (1996). Регрессия: выбор модели и устойчивое оценивание. //Автоматика и телемеханика, N-6, с.104—115.

87. Шурыгин (1998) — Shurygin, A.M. Robustness and stability in multivariate statistics. Proc. 5 Intern. Conf. Computer Data Analysis and Modeling, Minsk, v.2, p. 113—115.

88. Шурыгин A.M. (2000i)— Shurygin, A.M. Estimator stability in geological application //Mathematical Geology, v.32, no.l, p.19-30.

89. Шурыгин A.M. (20002). Прикладная стохастика: робастность, оценивание, прогноз. М.: Финансы и статистика, 224 е.

90. Эндрюс и др. (1972) — Andrews D.F., Bickel P.J., Hampel F.R., Hu-ber P.J., Rodger W.H., Tukey J.W. A robust estimation for location: survey and advances. Princeton, N.Y.: Princeton Univ. Press.

91. Эндрюс (1974) — Andrews D.F. A robast method for multiple linear regression. Technometrics, v.16, no.4, p.523-531.

92. Юречкова (1971) — Jureckova, J. Nonparametric estimates of regression coefficients. Ann. Math. Statist., v.42, no.4, p.1328-1338.