автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Статистическая обработка данных с использованием априорной информации

ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Дмитриев Юрий Глебович

На правах рукописи УДК 519.2

:• ОД

" ^ '"ПП МП:]

СТАТИСТИЧЕСКАЯ ОБРАБОТКА ДАННЫХ С ИСПОЛЬЗОВАНИЕМ АПРИОРНОЙ ИНФОРМАЦИИ

05.13.16 — применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора физико-математических наук

Томск 2000

Работа выполнена в Томском государственном университете.

Официальные оппоненты: доктор физико-математических наук,

профессор Кошелев В.Н.,

доктор физико-математических наук, профессор Терпугов А.Ф.,

доктор физико-математических наук, ст.н.с. Банах В.А.

Ведущая организация: Институт математики им. Соболева

СО РАН (г. Новосибирск)

Защита состоится .^¿¿-¿¿Л-

2000г. в ^

часс

на заседании Диссертационного совета Д 063.53.03 но защите диссертаци на соискание ученой степени доктора наук при Томском государственно; университете по адресу: 634050, г.Томск, пр. Ленина, 36.

С диссертацией можно ознакомиться в Научной библиотеке Томского гс сударствснного университета.

Автореферат разослан " ^ " _ 2000г.

»

Ученый секретарь Диссертационного Совета кандидат физико-математических наук, доцент

-/

/

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Задачи статистической обработки данных обычно формулируются в терминах функционалов от распределения вероятностей, выражающих различные вероятностные характеристики, и их решение сводится к нахождению значений этих функционалов по результатам эксперимента. При построении статистических оценок функционалов часто используется метод подстановки , заключающийся п замене неизвестного распределения эмпирическим распределением. На практике почти всегда что-нибудь известно об оцениваемом распределении. Эти знания, составляющие априорную информацию, могут быть совершенно различными; они могут заключать в себе информацию о непрерывности, симметрии относительно известного или неизвестного центра, о квантилях и моментах, о монотонности функции интенсивности, о функциональном виде распределения и г\д., а также различные комбинации этих сведений. Наличие априорной информации естественным образом ставит задачу ее использования для улучшения качества эмпирических оценок. Задачи оценивания, в которых имеется существенная априорная информация, получили название условных.

К числу первых работ по условному оцениванию функции распределения п функционалов относятся исследования Ю.Н.Тюрина, E.F.Schuster, D.Hinkley, Б.Я.Левита, Ю.А.Кошевника, Г.М. Кошкина, Ф.П. Тарасенко, Ю.К.Устинова и автора.

Важнейшим стимулом к разработке методов вовлечения дополнительной априорной ннформациив в статистическую обработку данных экспериментов послужили разнообразные практические задачи, решаемые методом статистических испытаний. В.Н.Пугачевым для анализа систем предложен комбинированный метод оценивания вероятностных характеристик, использующий результаты натурных испытаний и дополнительную информацию о системе, полученную в результате теоретических исследований и статистического моделирования. Такой метод, называемый также методом коррелированных процессов, позволяет повысить точность оценивания вероятностных характеристик при заданном числе натурных экспериментов, проведение которых, как правило, трудоемко и требует больших материальных затрат. Дальнейший вклад в этом направлении внесли

Н.И.Баклашов, М.В.Гальченко, В.А. Гуревич и др.

Особую значимость учет допонительной информации приобретает в теории надежности. В работах А.В.Прохоренко, В.Ф.Голикова описаны методы оценивания показателей надежности изделий и их составных частей по результатам испытаний или эксплуатационных наблюдений с использованием дополнительной информации, источником котрой служат анализ надежности при проектировании, результаты предыдущих испытаний изделий. В.П.Савчук рассматривал эту задачу в байесовской постановке при наличии частичной информации об априорном распределении.

Случай полной априорной определенности имеет место в задачах, решаемых методом Монте-Карло (методом статистических испытаний). Для повышения точности вычисления математических ожиданий ( интегралов) методом Монте-Карло разработаны различные приемы уменьшения дисперсии оценок - выделение главной части, симметризация подынтегральной функции, метод "существенной" выборки, метод расслоенной выборки, и т.д. По существу, все эти приемы есть способы учета имеющейся информации при оценивании математического ожидания (или какого-либо другого функционала.) по выборке, генерируемой ЭВМ в соответствии с заданным законом распределения.

Таким образом, потребности практики приводят к необходимости развития известных и создания новых более общих подходов и методов учета дополнительной априорной информации разнообразных типов в синтезе статистических процедур обработки данных и их теоретического обоснования.

Связь с научными программами, темами. Диссертационная работа выполнялась в соответствии с планами научно - исследовательских работ Сибирского физико - технического института при Томском государственном университете.

В рамках госбюджетных тем:

"Оптимизация измерительных и связных информационных систем" (координационный план АН СССР на 1971-1975 гг., проблема ТК-22, № гос. регистрации 70005304);

" Адаптивные, обучаемые и самообучающиеся системы" (координационный план АН СССР на 1976-1980 гг. по комплексной проблеме

"Кибернетика", шифр 1.12.1.2, № гос. регистрации 78017018);

"Разработка непараметрических н устойчивых к неадекват-иостям моделей статистических процедур" (1981-1985 гг., шифр "Функционал-Р", N3 гос. регистрации 73024024);

— в рамках хоздоговорных тем:

"Создание системы алгоритмов и программ для статистической обработки экспериментальных данных" (1974-1976 гг., шифр "Статистика", № гос. регистрации 74063880),

"Разработка и внедрение непараметрических и робастных методов в моделирование, в автоматизацию проектирования и автоматизацию технологических процессов в производстве микросхем" (1987— 1989 гг., шифр "Статистика", № гос. регистрации 75015423).

По базовому финансированию Министерства общего и профессионального образования (МОПО) в рамках тем:

"Стохастическое моделирование систем обработки информации, классификации и селекции" в 1991-1995 г.г. (шифр "Модель" №413-91);

"Математическое моделирование систем управления, обработки и передачи информации" в 1996-1998 г.г. (шифр "Система" №4-4-96Ф).

Часть исследований выполнялась в соответствии с планами научно-исследовательских работ Томского государственного университета но базовому финансированию МОПО в рамках темы

"Разработка и исследование математических моделей и программной поддержки статистической обработки разнотипных данных" в 1994-1999 гг. (шифр № 1.38.96Ф),

а также по программам, поддержанным грантом Российского фонда фундаментальных исследований (РФФИ) №95-01-00289 "Непараметрические п робастные методы обнаружения зависимостей, классификации и селекции" (1995-1996 г.г., руководитель Тарасенко Ф.П.).

Целью настоящей работы является

— развитие метода коррелированных процессов для задачи условного оценивания при наличии смещений и многозначности значений в априорных условиях,

— разработка новых методов и алгоритмов привлечения различных типов дополнительной информации о распределениях в проце-

дуры статистической обработки данных,

— исследование влияния учета априорной информации на свойства получаемых статистических процедур.

Методы исследования. Решение поставленных задач осуществлялось с применением методов функционального анализа , теории вероятностей, случайных процессов, математической статистики. статистического моделирования, линейной алгебры, теории матриц.

Научная новизна.

1. Рассмотрена задача статистического оценивания функционала от распределения при условии, что другие (априорные) функционалы могут принимать значения из заданного конечного множества, что обобщает ивестные ранее постановки задач условного оценивания. Это позволяет привлекать в обработку данных более разнообразную информацию о распределениях. В классе оценок линейной структуры получена оптимальная в смысле минимума среднеквадра-тпческой ошибки оценка. Предложены методы построения адаптивных оценок, сходящихся по распределению к оптимальной.

2. Показано, что метод коррелированных процессов можно с успехом применять в оценивании функционалов от условных плотностей вероятностей с привлечением дополнительной информации о значениях конечного числа других функционалов плотности. Тем самым расширена область применимости этого метода в решении новых практических задач.

Предложен класс асимптотически нормальных оценок с минимальной дисперсией для непараметрического оценивания широкого класса функционалов плотности.

Рассмотрена задача условного оценивания при наличии смещений в априорных условиях. Построены адаптивные оценки, сходящиеся по распределению с увеличением объема наблюдений к оптимальной при отсутствии смещений в априорных условиях и к безусловной оценке при наличии смещений.

3. Предложен метод проекций, позволяющий проектировать некоторое исходное распределение в заданный класс распределений (обычно выделяемый априорными условиями) и получать новое распределение с нужными свойствами. Дано общее определение класса

условно - инвариантных распределений, включаюшее в себя симметричные, с известными квантилями и непрерывные распределения. Тем самым в статистическую практику введено понятие априорной информации условно - инвариантного типа. Построены проекторы в различные классы распределений и изучены их свойства.

4. Методом проекций построены модифицированные эмпирические распределения, обладающие априорными свойствами. Получены и исследованы оценки распределений условно -- инвариантного типа, приведены формулы вычисления вероятностей попадания модифицированных эмпирических функций распределения в заданные полосы при конечном числе наблюдений.

5. Сформулирована задача проверки статистических гипотез при наличии априорной информации о распределениях. Получены модифицированные статистики критериев согласия Колмогорова, Колмогорова - Смирнова, омега-квадрат. Для статистик, модифицированных с учетом информации о симметрии, квантилях, непрерывности распределений и различных комбинаций этих сведений, получены точные и асимптотические распределения при нулевой гипотезе и некоторых типах альтернатив. Показано, что учет дополнительной информации о распределениях в структуре статистик приводит, как правило, к увеличению мощностных свойств рассмотренных критериев согласия.

6. Построены и исследованы свойства модифицированных оценок, предназначенных для вычисления кратных интегралов методом Монте-Карло. Наличие полной информации о функции распределения и рассмотрение специальных классов подынтегральных функций позволило рассмотреть при построении оценок интегралов с учетом знания значений других интегралов новый критерий качества - минимум верхней грани погрешности оценок, отличный от минимума дисперсии. Найдены точные границы погрешностей оценок на заданных классах подынтегральных функций. Исследованы свойства устойчивости (робастпостп) модифицированных (с учетом симметрии и квантилей) оценок интегралов к отклонениям распределения выборки от равномерного в (0,1) закона.

Практическая ценность.

Предложенные в диссертации методы и алгоритмы обработки

статистических данных с использованием дополнительной информации разработаны с учетом существующих потребностей практики и позволяют в условиях различного уровня априорной определенности решать задачи технической кибернетики (идентификации, управления, распознавания образов), геофизики, космической связи, вычислительной математики, имитационного моделирования.

Внедрение результатов работы.

Полученные алгоритмы обработки данных применялись при вы-полнениия ряда научно-исследовательских и хоздоговорных тем для различных организаций в стенах лаборатории Статистических методов Сибирского физико-технического института им. В.Д.Кузнецова при Томском государственном университете,

Материалы исследований в настоящее время используются в учебном процессе при чтении следующих курсов лекций:

"Математические методы страхового и банковского дела", "Статистическое моделирование", "Дополнительные главы математической статистики", "Статистические задачи технической кибернетики" и "Теория информации" в Томском государственном университете.

С 1975 г. и по настоящее время материалы исследований также используются студентами и аспирантами ФПМК Томского государственного университета при выполнении курсовых, дипломных работ и кандидатских диссертаций.

Апробация работы и публикации.

Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и симпозиумах:

VI конгрессе ИФАК по стохастическому управлению (Венгрия, 1974), IV, V, VI научных конференциях Западно-Сибирского региона МБ и ССО РСФСР по математике и механике (Томск, 197-4, 1976, 1977), V Всесоюзном совещании по методам Монте-Карло (Новосибирск, 1976), II-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Шушенское, 1977, Дивногорск, 1981, Томск, 1983, Шушенское, 1985, Томск, 1987), VII Всесоюзной конференции по теории и передаче информации (Москва-Куйбышев, 1981), Международном симпозиуме по

теории информации ( Ташкент, 1984), Colloquium on Goodness-of-Fit. June '25-29. 1984. Debrecen, Всесоюзной конференции "Теория, методология н практика системных исследований". Секция 5. Математические методы анализа систем, (Москва, 1985), Всесоюзной конференции "Методы и програмное обеспечение обработки информации и прикладного статистического анализа данных на ЭВМ" ( Минск, 1985), II Симпозиуме ИФАК по стохастическому управлению (Вильнюс, 1986), I Всемирном Конгрессе Общества математической статистики и теории вероятностей им. Бернулли (Ташкент, 1986), International Symposium on Data Analysis, INRIA, Antibes / Juan les Pins (France) 11-14 Sept. 1989, IV Всесоюзной научно-технической конференции " Применение многомерного статистического анализа в экономике и оценке качества продукции" ( Тарту (ЭССР), 1989), Всесоюзной конференции "Информационные методы повышения эффективности и помехоустойчивости радиосистем и систем связи" ( Москва-Ташкент, 1990), Всесоюзной научно-технической конференции с международным участием стран членов СЭВ "Применение статистических методов в производстве и управлении" (Пермь, 1990), Всесоюзной конференции по имитационному моделированию и анализу данных (Минск, 1990), Республиканской научной школе-семинаре "Компьютерный анализ данных и моделирование" (Минск, 1992), VIII, IX, X Международных симпозиумах по непараметрическим и робастным методам в кибернетике (Красноярск, 1995, 1997, 1999), II Сибирском конгрессе по прикладной и индустриальной математике (Новосибирск, 1996), Юбилейной научной конференции Сибирского физико-технического института им. академика В.Д.Кузнецова при Томском государственном университете (Томск, 1998), Юбилейной межрегиональной научной конференции "Исследования по анализу и алгебре", посвященной 50-летию механико-математического факультета ТГУ (Томск, 1998), Третьем Корейско-Российском международном научно-техническом симпозиуме (Новосибирск, 1999), Международном семинаре "Стохастические системы управления" Дрезденского технического ун-та и НИИ АЭМ при ТУ-СУР (Томск, 1999),

Структура диссертации.

Работа состоит из введения, шести глав, заключения, списка ли-

тературы и приложения, включающего документы об использовании результатов диссертации в учебном процессе. Объем диссертации -275 страниц, в том числе таблиц - 4, рисунков - 3. Библиография содержит 125 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, приводится обзор основных результатов по рассматриваемой тематике, определяются цели исследования и дается общая характеристика работы.

В первой главе обсуждается метод коррелированных процессов, предложенный В.Н.Пугачевым, рассматривается задача непараметрического оценивания функционала 9(Р) = ¡х 1р(х)Р(йх), >р : X —> В) по независимой выборке X = (Л'х, ..., Хм) из распределения Р на (Х,В) при условии, что для заданных значений /3/, ] = 1, т функционалы Д;- (Р) = /{ф^ (х) - )Р(с/х), ] - I, т, принимают нулевые значения, т.е. когда Р 6 Тр* $ ф3{х)Р(й;х) — /3,'}. Равенства ДДР) = 0, э = 1,т принято называть условиями несмещенности, они задают априорный класс распределений р* = где ф = ,...,фт)Т, Р = {Ри...,Рт)т. Если, в эксперименте реализуется выборка из распределения Р — Ра, то А = Д(Ро) = (Л^Ро), • • •, Ат(Ро))Т ~ есть вектор априорных смещений, компоненты которого могут принимать любые конечные значения, в том числе и нулевые, однако исследователю эти значения могут быть неизвестны. Проблема состоит в оценке функционала 8(Р) при наличии смещений в априорных условиях.

Рассматривается класс оценок 6*лг(А) = в — АТД, где А =

(ь-Р), в = Ь = = ТТпг, л =

(Ах,. .., Ат)т- вектор коэффициентов. Показано, что минимум сред-неквадратического отклонения А) = Мр{0^{А) —в{Р)]2 дости-

гается на А0 = (V +МААТУ1С, где V = соьр{ф[Х\),фт (Х\}), С = covp(lp{Xl),ф{Xl)). Поскольку Ао неизвестно, то далее строятся его оценки А и рассматриваются адаптивные оценки 0дг(А) = 0 — АТД. Для А = Ла = у-1С/{1 + №Ат9~1А), 1/2 < а < 1 установлено, что при N—+00

- 9)) М(0,а2о),

где

2 _ Г Ор<р -СТУ-1С при А = О, 0 \ Р>р<р при А ф. О.

Как видно, эта оценка не улучшает асимптотических свойств при равенстве нулю только части компонент вектора А. Этого недостатка лишена оценка, использующая

Л^Л.А--Ц—У

V И-Л''ат1/-^А; ' ; у 1 + у

Для нее при 1/2 < а < I и N —► оо:

где Ощ = Ор(1р{Х\)А[1]). Здесь векторы ф[\] и А^] зависят от тех компонент Л, которые равны нулю.

Характерной особенностью рассмотренных выше адаптивных оценок функционала 0(Р) (при неизвестных смещениях Д^) является одновременное осуществление в их структуре проверки априорных условий на несмещенность и непосредственно оценивания.

В §3 рассматривается случай, когда каждый из т функционалов Ъ](Р) = Мрф3(Х1), ] — 1,тп принимает значения из заданного конечного множества = {/?,• 1, . • ■,/З^ }. Априорный класс рас-

пределений Ра задается в этом случае условием

у ф3(х)Р(с1х) е ■ • .,/?;■*,}> ; = ъ™-

Представив априорные условия в виде

к> I■ _

&ЛП = П / Ш*1)-Рц)Р{<1х,) = о, ] =

(=1 ^

мы сводим исходную задачу к оцениванию линейного функционала в(Р) при полилинейных и несмещенных условиях. Используя ¡7 -статистики и функционалы Мизеса построены адаптивные оценки, сходящиеся по распределению к оптимальной. Оказалось, что увеличение неопределенности в априорных условиях 9 за счет множественности значений в априорных функционалах не ухудшает асимптотн-

ческие свойства адаптивной оценки по сравнению со случаем единственного значения у каждого априорного функционала. При конечном объёме наблюдений множественность значений Ь^(Р) проявляет себя лишь в членах более высокого порядка малости наличием положительного слагаемого порядка

Во второй главе метод коррелированных процессов применяется в непараметрнческом оценивании функционалов от условных и безусловных плотностей вероятностей с привлечением дополнительной информации о значениях конечного числа других функционалов плотности, тем самым расширяется область применимости этого метода.

По независимым наблюдениям (Х^Ух),.. . , (А'дг,Улг) случайного вектора (Х,У) € строятся оценки вероятностных характери-

стик вида

3{х) = <5(аг(х),.. .,ап(х)), а,-(я) = / щ(у)/(х,у)<1у, ] - Т/п

я»

где <3 : Л" —И}- заданная функция, кр^ : —у Я1 - известные функции, /(х,у) - неизвестная плотность (относительно меры Лебега) случайного вектора (X, У), А' £ Як, У £ /й®, при условии, что для заданных функции <рп+г : —> -й1, I = 1 ,пг + р, функционалы

ап+1(х) = / <рп+1(у)/(х,у)(1у, /=1,ш + Р,

К'

Ьк{х) = .[ <рп+7п+к(у)1(у I х)йу, к = ТГр, я»

удовлетворяют соотношениям

ап+,(х) - ап+1(х-, 9,) = Д/(ж), I = Мг, (2.1)

ап+т+к(х) -/к-{х\вт+к)а0(х) = Дт+к(ж), к = 1 ,р, (2.2)

где а:п+;(ж;0г) и известные с точностью до конечного

числа, параметров функции, 9Г £ 0 С г = 1 ,т + р, ао(х) = /я® 1{х,у)(1у -плотность вектора X £ й*; ао(а:) > 0 на Нк, } —

1, т + р - смещения, характеризующие отклонения от истинных значений функционалов. Относительно вектора смещений Д(ж) = Д = (Дь. .., Дт, Дт+[,.. ., Ат+р)Т известно лишь, что его компоненты

.могут принимать нулевые значения. Факт равенства нулю каких-либо компонент Aj вектора смещений может быть как известен, так и неизвестен исследователю.

В задачах управления такие оценки могут применяться при не-параметрнческой идентификации модели объекта (например, регрессии) с использованием параметрического описания некоторых вероятностных характеристик объекта.

В качестве безусловной непараметрической оценки ■1{х) в точке х используется <7л'(ж) = 1 (зс), . ..,ап(х)), Структура оценок с учетом условий (2.1) и (2.2) имеет вид J¡\l(x^y А) = JN(x) — АтД(а;), где

1 / х — X Л

й; = ^ ^ 9}(У*)К у-^1) ' = °>1 ,---,п + т + р,

- ядерные оценки. Пусть Ь = [Пк К2{и)йи < со, <3(<) имеет в точке £ = а = (с1Х,.. ., ап) непрерывные частные производные до второго порядка, причем первые частные производные не все равны нулю одновременно. Если при N —► со : \JNHhi —' 0, / = 1Д-, вТ =>

дт, Т = 1, 772 + р,

у/ТГн(«^(х; - п,(х\0;)) =>- 0, 7 = ТТт,

^Ш{0к{х-,9т+к)-0к{х]вт+к)) => О, Ь =Т7р,

то С{ VN 11(.1 К{х\ До) - /(а:))) —+ Л/"(0, а (я)), где дисперсия

{<т2(х-) - СТ(х)У-1(х)С{х), пр и А(х) = О,

аЦх)-СЦх)у-\х)С[х)+ ,

(С'Г(х)У-Нх)А(х)У д, {2'6) +АТ(х)У-Чх)Л(х) '

а2(х) = I ^ ^ Я'г (аММу)^ Я*. УУ1У-

Далее строятся адаптивные оценки при наличии смещений в априорных условиях. Рассматривается оценка с введенным смещением (вектор Д(г) предполагается заданным) ./¿у (х, До) = J1\¡(x) — \Т(х)к(х), где

Ао(,) = (у-Ч*) -

С(х) и V 1(ж) - оценки соответствующих матриц, основанные на

1 14 ( х -

1 = 1

> / = 0, ?? + т + р.

И в этом случае в обычных условиях показано, что Уз: £ II1' при N оо 2

~ J(x))) - (х)),

*2

где о- (х) определяется формулой (2.3).

При неизвестном векторе смещений Д(г) в качестве оценок его компонент возьмем

j — 1,т + р; 0 < V < 1 и рассмотрим адаптивную оценку 7дг(.гт; А) = J¡ч(x) — ЛГ(ж)А(.-с),

где

их) =_у-Ч*)^*)

1 + ЫНАт(х)У-1(х)К(х)

Показано, что при N — оо Ух £ Як С(\/ТГН(^к(х\ А) - /(а:))) ^(О.аЧЮ), где

2/ л _ / ~ Ст(х)У-1(х)С(х), при А(х) = О,

£Г(а;)-) при Д(х) ф С.

Оценка не улучшает своих асимптотических свойств, если

хотя бы одна из компонент вектора смещений Л не равна нулю. Это обстоятельство побуждает рассмотреть другую адаптивную оценку

тт>-1 л • А/ЯДТУ-1ДДГ\/-]С

/лг(а:;Ао) = -М®) - ДМ+

1 + N11 АТУ~1А

Свойства этой оценки исследуются в предположении, что первые т\ компонент (Дх,..., Д„п)т = Дщ вектора смещений Д равны нулю, а остальные т+р — ту компонент- (Дто,+1, ..., Дт+;,)т — Д[2] не равны нулю, т.1 = 0, 1, т + р.

Если в оценках Ду(.с) = \,т + р параметр и £ (1/2,1), то при N-»00

о) —/(ж))) —+ где

Здесь Ф^ = (^'1, - • - з 'Фтх)I а ф^у) = /= 1,ги и ■фт+1(у) =

= у?„+т+;(?/) - 6;(.с), / = 1, Я11 .

т * 2

С л е д с т а и е. При Д(ж) = 0 ^(ж) = с (ж). При Д(.г') ф О а-^х) = сг2(х).

Важной особенностью рассмотренных адаптивных оценок является одновременное осуществление в них двух операций: проверки априорных условий на несмещенность (равенства нулю всех или части компонент вектора Д ) и непосредственного оценивания.

Третья глава посвящена изложению метода проекций. Он применяется при проектировании распределений вероятностей в различные априорные классы распределений. Пусть V — Л) - пространство вероятностных распределений, заданных на измеримом пространстве У, 2 - подпространства V, У С 2 Отобра-

жение П : 2 —> У, неподвижное на У, называется проектором из 2 в У\ элемент у — Пг £ У называется проекцией 2 £ 2 на множество

у.

Обычно желательно подобрать проектор П так, чтобы проекция II2 была ближайшим к г £ 2 распределением из У в заранее заданном смысле. Это можно сделать, задав в пространстве 2 некоторую "меру близости" - псевдометрику или метрику р. Проекцию Пг на У С 2 назовем р-проекцией, если она реализует расстояние от точки г до множества У.

В этом случае проектор II будем называть р-проектором и обозначать П — Пр. Если проектор Я уже построен, то возникает вопрос: в каких псевдометриках р проектор П является /Э-проектором на У? Ответ дает

Теорема 2.2. Пусть заданы псевдометрическое пространство (2,р), множество У С 2 и проектор П : 2 У. Тогда функция

p{z,y) = р(Пz, Пy), z,y € Z есть псевдометрика в Z, a. Я есть р-проектор на У.

Близость между двумя распределениями можно определить и с помощью "расстояний" d, для которых могут не выполняться либо свойство симметрии, либо неравенство треугольника, либо то и другое вместе. Примерами таких расстояний являются: (1m{F,G) = (j(F — G)2dGy/2— - расстояние Мизеса или омега-квадрат,

d(P,Q) = f In (—dQ) - информационное расхождение,

dxrJP, Q) = fin ^j^-JdP--расстояние Кульбака-Лейблера,

d3{P,Q) = — / lnp(i)£ÎQ(.x) - энтропийное расстояние. Построение проекций с помощью метода минимального расстояния осуществляется прп проектировании в классы распределении с известными математическими ожиданиями от заданных функций, параметрические классы, и в непустые пересечения этих классов.

Изучение симметричных (с известным центром), квантильных и других классов распределений привело к введению класса условно -инв ар и антных р аспределен и и.

Рассмотрим в измеримом пространстве Л) конечное или счетное разбиение £ пространства Q на непустые измеримые множества C'ijC'a, •• •• Неотрицательную функцию I, заданную на разбиении £. назовем весовой, если ^З^(С') = 1, С Е £. Отображение S : il —+ fl называется согласованным с разбиением £, если оно биективно, измеримо в обе стороны, (S-1)" = S~1S~1 = Е, и если ,S_1(C) £ £ для каждого С £ £.

Пусть каждому распределению Р из Т сопоставлены разбиение £р, согласованная с ним бпекция S(, и весовая функция 1р на £р. Обозначим £ = {£р : Р е V}, J = {Sp : Р G V}, С = {lp :РеТ}.

Определение. Распределение Р назовем (T,,J, С) - условно - инвариантным, если

Р(С) = /р(С) VC G £Р) P{AC)lp(Sp(C)) = P(ïïSp(AC))l,(C) УАеЛ, С&£р.

Класс всех [T,,J,C) - условно инвариантных распределений будем обозначать >£).

Понятие условной инвариантности распределения обобщает такие понятия, как: симметрия с известным центром, симметрия с неизвестным центром, симметрия неравноплечняя, квантильная информация (известны вероятности некоторых событий), и многие другие, а также различные их комбинации.

Построим проектор П : V —> С этой целью зафиксируем

для каждого распределения Р какую-нибудь вероятностную меру положительную па £р, и для любых А £ А и С £ £р положим

Г Р(АС) при Р(С) > О,

р( \п = ] пРи р{с) = >

1 ; ] дР(АС) при Р(С) = Р{Бр(С)) =0, /Р(С)>0, 10 при Р(С) = Р{Бр{С)) = 1Р(С) = 0.

Теорема 4.1. Для каждого распределения Р £ V функция множества

есть вероятностная мера, причем Р = Р для Р £ Если

£р — £р ц 5'Р = Бр, то Р £ тогда и только тогда, когда

~ •

Эта теорема дает ключ к построению проекций во все упомянутые выше классы распределений: симметричных с известным или неизвестным центром симметрии, равноплечно или неравноплечно симметричных, квантильные классы распределений, классы непрерывных распределений, а также в пересечения этих классов.

Метод минимального расстояния также можно применить для построения проекций в некоторые классы симметричных распределений, однако он по своей природе более приспособлен для проектирования в классы распределений с известными значениями некоторых функционалов от распределений.

Рассмотрим на измеримом пространстве (Д',£>) распределение Р £ 'Р'р, Найдем в классе Т^ распределение С^, ближайшее к распределению О в смысле расстояния г/^ Кульбака-Лейблера.

Теорема 8.1. Если распределение <3 таково, что матрица J(■ф(x) — ,3)(ф(х) — Р)ТЯ{Лх) положительно определена, множество

= {г : /д, ^^{йх) < оо} открыто и содержит решение г

уравнения

то его —проекция СЗ1'' в класс определяется формулой

Л^(А)=Оф(А)= / -;-(¿(¿х).

■1А /^е^О^^а;)

При этом — — 1пА'д(т) и равенство нулю достигается

лишь при С} Е 'Р^'.

При полилинейных условиях известны интегралы

- СО ^ — ОО 1_ ^

где хрх, . .. ,фт - функции, отбражающие Як —► Е, и симметричные относительно перестановок аргументов. К их числу относится знание центральных моментов различных порядков. В этом случае можно ввести ф.р. Н{ху, ..., ж*-) = П}=1 11 находить проекцию Н в класс 'Р'р по формуле

Проектирование в параметрические классы распределений осуществляется отысканием такого значения 9* параметра 0, которому отвечает распределение из параметрического класса, ближайшее в заданном смысле к распределению (3 (''метод перебора").

Рассмотрим параметрическое семейство Те = {Рв,0 £ 0} на (Х,В), удовлетворяющее условию: Ре1 ф Р»2 при 9\ ф 0-,- Пусть й-расстояние в пространстве Т(Х, В), которое может принимать и бесконечные значения. Если тГ{с/(Р, : Р £ Те) = оо, то в качестве Ре* можно взять любое распределение Та- Если же шГ{г/(Р, С}) : Р £ Те} < со, '1'° в классе То выделяется подкласс Тв(С},(1) тех распределений Ре, которые отстоят от С} на конечное Л - расстояние. Ясно,

что в этом случае Рд- £ Рд(С2\с1). Разумеется, не исключена возможность, что класс Рб>(<3; с1) не пустой, но не содержит ближайшего к <3 распределения. С другой стороны, ближайший элемент может оказаться не единственным. Связывая с распределением <2 какой-либо из ближайших элементов Ре- £ рд(С^-,с1), мы получаем отображение ф > в* £ 0, которое обозначим через Т : 0" = Г(<5).

Теорема 9.1. Если отображение Т таково, что

Т(Рв) = 0 для любого Рв £ Рв,

то отображение II : V 'Рэ, действующее по формуле ПС} = Pt(Q), есть проектор.

Пусть, например, распределения Рв имеют плотность /(х,в) = относительно сг - конечной меры ц на (Д',Б). Возьмем в качестве с1 энтропийное расстояние с1э(Рв;(2) = — /(х,6)С}(с1х). Обозначим через Мрв = {¿- : /(х,в) > 0} - носитель распределения Р&. Ясно, что с13(Р$;(,)) — оо всякий раз, когда (¿(1Урв) < 1, так что 'Рв(Я\с13) С {Рв ■ С}(МРв) = 1}. Если же С}(1ЧР1,) < 1 для всех 0 £ О, то в качестве - проекции С} можно взять произвольный элемент из Vв.

Проектирование в параметрические и непараметрические классы осуществляется двумя принципиально разными методами - методом "перебора" (в параметрическом случае) и методом "деформации" (в непараметрическом случае). Это обстоятельство делает невозможной композицию соответствующих проекций, так как "деформация" выводит за пределы заданного параметрического класса (уводит в другой параметрический класс), а "перебор" не обязан сохранять непараметрические свойства. Таким образом, приходится сразу строить проекцию в пересечение параметрического и непараметрического классов. Но так как это пересечение само является параметрическим классом, то дело сводится к применению "перебора" в соответствии с некоторым расстоянием <1.

Четвертая глава посвящена построению статистических оценок распределений вероятностей, учитывающих априорную информацию. Такие оценки давно известны, однако они, обладая априорными свойствами, часто не являются распределениями вероятностей. Это затрудняет как интерпретацию самих оценок, так и

результатов исследований с использованием таких оценок. В частности, такие оценки вообще нельзя использовать в функционалах от распределений вероятностей. Развитый выше метод проекции позволяет строить такие оценки, которые, обладая априорными свойствами, остаются распределениями вероятностей.

С формальной точки зрения априорная информация выделяет в классе Р{Х, В) всех распределении априорный класс Vе1, которому и принадлежит искомое распределение Р. Наличие статистической информации, доставляемой экспериментом, дает возможность строить те или иные эмпирические статистические оценки Р. На практике характер экспериментальных данных различен, различны и их математические описания. Располагая априорной и статистической информацией, требуется построить статистическую оценку Р, обладающую априорными свойствами. Этой цели и служит метод проекций. В качестве проектируемого распределения здесь всюду выступает эмпирическое распределение (э.р.) Рдг, построенное по независимой выборке X = (Х1,Х-2,- ..,Л'л-) объема N. Проекция э.р. Рм в априорный класс Та и приводит к оценке Р^, обладающей априорными свойствами. Это распределение называется модифицированным эмпирическим распределением (м.э.р.). Проекцию эмпирической функции распределения (э.ф.р.). ЛаР^{х) = будем называть модифицированной эмпирической функцией распределения (м.э.ф.р.).

Рассмотрим статистические оценки ,9°"—симметричных распределений. В случае неравноплечной симметрии об оцениваемом распределении Р на (Я, В) известно следующее. Для заданного разбиения прямой = {С\,С2,Сз} на множества С1 = (—оо,а), Со = {а}, Сз — (о,+оо) и согласованой с £° биекцией,?" : Я —+ 7? такой, что 5а(С 1) = Сз, ^"(С'г) = Сг, 5а(Сз) = Сь имеют место соотношения

Р(С\) : Р{С3) = А, Р(ВС)Р(5,а(С)) = Р(За{ВС))Р(С) УС е В 6 В, причем Р(Со) ~ неизвестно (А = 1 в случае равноплечной симметрии). Данная априорная информация задает класс условно -инвариантных распределений Т^ ,с\ где множество С состоит из

весовых функций 1р на которые определяются по формулам

1р(Ъ) = ^(1-^(^2)), /р(С2) = Р(С2), 1р(С3) = Г1Т(1-Р(С2)).

Применение к э.р. Рдг проектора П5 : V —»■ приводит к

м.з.р.

/П МП

" ( } ~ ск ' + ^ЭТёГ' £ (4Л)

Здесь ^(Сх) = ^(1 - /^(С3) = Рл^СЬ), 1Р„(С3) =

— Рм{С-2)), а Рдг(•) определяются по формулам Р^(ВС) —

Р,ч(ВС) при Рк(С) > О,

Рд-(5а(ВС')) при Рц(С) = 0,Ял/(5а(С)) > О,

С?(ВС) при Рц(С) = = О, /Я„(С) > О,

О яра Р„{С) = РЛ'(5°(С)) = /Рлг(С) = О,

где С} - произвольное фиксированное распределение, принимающее положительные значения на всех С € ■

Практическое построение м.э.ф.р. Р^ 'С(х) = Р^ оо, х-)}

сводится к следующему. Сначала вычисляется - число элементов выборки Л' = (Л_1, имеющих значение а. Если V ф ЛГ,

тогда исходная выборка симметризустся, т.е. преобразуется к мо*

дифицированной выборке X объема 2Ы, состоящей из элементов:

Хг = XI Л 5а(Х;), А", = V г = 1, N.

Затем определяется м.э.ф.р. ^ 'С(х) по формуле

( к у ^ г < у

I /V "ТТа---л?—' < 1 -

Здесь ЛГ(о) = —сю, -^(лг-н) ~ °> = ~ порядковые

статистики подвыборки X = (Х1, ... , Хм), Хп = а,Х(лЧ1) = +ос-, Х(к), к = 1,ЛГ -порядковые статистики подвыборки X =

.....хдл

Проектирование 'э.р. Рщ в квантильный класс распределений приводит к м.э.р.Рл,,т, вычисляемому по формуле

Р^т(Л) = Е/рм(С) ■ А € в, (4.2)

где разбиение € состоит из множеств вида Н\ П Н? П ... П Нп (Н = Н или Н), а

< Рц(АС) приРп(С)>Ъ, Ры{АС) = < О(АС) при Р„{С) = О, /Я„(С) > О, I 0 при Рк(С) = 1р„(С)= 0.

В терминах ф.р. данная оценка приобретает следующий вид. Пусть в заданных точках 21,..., ¿т известны значения оцениваемой ф.р. Р : Р{гк) ' - рк, Р(гк + 0) = ([к> к = 1, го, т.е. пусть ^ принадлежит кваитильному классу Тч. Тогда

2т+1

П^м(х) = РЦх) = £ /* • к- 1 I

Здесь ¿1 = рь /2 = ?! - рь /3 = р-2 - 9ь • •= Рл - <2,ь-ь 1-2к = Як - Рк, ■ ■ ■ > /2т = ?т ~ Рт, ¿2т + 1 = 1 ~ <?т,

р2 кг n

\х)

~ 1

0)

Ц^Ы - + 0)

яри РЛ'(?к-1) < РЛ'(гк), О'(х) - + 0)

У0 А1

-

ри РЛ-(;к

+0)

О = ^Ы,

У0 Д1

Р^к(х) = /(гк_ъ+ооДа;), го = -оо, гт+1 = +со, а вспомогательная ф.р. й такова, что < С(1Ч_1 + 0) < Ук = 1, т+ 1.

Модификация э.ф.р.Рдг выборки А'1,.. . ,Л'лг из непрерывного распределения с ф.р. Р 6 ТС{11,В) при отсутствии совпадающих наблюдений ( (а,Ь) - носитель ф.р. Р : Р(а + 0) = 0, Р(Ь) = 1)

принимает следующий вид:

/д-И

1 G(x)-G(a)

---- , ■ ч-ЧЧ V 0 при х < Х(1Ь

2N G(X{l])-G(a) - (1)'

2fc — 1 G(*)-G{Xlt))

+ лТТТзТг,. .. ч _ г:< v . ' Л(*) < < Лц- + 1),

2ЛГ iV[G'(X(fc+n)-G(Xa))]'

(4.a)

Комбинируя оценки (4.1) - (1.3) можно построить оценки распределения Р, которое (£, S, /) - условно - инвариантно, {'Н, т) - квантильно и непрерывно.

Что касается статистических свойств оценок условно - инвариантных распределений, то отметим важнейшее - все они являются распределениями вероятностей. В случае проектирования в нласс Sa симметричных распределений с помощью полиномиальной схемы Бернулли удается найти точное распределение м.э.р. -Рд/\ которое представнмо в виде

Pf (А) = Р(А)+ (Л), А £ Б,

где случайная величина (^(Л) сходится при N со к нормальной случайной величине с параметрами (0,(Р(Л) -f Р{А П Sa(A)))/2 — Р2(А)). В этом случае для непрерывной ф.р. F £ J-s имеет место и закон повторного логарифма в виде

_ / О дг

1ш1 V ГТГа? зцР - ^ = !} = 1-

п— ОО V 1П 1п N

Дисперсия м.э.ф.р. Р^ (х) не превосходит дисперсии э.ф.р. Р1у(х), что говорит о лучшем качестве оценивания ф.р. Р с помощью Т7^ по сравнению с Ру

Оценка Р1у(у\) вероятности Р{А) в случае условно - инвариантного распределения смещена; смещение убывает с ростом N не медленнее, чем по показательному закону; она состоятельна (сильно состоятельна) тогда и только тогда, когда 1ры (С) является состоятельной (сильно состоятельной) оценкой вероятности Р(С) при всех С £ £■

Наконец, в случае непрерывности распределения Р все статистики, выражающиеся через F.^г(ж,-), обладают свойством непараметр и чностя.

Используя совместное распределение порядковых статистик независимой выборки из равномерного на (0,1) закона найдены вероятности попадания м.э.ф.р. в заданные полосы. Теорема 9.4. Если Р, С £ Рс^л то

Р{Ь(С(х-)) < < а(С(а;)), х £ П} =

"» + 1 [ -Ль \

= • П ьМ ■ЯплтсьГЧак.г))^^,)-1^^),

(п) к = 1 \Пк-/

где суммирование распространяется на все целочисленные векторы п = (пъ . . . , пт+1), гц + по н-----ь пт + 1 =

ик,1 = 1 А ^0 Уэир : а(тк1+рк-1) < ^ ■ П + Рк~г | ^ Ьк,г = 0 V Л шГ : Ь(ткг + рк_].) > ■ тк + рк-1

г = 1, л к, к = 1, m -(- 1,

g / Л_/ ^ ¿(<)<*<а(<). *€(Р*-1,Р1Ь). 0 ' \ 0, в противных случаях,

a(i) = а(0 Л (1 - 6(1 -*)), ¿(0 = 6(0 V (1 - n(l -t)), 0 < i < 1.

Теорема 9.5. Если ф.р. Р(х) генеральной совокупности и ф.р. G{x) непрерывны, а функции a(t) и h(t) таковы, что b(t) < t < a(t) при всех t £ [0, 1] и множество W = {(i,r) : b(t) < t < a(t), t £ [0, 1], те R} выпукло, то P{b(G(x)) < F^{x) < ci{G(x)), x £ R] =

= QN(F(G-l(at)\ F(G~Hbt)), i = UV),

где

< = lA(0Vsup{* :«(*)< t,c=0V(lAmf{i:j(i)>^}).

Статистическая оценка распределения P на (RntBn^) при условии Р £ Vp — {Р £ V : /л>. i'j(x)P(dx) = ¡3j, j — l, m} строится на

основании теоремы 8.1 из главы 3. Для э.р. Рн условие конечности интеграла /я, е'^'^^^з;) = выполнено для всех

т £ Ит прп ограниченности значений функций Ф\(Х{),... в

выборочных точках Х{, { = 1,/^. Подставляя в формулу (3.2) из главы 3 э.р. Рдг вместо распределения (}, получим систему нелинейных уравнений для определения г° = (г®, ..., т,0п)Т:

n

1=1

n

^СХр{гв(^(Л'Л-ф(Хг))} j = 1

-1

Решение этой системы существует, если

min{^j(Xi), . .., i/>j(XN)} < ßj < тах-^'ДЛ^),. . ., т/'ДЛ'^)}, j - 1 ,m.

Если это условие выполнено и Гу = r°(A"i, . .., Х^) - решение указанной системы, тогда.

П*Р„{А) = Р*(Л) =

fei Еу=1ехр{^'(^)}

Таким образом, м.э.р. Р^(А) есть дискретное распределение с массами

= (х)= ехр{т^ф(Х,)}

1 Ef=iexp{r^№)}

в точках Xi,. . прп этом к,. > О, г = 1 ,N и к,- = 1.

Определим ещё информационные статистики:

dKL{Р%;Pn) = t°n- ß - In KPn (r°N), (4.4)

d-кl(Pn; Pj!j) = -тДг • / Г!.г)/'д-(,/.г) + In A>„(r° ), (4.5) I(Pp, PN) = r°N ■ S(ß - iix))PN(dx)< (4.6)

где /\р„(тд,) = J eTH^x)pN{dx). Статистики (4.4) и (4.5) являются мерой направленного расхождения между распределением Р^, в котором наряду со статистической информацией содержится и априорная информация, и распределением Рщ, содержащем только статистическую информацию. Величина /(у = {¿кгХРы * -Pjv)]-1 характеризует количество информации, содержащейся в априорном классе

'Р^ о выборке А', соответствующей э.р. Р'¡у. Статистика (4.6) есть расхождение между м.э.р. Р^, и э.р. Рлг и характеризует суммарную информацию, содержащуюся как в выборке X о Т^ , так и в априорном классе Т^ о X. Если Рм £ 'Рр , то Тдг есть нулевой вектор н значения всех трех информационных статистик равны нулю. Показано, что распределение Хр сходится к распределению случайной величины Хт (хи-квадрат с т степенями свободы), а распределения статистик Рдг) и с(лх(Рлг;Рд'■) сходятся к распределению случайной величины ^Хт-

Для распределений Р £ = Т-5" П получаем м.э.ф.р.

1 n ^ ~ " \ .. * * *

где Х= (Ал, • • ■,Азл' ) ~ 5а " симметризованная выборка; т^ - решение уравнения (3.8.8), в котором распределение СЦ заменено на Р^,".

В пятой главе рассматривается задача проверки статистических гипотез о виде ( свойствах) распределения Р, из которого извлечена выборка А' = (Ах,..., Х^), яри условии, что Р принадлежит априорному классу распределений 'Ра. Если Т'1 - некоторый (гипотетический) класс распределений, то Н§ : Р £ Тн при условии Р £ Vй является статистической гипотезой при наличии априорной информации, она имеет содержательный смысл только в случае, когда пересечение "РП,Л = 'Р11 С\Та не пусто.

Для построения статистики критерия в пространстве распределений выбирается какое-либо расстояние ¿(Р;СЗ), характеризующее "близость" между распределениями Р и ф, находятся ^-проекторы в V и в Р"''1, статистика критерия определяется как с1

- расстояние между проекциями эмпирического распределения Рдг: ^лг = <1(ПаРм\ Па'нРм). Далее, как обычно, по заданному уровню значимости е £ (0,1) определяется критическое значение с£ (если оно существует) так, чтобы Р{(1^ > сс] < е для всех Р £ Т>"'н. Гипотеза НЦ принимается с уровнем значимости е, если с?^ < с£, и отвергается в противном случае. При отсутствии априорной информации Ра'н = Г, Па = Е, 'Ра>н - Л= так что статистика (Iх сводится к ¿-расстоянию между э.р. и гипотетическим

классом Vh■ В связи с этим статистику d^ можно рассматривать как модификацию статистики c?jv - d(Pw,Ph) при наличии априорной информации.

Модифицированные статистики критериев согласия.

Пусть Л" из распределения Р с ф.р. F(x),x G Требует-

ся проверить Я" : F(x) = G(x)npuycAoeuuF €Е против альтернативы II" : F(x) ф G(x) при условии F £ 7а, Здесь ф.р. G{x) принадлежит Та.

Так, для непрерывной F статистикой критерия является \ G), где Fpj - м.э.ф.р., построенная с учетом непрерывности F по формуле (4.3). В качестве "сшивающей" функции здесь естественно выступает ф.р. G(x). Для проверки простых гипотез //д могут быть использованы соответственно статистики d(F£,\G), при а — (с, 5°),

а — (с, ч) 1 а ~ (с, </,

Модифицированные статистики Колмогорова - Смирнова. Расстояние dip(< F,G >) -- supX(zr{<p{G(x)) < F{x) ~G{x) >), где <p(t) -заданная положительная весовая функция, < А > равно Л, или —А, или приводит к модифицированным статистикам Колмогорова -Смирнова dv(< F$\G >).

Для а = 5", а = g, а = с, а = (с,5а), а = (c.,q,Sa) даны формулы вычисления точных распределений при альтернативе вида Hi : F(x) = V(G(z)), х Е R, Fe Fa, где V(t) - непрерывная ф.р. с носителем [0,1], такая, что альтернативная ф.р. А(х) = V{G{x)) принадлежит классу Та. При V(t) = t отсюда следуют точные распределения при нулевой гипотезе. Эти формулы основаны на вероятностях попадания м.э.ф.р. в заданные полосы, полученные в главе 4.

Теорема 4.5. Если ф.р. i1 непрерывна и 5° - симметрична относительно центра а, то при F — G для каждого у > О

lim Р{ sup ^\Ff(x) - < у) = /С(2у),

»-м —00<:Г<00

lim Р{ sup v^(^(®)-G(x))<y}=/C(2j/),

11—rOo — СО < -Г < СО

lim sup у^бЧж) - < т/} = K{2y).

71. »CO -00<Г<00

Здесь £(•) - функция распределения Колмогорова .

Теорема 4.6. Если непрерывная ф.р.-F имеет квантили zq < z-y < < zm < гт+1 уровней 0 = р0 < Pi < • • • < Рт < Pm+i = 1 соответственно, то при F — G для каждого у > О

т+1

lim P{sup - ОД1 < у) = TT ^iv/Vh) = £'Ы>

* = i

т + 1

lim P{supJÑ{F<N{x) - G(x)) < у} = TT К+(у/у/Ц) = №+{у),

!\ —+00 г

lim P{sv^y/Ñ{G{x) - FqN{x)) < у} =

где ¡С + {у) = 1 - ехр{—2у2\},у > 0.

Исследование /Сд(у) на максимум по переменным l¡¿ = pk — pk-i, к — 1,т + 1 показывает, что максимальный эффект достигается на равноотстоящих по уровню квантилях, в этом случае

&(У) = [IC{yV^TJ)]m+l ■

Модифидиропанные статистики критерия омега - квадрат . Для гипотезы H¡¡ модифицированной статистикой омега-квадрат является = N fZo v>3(C(x))(Fft(x)-G(x))2dG(x), где

<p'¿{t),t 6 (0,1)- некотороя весовая функция. Если F е Л = {F : F(zk) = Рк, к = 1, гп}, то используя м.з.ф.р. Fполучим статистику

К'*]2-

Теорема 5.1 Пусть непрерывная ф.р. F(x)> х 6 ñ1 имеет квантили zq < z\ < ■ ■ ■ < zm < zm+i уровней 0 = Po < Pi <■■■< Prn < pm+í — 1 соответсвенно, — pk — Pk-i, весовая функция <p такова, что для каждого к = 1, т ¡q ip2(pk, + /fcí)í(l ~ t)dt < оо- Тогда при F — G для любого и > 0

т + 1

lim P{[<f < и} = 1¡H? < «} = w;Uu).

/v—кю л—

fc = l

Здесь [ш^]2 = Jq r¡l(t)di, где 7?¿,.(í), к = 1 ,m + 1 - независимые гаус-совские процессы с Mr¡k(t) = 0 и ковариационной функцией

Kk(t,s) = <р{рк-1 + Ы)ф{Рк + í*-s)(mm('í, s) - ts), 0 < t, s < 1.

Критерий симметрии омега-квадрат для распределений с известной медианой Пусть X - выборка из совокупности с непрерывной ф.р. F(x) на Л и известной медианой Z1/2 = а. Проверим гипотезу о том, что F(x) симметрична относительно а:

По : F{x) - 1 - F(2a - г:) Var G Я1 при условии F £ .

Применим модифицированный критерий омега-квадрат, основанный на статистике: й% = N /Г»(к) - (1 - 2а - х + 0))}4F'n(x). где Fpj(x) - м.э.ф.р., построенная с учетом знания медианы. Установлено, что предельное распределение модифицированной статистики совпадает при гипотезе Я0 с распределением квадратичной формы £I.= Q, где к — 1,2,...- независимые гауссовскне величины с нулевым средним и единичной дисперсией.

Заметим, что предельное распределение статистики в критерии симметрии омега-квадрат без учета медианы совпадает с распределением квадратичной формы Q = ~ 1/2)2""2- Отсюда следует, что P{<5<m}>P{Q<u) при любом и > 0.

О мощностных свойствах модифицированных критериев Естественно ожидать, что мощность критерия, построенного с учетом априорной информации, должна быть не ниже мощности аналогичного критерия без учета информацию. Проведено сравнение асимптотического поведения мощности некоторых модифицированных критериев с ^модифицированными для простой гипотезы. Оказалось, что как в случае фиксированных альтернатив, так и в случае сближающихся альтернатив асимптотическая мощность модифицированных критериев омега-квадрат не ниже асимптотической мощности обычных критериев омега-квадрат.

Пусть F е Ts° ,<p(i) = ¥>(1 - 0- Тогда [(г5"]2 = <r2, cf = |се где

В данном случае асимптотическая мощность модифицированного критерия увеличилась за счет уменьшения в четыре раза критического значения с;5 по сравнению с с£.

В качестве примера найдем асимптотическую мощность критерия, построенного с учетом симметрии F(x) относительно центра а,

т.е. Г £ . Так как с= 1/4с£ и [а5"]2 = а'2, то имеем

В данном примере асимптотическая мощность модифицированного критерия увеличилась за счет уменьшения в четыре раза критического значения cf'" по сравнению с с£.

В шестой гларе рассматривается задача статистического оценивания по выборке из равномерного в [0,1] распределения кратного интеграла

... 1г(х!,..., хк)с1х1..л1хк J о ■)о

при условии, что равны нулю значения других интегралов от конечного набора функций <//,. . .,дгп :

1 г1 __

• • • / <л{х\,- ..,хк)с1х1 ■■ - ¿хк = 0, / = 1,го. ¿о

Строятся оценки и находятся границы их погрешностей с учетом информации о принадлежности подынтегральных функций тому или иному классу и с привлечением некоторых свойств равномерного в [0,1] закона. В отличие от метода коррелированных процессов, где критерием качества выступает дисперсия несмещенных оценок, здесь критерием качества оценивания является верхняя граница погрешностей оценок из заданного класса на выдехгенных классах подынтегральных функций.

Полученные результаты ценны не конкретно предложенными оценками, а выяснением качественной стороны вопроса: где какие методы лучше, на какую точность можно рассчитывать при использовании определенной информации о подынтегральной функции, насколько чувствительны (робастны) оценки к отклонениям распределения выборки от равномерного.

Сначала строятся оценки одномерных интегралов, для них получены точные верхние границы погрешностей на различных классах подынтегральных функций. Исследуется влияние на робастность оценок учета в структуре оценок информации о симметрии и квантилях равномерного закона. Приводятся графические и табличные

к

представления результатов, показывающие высокую устойчивость модифицированных оценок интегралов к отклонениям распределения выборки от равномерного для модели Р(.и) — х1', к > 0, х £ [0,1].

В многомерном случае предполагается, что функции к и д\, I = являются симметричными относительно перестановок аргументов и имеют кусочно-непрерывные производные первого порядка но каждой переменной. Рассматривается семейство оценок, зависящее от векторного параметра Л = (А;,.. ., Лт)г :

. n n

= Е " ' ■ ■ • ■ > - =

¿1 = 1 п- = 1

= / •••/ Р\(х1,...,х1г)(1гн(х1)---(1рм(хк), (6.1)

Jo Уо

где ^л(-) = !>(■) - Ат .<?(•), д ~ (<7ь ■. ■1дт)Г, - э.ф. распределе-

ния. Получено следующее неравенство для погрешностей А) :

N

ММ)|<

Г ч Э

где А ¡я,ь = о (С£) Чу,я

fl тт "гт v

- Лг / / I ТТ ^м*»)- ГТ

1/2

1Ы|ь (6-2)

+1

= 0,1,.. 1, II = у/<<Р,<РЯ,

v—-% У-1 А1 с?*--7"

< М >*= / ■■•/ тг;-я—-Л(1,...,

г^Уо У о Му+х • •-о>а;* --„-'

-</( 1,. .., + • • . + 1 ■ • -¿Жй.

£?£,• +1 ... дхь '

Пусть матрица V — (| < <л,др > - невырожденная, V

- обратная к пей матрица, С =Ц< Л,!?> - матрица-столбец,

тогда оптимальный вектор А = А, доставляющий минимум правой

)

части неравенства (6.2), определяется формулой А = V~lC. В случае ортонормалыюсти системы функций {д\, 1 — 1, т} относительно "скалярного произведения" < •,• компоненты оптимального вектора вычисляются по формуле А; =< h,(ji I — 1 ,...,т. Обозначим через WiiL^ig) класс функций h, удовлетворяющих условию

\\h - ET=i itsih < ¿i <

Теорема 5.1. Для функций h из класса W^L'j.; д) sup =

Для оценки Jn(Aq) с вектором Ац, доставляющим минимум дисперсии DJn(А), имеет место

Теорема 5.2. Для функций h из класса W!2{L'k\y)

sup \t>N(h', Ао)| = L'k (A% k/N)* , hHW^Ll.n)

где A°N}k = Y2jZo (Cif u2NlJ(g),

"h(9)=N Л" Л П П

Ja Jo <=,41 i=3+l

Ftf(x) - модифицированная эмпирическая ф.р. Использование в (6.1) вместо э.ф.р. Fn(x) других м.э.ф.р. F^(x), учитывающей ту или иную информацию о равномерном законе, приводит к новым модифицированным оценкам /дг кратного интеграла.

Для достаточно больших N получены соотношения Apj к < "2NSk,A°Kk < u*N{g)Sk, где Sk = EjZo(1/3)^-4* -j№)2, '

Эти оценки сверху позволяют получать асимптотические выражения для границ погрешностей, а также строить, используя распределения величин Ыдг, Шдг(д) соответствующие доверительные интервалы.

Основные положения диссертации, выносимые на защиту

1. Метод и алгоритмы оценивания функционалов при наличии смещений в априорных условиях, теоремы о сходимости полученных оценок.

2. Метод и алгоритмы оценивания функционалов для априорных условий с заданным множеством значений функционалов, теоремы о сходимости полученных оценок.

3. Пепараметрические ядерные оценки функционалов плотности вероятностей с использованием дополнительной информации, результаты исследования асимптотических свойств оценок.

4. Метод проекций в учете априорной информации, применение информационного подхода. Проекторы в различные классы распределений, анализ их свойств.

5. Статистические оценки распределений вероятностей, построенные с учетом априорной информации соответствующих типов. Формулы для вычисления вероятностей попадания модифицированных эмпирических функций распределения в заданные полосы. Результаты исследования асимптотических свойств оценок.

6. Модифицированные критерии согласия Колмогорова, Колмогорова - Смирнова, омега-квадрат, критерий симметрии омега-квадрат. Точные и асимптотические распределения модифицированных статистик при нулевой гипотезе и специальных альтернативах.

7. Метод привлечения априорной информации на основе минимума верхних границ погрешностей. Точные границы погрешностей вычисления кратных интегралов. Анализ робастных свойств модифицированных с учетом информации о распределении оценок интегралов.

Основные результаты диссертации опубликованы в работах: 1. Ангелова И.Е., Дмитриев Ю.Г. Непараметрическое оценивание интегральных функционалов от условных плотностей с учетом априорной информации // Математическая статистика и ее приложения. Томск: йзд-во Том. ун-та. 1986. Вып. 10. С. 5-8.

2. Дмитриев Ю.Г. О свойствах оценок функций распределения и функционалов при дополнительной априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 63-76.

Ъ. Дмитриев Ю.Г. Непараметрические алгоритмы обнаружения постоянного сигнала при наличии априорной информации о помехе // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1979. Вып. 5. С. 52-60.

4. Дмитриев Ю.Г. Учет априорной информации в критерии омега квадрат // Труды VII Всесоюзной конф. по теории и передачи информации. Москва-Куйбышев. 1981. Ч. 4. С. 61-6-5.

5. Дмитриев Ю.Г. Критерии симметрии омега-квадрат для распределений с известной медианой // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1982. Вып. 8. С. 35-39.

6. Дмитриев Ю.Г. Об оценках параметров распределений при дополнительной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1987. Вып. 11. С. 39-46.

7. Дмитриев Ю.Г. Учет априорной информации в синтезе статистических процедур // Второй Сибирский конгресс по прикладной и индустриальной математике. Тезисы докладов. Ч. II. Новосибирск. 1996. С. 176.

8. Дмитриее Ю.Г. Метод коррелированных процессов при наличии смещений // Математическое моделирование и теория вероятностей. Сб. научных трудов Томского университета /Под ред.

B.Н.Берцун, А.М.Бубенчикова и Ю.К.Устинова. Томск: Изд-во Том. ун-та. 1998. С. 163-168.

9. Дмитриев Ю.Г. Непараметрическое условное оценивание функционалов плотности распределения // Математическое моделирование и теория вероятностей. Сб. научных трудов Томского университета /Под ред. В.Н.Берцун, А.М.Бубенчиковаи Ю.К.Устинова. Томск: Изд-во Том. ун-та. 1998. С. 169-177.

10. Дмитриев Ю.Г. Метод коррелированных процессов при многозначности в априорных условиях // Математическое моделирование и теория вероятностей. Сб. научных трудов Томского университета /Под ред. В.Н.Берцун, А.М.Бубенчикова и Ю.К.Устинова. Томск: Изд-во Том. ун-та. 1998. С. 178-184.

11. Дмитриев Ю.Г., Конев В.В. О погрешности простейшего модифицированного метода Монте-Карло // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4.

C. 88-93.

12. Дмитриев Ю Г., Конев В.В. О погрешности статистического оценивания кратных интегралов с использованием омега-квадрат критерия // Ж. вычпсл. матем. п матем. физики. 1977. 'Г. 17. Вып. 6. С. 1363-1373.

13. Дмитриев JO.Г., Корниенко 10.А. О погрешности вычисления интегралов методом расслоенной выборки // Математическая статистика и се приложения. Томск: Изд-во Том. ун-та. 1987. Вып. 11. С. 47-55.

И .Дмитриев Ю.Г., Кошкин Г.М. Использование дополнительной информации при непара .метрическом оценивании функционалов плотности // Автоматика и телемеханика. 1987. N 10. С. 47-58.

15. Дмитриев Ю.Г., Кошкин Г.М., Симахип В.А., Тарасепко Ф.П. Свойства оценок плотности и функции распределения высших порядков по зависимой выборке // Материалы IV науч. конф. по ма-тем. 11 механ. Томск: Изд-во Том. ун-та. 1974. Кн. I. С. 129-131.

1G. Дмитриев Ю.Г., Кошкин Г.М., Симахип Б.А., Тарасепко Ф.П. О непараметрическом оценивании функционалов по зависимой выборке // Материалы IV науч. конф. по матем. и механ. Томск: Изд-во Том. ун-та. 1974. Кн. I. С. 131-133.

17. Дмитриев Ю.Г., Кошкин Г.М., Симахип В.А., Тарасепко Ф.Л., Шулении В.П. Непараметрическое оценивание функционалов по стационарным выборкам. Томск: Изд-во Том. ун-та. 1974. 93 с.

18. Дмитриев Ю.Г., Липская А. Д., Тарасепко Л.Ф. Использова-гше неточно заданной дополнительной информации при оценивании числовых характеристик случайных величин // Всесоюз. конф. по имитационному моделированию и анализу данных. Тезисы докладов. Минск. 1990. С. 25.

19. Дмитриев 10.Г., Симахип В.А. Многоканальные непараметрические обнаружители полезных сигналов в случае независимых каналов // Труды СФТИ. Томск: Изд-во Том. ун-та. 1971. N 62. С. 15-34.

20. Дмитриев Ю.Г., Тарасепко Л.Ф. О непараметрических оценках функционалов // Материалы VII Всесоюз. семинара - Непараметрические и ро бастные методы в кибернетике и информатике. Томск: Изд-во Том. ун-та. 1990. Ч. I. С. 199-204.

21. Дмитриев Ю.Г., Тарасепко Л.Ф. Непараметрические алгоритмы обнаружения сигналов с использованием априорной информации // Информационные методы повышения эффективности и помехоустойчивости радиосистем и систем связи. Тезисы докладов. Москва-Ташкент. 1990. С. 88.

22. Дмитриев Ю.Г., Тарасенко Л.Ф. Использование априорной ин формации в статистической обработке экспериментальных данных // Известия ВУЗов "Физика". 1992. N. 9. С. 10-15.

23. Дмитриев Ю.Г., Тарасенко Ф.П. К вопросу о статистическом оценивании нелинейных функционалов от плотностей вероятностей // Труды СФТИ. Томск: Изд-во Том. ун-та. 1973. N 63. С. 14-27.

24. Дмитриев Ю.Г., Тарасенко Ф.П. Об оценивании функционалов от плотностей вероятностей и ее производных // Теория вероятностей и ее применения. 1973. Т. XIX. Вып. 3. С. 862-668.

25. Дмитриев Ю.Г., Тарасенко Ф.П. Об одном классе непараметрических оценок нелинейных функционалов //Теория вероятностей и ее применения. 1974. Т. XIX. Вып. 2. С. 404-409.

26. Дмитриев Ю.Г., Тарасенко Ф.П. О непараметрическом оценивании функционалов // Труды VI конгресс ИФА.К по стохастическому управлению. Венгрия. 1974. С. 41-47.

27. Дмитриев Ю Г., Тарасенко Ф.П. Об использовании априорной информации при оценивании линейных функционалов // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 52-62.

28. Дмитриев 10.Т., Тарасенко Ф.П. Применение функционального подхода к оцениванию функционалов с учетом априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1979. Вып. 5. С. 128-141.

29. Дмитриев 10.Г., Тарасенко Ф.П. Задачи согласия и однородности для распределений из априорного класса // Первый Всемирный Конгресс общества математической статистики и теории вероятностен им. Бернупзш. Тезисы. Ташкент. 1986. Т. 2. С. 917.

30. Дмитриев Ю.Г., Тарасенко Ф.П.. Устинов 10.К. Об учете априор ной информации методом проекций // Международный симпозиум по теории информации. Ташкент. 1984. С. 27-29.

31. Дмитриев Ю.Г., Тарима С. С. Оценки вероятностей с учетом информации о полной группе событий // Математическое моделирование и теория вероятностей. Сб. научных трудов Томского университета /Под ред. В.Н.Берцун, А.М.Бубенчикова и Ю.К.Устинова. Томск: Изд-во Том. ун-та. 1998. С. 191-195.

32. Дмитриев 10.Г., Титова С.А. Привлечение априорной информации па основе минимума верхних границ погрешностей // Математическое моделирование и теория вероятностей. Сб. научных трудов Томского университета /Под ред. В.Н.Берцуи, А.М.Бубенчикова и Ю.К.Устинова. Томск: Изд-во Том. ун-та. 1998. С. 185-190.

33. Дмитриев Ю.Г., Устинов Ю.К. К оцениванию симметричных функ ций распределения // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1983. Вып. 9. С. 62-72.

34. Дмитриев 10.Г., Устинов Ю.К. Об оценивании функций распределения с известными квантилями // Всесоюз. конф. - Теория, методология и практика системных исследований. Секция 5. Математические методы анализа систем. М. 1985. С. 103-105.

35. Дмитриев Ю.Г., Устинов Ю.К. Об использовании априорной информации при непараметрическом оценивании функций распределения // Материалы V Всесоюз. школы-семинара по непара-метрическпм и робастным методам статистики в кибернетике. 1985. Ч. I. С. 77-118. Деп. ВИНИТИ. 5258-85 .

36. Дмитриев Ю.Г., Устинов Ю.К. Критерий Колмогорова, модифицированный с учетом априорной информации // Методы и про-грамное обеспечение обработки информации и прикладного статистического анализа данных на ЭВМ. Тезисы докладов. Минск. 1985. С. 50.

37. Дмитриев Ю.Г., Устинов Ю.К. Статистическое оценивание функций распределения с использованием априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1986. Вып. 10. С. 62-76.

38. Дмитриев Ю.Г., Устинов Ю.К. Статистическое оценивание распределения вероятностей с использованием дополнительной информации. - Томск: Изд-во Том. ун-та. 1988. - 194 с.

39. Дмитриев Ю.Г., Устинов Ю.К. О моделировании случайных величин с. заданными вероятностными характеристиками //IV Всесоюз. научно-техн. конференция - Применение многомерного статист. анализа в экономике и оценке качества продукции. Тезисы докладов. Тарту (ЭССР). 1989. Ч. I. С. 89-90.

40. Дмитриев 10. Г., Устинов Ю.К. О построении непараме-

трических оценок функционалов от распределений с использованием априорной информации // Материалы VII Всесоюзного семинара -Непараметрические и робастные методы в кибернетике и информатике. Томск: Изд-во Том. ун-та. 1990. Ч. I. С. 205-207.

41. Дмитриев Ю.Г., ШуЛенин В.II. Об учете априорной информации в задачах согласия и однородности // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4.

42. Dmitriev Ya.G., Koshkin G.M. On the use of a priori information in nonparametric regression estimation // Second IFAC Simposium on Stochastic Control. (Vilnius, USSR, 19-23 May, 1986). Preprints. Part II. Moscow, VINITI, 1986. P. 106-111.

42. Dmitri ev Ya.G., Koshkin G.M. On the use of a priori information in nonparametric regression estimation // Proceeding 2nd IFAC Simposium on Stochastic Control. Oxford e.a., Pergamon Press. 1987. P. 223-228.

43. Dmilriev Ya.G., Tarasenko P.P. On the use of a priori information in estimatid linear functional of distribution // Problems Control and Inform. Theory. 1978. V. 7. N 6. P. 459-469.

44. Dmitricv Yu.G. Estimating linear functionals with use of many-valued a priori conditions// The Third Russion-Korean International Symposium on Science and Technology. Novosibirsk, Russia, June 2225, 1999. V. 1. P. 200.

45. Dmitri ev Yu.G., Tarasenko F.P., Ustinov Yu.K. Tests of goodness-of-fit for symmetrical distributions // Colloquium on Goodness-of-Fit. June 25-29. 1984. Debrecen. ABSTRACTS. Janos Ilolyai Mathematical Soc. P. 6.

C.77-87.

Список сокращений и обозначений

ВВЕДЕНИЕ

ГЛАВА I. УЧЕТ АПРИОРНОЙ ИНФОРМАЦИИ МЕТОДОМ КОРРЕЛИРОВАННЫХ ПРОЦЕССОВ

§1. Введение

§2. Метод коррелированных процессов при наличии смещений в априорных условиях

2.1. Постановка задачи

2.2. Структура оптимальной оценки

2.3. Адаптивные оценки при известных смещениях в априорных условиях

2.4. Адаптивные оценки при неизвестных смещениях в априорных условиях

§3. Априорные условия с заданным множеством значений

3.1. Постановка задачи

3.2. Структура оценок

3.3. Оценки, основанные на ?У-статистиках

3.4. Оценки, как функционалы Мизеса от э.ф.р.

§4. Априорные условия с неполным числом возможных значений 55 Выводы

ГЛАВА 2. УСЛОВНОЕ ОЦЕНИВАНИЕ ФУНКЦИОНАЛОВ ПЛОТНОСТИ ВЕРОЯТНОСТЕЙ

§1. Введение

§2. Постановка задачи

§3. Оценивание при отсутствии смещений в априорных условиях

§4. Адаптивные оценки. Примеры.

§5. Оценивание при наличии смещений в априорных условиях

§6. Адаптивные оценки при наличии смещениий в априорных условиях

Выводы

ГЛАВА 3. МЕТОД ПРОЕКЦИЙ В УЧЕТЕ АПРИОРНОЙ ИНФОРМАЦИИ

§1. Введение. Общая идея метода проекций

§2. Проектирование на основе псевдометрик

§3. Метод минимального расстояния

§4. Проектирование в пространства условно-инвариантных распределений

4.1. Определения. Примеры.

4.2. Проектор и проекции

§5. Проектирование в классы Б® -симметричных распределений

5.1. Центр симметрии задан

5.2. Центр симметрии не задан

§6. Проектирование в квантильные классы распределений

§7. Проектирование в класс непрерывных распределений

§8. Проектирование в класс распределений с известными математическими ожиданиями от заданных функций

8.1. Проектирование на основе расстояния Кульбака-Лейблера

8.2. Линеаризованный проектор

8.3. Проекция одномерной функции распределения при полилинейных условиях

§9. Проектирование в параметрические классы распределений

§10. Проектирование в пересечения классов распределений

10.1. Квантильные классы условно-инвариантных распределений

10.2. Квантильные классы непрерывных распределений

10.3. Проектирование в классы непрерывных условно-инвариантных распределений

10.4. Квантильные классы непрерывных условно-инвариантных распределений

10.5. Классы 5? - -симметричных распределений с известными средними от заданных функций

10.6. Проектирование в сужения параметрических классов распределений 141 Выводы

ГЛАВА 4. СТАТИСТИЧЕСКИЕ ОЦЕНКИ РАСПРЕДЕЛЕНИЙ ВЕРОЯТНОСТЕЙ С УЧЕТОМ АПРИОРНОЙ ИНФОРМАЦИИ

§1. Введение

§2. Эмпирическое распределение

§3. Статистические оценки Sa-симметричных распределений

3.1. Неравноплечная симметрия

3.2. Равноплечная симметрия

§4. Статистические оценки распределений из квантильных классов

4.1. Общий случай

4.2. Функция распределения на прямой

4.3. Сглаженное эмпирическое распределение

§5. Статистические оценки непрерывных функций распределения

§6. Учет информации условно-инвариантного типа

6.1. Общая схема построения оценок

6.2. Статистические свойства оценок распределений

§7. Оценки распределений с известными математическими ожиданиями от заданных функций

7.1. Модифицированные эмпирические распределения и информационные статистики

7.2. Линеаризованные оценки и информационные статистики

§8. Оценки распределений из пересечений априорных классов

8.1. Непараметрические классы распределений

8.2. Параметрические классы распределений

§9. Вероятности попадания модифицированных эмпирических функций распределения в заданные полосы 185 Выводы

ГЛАВА 5. КРИТЕРИИ СОГЛАСИЯ С ИСПОЛЬЗОВАНИЕМ АПРИОРНОЙ ИНФОРМАЦИИ

§1. Введение

§2. Метод расстояний в построении статистик критериев

§3. Модифицированные статистики критериев согласия

§4. Модифицированные статистики Колмогорова-Смирнова

4.1. Простая гипотеза

4.2. Точные распределения модифицированных статистик

4.3. Предельные распределения модифицированных статистик

§5. Модифицированные статистики критерия омега - квадрат

5.1. Статистики для распределений с заданными квантилями

5.2. Статистики для Sa - симметричных распределений

5.3. Статистики критерия для Sa - симметричных распределений с заданными квантилями

§6. Критерий симметрии омега-квадрат для распределений с известной медианой

§7. О мощностных свойствах модифицированных критериев

7.1. Случай фиксированных альтернатив

7.2. Случай сближающихся альтернатив 235 Выводы

ГЛАВА 6. ПРИВЛЕЧЕНИЕ АПРИОРНОЙ ИНФОРМАЦИИ НА ОСНОВЕ МИНИМУМА ВЕРХНИХ ГРАНИЦ ПОГРЕШНОСТЕЙ

§1. Введение

§2. Границы погрешностей оценок одномерных интегралов на классах функций

§3. Границы погрешностей на классах функций W[

§4. Влияние учета дополнительной информации

§5. Границы погрешностей оценивания кратных интегралов

§6. Асимптотические границы погрешностей

Выводы

Задачи статистической обработки данных обычно формулируются в терминах функционалов от распределения вероятностей, выражающих различные вероятностные характеристики, и их решение сводится к нахождению значений этих функционалов по результатам эксперимента. При построении статистических оценок функционалов часто используется метод подстановки, заключающийся в замене неизвестного распределения эмпирическим распределением. На практике почти всегда что-нибудь известно об оцениваемом распределении. Эти знания, составляющие априорную информацию, могут быть совершенно различными; они могут заключать в себе информацию о непрерывности, симметрии относительно известного или неизвестного центра, о квантилях и моментах, о монотонности функции интенсивности, о функциональном виде распределения и т.д., а также различные комбинации этих сведений. Наличие априорной информации естественным образом ставит задачу ее использования для улучшения эмпирических оценок. Задачи оценивания, в которых имеется существенная априорная информация, получили название условных.

К числу первых работ по условному оцениванию функции распределения и функционалов относятся исследования Ю.Н.Тюрина, E.F.Schuster, D.Hinkley, Б.Я.Левита, Ю.А.Кошевника, Г.М. Кошкина, Ф.П. Тарасен-ло, Ю.К.Устинова и автора. Важнейшим стимулом к разработке методов привлечения дополнительной априорной информации в статистическую обработку данных экспериментов послужили разнообразные практические- задачи, решаемые методом статистических испытаний. Статистические испытания - одна из главных составных частей проектирования сложных систем различного профиля и назначения. Потенциальными объектами испытаний служат как система в целом, так и ее подсистемы, элементы, а также их модели. Проведение большого числа серий мспыта-ний над множеством объектов и с разными частными задачами приводит к накоплению крупного информационного массива результатов экспериментов и статистических оценок. Разнообразие априорной информации, эмпирических данных и взаимосвязей между ними делает актуальной разработку методов обработки данных, которые за счет использования различного рода информации позволяют повысить точность статистических оценок и сократить объем экспериментов. Так в [86] для анализа систем предложен комбинированный метод оценивания вероятностных характеристик, использующий результаты натурных испытаний и дополнительную информацию о системе, полученную в результате теоретических исследований и статистического моделирования. Такой метод, называемый также методом коррелированных процессов, позволяет повысить точность оценивания вероятностных характеристик при заданном числе натурных экспериментов, проведение которых, как правило, трудоемко и требует больших материальных затрат.

В [95] методом ортогонального проектирования на подпространства в гильбертовом пространстве построены оценки функции распределения с учетом знания ее моментов и симметрии относительно известного центра. Идеи, изложенные в этой работе, развивались Ю.Г.Дмитриевым [15,17,18], Ю.Г.Дмитриевым и Ф.П.Тарсенко [40,41.112], Ю.Г.Дмитриевым и Ю.К.Устиновым [46-50], Б.Я.Левитом [75], Ю.А.Кошевником [68-71].

В [15] построены модифицированные с учетом дополнительной информации эмпирические оценки функции рапределения обладающие тем свойством, что конечномерные распределения процесса waNF(t) = N-^[FaN(t)-F(t)]. слабо сходятся к соответствующим конечномерным рапределениям гаус-совского процесса ДяЭД-оо^М^М, * е я\ где Лу® - ортогональный проектор в гильбертовом пространстве 1,2(.Р) квадратично ^-интегрируемых функций, броуновский мост, Р £

Та. Дисперсии предельных при ТУ —» со распределений определенного вида функционалов оказались меньше, по сравнению с предельными дисперсиями функционалов от эмпирического процесса.

В [117,120,124,125] приводятся оценки с учетом симметрии функции распределения относительно известного и неизвестного центра.

В работах [68 -71 ,75] для регулярных задач условного оценивания было установлено неравенство информации, описывающее нижние границы асимптотического риска оценок функционалов . Это неравенство позволяет сформулировать коструктивное достаточное условие асимптотической оптимальности, или локально асимптотической минимаксности (ЛАМ) оценок распределений и функционалов от них.

Особую значимость учет допонительной информации в оценивании распределения вероятностей и функционалов приобретает в теории надежности. В [84,85] описаны методы оценивания показателей надежности изделий и их составных частей по результатам испытаний или эксплуатационных наблюдений с использованием дополнительной информации. Источником зтой информации служат анализ надежности при проектировании, результаты предыдущих испытаний изделий. В [3, гл.5] приводятся граничные оценки для вероятностей безотказной работы и других показателей надежности в предположении, что известен один из моментов распределения времени безотказной работы или квантиль этого распределения, а само распределение имеет монотонную функцию интенсивности. В прекрасной монографии [87, гл.6] решается задача оценки вероятности безотказной работы в условиях частичной априорной информации об приорном распределении в байесовской постановке.

На практикев встречаются ситуации, когда распределение вероятностей полностью известно, а исходную задачу нельзя считать решенной, так как искомый функционал от распределения остается неизвестным в силу трудностей или отсутствия аналитических методов его вычисления. Такой случай полной априорной определенности имеет место в задачах, решаемых методом Монте-Карло (методом статистических испытаний). Для повышения точности вычисления математических ожиданий ( интегралов) методом Монте-Карло разработаны [57,59,91] различные приемы уменьшения дисперсии оценок - выделение главной части, симметризация подынтегральной функции, метод " существенной" выборки, метод расслоенной выборки, и т.д. По существу, все эти приемы есть способы учета имеющейся информации при оценивании математического ожидания (или какого-либо другого функционала) по выборке, генерируемой ЭВМ в соответствии с заданным законом распределения.

Отметим некоторые задачи статистической радиотехники, решаемые с использованием дополнительной информации. В [74,121] из эвристических соображений построены непараметрические обнаружители постоянного сигнала при известных квантилях функции распределения аддитивной помехи. Укажем также на работу автора [16]. В [62] рассмотрена задача учета информации об асимметрии и эксцессе помехи при выделении постоянного сигнала на фоне аддитивного шума. В [99] показывается, какие возможности открывает учет априорной информации различного уровня при решении задач идентификации, в [58,89,102] рассматриваются оценки параметров регрессии при наличии априорной информации о параметрах модели.

Применение критериев значимости требует численного определения вероятностных распределений статистик при нулевой гипотезе. Точная информация о распределении статистик часто ограничена несколькими первыми моментами или некоторой другой частичной информациею. Эти сведения помогают повысить точность вычислений при использовании бутстреп метода Б.Эфрона [103]. Использование имеющейся информации в проверке статистических гипотез рассматривалось в работах [54, 104, 107-110].

Таким образом, потребности практики приводят к необходимости развития известных и создания новых подходов и методов учета априорной информации различного типа с целью реализации и повышения качества статистических процедур обработки данных, а также теоретического обоснования этих методов.

Целью настоящей работы является развитие метода коррелированных процессов для задачи условного оценивания при наличии смещений и многозначности значений в априорных условиях, разработка новых методов и алгоритмов привлечения различных типов дополнительной информации о распределениях в процедуры статистической обработки данных, исследование влияния учета априорной информации на свойства получаемых статистических процедур.

Подход, развиваемый в данной работе, исходит из следующего. Как известно, математические модели случайных экспериментов основываются на понятии вероятностного пространства {О, Л, -Р}, ( О - множество элементарных исходов, Л - сигма-алгебра событий, Р - вероятность, заданная на событиях А £ Л). Эксперимент, связанный со случайной величиной осуществляющей измеримое отображение в {Лописывается вероятностным пространством {Л!, В, Р^}, где Р^{А} — Р{£ £ А} - распределение случайной величины На практике при изучении конкретного эксперимента вероятность Р и, следовательно, распределение Р,£ редко бывают известны полностью. Часто можно априори утверждать, лишь, что Р£ является элементом некоторого заданного класса распределений Vе1. Этот класс Ра может совпадать с классом V, включающим в себя все распределения, которые можно задать на Б (случай полной априорной неопределенности), в других же случаях представляет собой некоторое более узкое семейство распределений, заданное в той или иной явной форме (ситуация, когда имеется определенная априорная информация).

Если G(P{) - некоторый действительный функционал, то в силу неизвестности Р,'с меется неопределенность в его значении. Задача статистической обработки данных состоит в том, чтобы уменьшить эту неопределенность, используя информацию, доставляемую наблюдениями Х[,.,Хдг над случайной величиной £ (статистическими данными), и имеющимися сведениями о классе Va.

При построении статистических оценок функционалов G(P^) часто используется метод подстановки [9,30], заключающийся в том, что вместо неизвестного распределения Р{\ (или соответствующей функции распределения Ре) подставляются их статистические оценки. В связи с этим первостепенную важность приобретает построение различных оценок распределений. Традиционные методы статистического оценивания распределений вероятностей исходят, как правило, из полной априорной неопределенности относительно искомого распределения. В этом случае в качестве статистической оценки обычно берут эмпирическое распределение PN [9,79], построенное по исходным наблюдениям объема N.

В данной работе излагается достаточно общий подход к проблеме учета априорной информации в статистической обработке данных, названный методом проекций. Основная идея этого подхода заключается в следующем. По имеющейся априорной информации в классе всех распределений V выделяется априорный класс Vй - подкласс тех распределений, которые удовлетворяют данным свойствам. Затем строится проектор П ': V —>• Vя на априорный класс, являющийся отображением V на Vй, неподвижным на Va. Построение статистической оценки распределения Р, использующей априорную информацию Р £ Ра, заключается в применении проектора П к эмпирическому распределению Рдг, отвечающему выборке объема N. Оценкой Р является проекция РРдг, оценкой функционала G(P) является G(IIPN) . Проектор П : V —)• Vй можно построить как отображение, ставящее в соответствие каждому Р £ V элемент Ра £ Vя, ближайший к Р в смысле заданного расстояния с1.

Важнейшее достоинство этого метода заключается в том, что он разбивает задачу учета априорной информации на две самостоятельные части: до статистическую, состоящую из построения и исследования упомянутых проекторов, и собственно статистическую, состоящую из изучения статистических свойств получающихся оценок распределений и функционалов от них.

Диссертационная работа выполнялась в соответствии с планами научно-исследовательских работ Сибирского физико-технического института при Томском государственном университете.

В рамках госбюджетных тем:

Оптимизация измерительных и связных информационных систем" (координационный план АН СССР на 1971-1975 гг., проблема ТК-22, № гос. регистрации 70005304);

Адаптивные, обучаемые и самообучающиеся системы" (координационный план АН СССР на 1976-1980 гг. по комплексной проблеме "Кибернетика", шифр 1.12.1.2, № гос. регистрации 78017018);

Разработка непараметрических и устойчивых к неадекватностям моделей статистических процедур" (1981-1985 гг., шифр "Функционал-Р", № гос. регистрации 73024024); в рамках хоздоговорных тем: Создание системы алгоритмов и программ для статистической обработки экспериментальных данных" (1974-1976 гг., шифр "Статистика", № гос. регистрации 74063880),

Разработка и внедрение непараметрических и робастных методов в моделированиеввв, в автоматизацию проектированиям и автоматизацию технологических процессов в производстве микросхем" (1987-1989 гг. шифр "Статистика", № гос. регистрации 75015423).

По базовому финансированию Министерства общего и профессионального образования (МОПО) в рамках тем:

Стохастическое моделирование систем обработки информации, классификации и селекции" в 1991-1995 г.г. (шифр "Модель" №4-13-91);

Математическое моделирование систем управления, обработки и передачи информации" в 1996-1998 г.г. (шифр "Система" №4-4-96Ф).

Часть исследований выполнялась в соответствии с планами научно-исследовательских работ Томского государственного университета по базовому финансированию МОПО в рамках темы Разработка и исследование математических моделей и программной поддержки статистической обработки разнотипных данных" в 1994-1999 гг. (шифр № 1.38.96Ф), а также по программам, поддержанных грантом Российского фонда фундаментальных исследований (РФФИ) №95-01-00289 "Непараметрические и робастные методы обнаружения зависимостей, классификации и селекции" (1995-1996 г.г., руководитель Тарасенко Ф.П.).

Апробация работы и публикации.

Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических форумах:

VI конгрессе ИФАК по стохастическому управлению (Венгрия, 1974)

IV. V, VI научных конференциях Западно-Сибирского региона MB и

ССО РСФСР по математике и механике (Томск, 1974, 1976, 1977).

V Всесоюзном совещании по методам Монте-Карло (Новосибирск, 1976)

II -VII Всесоюзных школах-семинарах по непараметрическим и ро-бастным методам статистики в кибернетике (Шушенское, 1977, Дивно-горек, 1981, Томск, 1983, Шушенское, 1985, Томск, 1987)

VII Всесоюзной конференции по теории и передачи информации (Москва-Куйбышев, 1981)

Международном симпозиуме по теории информации ( Ташкент, 1984)

Colloquium on Goodness-of-Fit. June 25-29. 1984. Debrecen

Всесоюзной конференции "Теория, методология и практика системных исследований". Секция 5. Математические методы анализа систем, (Москва, 1985)

Всесоэной конференции "Методы и програмное обеспечение обработки информации и прикладного статистического анализа данных на ЭВМ" ( Минск, 1985)

II Симпозиуме ИФАК по стохастическому управлению (Вильнюс, 1986)

I Всемирном Конгрессе Общества математической статистики и теории вероятностей им. Бернулли (Ташкент, 1986)

International Symposium on Data Analysis, INRIA, Antibes / Juan les Pins (France) 11-14 Sept. 1989.

IV Всесоюзной научно-технической конференции " Применение многомерного статистического анализа в экономике и оценке качества продукции" ( Тарту (ЭССР), 1989)

Всесоюзной конференции "Информационные методы повышения эффективности и помехоустойчивости радиосистем и систем связи" ( Москва-Ташкент, 1990)

Всесоюзной научно-технической конференции с международным участием стран членов СЭВ "Применение статистических методов в производстве и управлении" (Пермь, 1990)

Всесоюзная конференция по имитационному моделированию и анализу данных (Минск, 1990)

Республиканской научной школе-семинаре "Компьютерный анализ данных и моделирование" (Минск, 1992)

VIII, IX, X Международных симпозиумах по непараметрическим и робастным методам в кибернетике (Красноярск, 1995, 1997, 1999)

II Сибирском конгрессе по прикладной и индустриальной математике (Новосибирск, 1996)

Юбилейной научной конференции Сибирского физико-технического института им. академика В.Д.Кузнецова при Томском государственном университете (Томск, 1998)

Юбилейной межрегиональной научной конференции "Исследования по анализу и алгебре", посвященной 50-летию механико-математического факультета ТГУ (Томск, 1998)

Третьем Корейско-Российском международном научно-техническом симпозиуме (Новосибирск, 1999)

Международном семинаре "Стохастические системы управления" Дрезденского технического ун-та и НИИ АЭМ при ТУСУР (Томск, 1999) Структура диссертации

Работа состоит из введения, шести глав, заключения, списка литературы и приложения, включающего документы об использовании результатов диссертации в учебном процессе. Объем диссертации - "275 страниц, в том числе таблиц - 4, рисунков - 3. В работе принята двойная нумерация формул, теорем, лемм, следствий и таблиц, в каждой главе самостоятельная: первое число — номер параграфа, второе — номер формулы, теоремы, леммы т.д. в пределах параграфа. При ссылках на формулы, теоремы, леммы и т.д. других глав применяется тройная нумерация, в которой первая цифра — номер главы.

Выводы

1. Наличие полной информации о функции распределения и рассмотрение классов подынтегральных функций с кусочно-непрерывными частными производными не выше первого порядка по каждой переменной, интегрируемых в квадрате или по модулю, дало возможность рассмотреть при построении оценок интеграла J с учетом условий (1.2) новый критерий качества - минимум верхней грани погрешности оценок, отличный от минимума дисперсии.

2. Такой критерий, во-первых, приводит к новым оценкам ^у(А'), уступающим оптимальным по дисперсии, но более простым в вычислительном отношении для конкретной задачи; во-вторых, позволяет одновременно учесть имеющуюся информацию как о подынтегральной функции, так и о свойствах функции распределения; в-третьих, дает возможность получить на рассматриваемых классах подынтегральных функций точные границы погрешности для оценок /дг(Ао), оптимальных по дисперсии, при любом N.

3. Найденные точные границы погрешностей оценок интересны тем, что они пригодны для всех функций /г из заданных классов (см. §§2,3,5) и обобщают соответствующие результаты из [91, стр. 129] и [4, стр. 144] в направлении модификаций оценок с учетом свойств функции распределения и многомерности оцениваемых интегралов.

4. Соотношения (6.1) и (6.2) позволяют строить доверительные интервалы для оценок кратных интегралов с использованием асимптотических распределений статистик омега-квадрат и их модификаций за счет учета свойств распределения выборки.

5. Учет информации о симметрии и квантилях равномерного в [0,1] распределения в структуре оценок интегралов приводит не только к повышению точности оценивания, но и делает их устойчивыми (робастны-ми) к отклонениям распределения выборкии от равномерного закона.

ЗАКЛЮЧЕНИЕ

Перечислим основные результаты, полученные в диссертации, и некоторые выводы,, вытекающие из них.

В диссертации предложены и исследованы методы учета дополнительной априорной информации о распределениях случайных величин в статистической обработке данных. В основе методов лежит функциональная интерпретация статистик. Известный на практике метод коррелированных процессов получил дальнейшее развитие и применен к решению новых задач.

1. Рассмотрена задача оценивания линейного функционала (глава 1) при наличии смещений в априорных условиях (2.1'), что позволило существенно расширить круг априорных знаний и число практических задач, решаемых с помощью метода коррелированных процессов. В классе линейных оценок (2.2) найдена наилучшая оценка по критерию минимума среднеквадратического отклонения (СКО) .

2. Предложены адаптивные оценки (2.25) и (2.34) (глава 1), которые при нулевых смещениях в априорных условиях сходятся по распределению к оптимальной, а при наличии смещений слабо сходится к безусловной оценке, в которой априорная информация не учитывается. Эти оценки "настроены" на выполнение полной несмещенности в априорных условиях, то есть, когда все компоненты вектора смешений равны нулю. Адаптивная оценка (2.38) обладает тем преимуществом перед (2.25) и (2.34), что "подстраивается" к случаям, когда только часть компонент вектора априорных смещений равна нулю.

3. Впервые рассмотрена задача оценки функционала (1.1) (глава 1), когда априорные функционалы принимают значения из заданного конечного множества (см.(3.2)). Соотношения (3.2) отражают большую априорную неопределенность относительно неизвестного распределения Р по сравнению с условием (1.2). Построены адаптивные оценки, сходящиеся по распределению к оптимальной и для этой ситуации. Оказалось, что увеличение неопределенности в априорных условиях (3.2) за счет множественности значений ( в конечном числе) в априорных функционалах не ухудшает асимптотических свойств адаптивной оценки по сравнению со случаем, когда априори известно, что каждый из априорных функционалов принимает только одно значение.

4. Показано (глава 2), что метод коррелированных процессов можно с успехом применять в оценивании функционалов от условных плотностей вероятностей с привлечением дополнительной информации в виде знания конечного числа других функционалов плотности. Тем самым расширена область применимости этого метода в плане решения новых задач.

Предложен класс асимптотически нормальных оценок с минимальной дисперсией для непараметрического оценивания функционалов плотности (не обязательно линейных). Приведены примеры , иллюстрирующие выигрыш в точности оценивания при учете дополнительной информации.

5. Важной особенностью предложенных в главах 1,2 адаптивных оценок функционалов (при неизвестных априорных смещениях ) является одновременное осуществление в них проверки априорных условий на несмещенность и непосредственно оценивания.

6. Предложен новый метод учета априорной информации о распределениях, названный методом проекций. Результирующей оценкой является функционал от проекции эмпирического распределения.

7. Дано общее определение условно-инвариантного распределения и тем самым в математическую статистику вводится понятие априорной информация условно-инвариантного типа. Построен общий проектор в класс условно-инвариантных распределений.

8. Предложены оценки распределений вероятностей с использованием в их структуре различных типов дополнительной априорной информации о распределениях. Способ построения таких оценок - метод проекций, заключающийся в проектировании исходного эмпирического распределения (или какой либо другой оценки) в априорный класс распределений, выделяемый имеющейся информацией. В результате получаются оценки, обладающие априорными свойствами.

9. Впервые получены статистические оценки распределений условно-инвариантного типа. Для оценок этого типа приводятся фомулы вычисления вероятностей попадания в заданные полосы при конечном числе наблюдений. Эти формулы обобщают результат работы [66, стр.213, (3.9)].

10. Оценки распределений с учетом знания моментов от заданных функций (§7 ) обобщают результаты работ [94,95], где приводятся иные оценки, хотя и являющиеся состоятельнми, но не обладающие всеми свойствами распределений. Полученные здесь оценки являются распределениями.

11. Сформулирована задача проверки статистических гипотез при наличии априорной информации о распределениях. До недавнего времени использование дополнительной информации в проверке статистических гипотез носило лишь качестаенный характер: имеющаяся информация использовалась при изучении свойств статситических оценок и критериев. Применение метода расстояний в построении критериев позволило ввести априорную информацию непосредственно в структуру статистик критериев. В результате получены модифицированные статистики таких известных критериев, как Колмогорова, Колмогорова-Смирнова, омега-квадрат. Для статистик, модифицированных с учетом информации о симметрии, квантилях, непрерывности распределений и различных комбинаций этих сведений получены точные и асимптотические распределения при нулевой гипотезе.

12. Получены вычислителные формулы для модифицированных статистик критериев согласия Мизеса-Смирнова, Колмогорова -Смирнова. Для непрерывных функций распределения все критерии являются непараметрическими. Показано, что учет дополнительной иформации о распределениях в структуре статистик приводит, как правило, к увеличению мощностных свойств рассмотренных критериев согласия.

13. В главе 6 исследованы свойства модифицмрованных оценок для вычисления интегралов методом Монте-Карло. Наличие полной информации о функции распределения и рассмотрение классов подынтегральных функций с кусочно-непрерывными частными производными не выше первого порядка по каждой переменной, интегрируемых в квадрате или по модулю, дало возможность рассмотреть при построении оценок интегралов с учетом условий (1.2) новый критерий качества - минимум верхней грани погрешности оценок, отличный от минимума дисперсии.

14. Найденные точные границы погрешностей оценок интересны тем, что они пригодны для всех подынтегральных функций из заданных классов (см. §§2,3,5) и обобщают соответствующие результаты из [91, стр. 129] и [4, стр. 144] в направлении модификаций оценок с учетом свойств функции распределения и многомерности оцениваемых интегралов.

15. Учет информации о симметрии и квантилях равномерного в [0,1] распределения в структуре оценок интегралов приводит не только к повышению точности оценивания, но и делает их устойчивыми (робаст-ными) к отклонениям распределения выборкии от равномерного закона. Этот факт ранее выпадал из поля зрения исследователей, его наличие дает дополнительные преимущества известным методам построения оценок с уменьшенной дисперсией - симметризации подынтегральной функ-циив и расслоения выборки.

1. Ангелова И.Е.} Дмитриев Ю.Г. Непараметрическое оценивание интегральных функционалов от условных плотностей с учетом априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1986. Вып. 10. С. 5-8.

2. Баклашов Н.И., Галъченко М.В., Гуревич В.А. Определение статистических характеристик систем с использованием результатов моделирования // Изв. АН СССР. Сер. Техническая кибернетика. 1986. N. 1. С. 146-154.

3. Барлоу Р.Б., Прошан Ф. Статистическая теория надежности и испытания на безотказность. М.: Наука. 1984.- 328 с.

4. Бахвалов Н.С. Численные методы. Ч. I.- М.: Наука, 1975.- 632 с.

5. Беляев Ю.К. Множительные оценки вероятности безотказной работы // Изв. АН СССР. Техническая кибернетика. 1985, N 4. С. 45-596. Биллингсли П. Сходимость вероятностных мер.- М.: Наука. 1984.- 315 с.

6. Богомолов АА. Доверительные области для функций одновершинных и симметричных распределений // Теория вероятностей и ее применения. 1979. Т. 24, вып. 2. С. 32-34.

7. Болдин М.В. Оценка распределения возмущений в схеме авторегрессии // Теория вероятностей и ее применения. 1982. Т. 27, вып. 4. С. 805-810.

8. Боровков А А. Математическая статистика. Проверка гипотез. Оценка параметров.- М.: Наука. 1984.- 472 с.

9. Вапник В.Н. Восстановление зависимостей по эмпирическим данным.- М.: Наука, 1979.

10. Васильев ВА. Об оценивании распределения возмущений процесса авторегрессии // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1986. Вып. 10. С. 9-24.

11. Гитник А. П. О статистической оценке вероятности случайного события // Автоматика и вычислительная техника. 1975. Вып. 5. С. 6269.

12. Галъченко М.В., Гуревич В.А. Метод учета информации, содержащейся в ранее полученной оценке функционала // Статистические методы и модели. М.: ВПИИСИ, 1987. С. 4-11.

13. Добровидов А.В., Кошкин А.М. Непараметрическое оценивание сигналов. М.: Наука, 1997, - 336 с.

14. Дмитриев Ю.Г. О свойствах оценок функций распределения и функционалов при дополнительной априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 63-76.

15. Дмитриев Ю.Г. Непараметрические алгоритмы обнарзокения постоянного сигнала при наличии априорной информации о помехе // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1979. Вып. 5. С. 52-60.

16. Дмитриев Ю.Г. Учет априорной информации в критерии омега квадрат // Труды VU Всесоюзной конф. по теории и передачи информации. Москва-Куйбышев. 1981. Ч. 4. С. 61-65.

17. Дм/атриев Ю.Г. Критерии симметрии омега-квадрат для распределений с известной медианой // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1982. Вып. 8. С. 35-39.

18. Дмитриев Ю.Г. Об оценках параметров распределений при дополнительной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1987. Вып. U.C. 39-46.

19. Дмитриев Ю.Г. Учет априорной информации в синтезе статистических процедур // Второй Сибирский конгресс по прикладной и индустриальной математике. Тезисы докладов. Ч. II. Новосибирск. 1996. С. 176.

20. Дмитриев Ю.Г., Конев В.В. О погрешности простейшего модифицированного метода Монте-Карло // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 88-93.

21. Дмитриев Ю.Г., Конев В.В. О погрешности статистического оценивания кратных интегралов с использованием омега-квадрат критерия // Ж. вычисл. матем. и матем. физики. 1977. Т. 17. Вып. 6. С. 1363-1373.

22. Дмитриев Ю.Г. Корниенко Ю.А. О погрешности вычисления интегралов методом расслоенной выборки // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1987. Вып. 11. С. 47-55.

23. Дмитриев Ю.Г., Кошкин Г.М. Использование дополнительной информации при непараметрическом оценивании функционалов плотности // Автоматика и телемеханика. 1987. N 10. С. 47-58.

24. Дмитриев Ю.Г., Кошкин Г.М., Симахин В.А., Тарасенко Ф.П. Свойства оценок плотности и функции распределения высших порядков по зависимой выборке // Материалы IV науч. конф. по матем. и механ. Томск: Изд-во Том. ун-та. 1974. Кн. I. С. 129-131.

25. Дмитриев Ю.Г., Кошкин Г.М., Симахин В.А., Тарасенко Ф.П. О непараметрическом оценивании функционалов по зависимой выборке // Материалы IV науч. конф. по матем. и механ. Томск: Изд-во Том. ун-та. 1974. Кн. I. С. 131-133.

26. Дмитриев Ю.Г., Кошкин Г.М., Симахин В.А., Тарасенко Ф.П., Шуленин В. П. Непараметрическое оценивание функционалов по стационарным выборкам. Томск: Изд-во Том. ун-та. 1974. 93 с.

27. Дмитриев Ю.Г., Симахин В.А. Многоканальные непараметрические обнаружители полезных сигналов в случае независимых каналов // Труды СФТИ. Томск: Изд-во Том. ун-та. 1971. N 62. С. 15-34.

28. Дмитриев Ю.Г., Тарасенко П.Ф. О непараметрических оценках функционалов // Материалы VII Всесоюз. семинара Непараметрические и робастные методы в кибернетике и информатике. Томск: Изд-во Том. ун-та. 1990. Ч. I. С. 199-204.

29. Дмитриев Ю.Г., Тарасенко П.Ф. Использование априорной ин формации в статистической обработке экспериментальных данных // Известия ВУЗов "Физика'. 1992. N. 9. С. 10-15.

30. Дмитриев Ю.Г., Тарасенко Ф.П. К вопросу о статистическом оценивании нелинейных функционалов от плотностей вероятностей // Труды СФТИ. Томск: Изд-во Том. ун-та. 1973. N 63. С. 14-27.

31. Дмитриев Ю.Г., Тарасенко Ф.П. Об оценивании функционалов от плотностей вероятностей и ее производных // Теория вероятностей и ее применения. 1973. Т. XIX. Вып. 3. С. 662-668.

32. Дмитриев Ю.Г., Тарасенко Ф.П. Об одном классе непараметрических оценок нелинейных функционалов // Теория вероятностей и ее применения. 1974. Т. XIX. Вып. 2. С. 404-409.

33. Дмитриев Ю.Г., Тарасенко Ф.П. О непараметрическом оценивании функционалов // Труды VI конгресс ИФАК по стохастическому управлению. Венгрия. 1974. С. 41-47.

34. Дмитриев Ю.Г., Тарасенко Ф.П. Об использовании априорной информации при оценивании линейных функционалов // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 52-62.

35. Дмитриев Ю.Г., Тарасенко Ф.П. Применение функционального подхода к оцениванию функционалов с учетом априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1979. Вып. 5. С. 128-141.

36. Дмитриев Ю.Г., Тарасенко Ф.П. Задачи согласия и однородности для распределений из априорного класса // Первый Всемирный Конгресс общества математической статистики и теории вероятностей им. Бернулли. Тезисы. Ташкент. 1986. Т. 2. С. 917.

37. Дмитриев Ю.Г., Тарасенко Ф.П., Устинов Ю.К. Об учете априор ной информации методом проекций // Международный симпозиум по теории информации. Ташкент. 1984. С. 27-29.

38. Дмитриев Ю.Г., Устинов Ю.К. К оцениванию симметричных функ ций распределения // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1983. Вып. 9. С. 62-72.

39. Дмитриев Ю.Г., Устинов Ю.К. Об оценивании функций распределения с известными квантилями // Всесоюз. конф. Теория, методология и практика системных исследований. Секция 5. Математические методы анализа систем. М. 1985. С. 103-105.

40. Дмитриев Ю.Г., Устинов Ю.К. Критерий Колмогорова, модифицированный с учетом априорной информации // Методы и программное обеспечение обработки информации и прикладного статистического анализа данных на ЭВМ. Тезисы докладов. Минск. 1985. С. 50.

41. Дмитриев Ю.Г., Устинов Ю.К. Статистическое оценивание функций распределения с использованием априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1986. Вып. 10. С. 62-76.

42. Дмитриев Ю.Г., Устинов Ю.К. Статистическое оценивание распределения вероятностей с использованием дополнительной информации. Томск: Изд-во Том. ун-та. 1988. - 194 с.

43. Дмитриев Ю.Г., Шуленин В.П. Об учете априорной информации в задачах согласия и однородности // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С.77-87.

44. Емельянова Т.В., Тарасенко П.Ф., Устинов Ю.К. Условная инвариантность распределений относительно о- алгебры событий // Всеси-бирские чтения по математике и механике: Избр. докл. международной конф.- Томск, 1998.Т. 1. С. 115-121.

45. Ермаков С.М. Метод Монте-Карло и смежные вопросы. М.: Наука. 328 с.

46. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987. - 320 с.

47. Ерм,аков С.М., Михайлов А.Г. Курс статистического моделирования.-М.: Наука, 1976. 320 с.

48. Заварин А.Н. Использование априорной информации в непараметрических оценках функции регрессии// Автоматика и телемеханика. 1985. N 5. С. 79-85.

49. Закс Ш. Теория статистических выводов. М.: Мир, 1975.

50. Зингер A.A., Каган A.M. Об использовании асимметрии и эксцесса при выделении постоянного сигнала на фоне аддитивного шума // Труды III Международного симпозиума по теории информации (тезисы). Москва-Таллин. 1973. Ч. I. С. 45-47.

51. Ибрагимов И.А. Хасъминский Р.З. Асимптотическая теория оценивания.- М.: Наука. 1979.

52. Кендалл М. Дж., Стъюарт А. Статистические выводы и связи. М.: Наука. 1973.

53. Кокс Д., Хинкли Д. Теоретическая статистика. М.: Мир, 1978.

54. Королюк B.C., Боровских Ю.В. Аналитические проблемы асимптотики вероятностных распределений. Киев: Наукова Думка, 1981.

55. Королюк B.C., Боровских Ю.В. Теория £7-статистик. Киев: Наукова Думка, 1981. - 384 с.

56. Кошсвник Ю.А. Об асимптотическом распределении непараметрических оценок функций распределения при условии симметрии // Статистические методы. Межвузовский сборник. Пермь: Изд-во Пермского ун-та. 1978. С. 39-57.

57. Кошевник Ю.А. О некоторых предельных свойствах непараметрических оценок функций распределения // Теория вероятностей и ее применения. 1984. Т. 29, вып. 4. С. 772-778.

58. Кошевник Ю.А. Предельные теоремы для непараметрических оценок некоторых симметричных функций распределения // Методы анализа данных, оценивания и выбора. М.: ВНИИСИ, 1984. С. 55-58.

59. Кошевник Ю.А., Левит Б.Я. О непараметрическом аналоге информационной матрицы // Теория вероятностей и ее применения. 1976. Т. 21, вып. 4. С. 759-774.

60. Кошевник Ю.А., Левит Б.Я. Границы риска в задаче оценки симметричных распределений // Записки науч. семинаров ЛОМИ. Л.: 1980. Т. 98. С. 98-114.

61. Кулъбак С. Теория информации и статистика. М.: Наука, 1967.

62. Левин Б. Р. Теоретические основы статистической радиотехники. М.: Советское радио, 1976.

63. Левит Б.Я. Условное оценивание линейных функционалов // Проблемы передачи информации. 1975. Т. II, вып. 4. С. 39-54.

64. Левит Б.Я. Об эффективности одного класса непараметрических оценок // Теория вероятностей и ее применения. 1975. Т. 20, вып. 4. С. 738-7543.

65. Левит Б.Я. Бесконечномерные информационные неравенства // Теория вероятностей и ее применения. 1978. Т. 23, вып. 2. С. 388-394.

66. Левит, Б.Я. Об оценке нелинейных функционалов // Проблемы передачи информации. 1978. Т. 14, вып. 3. С. 65-72.

67. Мания Г.М. Статистическое оценивание распределений вероятностей. Тбилиси: Иэд-во Тбилис. ун-та, 1974.

68. Мартынов Г.В. Вычисление функций распределений квадратичных форм от нормальных случайных величин // Теория верочтностей и ее применения. 1975. Т. 20, вып. 4. С. 797-809.

69. Мартынов Г.В. Критерии омега-квадрат. М.: Наука, 1978.

70. Мартынов Г.В. Программа для вычисления функций распределения квадратичных форм // Численные методы математической статистики. Алгоритмы и программы. М.: Изд-во МГУ, 1976. С. 30-35.

71. Надежность технических систем // Справочник. Под ред. И.А. Ушакова. М.: Радио и связь. 1985.

72. Оценка показателей надежности при малом числе наблюдений с использованием, дополнительной информации // ГОСТ 27.201-81: Надежность в технике.

73. Прохоренко В.А., Голиков В.Ф. Учет априорной информации при оценке надежности. Минск: Наука и техника, 1979.

74. Пугачев В.Н. Комбинированные методы определения вероятностных характеристик. М.: Советское радио, 1973.

75. Савчук В.П. Байесовские методы статистического оценивания:

76. Надежность технических объектов.- М.: Наука. 1989.- 328 с.

77. Санов И.Н. О вероятности больших отклонений случайных величин // Математический сборник (новая серия). 1957. Т. 42, вып. 1. С. 11-43.

78. Сергеев В. Л. Идентификация систем с учетом априорной информации. Томск: Изд-во HTJI, 1999. - 148 с.

79. Смирнов Н.В. Об одном способе построения доверительных областей для нормальной функции распределения по данным выборки // Труды Института математики и механик АН УзССР. Т. 53. N 1. С 122-130.

80. Соболь И.М. Численные методы Монте-Карло. М. Наука. 1972. -312 с.

81. Тарасенко П.Ф. Разработка алгоритмов вовлечения априорной информации в процедуры статистического оценивания. Кандидат.диссерт. физ.-мат. наук. Томск, ТГУ, 1994.

82. Тарасенко Ф.П. Непараметрическая статистика. Томск: Изд-во Том. ун-та. 1976,- 292 с.

83. Тюрин Ю.Н. Об оценивании функции распределения // Теория вероятностей и ее применения. 1970. Т. 15, вып. 3. С. 567-568.

84. Тюрин Ю.Н. Линейная модель в многомерной непараметрической статистике //В сб.: Ученые записки по статистике. 1974. Т. 26. С. 7-24.

85. Устинов Ю.К. Условно-инвариантные рапределения новый класс распределений // Труды Первого Всемирного конгресса общества математической статистики и теории вероятностей им. Бернулли. Тезисы. М.: Наука. 1986. Т. 3. С. 997.

86. Филиппова A.A. Теорема Мизеса о предельном поведении функционалов от эмпирических функций распределения и ее статистические применения // Теория вероятностей и ее применения. 1962. Т. 7, вып. 1. С. 26-60.

87. Хъюбер Р. Робастность в статистике М.: Мир. 1986.

88. Цыпкин Я.З. Основы информационной теории идентификации.1. М.: Наука. 1984. 320 с.

89. Чибисов Д.М. Об асимптотической мощности и эффективности критерия омега-квадрат // ДАН СССР. Т. 138, вып. 2. С. 322-325.

90. Шуленин В.П. Использование устойчивых оценок параметра положения для построения оценок симметричных распределений / / Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1981, вып. 7. С. 188-198.

91. Щербаков П. С. Использование априорной информации для уточнения оценок параметров // Автоматика и телемеханика. 1988. N 5. С. 80-89.

92. Эфрон Б. Нетрадиционные методы многомерного статистического анализа.- М.: Ф и С. 1988. 263 с.

93. Янковский Б.Е. Проверка гипотезы о виде функции распределения при априорно известных математическом ожидании и дисперсии// Поиск сигнала в многоканальных системах. Томск, 1987. N 2. С. 200-208.

94. Anderson T.W., Darling D.A. Asymptotic theory of certain goodness-of-fit criteris based on stochastic processes // AMS. 1952. V. 23. P. 193-199.

95. Beran R. Minimum Distance Procedures // Handbook of Statistics. 1984. V. 4. P. 741-754.

96. Boos D.D. A test of asymmetry associated with the Hodges-Lehmann estimator// J. Amer. Statist. Assoc., 1982, v.77, N 379, p. 647-649.

97. Brunk H.D. On the range of the difference between hypeothetical distribution function and Pyke's modified distribution function //Annals of Math. Statist. 1962. V.33, N 2. P. 523-532.

98. Castella G., Hwang J.T. Employing vague prior information in the construction of confidence sets //J. Multivar. Anal., 1987, v. 21, N 1. p. 79-104.

99. Cohen A., ho S.-H., Singh K. Estimating a quantile of symmetric distribution // Ann. Statist., 1985, v.13, N 3, p. 1114-1128.

100. Dmitriev Yu.G., Koshkin G.M. On the use of a priori information in nonparametric regression estimation // Second IFAC Simposium on Stochastic Control. (Vilnius, USSR, 19-23 May, 1986). Preprints. Part II. Moscow, VINITI, 1986. P. 106-111.

101. Dmitriev Yu.G., Koshkin G.M. On the use of a priori information in nonparametric regression estimation // Proceeding 2nd IFAC Simposium on Stochastic Control. Oxford e.a., Pergamon Press. 1987. P. 223-228.

102. Dmitriev Yu. G., Tarasenko F.P. On the use of a priori information in estimatid linear functional of distribution // Problems Control and Inform. Theory. 1978. V. 7. N 6. P. 459-469.

103. Dmitriev Yu.G., Tarasenko F.P. Tarasenko P.F. Modified bootstrap procedures in data analysis. Paper presented to International Symposium on Data Analysis, INRIA, Antibes / Juan les Pins (France) 11-14 Sept. 1989.

104. Dmitriev Yu.G., Tarasenko F.P., Ustinov Yu.K. Tests of goodness-of-fit for symmetrical distributions // Colloquium on Goodness-of-Fit. June 25-29. 1984. Debrecen. ABSTRACTS. Janos Rolyai Mathematical Soc. P. 6.

105. Doksum K.A. Measures of location and asymmetry // Scand J. Statist. 1975. V. 2. P. 11-22.

106. Hinkley D. On estimating a symmetric distribution // Biometrilca. 1976. V. 63. N 3. P. 680-681.

107. Hodges J.L., Lehmann E.L. Estimates of location based on rank tests // Annals of Math. Statist. 1963. V. 34. P. 588-611.

108. Hoeffding W. A class of statistics with asymptotically normal distribution // Ann. Math. Statist.-1948.-19, N 3.-P. 293-325.

109. Kraft, C.H., Lepage Y., van Eeden C. Estimation of a symmetric density fanction // Comm. Statist. Theor. Meth. 1985. V. 14, N 2. P. 273-288.

110. Lainiotis D.G. On a clacc generalised PCC 11 IEEE Trans. IT-14. 1968. N 4. P. 31-40.

111. Rao P. Nonparametric Functional Estimation. Academic Press. 1983.

112. Pyke R. The supremum and infimum of the Poisson process // Annals of Math. Statist. 1959. V. 30. P. 568-576.

113. Schuster E.F. Estimating the distribution function of a symmetric distribution // Biometrika. 1975. V. 62. N 3. P. 631-635.

114. Статистические задачи технической кибернетики, 4 курс ФПМК,

115. Математические модели страхового и банковского дела, 4 курс

116. Статистическое моделирование, 4 курс ФПМК,

117. Дополнительные главы математической статистики, 5 курс ФПМК,

118. Теория информации, 5 курс ФПМК, Председатель методического совета ФПМК ТГУ1. ФПМК1. Декан ФПМК ТПУд.т.н., профессор Ю.И.Параевтд.т.н., профессор А.М.Горцев