автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Сет - регрессионный анализ зависимостей случайных событий в статистических системах

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

ВВЕДЕНИЕ

ГЛАВА 1. Постановка задачи

1.1 Решетка подмножеств конечного множества.

1.2 Случайное конечное множество

1.3 Постановка задачи.

ГЛАВА 2. Решение задачи

2.1 Случайные множества и их средние.

2.1.1 Непараметрический способ задания распределения.

2Л.2 Основания средних характеристик случайных множеств.

2.2 Регрессия.

2.2.1 Регрессия в виде условного сет - среднего.

2.2.2 Регрессия через случайные соответствия.

2.2.3 Аппроксимация отображений.*.

2.2.4 Распределенный метод вычисления параметров регрессии

2.2.5 Регрессия в пространстве разбиений конечного множества

2.3 Сет - регрессионные процессы

2.3.1 Определение и свойства сет - регрессионного процесса.

2.3.2 Управляемый сет - регрессионный процесс.

2.3.3 Сет - регрессионный процесс разбиений

ГЛАВА 3. Применение сет - регрессии

3.1 Моделирование и прогнозирование пожарных рисков.

3.2 Сет - регрессионное прогнозирование числовых величин.

3.3 Восстановление пропущенных данных.

3.4 Моделирование финансовых рынков.

Актуальность темы.

Регрессионные методы анализа зависимостей случайных событий в дискретных статистических системах развиваются автором для построения и обобщения моделей явлений, характеризующихся случайной геометрией.

Модели, основанные на регрессионном анализе в пространствах конечных множеств, позволяют решать задачи мониторинга, прогнозирования и управления экологическими, финансовыми, медицинскими и другими рисками.

Характерной, при построении регрессии одного случайного конечного множества на другие, является проблема размерности, когда количество вычислений и количество параметров экспоненциально зависят от числа элементов в базовом множестве. Именно эта проблема обуславливает необходимость разработки вычислимых видов регрессии с количеством параметров полиномиально зависящем от мощности базового множества.

Построенные автором различные виды регрессии на решетке подмножеств конечного множества могут быть эффективно использованы для решения прикладных задач большой размерности.

Регрессионные операторы находятся двумя способами: во-первых, как решения экстремальных задач на основе средних характеристик случайных множеств, во-вторых, на основе случайных подмножеств декартовых произведений конечных множеств. Экстремальные свойства отдельных средних характеристик случайных множеств изучались как в отечественной, так и в зарубежной литературе. В работе получены результаты наиболее полно описывающие решения оптимизационных задач для сет - средних, в частности, показаны абсолютные экстремальные свойства сет - ожидания. На основе случайных подмножеств декартовых произведений построены регрессионные операторы, которые можно эффективно использовать в вычислительных процедурах. Данные операторы применялись для описания случайно-множественных регрессионных процессов, обобщающих случайные процессы распространения Ричардсона и Воробьева.

Разработан метод параллельного вычисления параметров регрессии. что позволяет наиболее эффективно использовать современные мощности вычислительной техники.

Цепь работы.

Основной целью работы является конструирование различных видов регрессии в пространствах конечных множеств для анализа зависимостей случайных событий и построения вероятностных моделей дискретных множественных систем. Для достижения данной цели решаются следующие задачи: построение непараметрической оценки распределения случайного конечного множества; нахождение абсолютных экстремальных свойств средних характеристик случайных конечных множеств: конструирование различных видов регрессии одного случайного множества на другие; разработка сет - регрессионного процесса обобщающего процессы распространения Ричардсона и Воробьева.

Методы исследования.

Использовались методы средне - мерного моделирования, теории вероятностей и математической статистики, математического и функционального анализа для построения регрессионных отображений, сет - регрессионных процессов, а также для анализа пространственных рисков через построение сет - регрессионных моделей.

Теоретическая значимость и научная новизна.

Полученные в диссертации результаты являются новыми и могут быть использованы в различных математических теориях.

Впервые получены абсолютные экстремальные свойства сет - ожидания, которые могут быть использованы при решении оптимизационных задач теории вероятностей и математической статистики.

Новая непараметричесдая оценка на решетке подмножеств конечного множества может быть использована в теории распределений случайных множеств и для оценки параметров регрессии.

Впервые показана оптимальность регрессионных отображений в виде условного сет - ожидания. Сконструированы новые параметрические семейства отображений и решена задача по выбору оптимального.

Построенные классы регрессионных отображений могут найти применение в регрессионном анализе, а также для построения различных случайных процессов распространения пространственных рисков.

Практическая значимость.

Полученные в диссертации регрессионные модели могут быть использованы в экологических, экономических и медицинских приложениях. Сет - регрессионные процессы могут быть применены для моделирования процессов распространения лесных пожаров и разработки горных выработок. Регрессионные методы могут быть использованы для анализа взаимосвязей в пространстве заболеваний, пространстве финансовых инструментов и экономических событий, Еше одними задачами, которые могут эффективно решаться с помощью разработанных методов, являются восстановление пропущенных множественных данных и прогнозирование числовых величин на основе нечисловой информации.

Полученные результаты были применены в проекте "Прогнозирование динамики показателей социально - экономического развития с помощью множественных регрессионных процессов", который прошел отбор на конкурсе проектных предложений молодых ученых по информатике и ее приложениям на включение в проекты 68 и

К691+790 Федеральной целевой программы "ИНТЕГРАЦИЯ" и пер-1 спективные программы работ на 1999г.

Апробация работы.

Результаты работы докладывались и обсуждались на Международной конференции "Пожары в лесу и на объектах лесохимического комплекса: возникновение, тушение и экологические последствия" (Томск. 1999). Международной конференции "Tsunami Risk Assessment Beyond '2000: Theory, Practice and Plans" (Москва. 2000). Всероссийских семинарах ''Моделирование неравновесных систем" (Красноярск. 1999. 2000). Конференции молодых ученых по математическому моделированию и информационным технологиям (ИВТ СО РАН. Новосибирск. 2000). Конференции молодых ученых Красноярского научного центра (Красноярск. 1999), Межрегиональном семинаре "Распределенные и кластерные вычисления" (ИВМ СО РАН. Красноярск. 2001), Всероссийской ФАМ конференции (ИВМ СО РАН. Красноярск, 2002) и на семинарах Института вычислительного моделирования СО РАН в г. Красноярске (1997 - 2002).

Публикации.

Основные результаты научных исследований по теме диссертации были опубликованы в 12 работах. Среди них 8 статей (одна на английском языке), из которых 7 без соавторов.

Структура и объем диссертации.

Диссертация состоит из введения, трех глав, заключения, списка литературы, списка обозначений и предметного указателя. Объем диссертации — 126 страниц.

Основные результаты диссертации

1. Построены непараметрические оценки распределения случайного конечного множества. Доказаны состоятельность и асимптотическая несмещенность оценок. Разработан метод моделирования значений случайного множества с непараметрической оценкой его распределения.

2. Найдены абсолютные экстремальные свойства таких средних характеристик случайного множества, как сет - мода и сет - ожидание. Показаны экстремальные свойства условных средних характеристик случайного множества.

3. Разработано несколько видов регрессии в пространстве конечных множеств. Доказана оптимальность регрессионного отображения в виде условного сет - среднего. Построены параметрические семейства отображений и решена задача по выбору оптимального регрессионного отображения из данных семейств.

4. Построены сет - регрессионный процесс, управляемый сет - регрессионный процесс и процесс случайных разбиений, позволяющие анализировать и прогнозировать пространственные риски дискретных динамических систем. Проведено сравнение полученного прогноза с результатами случайно - множественной модели распространения на примере реального распространения пожара.

ЗАКЛЮЧЕНИЕ

В диссертации конструируются вычислимые виды регрессии в пространствах конечных множеств для анализа зависимостей случайных событий в статистических системах.

В первой главе приведены основные понятия теории случайных конечных множеств и дана постановка задачи разработки методов регрессионного анализа в пространстве конечных множеств для анализа зависимостей случайных событий в статистических системах.

Во второй главе приводится решение задачи разработки методов регрессионного анализа в пространстве конечных множеств.

Описываются разработанные непараметрические способы задания распределения случайного множества. Вводятся следующие оценки распределения: ядерная, усеченная ядерная и гистограммная оценки. Для всех оценок доказывается их состоятельность и асимптотическая несмещенность. Исследуются экстремальные свойства средних характеристик случайных множеств. Находятся функционалы, характеризующие близость случайного и детерминированного множеств, относительно которых, такие средние характеристики как сет - мода и сет - ожидание (среднемерное), обладают абсолютными экстремальными свойствами.

Регрессионное отображение находится в виде условных сет - средних: сет - моды, сет - медианы и сет - ожидания. Доказываются теоремы об оптимальности. Конструируются параметрические семейства отображений и решается задача по выбору оптимального регрессионного отображения. Строится регрессия в пространстве разбиений конечного множества.

На основе построенных параметрических семейств отображений определяются случайные процессы. Строится случайный процесс, обобщающий процессы случайного распространения Воробьева и Ричардсона. Описывается способ определения управляемого случайно -множественного процесса. Конструируется случайный процесс разбиений конечного множества.

В третьей главе рассматриваются различные прикладные задачи, которые могут быть решены разработанными в диссертации регрессионными методами. Различные явления описываются математическими моделями, построенными на основе сет - регрессионного процесса, управляемого сет - регрессионного процесса и случайного процесса разбиений. Строится модель лесного пожара, который описывается сет - регрессионным процессом. Разрабатывается способ оценки параметров процесса по наблюдениям. Возможности модели проверяются на конкретной прикладной задаче. Делается прогноз состояния пожара и пространственных рисков. Результаты прогноза сравниваются с результатами полученными Воробьевым для этой же задачи. Точность прогноза, оцененная как площадь ошибки (мощность симметрической разности), улучшена более чем в два раза. Предлагается метод прогноза числовых временных рядов на основе неколичественной информации, представленной в виде текстовых сообщений. При этом последовательность текстов описывается сет - регрессионным процессом. Развивается способ восстановления пропущенных множественных данных. Показывается оптимальность решения.

1. Амбарцумян Р.В., Мекке И., Штойян Д. Введение в стохастическую геометрию. —М.: Наука, 1989.

2. Боровков A.A. Математическая статистика. —Новосибирск: Наука, 1997.

3. Биркгоф Г. Теория решеток. —М.:Наука, 1984.

4. Воробьев А.О. Прямые и обратные задачи для моделей распространения пространственных рисков: Автореф. дис. . канд. физ.-мат. наук. —Красноярск, 1998.

5. Воробьев О.Ю. Среднемерное моделирование. —М.: Наука, 1984.

6. Воробьев О.Ю. Сет суммирование. —Новосибирск: Наука, 1993.

7. Воробьев А.О., Воробьев О.Ю. Суммирование сет-аддитивных функций и формула обращения Мёбиуса // Доклады РАН, 1994, т.335, № 4. —С. 417 420.

8. Воробьев О.Ю., Новоселов A.A. Случайно множественное моделирование финансовых рынков // Материалы семинара "Нестандартные и случайно - множественные методы измерения рисков в социально - экономических системах". —Красноярск: ИВМ СО РАН. 1998. —С. 60-86.

9. Воробьев О.Ю. Новоселов A.A. Симонов К.В., Фомин А.Ю. Моделирование рисков на рынке ГКО случайными множествами // Моделирование неравновесных систем 98:Тезисы докладов

10. Первого всероссийского семинара/ Под ред. В. В. Слабко. — Красноярск: КГТУ, 1998. —С. 147-148.

11. И. Гихман И.И, Скороход A.B. Управляемые случайные процессы. —Киев: Наукова думка, 1977.

12. Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. Li подход. —М.: Мир, 1988.

13. Иванкова Е.И. Моделирование больного случайными множествами // Моделирование неравновесных систем 98. —Красноярск: КГТУ, 1998. —С. 158-159.

14. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973.

15. К. Куратовский. Топология. Том 1. —М.: Мир, 1966.

16. Коршунов Ю.М. Математические основы кибернетики. —М.: Энергия, 1972.

17. Лапко A.B., Ченцов C.B., Крохов С.И., Фельдман Л.А. Обучающиеся системы обработки информации: непараметрический подход. —Новосибирск: Наука, 1996.

18. Математический энциклопедический словарь. /Гл. ред. Ю. В. Прохоров. —М: Сов. энциклопедия, 1988.

19. Матерон Ж. Случайные множества и интегральная геометрия. — М.: Мир, 1978.

20. Романовский И.В. Дискретный анализ. —СПб.: Невский диалект. 2000.

21. Феллер В. Введение в теорию вероятностей и ее приложения, в 2-х томах. —Москва: Мир. 1984.

22. Фомин А.Ю. Сет регрессионный анализ распространения пожарных рисков // Сибирский вестник пожарной безопасности. № 3. —Красноярск: СФ ВНИИПО МВД РФ, 1999. —С.20-23.

23. Фомин А.Ю. О сет-непараметрических оценках распределений случайных конечных множеств // Материалы конференции молодых ученых Института вычислительного моделирования СО РАН. —Красноярск, 1998. —С.74-86.

24. Фомин А.Ю. Моделирование управляемых случайно множественных процессов // Труды Конференции молодых ученых, посвященной 10-летию ИВТ СО РАН. Т.II: Математическое моделирование. —Новосибирск, 2001. —С. 161-164.

25. Фомин А.Ю. Регрессионный анализ в пространствах абстрактных множеств // Материалы конференции молодых ученых КНЦ СО РАН. —Красноярск, 1999. —С.58-61.

26. Фомин А.Ю. Террасная технология задания распределений случайных конечных множеств // Труды XXX научной студенческой конференции:Сб.тр./ Красноярский гос. ун-т. —Красноярск, 1997. —C.132-140.

27. Фомин А.Ю. Применение параллельных вычислений для нахождения параметров регрессии // Труды первого межрегионального семинара "Распределенные и кластерные вычисления". — Красноярск, 2001. —8с.

28. Фомин А.Ю. Регрессия в пространстве упорядоченных разбиений конечного множества // Труды первой Всероссийской ФАМ конференции. —Красноярск, 2002. —С. 283-288.

29. Фомин А.Ю. Моделирование и прогнозирование экономических процессов сет регрессией // Моделирование неравновесных систем - 2000 : Материалы III Всероссийского семинара/ Под общей ред. А.Н. Горбаня. —Красноярск: ИПЦ КГТУ, 2000. —С. 270-271.

30. Фомин А.Ю. Закон больших чисел для случайных конечных множеств // Материалы XXXVIII Международной научной студенческой конференции "Студент и научно-технический прогресс'": Математика./ Новосиб. ун-т. —Новосибирск, 2000. —С.59-60.

31. Фомин А.Ю. Обратные задачи в случайно множественном анализе экономических явлений // Моделирование неравновесных систем - 99 : Тезисы докладов II Всероссийского семинара/ Под ред. Слабко В.В. —Красноярск: ИВМ СО РАН, 1999. —С. 173-174.

32. Cressie N., and F.L.Hulting 'A spatial statistical analysis of tumor growth'. J. Amer. Stat. Assoc., 1992, № 87, P. 272 283.

33. Fisher R.A. The correlation between relatives of the supposition of Mendelian inheritance. Trans. Roy. Soc. Edinb, 52, 1918, P. 399-433.

34. Galton F. Natural Inheritance, London, 1889.

35. Kendall D.G. Foundations of the theory of random sets: Stochastic geometry/ Ed. by E.F. Harding, D.G. Kendall, N.Y.: Wiley, 1974. P. 322 376.

36. Parzen E. On estimation of a probability density function and mode // Ann. Math. Stat., 1962, Vol.33, P. 1065-1076.

37. Pearson K. Regression, heredity and panmixia. Phil. Trans. Roy. Soc., A187, 1896, P. 253-318.

38. Richardson D. Random growth in tesselation. Math. Proc. Cambridge Phil. Soc. 1973, Vol. 74. P. 515-528.

39. Robbins H.E. On the measure of a random set. Ann. Math. Statist. № 15. 1944, P. 70 74; № 16, 1945, P. 342 - 347.

40. Stoyan D., and H. Stoyan. Fractals, Random Shapes and Point Fields. J. Wiley & Sons, Chichester, 1994.

41. A.O. Vorob'ev, O.Yu. Vorob'ev, A.A. Novoselov, K.V. Simonov, A.Yu. Fomin. Spatial tsunami risk models and the problem of insurance // Tsunami risk workshop, Moscow, Russia, June 2000, P. 50-51.

42. Vorob'ov A.O., Vorob'ev O.Yu. Inverse problems for generalized Richardson's model of spread // Computational Fluid Dynamics'96. John Wiley k Sons Ltd, 1996, P. 104-110.

43. Vorob'ov O. and D. Stoyan. Random Sets, Shapes, Figures and Their Means. Freiberg: TU Bergakademie, Preprint 94-04, 45-64, 1994.

44. СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ

45. X — конечное множество X = {яь., хдг}.

46. Ас — дополнение множества: Ас = X \ А.

47. А\ — число элементов множества А.

48. ААВ — симметрическая разность:

49. ААВ = АСПВ и А П Вс. р(А, В) — расстояние между множествами А и В.

50. А С. В — множество А содержится в множестве Вточное включение). АС В — множество А строго содержится в множестве Встрогое включение). — вероятностное пространство. 2х — совокупность подмножеств множества X.

51. К — случайное конечное множество заданное под X.

52. А£ — терраска: А£ = Л,- П^ А?-■

53. В(А,г) — шар с центром во множестве ,4 и радиусом г:

54. В(А,г) = {В : ¿{А, В) < г}. В(А. г) — сфера с центром во множестве А и радиусом г:

55. В{А, г) = {В : <*(А,Я) = г}.1. Ф(х) — ядерная функция.

56. Ф°(.г) — усеченная ядерная функция.

57. Я^А) — усеченная ядерная оценка распределенияслучайного множества К по га наблюдениям.

58. Ои(А) — гистограммная оценка распределения случайногомножества А".

59. МесЦА") — сет медиана случайного множества К.

60. Мос1(А") — сет мода случайного множества К.

61. К — сет ожидание (среднемерное) случайногомножества К.

62. А — набор подмножеств множества X.ь(А) — средне террасное множеств из набора А.д(К, В) — функционал, характеризующий близостьслучайного множества К и множества В.

63. Ме&(К2/К\ = А) — условная сет медиана случайногомножества К2 при условии что А'1 = А.

64. Мо<\(К2/К1 = А)— условная сет мода случайногомножества К2 при условии что К\ = А.

65. К2/К\ = А) — условное сет ожидание случайногомножества К2 при условии что К\ = А.

66. X х у — декартово произведение множества X на У.г — соответствие между множествами X и У:1. С X х у.

67. Тх. — образ элемента х £ X при соответствии IV:1. Ух. = {уеУ:(х,у)е\У}.-1у. — прообраз элемента у £ У при соответствии IV:1. У-1у. = {^еХ:(х,у)е1У}.

68. И пЦ. — соответствие Галуа между 2х и 2У:1. ПпА. = П,€л*Г[41Ги-4. — образ множества А С X при соответствии IV:1. VulA. = 11*е.4Н'47г — перестановка элементов множества X.

69. Ьн{Л) — срез совокупности множеств А по уровню /г.образ уровня Н множества А при соответствии IV.кусочный образ уровня Л = (/ц,., Л*) множества

70. АС X при соответствии IV = (\\п,\¥к) иразбиении Т = {71,., Тк}.

71. Т — случайное соответствие междумножествами X и у. К\ х А"2 — декартово произведение случайныхмножеств К\ и А'2. К — расширение случайного множества К.

72. Т — упорядоченное разбиение множества X на шчастей: Т = (Т1, Т2,., Тт). Тт(Х) — совокупность всех упорядоченных разбиенийна т частей множества X. Т . — случайное упорядоченное разбиение на тчастей множества X.

73. V — упорядоченное разбиение на т частей ш-кратногодекартового произведения X на себя. УТ. — образ разбиения Т е Тт(Х).

74. V — случайное упорядоченное разбиение на т частейт-кратного декартового произведения X на себя. А'< — сет регрессионный процесс.

75. Ы — конечное множество возможных управлений.

76. Н — соответствие между тремя множествами X, X и Ы.

77. Ни. — образ управления и £ Ы при соответствии Н.