автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Синтез и анализ непараметрических моделей стохастических зависимостей и распознавания образов в условиях малых выборок

На правах рукописи

Шарков Максим Анатольевич

СИНТЕЗ И АНАЛИЗ НЕПАРАМЕТРИЧЕСКИХ МОДЕЛЕЙ СТОХАСТИЧЕСКИХ ЗАВИСИМОСТЕЙ И РАСПОЗНАВАНИЯ ОБРАЗОВ В УСЛОВИЯХ МАЛЫХ ВЫБОРОК

05.13.01 - Системный анализ, управление и обработка информации (по отраслям информатика, вычислительная техника и управление)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

ООЗОБ58Б4

Красноярск - 2007

003065864

Работа выполнена в Политехническом институте Сибирского федерального университета и Институте вычислительного моделирования СО РАН (г. Красноярск).

НАУЧНЫЙ РУКОВОДИТЕЛЬ:

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

ВЕДУЩАЯ ОРГАНИЗАЦИЯ:

доктор технических наук профессор,

Заслуженный деятель науки РФ Лапко Александр Васильевич

доктор технических наук, профессор

Медведев Александр Васильевич кандидат технических наук Молоков Вячеслав Витальевич

Сибирский государственный технологический университет

Защита состоится «12» октября 2007 года в 14.00 часов на заседании диссертационного совета Д 212 099 06 при ФГОУ ВПО «Сибирский федеральный университет» по адресу: 660074, г Красноярск, ул Киренского, 26 660074, ауд Д 501

Факс. (3912) 43-06-92 (ГШ СФУ, для каф АОИ)

E-mail: sovet@front ru

Телефон- (3912) 91-22-36 (ПИ СФУ, каф АОИ)

С диссертацией можно ознакомиться в библиотеке Политехнического института Сибирского федерального университета

Автореферат разослан «_»_ 2007 г

Ученый секретарь диссертационного совета,

ДТН 0jri'АМУ С А Бронов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Большинство статистических методов восстановления стохастических зависимостей и распознавания образов ориентировано на представительные обучающие выборки Однако при решении прикладных задач часто располагают ограниченным объемом наблюдений - короткой либо малой выборкой

Проблема анализа малых выборок является наименее исследованной в теории обучающихся систем Для «обхода» проблем малых выборок широкое распространение получили методы, основанные на принципах декомпозиции систем и последовательные процедуры формирования решений, которые характеризуются недостаточной вычислительной эффективностью. В связи с этим, возникает потребность в разработке моделей восстановления стохастических зависимостей и распознавания образов в условиях малых выборок, обеспечивающих высокое качество и обоснованность получаемых результатов, а также невысокую ресурсоемкость при решении задач обработки информации.

Основные научные результаты диссертации получены в рамках планов научных исследований Института вычислительного моделирования СО РАН «Разработка гибридных интеллектуальных информационных технологий на основе интеграции геоинформационных, нейросетевых, экспертных и аналитических систем» ПСО №242 от 03 07 03 и Красноярского государственного технического университета, а также в соответствии с грантом Президента №МД-2130 2005 9

Тема диссертации соответствует перечню «Критические технологии РФ» по направлению - компьютерное моделирование

Народно-хозяйственная проблема. Нестационарность объекта исследования, высокая стоимость и сложность получения дополнительных данных обуславливает возникновение задач обработки информации в условиях малых выборок Получаемые в этом случае решающие правила не всегда обеспечивают приемлемые для практики результаты, так как информация малых обучающих выборок затрудняет оценивание вероятностных характеристик изучаемых закономерностей Данная проблема наиболее актуальна для социальных, медико-биологических и технических систем.

Объектом исследования являются методы обработки статистических выборок малого объема.

Предметом исследования являются непараметрические модели восстановление стохастических зависимостей и распознавание образов в условиях малых выборок

Цель научного исследования состоит в разработке методических, алгоритмических и информационных средств оценивания плотностей вероятности, синтеза алгоритмов распознавания образов и моделей восстановления стохастических зависимостей в условиях выборок малого объема, основанных на принципах имитации систем и методах непараметрической статистики

Цель достигается путём решения следующих задач

1. Разработка методики синтеза непараметрических моделей многомерных стохастических зависимостей и распознавания образов на основе принципов имитации систем, обеспечивающей эффективное использование информации обучающих выборок малого объема

2. Обоснование предложенного направления исследований на основе анализа асимптотических свойств непараметрических моделей распознавания образов и восстановления стохастических зависимостей

3 Разработка процедуры продолжения случайных последовательностей на основе анализа методики синтеза непараметрической оценки плотности вероятности в условиях малых выборок

4 Создание информационных средств, реализующих непараметрические методы обработки информации в условиях малых выборок и их применение при исследовании социальных систем

Методы исследования. Для решения поставленных задач использовались аппарат теории вероятности и непараметрической статистики, методы распознавания образов и восстановления многомерных стохастических зависимостей, принципы имитации систем.

Основные научные результаты:

1 Непараметрические оценки плотности вероятности, модели многомерных стохастических зависимостей и алгоритмы распознавания образов в условиях малых выборок, основанные на принципах имитации систем

2. Количественная взаимосвязь между характеристиками обучающей выборки, параметрами имитационной процедуры формирования дополнительной статистической информации и непараметрических алгоритмов их обработки

3 Методика продолжения случайных последовательностей с применением аппарата имитационного моделирования и методов непараметрической статистики

Научная новизна. Впервые с позиций принципов имитации систем и методов непараметрической статистики теоретически обоснованы алгоритмы решения задач восстановления стохастических зависимостей, распознавания образов в условиях малых выборок

Значение для теории. Результаты работы позволяют повысить эффективность построения моделей стохастических зависимостей и алгоритмов распознавания образов, а также открывают возможность построения непараметрических решающих правил в задачах классификации и моделирования неопределенных систем при обработке малых выборок

Значение для практики. Разработаны информационные средства синтеза и анализа непараметрических моделей восстановления стохастических зависимостей и распознавания образов, ориентированные на исследование объектов различной природы в условиях малых выборок.

Критерии статистического оценивания условий преимущества предлагаемых моделей создают методическую и алгоритмическую основу автоматизации их проектирования при построении типовой информационной системы.

Созданы информационные средства, реализующие непараметрические методы обработки информации в условиях малых выборок, которые адаптированы для исследования динамики показателей преступности в регионах России.

Использование результатов диссертации. Разработанные методы, алгоритмы и информационные средства зарегистрированы в Отраслевом фонде алгоритмов и программ (свидетельство о регистрации № 6787) и используются для оценивания состояния преступности в регионе в учебном процессе Сибирского юридического института МВД РФ

Личный вклад автора. Выбор направления исследований малых выборок выполнен автором совместно с научным руководителем Все результаты получены лично автором

Из шести публикаций пять подготовлены и опубликованы автором единолично

Апробация работы. Основные положения диссертации представлялись и обсуждались на Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» в г Томске в марте 2006 года и марте 2007 года, на Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Молодежь и наука, начало XXI века» в мае 2005 года Результаты работы докладывались на научных семинарах факультета информатики и процессов управления Красноярского политехнического института и Института вычислительного моделирования СО РАН.

Результаты исследований включались в научные отчеты Института вычислительного моделирования СО РАН, представлялись в отчетах гранта Президента РФ №МД-2130 2005 9

Публикации. По результатам работы опубликовано 6 статей, в том числе в журнале «Вестник КрасГАУ», внесенном в перечень ведущих рецензируемых журнальных изданий

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка использованной литературы (131 наименование), содержит 124 страницы машинописного текста, иллюстрируется 29 рисунками

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность рассматриваемой в работе проблемы, определены цель и задачи исследования, выделены основные положения работы, имеющие научную новизну и практическую значимость

В первой главе рассматриваются традиционные статистические методы обработки информации в условиях малых выборок, которые различаются принципами «обхода» возникающих проблем и процедурами реализации данных методов На этой основе предложена методика классификации статистических моделей обработки информации, позволяющая систематизировать существующие подходы и определить новые постановки задач моделирования

Проведен анализ основных методов обработки малых выборок, который позволил выявить ряд недостатков

• формируемые с помощью бутстреп-метода частные выборки из исходной являются зависимыми, что создает значительные трудности при исследовании свойств строящихся статистических моделей;

• использование последовательной процедуры формирования решений в методе группового учета аргументов связаны со значительными вычислительными затратами,

• применение принципа декомпозиции исходной задачи в коллективах решающих правил в конечном счете приводит к снижению точности синтезируемых моделей

Непараметрические методы обработки данных ориентируются на общие сведения об исследуемой системе, что обеспечивает возможность построения универсальных алгоритмов и моделей, не зависящих от природы изучаемых объектов Однако, непараметрические методы применимы только к репрезентативным выборкам Поэтому возникает актуальная проблема их развития в условиях малых выборок

Во второй главе предложена методика увеличения объема исходных данных в задаче восстановления многомерной плотности вероятности в условиях малых выборок с использованием принципов имитационного моделирования

Пусть имеется исходная выборка V = (х', i = \,п) статистически независимых наблюдений случайной величины xgR1 с неизвестной плотностью вероятности р(х) Объем данной выборки п считается малым и не позволяет обосновано применять методы непараметрической статистики. Используя методы имитационного моделирования, увеличим объем исходных данных. С этой целью в ^-окрестности каждой z-ой ситуации выборки проведем т имитаций случайной величины хд с законом распределения pLОд) и нулевым математическим ожиданием

По результатам моделирования сформируем статистическую выборку V2 = + х^1 ,i = \,n,j = \,т) с законом распределения, соответствующим смеси плотностей вероятности

__J п

Р(*) = ~1>д(*д) (1)

п ,=1

Нетрудно заметить, что непараметрическая оценка (1) имеет вид

__л) т v_r' _v ^

р(х) = а ), (2)

j=i с

где Ф(м)-ядерная функция, удовлетворяющая условиям ф(м) 2: 0, |ф(u)du = 1, Ф(м) = Ф(- и), |м"Ф(u)du < оо, v 2: 2, ф(и2)>ф(н,), V|ii2|s|n,|,

с = с(п) - параметр размытости ядерной функции

В многомерном случае xeRk оценка плотности вероятности имеет вид

__п т к i у _ г ' _V ^

р{х) - V¿ ) • (3)

í=l J=1 y=i cv cv

Рекомендуемым критерием выбора параметра размытости с(п) является максимум функция правдоподобия

яхт_

Lic)=Ylpixk), (4)

к=1

где, например, для статистики (3)

__1 лхш (i N

=-i-УФ .

(ихи-1)с^ V с J

i*k

Доказана теорема о том, что для достаточно гладких плотностей вероятности существуют условия асимптотической несмещенности и состоятельности их непараметрических оценок типа (3) В частности, показано, что для равномерного закона распределения р(хд) должны

выполняться требования с 0, дисперсия случайной величины а2 д-> 0, а птс -» оо при п -» оо и т -» оо.

Доказательство асимптотической сходимости непараметрических статистик, предназначенных для обнаружения закономерностей в условиях малых выборок, позволяет аналитически обосновать методику их синтеза На этой основе определить количественную взаимосвязь между характеристиками обучающей выборки, параметрами имитационной процедуры формирования дополнительной статистической информации и исследуемых алгоритмов их обработки, что необходимо для объяснения результатов вычислительных экспериментов

Проведен анализ асимптотического выражения

среднеквадратического отклонения №(х,х) на всем диапазоне изменения переменных х,х Считая, что р(х) = (2/3у'Ух е [-/3,/?] и пренебрегая в процессе преобразований величинами малости р\р2с2,с4 и ръ Цптс), проинтегрировав выражения Ш{х,х) по переменным получим

у А

2 пР т

где А - длина интервала изменения ж

Как и следовало ожидать, с ростом т оценка среднеквадратического

отклонения стремится к пределу Причем, зависимость Ж от ¡3 при

2 я/3

конкретных значениях тип имеет экстремальный характер и при оптимальном

1

( А V

ИИЦрюг

(5)

достигает своего минимума

Из анализа (5) следуют вполне очевидные соотношения между параметрами р\т и Д. Интервал генерирования искусственной обучающей последовательности увеличивается с ростом области определения р(х) и количества имитаций т, снижается по мере увеличения объема п исходной выборки.

Определено необходимое требование на количество имитаций т процедуры генерирования искусственной обучающей выборки

>2,56Д||р(Х)||<„^Г(|Ф|ГУ|^||

при котором статистика (3) будет обладать более высокими аппроксимационными свойствами по сравнению с традиционной непараметрической оценкой плотности вероятности ядерного типа

Полученные аналитические выводы подтверждают принципиальную возможность использования статистики типа (3) при обработке малых выборок Асимптотические выражения для смещения и среднеквадратического отклонения отражают количественную взаимосвязь между параметрами процедуры имитации и исходными данными.

Кроме того, данный факт обосновывает использование алгоритма синтеза непараметрических оценок плотности вероятности (3) в качестве

процедуры продолжения случайных последовательностей (х', г = 1 ,п).

1. На оси случайных чисел £ е [ОД] определим п равных отрезков и

сопоставим их с элементами исходной выборки (х', г = 1,и). Примем значение параметра г = 1.

2 При помощи датчика случайных чисел сгенерируем число е' и по факту попадания его значения в г-й интервал определим опорную точку х1.

3. В ^-окрестности г'-ой точки исходной выборки формируем п + у -ое значение случайной величины х

хпЧ =х' +2(0 5-е')Р,

где £1 -случайная величина с равномерным законом распределения в области [0,1].

4 Повторить этапы 2,3 т раз до необходимого объема ситуаций последовательности

Асимптотическая несмещенность и состоятельность непараметрических оценки плотности вероятности полученной выборки объемом (и + т) следует из доказательства теоремы о существовании условий асимптотической несмещённости и состоятельности непараметрических оценок типа (3).

По данным вычислительных экспериментов обоснованы требования к параметрам имитационной процедуры увеличения объема выборки, необходимые для получения эффективных оценок плотностей вероятности в условиях малых выборок

• Установлено, что р -окрестности процедуры имитационного моделирования должны иметь минимальные возможные области пересечения друг другом при условии максимального перекрывания области определения исходной выборки,

• достаточное количество имитаций в пределах р -окрестностей равно 5-7

В третьей главе предлагаются и исследуются непараметрические алгоритмы распознавания образов в условиях малых выборок.

Пусть дана выборка (х',ст(г), г = 1,и), составленная из признаков х' классифицируемых объектов с неизвестной плотностью ¿>(х:) и «указаний учителя» ст(г) о принадлежности ситуации х1 к тому либо иному классу

П(, ? = ГТм

Для упрощения выкладок, без существенной потери получаемых результатов, рассмотрим методику построения уравнения разделяющей

поверхности в условиях малых выборок на примере двуальтернативной задачи распознавания образов в пространстве непрерывных признаков В этом случае решающее правило имеет вид

т(х) \ 1 (6)

[л: е Q2,если fi2(x)< О,

где fn(x)- байесово уравнение разделяющей поверхности между классами Оj^

Для построения решающего правила воспользуемся оценкой плотности вероятности типа (3)

Пусть ni и П2~ количество ситуаций обучающей выборки (**, cr(i), г = Ъп), принадлежащих первому и второму классам. Тогда непараметрическая оценка уравнения разделяющей поверхности, например, соответствующая критерию максимального правдоподобия, может быть представлена в виде _ ( к V1 п m к „ _ -г 1 _Z J /u(*)= 1а(01ШУ V )> (7)

V v=l J 1=1 v—1 Cv

f(«t / ri),eaiu x e £2P где <y(i) = <

[- {щ In),если x e

При оптимизации решающего правила (7) сначала осуществляется выбор параметра р процедуры генерирования искусственной обучающей

последовательности (x' +xJ,u(i,j),j = l,m,i = 1,и), где a(i,j) - указания о

принадлежности ситуации х' +х к одному из классов

Обозначив /?,- окрестность точки х' из i-ro класса через q\(P), а их пересечения для двух ситуаций х',х' через = Введем

естественное требование, р -окрестности выбираются для каждого класса и достаточно полно покрывают область определения соответствующей ему части обучающей выборки при условии минимального их пересечения.

Данное положение реализуется путем решения задач

minfHW*'e 1>«(/Ш = 1>2

ft I Je/, I Jel,

!*J l*J

На втором этапе определяются параметры m и cv непараметрической оценки уравнения разделяющей поверхности из условия минимума эмпирической оценки распознавания образов в режиме «скользящего экзамена»

Для повышения эффективности непараметрических алгоритмов распознавания образов в условиях малых выборок возможно использование принципов коллективного оценивания Пусть т(2 (x), у = 1, M непараметрические решающие правила для двуальтернативной задачи распознавания образов, которые построены по выборкам

(х1 + х ,о*(г,у),] =\,т,1 = \,п), отличающимся случайными

последовательностями, «расширяющими» исходную обучающую выборку, при одних и тех же значениях параметров имитации тир

Воспользуемся одним из известных подходов коллективного оценивания, например, методом «голосования» и построим решающее правило

хеО^еспи —1->—-

М М /о\

„ мг ^ м,

х е У,, если —- > —-,

м м

где М}, 7=1,2 - число «решений», которые принимают члены коллектива о принадлежности объекта с набором признаков х в пользу у -го класса

В многоальтернативной постановке задачи распознавания образов каждый член коллектива т{2(х), J = 1,М использует решающее правило типа (8) Окончательное вывод, например хеП,, принимается, если частота решений членов коллектива в пользу г-го класса максимальное

Для исследования эффективности предлагаемого алгоритма распознавания образов в условиях малых выборок в сравнении с хорошо зарекомендовавшим себя на практике традиционным непараметрическим алгоритмом распознавания образов, синтез которого осуществляется по исходной информации, решалась двухальтернативная задача распознавания образов в пространстве признаков х„,у = 1,к Априорные вероятности классов Р1 = Р2 = 0 5. Законы распределения признаков в области первого класса формировались в соответствии с датчиками случайных чисел

= а + е (Ь - а),

. (д б

**и =(.*») +10 + ОГ,

где параметры распределений а = 1.5, ¿ = 45, р\ = 5, среднеквадратическое отклонение = 0 7; е е [О; 1] - случайная величина с равномерным законом распределения, /н =(1,3,5 ) - множество нечетных чисел меньших к Признаки второго класса генерировались с нормальным законом

(Рг Л 6 -

х„ = т + о2 -0.5^2 -5=' у =

при р%-5, <72 = 0,7, т = 3

Случайные величины х = (х V , у = 1Д) , обеспечивающие расширение исходной обучающей выборки, формировались при помощи генерации в /9-окрестности каждой г-ой точки исходной выборки т точек датчиком случайных чисел

х1 = х'у +2(0.5-е-')Р,у = \,к,] -\,т\1 = 1,п>

где е1 -случайная величина с равномерным законом распределения в области [0;1]

Формирование многомерных случайных величин основывалась на независимой генерации их координат

Оценки вероятностей ошибок распознавания образов р при различных условиях классификации п, т, к и /3 вычислялись по контрольной выборке пк =1000, полученной с помощью приведённых выше датчиков случайных чисел.

Вычислительный эксперимент при фиксированных условиях исследований осуществлялся Л'= 10 раз и полученные результаты усреднялись.

Непараметрические алгоритмы распознавания образов в условиях малых выборок обеспечивают достоверное снижение ошибки распознавания образов на контрольных выборках по сравнению с традиционным классификатором ядерного типа, что особо проявляется при выборках существенно малого объема (рисунок 1)

Р

0,05 -

о -I-,-,-,-,-,-,-,-,

12 15 18 21 24 27 30 33

Л

Рисунок 1 - Зависимость оценки вероятности ошибки р распознавания образов от объема п исходной обучающей выборки в условиях /3 = 0 06, т = 7 и к = 4 Кривые 1, 2 соответствуют исследуемому и традиционному непараметрическим алгоритмам распознавания образов.

С ростом размерности признаков к достоверное преимущество исследуемого алгоритма над традиционным непараметрическим классификатором сохраняется.

Рисунок 2. - Зависимость оценки вероятности ошибки р распознавания образов от количества признаков классифицируемых объектов к при /3 = 0 06, т = 1 и и -16. Кривые 1, 2 соответствуют исследуемому и традиционному непараметрическим алгоритмам распознавания образов.

В четвертой главе рассматривается и исследуется методика восстановления стохастических зависимостей у - (р(х), х е Як в условиях малых выборок V = {х' ,у' ,г = \,п) распределенных с неизвестной плотностью р(х, у),

В исследуемой модели используется уравнение вида

У = 1ур{У/хУУ> (9)

—СО ^ ^

являющееся оптимальным оператором в смысле среднеквадратического значения Здесь ~ условная плотность вероятности

Для того, чтобы обосновано оценивать у - <р{х) увеличим объем исходной выборки за счет результатов статистического моделирования

С этой целью в /^-окрестности каждой г-ой ситуации выборки проведем т имитаций случайных величин х& и у& с законами распределения р(х&) и р(уй) соответственно и нулевыми математическими ожиданиями. В результате получим статистическую выборку

Уг = (х' +хА\у' =1,т,г = 1,и).

Подставляя в выражении (9) вместо р{х,у) и р{х) оценки плотности вероятности типа 2, получим

п т у^ .

Ё£(.у' + У1Ж-

■Хл

у(х) =

/=1 ./=1

их

¡=1 ]Ш\

ОС X X д

-)

Многомерный аналог непараметрической регрессии в условиях малых выборок, когда X вектор размерности к, имеет вид

х — х„

-)

ХХПФ|

,=1 у=1

I ]

X Ху Хд

)

(10)

Оптимизация статистики (10) по коэффициентам размытости ядерных функций = и параметрам процедуры размножения выборок производится в режиме «скользящего экзамена» из условия минимума оценки среднеквадратического критерия

Для достаточно гладких восстанавливаемых функций, плотностей вероятности ее значений и аргументов доказаны теоремы об асимптотической несмещённости непараметрической регрессии в условиях малых выборок, что аналитически обосновывает предложенный подход

По результатам вычислительного эксперимента установлено, что аппроксимационные свойства непараметрических моделей в условиях малых выборок менее чувствительны к помехам в данных и размерности обучающей выборки к по сравнению с непараметрической регрессией. Эмпирическая ошибка непараметрической модели восстановления стохастических зависимостей достоверно отличается от непараметрической регрессии при количестве имитаций т > 3 .

У/

0,25 ■ 0,2 • 0,15 -

0,1 0,05

8 9 10 11 12 13

т

Рисунок 3 - Зависимость средней относительной ошибки аппроксимации функции у(х) = 1 - х + ехр(- 200(х - 0 5)2) от количества имитаций т при к = 3, /3=01 и и = 10 (кривая 1) Линия 2 -непараметрическая регрессия, восстановленная по исходной выборке объема «=10

Достаточное количество имитаций т для достижения максимальной эффективности восстановления составляет 10-11 Увеличение параметра т имитационной модели обеспечивает незначительное снижение ошибки восстановления стохастических зависимостей в условиях малых выборок и увеличивает время, требующееся для работы имитационной модели

При относительно больших объемах выборок (более 20 элементов) ошибка сходится к ошибке восстановления при помощи традиционной непараметрической регрессии

В пятой главе приводится описание программного приложения в среде Borland С++ Builder, в котором реализованы методы обработки информации в условиях малых выборок для решения задач восстановления плотности вероятности, восстановления стохастических зависимостей и распознавания образов Предлагается их применение при исследовании динамики состояния преступности в регионах РФ Структуру комплекса программ составляют 5 основных блоков (Рисунок 4).

Рисунок 4. - Структура пакета программ «Методы обработки информации в условиях малых выборок» (НМ ВПВ непараметрические методы восстановления плотностей вероятности; НМ ВСЗ - непараметрические методы восстановления стохастических зависимостей, НМ РО - непараметрические методы распознавания образов)

Под блоком в данной работе понимается совокупность взаимосвязанных модулей, предназначенных для решения конкретной функциональной задачи Под программным модулем понимается некоторая совокупность процедур и функций, связанных между собой определенной функциональной целью Если модуль имеет самостоятельное значение, т е. реализует одну из задач, будем называть его блоком

Блок «Адаптация программы к условиям решения задачи» предназначен для выбора в диалоговом режиме вида задачи, определения условий ее решения, указания типов используемых переменных и планирования предварительной обработки данных обучающих выборок

Его введение придает комплексу программ универсальный характер и позволяет использовать его при исследовании объектов различной природы.

Блок «Непараметрические методы восстановления плотности вероятности» предназначен для восстановления неизвестных многомерных плотностей вероятности с использованием разработанных непараметрических методов на основе аппарата имитационного моделирования Основу блока НМВПВ составляют непараметрические алгоритмы восстановления плотностей вероятности

Блок «Непараметрические методы распознавания образов» обеспечивает решение задач классификации при малом объеме априорной

Блок «Непараметрические методы восстановления стохастических зависимостей» предназначен для восстановления неизвестных многомерных стохастических зависимостей с использованием разработанных непараметрических методов восстановления стохастических зависимостей в условиях малых выборок

Блок «Представление результатов решения задачи» служит для визуализации результатов решения функциональных задач с возможностью сохранения их в виде текстового файла или вывода на печатающее устройство

Разработанные методы используются в программе «Количественное оценивание состояния преступности в регионах РФ», обеспечивающей обнаружение зависимостей показателей преступности от социально-экономических и демографических условий Ее применение открывает возможность создания системы поддержки принятия решений при определении эффективности деятельности подразделений правоохранительных органов и выборе профилактических и оперативных мероприятий

Исходной информацией, необходимой для синтеза моделей, являются данные сборника «Преступность и правонарушения (1998-2002г.г.)»

Программа зарегистрирована в «Отраслевом фонде алгоритмов и программ» (Свидетельство № 6787)

Функциональные возможности комплекса программ 1 Нормирование исходных статистических данных, которыми являются количество совершенных преступлений определенного вида в регионе за

период на 100 ООО жителей, что позволяет ввести понятие состояние преступности с учетом взаимосвязи между относительными показателями видов преступности

2. Увеличение объема исходных данных при помощи аппарата имитационного моделирования

3. Объединение территорий региона в группы по данным относительных значений показателей видов преступности в каждый интервал времени их контроля с применением решающего правила 6 Группу (класс) составляют территории, которым соответствуют компактные множества точек в пространстве относительных значений показателей видов преступности

4 Установление обобщённого коэффициента взаимосвязи между показателями видов преступности для обнаруженных групп территорий Обобщенный коэффициент взаимосвязи определяется как среднее значение положительных коэффициентов парных взаимосвязей между показателями видов преступности, соответствующих группе территорий региона. Анализ взаимосвязи между различными видами преступности внутри выделенных групп территорий осуществляется с применением моделей типа 10.

5 Анализ развития преступности на территории осуществляется путем исследования временной траектории её состояний. Траектория состояний формируется по данным принадлежности временного ряда показателей видов преступлений на территории По тенденции изменения состояний преступности появляется возможность оценить эффективность мероприятий, проводимых правоохранительными органами территории

На основе комплекса программ установлена неоднородность субъектов Российской Федерации в пространстве показателей видов преступлений Определены 4 группы регионов, достоверно отличающиеся уровнем преступности и обобщенным показателем взаимосвязи между ее видами. Установлено, что данный показатель может служить объективным критерием оценивания состояния преступности в регионе и эффективности борьбы с ней Его увеличение является благоприятной тенденцией динамики преступности региона и указывает на повышение эффективности работы правоохранительных органов в условиях централизации управления в стране

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Впервые с позиций принципов имитации систем и методов непараметрической статистики теоретически обоснованы и решены задачи восстановления многомерных плотностей вероятности, стохастических зависимостей и распознавания образов в условиях малых выборок.

Сформулированная цель диссертации достигнута, получены следующие основные результаты и выводы

1. Развиты теоретические основы построения непараметрических моделей в условиях малых выборок в задачах восстановления многомерных плотностей вероятности, восстановления стохастических зависимостей и распознавания образов, основанные на принципах имитационного моделирования

2 При увеличении объема исходных данных и уменьшение размера р -окрестности разработанные непараметрические статистики являются асимптотически несмещенными и состоятельными оценками, что обосновывает эффективность предлагаемого подхода синтеза решающих правил в условиях малых выборок

3 Установлено, что интервал генерирования искусственной обучающей последовательности увеличивается с ростом области определения р(х) и количества имитаций т, снижается по мере увеличения объема п исходной выборки

4 На основе результатов исследования асимптотических свойств непараметрических оценок плотности вероятности предложена и обоснована методика продолжения случайных последовательностей

5 Выявлено, что с ростом размерности признаков к исходной выборки достоверное преимущество предлагаемых моделей над традиционными сохраняется,

6 Установлено, что для моделей восстановления стохастических зависимостей и алгоритмов распознавания образов оптимальным условием выбора р -окрестности является условие максимума перекрывания области определения базовой выборки при минимальном перекрывании ¡3 -областями друг друга

7 Определено, что оптимальное значения параметра имитационной процедуры те(10,12) при размерности пространства признаков обучающих выборок к <4 Увеличение данного значения приводит к незначительному снижению ошибки моделирования в условиях малых выборок и увеличивает время обработки информации,

8 Созданы информационные средства, реализующие непараметрические методы обработки информации в условиях малых выборок в задаче анализа динамики показателей преступности регионах России и имеющие государственную регистрацию (свидетельство о регистрации № 6787)

Публикации автора по теме диссертации

В изданиях, включенных в список работ, рекомендованных ВАК для публикации результатов диссертаций.

1. Шарков М А. Синтез и анализ непараметрических методов обработки информации в условиях малых выборок / М.А. Шарков //Вестник КрасГАУ, 2007 - №1(16)-С 37-43.

В прочих изданиях-

2. Шарков М.А. Количественное оценивание состояния преступности в регионах [государственная регистрация №ОФАП.6787] / М А Шарков // Отраслевой фонд алгоритмов и программ Москва, 2006.

3. Шарков М.А Непараметрическая оценка плотности вероятности в условиях малых выборок / М А Шарков // Молодежь и современные информационные технологии- Сборник трудов IV научно-практической конференции студентов, аспирантов и молодых ученых. - Томск. ТПУ,

2006.-С. 166-168.

4 Шарков М.А. Непараметрические методы распознавания образов и восстановления стохастических зависимостей в условиях малых выборок / М.А. Шарков // Вестник НИИ СУВПТ, 2006 - №7(21).-С. 170176

5. Шарков МА Статистические модели анализа динамики состояния преступности / М.А Шарков, А А Лапко // Молодежь и современные информационные технологии: Сборник трудов V научно-практической конференции студентов, аспирантов и молодых ученых - Томск ТПУ,

2007.-С 195-197

6 Шарков М.А Синтез и анализ непараметрических алгоритмов восстановления стохастических зависимостей в условиях малых выборок / М.А Шарков // Электронный журнал «Исследовано в России», 2007 -С.742-753 http //zhurnal аре relarn ru/articles/2007 /071.pdf

Подписано к печати «06»с£«т»е>г* 2007 г Тираж 100 экз Заказ № 734 Отпечатано в типографии ПИ СФУ 660036, Красноярск, ул Киренского, 26

Введение

1. Анализ методов восстановления стохастических зависимостей и распознавания образов в условиях малых выборок

1.1. Типизация методов обработки малых выборок

1.2. Бутстреп-метод

1.3. Метод группового учета аргументов

1.4. Коллективы решающих правил 29 Выводы

2. Непараметрическая оценка плотности вероятности в условиях выборок малого объема

2.1. Методы синтеза непараметрической плотности вероятности в условиях малых выборок

2.2. Асимптотические свойства непараметрической оценки плотности вероятности

2.3. Процедура продолжения случайной последовательности, основанная на методе имитационного моделирования

2.4. Анализ результатов вычислительных экспериментов 47 Выводы

3. Непараметрические алгоритмы распознавания образов в условиях малых выборок

3.1. Постановка задачи распознавания образов в условиях малых выборок

3.2. Синтез уравнения разделяющей поверхности в условиях малых выборок

3.3. Асимптотические свойства непараметрической оценки уравнения разделяющей поверхности

3.4. Оптимизация непараметрического алгоритма распознавания образов в условиях малых выборок

3.5. Анализ результатов вычислительных экспериментов 61 Выводы

4. Непараметрическая регрессия в условиях малых выборок

4.1. Постановка задачи восстановления стохастической зависимости в условиях выборок малого объема

4.2. Синтез непараметрической регрессии

4.3. Асимптотические свойства непараметрической регрессии

4.4. Анализ результатов вычислительного эксперимента 75 Выводы

5. Программное обеспечение решения задач обработки малых выборок и его применение

5.1. Программное обеспечение непараметрических методов 83 анализа малых выборок

5.1.1. Назначение программного обеспечения и его функциональные возможности

5.1.2. Структура программного обеспечения и его описание

5.1.3. Инструкция пользователю

5.2. Исследование динамики состояния преступности в регионах

5.2.1. Методика исследования динамики состояния преступности в регионе

5.2.2. Оценивание состояния преступности в регионах РФ

5.2.3. Анализ динамики состояний преступности в регионах РФ

Выводы

Актуальность работы. Большинство статистических методов восстановления стохастических зависимостей и распознавания образов ориентировано на представительные обучающие выборки. Однако при решении прикладных задач часто располагают ограниченным объемом наблюдений - короткой либо малой выборкой.

Проблема анализа малых выборок является наименее исследованной в теории обучающихся систем. Для «обхода» проблем малых выборок широкое распространение получили методы, основанные на принципах декомпозиции систем и последовательные процедуры формирования решений, которые характеризуются недостаточной вычислительной эффективностью. В связи с этим, возникает потребность в разработке моделей восстановления стохастических зависимостей и распознавания образов в условиях малых выборок, обеспечивающих высокое качество и обоснованность получаемых результатов, а также невысокую ресурсоемкость при решении задач обработки информации.

Основные научные результаты диссертации получены в рамках планов научных исследований Института вычислительного моделирования СО РАН «Разработка гибридных интеллектуальных информационных технологий на основе интеграции геоинформационных, нейросетевых, экспертных и аналитических систем» ПСО №242 от 03.07.03 и Красноярского государственного технического университета, а также в соответствии с грантом Президента №МД-2130.2005.9.

Тема диссертации соответствует перечню «Критические технологии РФ» по направлению - компьютерное моделирование.

Народно-хозяйственная проблема. Нестационарность объекта исследования, высокая стоимость и сложность получения дополнительных данных обуславливает возникновение задач обработки информации в условиях малых выборок. Получаемые в этом случае решающие правила не всегда обеспечивают приемлемые для практики результаты, так как информация малых обучающих выборок затрудняет оценивание вероятностных характеристик изучаемых закономерностей. Данная проблема наиболее актуальна для социальных, медико-биологических и технических систем.

Объектом исследования являются методы обработки статистических выборок малого объема.

Предметом исследования являются непараметрические модели восстановление стохастических зависимостей и распознавание образов в условиях малых выборок

Цель научного исследования состоит в разработке методических, алгоритмических и информационных средств оценивания плотностей вероятности, синтеза алгоритмов распознавания образов и моделей восстановления стохастических зависимостей в условиях выборок малого объема, основанных на принципах имитации систем и методах непараметрической статистики.

Цель достигается путём решения следующих задач:

1. Разработка методики синтеза непараметрических моделей многомерных стохастических зависимостей и распознавания образов на основе принципов имитации систем, обеспечивающей эффективное использование информации обучающих выборок малого объема.

2. Обоснование предложенного направления исследований на основе анализа асимптотических свойств непараметрических моделей распознавания образов и восстановления стохастических зависимостей.

3. Разработка процедуры продолжения случайных последовательностей на основе анализа методики синтеза непараметрической оценки плотности вероятности в условиях малых выборок.

4. Создание информационных средств, реализующих непараметрические методы обработки информации в условиях малых выборок и их применение при исследовании социальных систем.

Методы исследования. Для решения поставленных задач использовались аппарат теории вероятности и непараметрической статистики, методы распознавания образов и восстановления многомерных стохастических зависимостей, принципы имитации систем.

Основные научные результаты:

1. Непараметрические оценки плотности вероятности, модели многомерных стохастических зависимостей и алгоритмы распознавания образов в условиях малых выборок, основанные на принципах имитации систем.

2. Количественная взаимосвязь между характеристиками обучающей выборки, параметрами имитационной процедуры формирования дополнительной статистической информации и непараметрических алгоритмов их обработки.

3. Методика продолжения случайных последовательностей с применением аппарата имитационного моделирования и методов непараметрической статистики.

Научная новизна. Впервые с позиций принципов имитации систем и методов непараметрической статистики теоретически обоснованы алгоритмы решения задач восстановления стохастических зависимостей, распознавания образов в условиях малых выборок.

Значение для теории. Результаты работы позволяют повысить эффективность построения моделей стохастических зависимостей и алгоритмов распознавания образов, а также открывают возможность построения непараметрических решающих правил в задачах классификации и моделирования неопределенных систем при обработке малых выборок.

Значение для практики. Разработаны информационные средства синтеза и анализа непараметрических моделей восстановления стохастических зависимостей и распознавания образов, ориентированные на исследование объектов различной природы в условиях малых выборок.

Критерии статистического оценивания условий преимущества предлагаемых моделей создают методическую и алгоритмическую основу автоматизации их проектирования при построении типовой информационной системы.

Созданы информационные средства, реализующие непараметрические методы обработки информации в условиях малых выборок, которые адаптированы для исследования динамики показателей преступности в регионах России.

Использование результатов диссертации. Разработанные методы, алгоритмы и информационные средства зарегистрированы в Отраслевом фонде алгоритмов и программ (свидетельство о регистрации № 6787) и используются для оценивания состояния преступности в регионе в учебном процессе Сибирского юридического института МВД РФ.

Личный вклад автора. Выбор направления исследований малых выборок выполнен автором совместно с научным руководителем. Все результаты получены лично автором.

Из шести публикаций пять подготовлены и опубликованы автором единолично.

Апробация работы. Основные положения диссертации представлялись и обсуждались на Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» в г. Томске в марте 2006 года и марте 2007 года, на Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Молодежь и наука: начало XXI века» в мае 2005 года. Результаты работы докладывались на научных семинарах факультета информатики и процессов управления Красноярского политехнического института и Института вычислительного моделирования СО РАН.

Результаты исследований включались в научные отчеты Института вычислительного моделирования СО РАН, представлялись в отчетах гранта Президента РФ №МД-2130.2005.9.

Публикации. По результатам работы опубликовано 6 статей, в том числе в журнале «Вестник КрасГАУ», внесенном в перечень ведущих рецензируемых журнальных изданий.

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка использованной литературы (131 наименование), содержит 124 страницы машинописного текста, иллюстрируется 29 рисунками.

Выводы

1. Для исследования результатов научных исследований в среде Borland С++ Builder разработана программа, в которой реализованы непараметрические методы обработки информации в условиях малых выборок для решения задач восстановления плотности вероятности, восстановления стохастических зависимостей, распознавания образов.

2. Программа позволяет на основе компьютерного моделирования данных провести анализ эффективности разработанных теоретических методов и определить оптимальные параметры применяемой имитационной модели.

3. Разработанные и исследованные при помощи программы методы использовались при оценивании динамики состояния преступности в регионах РФ. Для проведения расчетов объем выборки значений показателей преступности был увеличен при помощи аппарата имитационного моделирования.

4. Установлена неоднородность субъектов Российской Федерации в пространстве показателей видов преступлений. Определены 4 группы регионов, достоверно отличающиеся уровнем преступности и обобщенным показателем взаимосвязи между ее видами. Установлено, что данный показатель может служить объективным критерием оценивания состояния преступности в регионе и эффективности борьбы с ней. Его увеличение является благоприятной тенденцией динамики преступности региона и указывает на повышение эффективности работы правоохранительных органов в условиях централизации управления в стране.

Заключение

Впервые с позиций принципов имитации систем и методов непараметрической статистики теоретически обоснованы и решены задачи восстановления многомерных плотностей вероятности, стохастических зависимостей и распознавания образов в условиях малых выборок.

Сформулированная цель диссертации достигнута, получены следующие основные результаты и выводы:

1. Развиты теоретические основы построения непараметрических моделей в условиях малых выборок в задачах восстановления многомерных плотностей вероятности, восстановления стохастических зависимостей и распознавания образов, основанные на принципах имитационного моделирования;

2. Аналитически доказано, что при увеличение объема исходных данных и уменьшение размера /3 -окрестности разработанные непараметрические статистики являются несмещенными и состоятельными;

3. Установлено, что интервал генерирования искусственной обучающей последовательности увеличивается с ростом области определения р(х) и количества имитаций т, снижается по мере увеличения объема п исходной выборки. Определено необходимое требование на количество имитаций т процедуры генерирования искусственной обучающей выборки;

4. На основе результатов исследования асимптотических свойств непараметрических оценок плотности вероятности предложена и обоснована методика продолжения случайных последовательностей;

5. Выявлено, что с ростом размерности признаков к исходной выборки достоверное преимущество предлагаемых моделей над традиционными сохраняется;

6. Установлено, что для моделей восстановления стохастических зависимостей и алгоритмов распознавания образов оптимальным условием выбора р -окрестности является условие максимума перекрывания области определения базовой выборки при минимальном перекрывании р -областями друг друга;

7. Определено, что оптимальное значения параметра имитационной процедуры те(10;12) при размерности пространства признаков обучающих выборок к <4. Увеличение данного значения приводит к незначительному снижению ошибки моделирования в условиях малых выборок и увеличивает время обработки информации;

8. Созданы информационные средства, реализующие непараметрические методы обработки информации в условиях малых выборок в задаче анализа динамики показателей преступности регионах России и имеющие государственную регистрацию.

1. Айвазян, С.А. Прикладная статистика. Исследование зависимостей / С.А. Айвазян, И.С. Еников, Л.Д. Мешалкин. М.: Финансы и статистика, 1985. - 487с.

2. Алгоритмы и программы восстановления зависимостей / В.Н. Вапник, Т.Г. Глазкова и др. -М.: Наука, 1984,- 815 с.

3. Архангельский, А.Я. Delphi 6: Справочное пособие / А .Я. Архангельский. -М.: ЗАО «Издательство БИНОМ», 2001. 1024с.

4. Большов, Л.М. Таблицы математической статистики / Л.М. Большов, Н.В. Смирнов М.: Наука, 1983. - 416с.

5. Бусленко, Н.П. Метод статистических испытаний / Н.П. Бусленко, Ю.А. Шрейдер. М.: Государственное издательство физико-математической литературы, 1961. - 228с.

6. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник М.: Наука, 1979. - 447с.

7. Вапник, В.Н. Теория распознавания образов / В.Н. Вапник, А.Я. Черновенкис.-М.: Наука, 1974.-414 с.

8. Варядченко, Т.В. Непараметрический метод обращения функции регрессии / Т.В. Варядченко, В.Я. Катковник //Стохастические системы управления. Новосибирск: Наука, 1979. - С.4-14.

9. Васильев, В.И. Конструирование пространств в процессе обучения распознаванию образов / В.И. Васильев // Автоматика. 1982.- №5. - С.18.27.

10. Вицин, С.Е. Системный подход и преступность / С.Е. Вицин. М., 1980.- С.45.

11. Гмурман, В.Е. Теория вероятностей и математическая статистика: Учеб. пособие / В.Е. Гмурман. М.: Высш. шк., 1999. - 479с.

12. Головченко, В.Б. Комбинирование моделей неопределённости / В.Б. Головченко. Новосибирск: Наука, 2002. - 190с.

13. Горелик, А.А. Методы распознавания / А.А. Горелик, В.А. Скрипник. -М.: Высш. шк., 1977. 222 с.

14. Горяинов, В.Б. Математическая статистика: Учеб. пособие / В.Б. Горяинов, И.В. Павлов, Г.М. Цветкова и др. М.: МГТУ им. Н.Э. Баумана, 2001.-424с.

15. Горяинов, К.К. Криминологическая обстановка: Методологические аспекты / К.К. Горяинов. Москва, 1991. - С. 15.

16. Демиденко, Е.З. Линейная и нелинейная регрессия / Е.З. Демиденко. -М.: Финансы и статистика, 1981. 302с.

17. Дервой, Л., Дьерфи Л. Непараметрическое оценивание плотности (I,-подход) / Л. Дервой, Л. Дьерфи. М.: Мир, 1988. - 407с.

18. Дрейпер, Н. Прикладной регрессионный анализ / Н. Дрейпер, Г. Смит.- М.: Финансы и статистика, 1987. 351с.

19. Дубровский, С.А. Прикладной многомерный статистический анализ / С.А. Дубровский. -М.: Финансы и статистика, 1982. 216 с.

20. Дуда, Р. Распознавание образов и сцен / Р. Дуда, П. Харт. М.: Мир,1976.-511 с.

21. Дюран, Б. Кластерный анализ / Б. Дюран, П. Оделл. М.: Статистика,1977.- 128 с.

22. Епанечников, В.А. Непараметрическая оценка многомерной плотности вероятности / В.А. Епаненчиков // Теория вероятности и ее применения, 1969. Т. 14. -(Вып. 1). - С.156-161.

23. Ермаков С.М. О датчиках случайных чисел. / С.М. Ермаков // Заводская лаборатория, 1993. Т.59. No.7. С.48-50.

24. Журавлёв, Ю.И. Избранные научные труды / Ю.И. Журавлёв. М.: Издательство Магистр, 1998. - 420 с.

25. Заблоцкис, Н.Я. Информационно-методическое обеспечение анализа и прогнозирования преступности: Методические рекомендации / Н.Я. Заблоцкис, Г.А. Романов. М.: ВНИИ МВД России, 1994. - 64 с.

26. Загоруйко, Н.Г. Комбинированный метод принятия решений / Н.Г. Загоруйко // Вычислительные системы, Новосибирск. 1966. -(Вып.28). -С.22-31.

27. Загоруйко, Н.Г. Прикладные методы анализа данных и знаний / Н.Г. Загоруйко. Новосибирск: ИМ СО РАН, 1999. - 270с.

28. Зубов, И.Н. Организация прогнозирования преступности в регионе и использование данных прогноза в подготовке управленческих решений / И.Н. Зубов, В.И. Селиверстов, A.JI. Ситковский, А.Д. Шестак. 2-е изд.- М.: МЦ при ГУК МВД России, 1998. 20с.

29. Иванченко, В.Н. Исследование алгоритмов идентификации сложных процессов с помощью моделирования на ЭВМ / В.Н. Иванченко, Н.Н. Лябах, А.Н. Гуда // Автоматика, 1992. № 3. - С. 82-88.

30. Ивахненко, А.Г. Долгосрочное прогнозирование и управление сложными системами / А.Г. Ивахненко. Киев: Техника, 1975. - 372с.

31. Ивахненко, А.Г. Непараметрический комбинаторный алгоритм МГУА на операторах поиска аналогов / А.Г. Ивахненко, В.А. Чаинская, Н.А. Ивахненко // Автоматика, 1990. № 5. - С. 14-27.

32. Ивахненко, А.Г. Непараметрический комбинированный алгоритм МГУА на операторах поиска аналогов / А.Г. Ивахненко // Автоматика, 1990.-№5.-С. 14-27.

33. Ивахненко, А.Г. Самоорганизация прогнозирующих моделей / А.Г. Ивахненко, Й.А. Мюллер. Киев: Техника, 1985. - 223с.

34. Калверт Ч. Borland С++ Builder. Энциклопедия программиста./ Калверт Ч., Рейсдорф К. ДиаСофт, 2005. - 1008с.

35. Калинина, Н.В. Математическая статистика: Учеб. Пособие / Н.В. Калинина, В.Ф. Панкин. -М.: Высш. шк., 2001. -336с.

36. Катковник, В.Я. Линейные и нелинейные методы непараметрического регрессионного анализа / В.Я. Катковник // Автоматика, 1979. №5. -С. 165-170.

37. Катковник, В.Я. Линейные оценки и стохастические задачи оптимизации. М.:Наука, 1976. - 188с.

38. Катковник, В.Я. Непараметрическая идентификация и сглаживание данных: Метод локальных аппроксимаций / В.Я. Катковник. М.: Наука, 1985.-336с.

39. Кирик Е.С. О непараметрическом подходе к восстановлению многозначных функций / Е.С. Кирик // Вестник молодых ученых, 2000. №4 .- С. 73-82.

40. Клейменов, М.П. Прогнозирование преступности: Лекция / М.П. Клейменов, А.Н. Харитонов. Омск: Юридический институт МВД России, 1995.-С.5.

41. Колмогоров, А.Н. Основные понятия теории вероятностей. М.: Наука, 1974.-120с.

42. Криминология: Учебник / Под общей ред. профессора Н.Ф. Кузнецовой, профессора Г.М. Миньковского. М.: Издательство БЕК, 1998.-566 с.

43. Лапко А.В. Непараметрические коллективы в задаче прогнозирования эффективных режимов электротехнических процессов / А.В. Лапко, В.А. Лапко, Г.И. Цугленок // Вестник КрасГАУ, 2003. №2. - С.74-78.

44. Лапко В.А. Непараметрические системы распознавания образов коллективного типа в условиях «неидеального учителя» / В.А. Лапко // Информатика и системы управления: Межвузовский сборник научных трудов. Красноярск: НИИ ИПУ, 2002. - (Вып. 7). - С. 58 - 63.

45. Лапко, А.В. Гибридные модели стохастических зависимостей / А.В. Лапко, В.А. Лапко // Автометрия, 2002. №5. - С.38-48.

46. Лапко, А.В. Гибридные модели стохастических зависимостей, основанные на МГУА / А.В. Лапко, Ю.Ю. Якунин // Информатика и системы управления: Межвузовский сборник научных трудов. -Красноярск: НИИ ИПУ, 2002. (Вып. 7). - С. 44 - 46.

47. Лапко, А.В. Имитационные модели пространственно распределённых экологических систем / А.В. Лапко, Н.В. Цугленок, Г.И. Цугленок. -Новосибирск: Наука, 1999 190 с.

48. Лапко, А.В. Непараметрические алгоритмы автоматической классификации и их применение в задаче идентификации / А.В. Лапко // Адаптация и обучение в системах управления и принятия решений. -Новосибирск: Наука, 1987. С. 152-163.

49. Лапко, А.В. Непараметрические методики анализа множеств случайных величин / А.В. Лапко, В.А. Лапко // Автометрия, 2003. №1. -С.54-61.

50. Лапко, А.В. Непараметрические модели анализа множеств случайных величин / А.В. Лапко, В.А. Лапко, Р.А. Косов // Информатика и системы управления: Межвузовский сборник научных трудов. -Красноярск: НИИ ИПУ, 2002. (Вып. 7). - С. 64 - 69.

51. Лапко, А.В. Непараметрические модели коллективного типа / А.В. Лапко, В.А. Лапко, М.И. Соколов, С.В. Ченцов. Новосибирск: Наука, 2000. - 144с.

52. Лапко, А.В. Непараметрические модели распознавания образов в условиях малых выборок / А.В. Лапко, В.А. Лапко, С.В. Ченцов // Автометрия, 1999. №6. - С.105-113.

53. Лапко, А.В. Непараметрические системы классификации / А.В. Лапко, В.А. Лапко, М.И. Соколов, С.В. Ченцов. Новосибирск: Наука, 2000. -240с.

54. Лапко, А.В. Обучающиеся системы обработки информации и принятия решений / А.В. Лапко, С.В. Ченцов, С.И. Крохов, Л.А. Фельдман. -Новосибирск: Наука, 1996 296с.

55. Лапко, В.А. Асимптотические свойства непараметрических моделей коллективного типа / В.А. Лапко, С.В. Ченцов // Организационные модели управления территориальными энергосистемами:

56. Межвузовский сборник научных трудов. Красноярск: КГТУ, 1997. -С.56-63.

57. Лапко, В.А. Гибридные модели стохастических зависимостей в условиях частного описания / В.А. Лапко, Г.И. Цугленок // Вестник КрасГАУ, 2003. №2. - С.67-72.

58. Лапко, В.А. Имитационные модели распределённых систем / В.А. Лапко, С.В. Ченцов и др. // Организационные модели управления территориальными энергосистемами: Межвузовский сборник научных трудов. Красноярск: КГТУ, 1997. - С. 179-188.

59. Лапко, В.А. Исследование асимптотических свойств непараметрических моделей коллективного типа / В.А. Лапко, С.В. Ченцов // Информатика и системы управления: Межвузовский сборник научных трудов. Красноярск: НИИ ИПУ, 1997. - (Вып. 2). - С. 12-19.

60. Лапко, В.А. Модификации непараметрических моделей временных зависимостей коллективного типа / В.А. Лапко, К.Ю. Гуревич // Информатика и системы управления: Межвузовский сборник научных трудов. Красноярск: НИИ ИПУ, 2002. - (Вып. 7). - С. 52 - 57.

61. Лапко, В.А. Модификации непараметрических моделей коллективного типа в задачах восстановления временных процессов / В.А. Лапко, В.В. Молоков, А.А. Лапко // Вестник КрасГАУ, 2004. №3. - С.44-50.

62. Лапко, В.А. Непараметрические коллективы решающих правил / В.А. Лапко. Новосибирск: Наука, 2002. - 168с.

63. Лапко, В.А. Непараметрические методы обработки информации: Учеб. пособие / В.А. Лапко, М.И. Соколов. Красноярск: КГТУ, 2001. - 116с.

64. Лапко, В.А. Непараметрические модели временных зависимостей, основанные на методе двойного коллективного оценивания / В.А. Лапко // Автометрия, 2002. №1. - С.42-50.

65. Лапко, В.А. Непараметрические модели коллективного типа / В.А. Лапко // Материалы 3-го Сибирского конгресса по прикладной и индустриальной математике / ИМ СО РАН. Новосибирск, 1998.-С.101.

66. Лапко, В.А. Непараметрические модели коллективного типа / В.А. Лапко // Идентификация систем и задачи управления: Труды международной конференции (26-28 сентября 2000, Москва) / ИПУ РАН. Москва, 2000. - С. 635-641.

67. Лапко, В.А. Непараметрические модели статических объектов на основе методов коллективного оценивания / В.А. Лапко, С.В. Ченцов // Информатика и системы управления: Межвузовский сборник научных трудов. Красноярск: НИИ ИПУ, 1996. - (Вып. 1). - С.56-60.

68. Лапко, В.А. Непараметрические модели стохастических зависимостей коллективного типа / А.В. Лапко, С.В. Ченцов // Многоуровневые непараметрические системы принятия решений: Монография. -Новосибирск: Наука, 1997. С.136-141.

69. Лапко, В.А. Оптимальный синтез и анализ непараметрических моделей распознавания образов коллективного типа / В.А. Лапко // Труды 4-го Сибирского конгресса по прикладной и индустриальной математике / ИМ СО РАН. Новосибирск, 2000. - С. 93-94.

70. Лапко, В.А. Оптимизация непараметрических аппроксимаций коллективного типа / В.А. Лапко // Информатика и системы управления: Межвузовский сборник научных трудов. Красноярск: НИИ ИПУ, 1998.- (Вып. 3). - С.84-91.

71. Лапко, В.А. Синтез и анализ гибридных моделей стохастических зависимостей в условиях наличия их частного описания / В.А. Лапко // Автометрия, 2004. №1. - С.51-59.

72. Лапко, В.А. Синтез и анализ непараметрических моделей коллективного типа / В.А. Лапко // Автометрия, 2001. №6. - С.98-106.

73. Лапко, В.А. Статистические модели электротехнических изделий и процессов с учётом их частичного описания / В.А. Лапко, М.И. Соколов, Г.И. Цугленок // Вестник КрасГАУ, 2004. №3. - С.267-270.

74. Лапко, В.В. Непараметрические модели прогнозирования показателей преступности региона / В.В. Лапко, В.В. Молоков // Информатика и системы управления: Межвузовский сборник научных трудов. -Красноярск: НИИ ИПУ, 1999. (Вып. 4). - С. 73-76.

75. Лбов, Г.С. Методы обработки разнотипных экспериментальных данных / Г.С. Лбов. Новосибирск: Наука, 1981. - 160с.

76. Лубин, А.Ф. Автоматизированная оценка оперативной обстановки /

77. A.Ф. Лубин, С.В. Крыгин // Информатизация правоохранительных систем: Материалы VI международной конференции / Под общей ред.

78. B.А. Минаева / Академия управления МВД России. Москва, 1997. -4.1. -С.165-167.

79. Мазуров Вл.Д. Метод комитетов в задачах оптимизации и классификации. М.: Наука, 1990. - 248с.

80. Молоков, В.В. Статистические модели в деятельности правоохранительных органов региона /В.В. Молоков, В.П. Зайцев, М.М. Путинцев, А.А. Туров // Информатика и системы управления:

81. Межвузовский сборник научных трудов. Красноярск: НИИ ИПУ, 1997.-(Вып. 2).-С. 86-93.

82. Орлов А.И. О реальных возможностях бутстрепа как статистического метода. / А.И. Орлова // Заводская лаборатория, 1987. Т.53. No. 10. С.82-85.

83. Орлова А.И. Эконометрика. Учебник / А.И. Орлова // Москва: Экзамен, 2002. 545 с.

84. Патрик, Э. Основы теории распознавания образов / Э. Патрик. М.: Сов. радио, 1980.

85. Райзин, Дж. Вэн Простой гистограммный метод для непараметрической классификации / Дж. Вэн Райзин, Чи Пи Ионг. // Классификация и кластер. М., 1980. - С. 328-351.

86. Расстригин, JI.A. Адаптация сложных систем / JI.A. Расстригин. Рига: Зинатне, 1981.- 375 с.

87. Расстригин, JI.A. Методология решения задач обнаружения закономерностей и прикладная гносенология / JI.A. Расстригин // Машинные методы обнаружения закономерностей. Новосибирск: Инт математики СО АН СССР, 1981.- С. 14-16.

88. Розенблатт, Ф. Принципы нейродинамики / Ф. Розенблатт. М.: Мир, 1965.

89. Рубан, А.И. Идентификация стохастических объектов на основе непараметрического подхода / А.И. Рубан // Автоматика и телемеханика, 1979. № 11. - С. 106-118.

90. Рубан, А.И. Методы анализа данных: Учеб. пособие / А.И. Рубан. -Красноярск: КГТУ, 1994. Ч. 1. - 220с.

91. Солодовников, А.С. Теория вероятностей: Учеб пособие / А.С. Солодовников. М.: Вербум-М, 1999. - 208с.

92. Титов, B.C. Основы теории распознавания образов: Учеб. пособие / С.В. Дегтярёв, Е.И. Духнич, Н.А. Кореневский, B.C. Титов и др. Курск: Курск.1. ГТУ, 1999. -136с.

93. Ту, Дж. Принципы распознавания образов / Дж Ту, Р. Гонсалес. М.: Мир, 1978.-411 с.

94. Фукунаги, К. Введение в статическую теорию распознавания образов / К. Фукунаги. -М.: Наука, 1979,- 367 с.

95. Хардле, В. Прикладная непараметрическая регрессия / Хардле В. М.: Мир, 1993.-349 с.

96. Холингвэрт Д, C++Builder 5. Руководство разработчика. / Д. Баттерфилд, Б. Сворт, Д. Оллсоп ДиаСофт, 2004. - 547с

97. Цикличность в социальных системах («круглый стол») // Социологические исследования, 1992.- №6. С.36-46.

98. Шаракшанэ, А.С. Сложные системы / А.С. Шаракшанэ, И.Г. Железнов, В.А. Ивницкий. М.: Высш. шк., 1977. - 247с.

99. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. / Б. Эфрон // Москва: Финансы и статистика, 1988. 263 с.

100. Преступность и правонарушения (1998-2002г.г.) / Статистический сборник. Москва: МВД РФ, 2003г. - 178с.

101. Шарков М.А. Синтез и анализ непараметрических методов обработки информации в условиях малых выборок. / М.А. Шарков //Вестник КрасГАУ, 2007. №1(16)- С. 37-43

102. Шарков М.А. Количественное оценивание состояния преступности в регионах государственная регистрация №ОФАП:6787. / М.А. Шарков // Отраслевой фонд алгоритмов и программ. Москва, 2006.

103. Шарков М.А. Непараметрические методы распознавания образов и восстановления стохастических зависимостей в условиях малых выборок / М.А. Шарков // Вестник НИИ СУВПТ, 2006. №7(21).-С. 170-176.

104. Brieman, L. Estimating optimal transformations for multiple regression and correlation / L. Brieman, J. Friedman // Journal of the American Statistical Association, 1985. Vol. 80. - pp. 580-619.

105. Diaconis, P. On nonlinear function of linear combinations / P. Diaconis, M. Shahshahani // SIAM J. Sei. Statist. Computing, 1984.- Vol. 5.- pp. 175191.

106. Farlow, S. J. (ed.) Self-organizing Method in Modeling: GMDH Type Algorithms. / S. J. Farlow // Statistics: Textbooks and Monographs, 1984. Vol. 54

107. Friedman, J. Projection pursuit regression / J. Friedman, W. Stuetzle // Journal of the American Statistical Association, 1981. Vol. 76. - pp. 817823.

108. Gordon, L. Consistent nonparametric regression from recursive partitioning schemes / L. Gordon, R.A. Olshen // Journal of Multivariate Analysis, 1980. -Vol. 10.- P.611-627.

109. Lapko, A.V. Hybrid Models Of Stochastic Dependences / A.V. Lapko, V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2002. -№5.-pp. 33-42.

110. Lapko, A.V. Nonparametric algorithms and classification systems / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Pattern recognition and image analysis, 2000. Vol. 10. - №1. - pp. 31-42.

111. Lapko, A.V. Nonparametric Models Of Pattern Recognition Under Conditions Of Small Samples / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Optoelectronics, Instrumentation And Data Processing, 1999. №6. - pp. 83-90.

112. Lapko, A.V. Synthesis And Analysis Nonparametric Algorithms Of Pattern Recognition When Samples Are Large / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Pattern recognition and image analysis, 2001. Vol. 11. - №1. -pp. 53-55.

113. Lapko, V.A. Nonparametric Models of Pattern Recognition of Collective Type / V.A. Lapko // Pattern recognition and image analysis, 2002. Vol. 12.-№4.-pp. 354-361.

114. Lapko, V.A. Nonparametric Models Of Time Dependences Based On Double Collective Estimation / V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2002. №1. - pp. 37-44.

115. Lapko, V.A. Synthesis And Analysis Of Nonparametric Collective-Type Models / V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2001. №6. - pp. 83-90.

116. Leontief, W. A note on the interrelation of subsets of independent variables of a continuons function with continuous first derivatives / W. Leontief // Bulletin of the American Mathematical Society, 1947. Vol. 53.- pp. 343350.

117. Parzen, E. On estimation of a probability density / E. Parzen // Ann. Math. Statistic, 1969. pp. 1038-1050.

118. Rolinson, P.M. Asymptotically eficient estimation in the presence of heteroskedasticity of unknown from / P.M. Rolinson // Econometrica, 1987.-Vol. 55.- pp. 875-891.