автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Аппроксимативный анализ законов распределения ортогональными полиномами и нейросетевыми моделями

На правах рукописи

Лезина Ирина Викторовна

АППРОКСИМАТИВНЫМ АНАЛИЗ ЗАКОНОВ РАСПРЕДЕЛЕНИЯ ОРТОГОНАЛЬНЫМИ ПОЛИНОМАМИ И НЕЙРОСЕТЕВЫМИ МОДЕЛЯМИ

Специальность 05 13 18 - Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата технических наук

ООЗ1Т7585

Самара 2007

003177585

Работа выполнена на кафедре информационных систем и технологий ГОУ ВПО «Самарский государственный аэрокосмический университет имени академика С П Королева»

Научный руководитель заслуженный работник высшей школы

Российской Федерации, доктор технических наук, профессор Прохоров Сергей Антонович

Официальные оппоненты доктор технических наук,

профессор Коварцев Александр Николаевич, заведующий кафедрой программных систем ГОУ ВПО «Самарский государственный аэрокосмический университет имени академика С П Королева»

кандидат технических наук, доцент Ильясова Наталья Юрьевна, старший научный сотрудник лаборатории лазерных измерений Института систем обработки изображений Российской Академии Наук

Ведущая организация ФГУП «Государственный научно-производственный

ракетно-космический центр «ЦСКБ-Прогресс»

Защита состоится "28" декабря 2007 г в 10 часов на заседании диссертационного со, вета при ГОУ ВПО «Самарский государственный аэрокосмический университет имени академика С П Королева» по адресу 443086, г Самара, Московское шоссе, 34

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «Самарский государственный аэрокосмический университет имени академика С П Королева»

Автореферат разослан "27" ноября 2007 г

Ученый секретарь диссертационного совета д т н , профессор

А А Калентьев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

При проведении различного рода исследований зачастую приходится прибегать к обработке больших массивов однородной информации При этом объем выборки может достигать огромных размеров, и оперировать им становится не очень удобно Если в условиях конкретной задачи можно исходить из предположения о том, что данная выборка распределена по какому-либо закону, то в таком случае можно перейти от хранения информации в виде числовых массивов к хранению закона распределения числового ряда Помимо удобства в хранении это позволит

а) избавиться от необходимости повторных исследований, зачастую длительных и дорогостоящих, для получения альтернативной выборки, ее можно будет сгенерировать по имеющемуся закону распределения,

б) уменьшить влияние случайных погрешностей при получении данных на реальных объектах, это так называемая операция сглаживания,

в) упростить получение вероятностных характеристик числовых выборок

В данной работе предлагается метод аппроксимации законов распределения ортогональными рядами Этот метод аппроксимации инвариантен к виду распределения, что расширяет область его применимости

Предлагаемый метод основан на аппроксимации гистограммы, полученной при анализе исследуемой выборки, и построении непрерывной функции, сглаживающей гистограмму В дальнейшем полученная гладкая функция может использоваться для нахождения моментных и функциональных характеристик

Для решения задачи аппроксимации нейронными сетями следует спроектировать структуру сети, адекватную поставленной задаче В данной работе используется многослойный персептрон с одним скрытым слоем и радиально-базисная сеть

Вопросы разработки аппроксимативных методов и алгоритмов, а также вопросы, посвященные теории нейронных сетей, в разное время исследовали Л Деврой, J1 Дьерфи, В Н Вапник, Э А Надарая, С А Прохоров, Ф П Тарасенко, Н Н Ченцов, У Мак-Каллок, У Питц, Ф Розенблатт, Д Хопфилд, С Гроссберг, Т Кохонен, М Минский, А И Галушкин, Н М Амосов, А Н Горбань, С А Терехов, С Хайкин, С Осовский и другие ученые

Анализ существующих современных автоматизированных комплексов математических расчетов (Statistica, Mathematica, MatLab, Mathcad) показал, что они позволяют использовать ортогональные функции, однако в большинстве из них отсутствуют алгоритмы аппроксимации, использующие в качестве аппроксимирующих выражений ортогональные полиномы Также эти комплексы требуют дополнительной настройки для решения определенных задач

Существует довольно много универсальных программных пакетов для работы с нейронными сетями (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolutions, BrainMaker) Однако для решения задач с помощью этих комплексов пользователь должен выполнить настройки нейронной сети — выбрать ее структуру, алгоритм обучения и т д, подходящие именно для конкретной решаемой задачи Это, в свою очередь, требует от пользователя владения знаниями по теории нейронных сетей

В связи с этим актуальной представляется задача разработки алгоритмов аппроксимации законов распределения ортогональными полиномами (Лагерра, Лежандра, Чебышева первого и второго рода, Эрмита) и нейросетевыми моделями (многослойным персептроном и радиально-базисной сетью), а также построения комплекса программ, реализующего эти алгоритмы

Целью работы является разработка алгоритмов и комплекса программ для аппроксимативного анализа законов распределения в ортогональных базисах, а также с использованием нейронных сетей

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи исследования:

1 Разработка алгоритмов аппроксимации законов распределения с использованием ортогональных базисов и нейронных сетей

2 Оценка результатов аппроксимации с помощью максимума и верхней границы доверительного интервала по «правилу трех сигма» для среднего квадра-тического отклонения, а также с помощью критериев Пирсона и Колмогорова

3 Исследование и сравнительный анализ результатов аппроксимации ортогональными полиномами и нейронными сетями

4 Разработка программного комплекса, реализующего разработанные алгоритмы

5 Проведение экспериментальных исследований по обработке реальных данных с целью апробации комплекса программ

Методы исследования, используемые в диссертации, основаны на положениях теории вероятностей и математической статистики, теории оптимизации и аппроксимации, методах имитационного моделирования, численных методах, теории нейронных сетей

Научная новизна работы заключается в следующих положениях

1 Предложена методика аппроксимации законов распределения ортогональными полиномами с разбиением закона распределения на две ветви относительно точки экстремума

2 Предложена методика аппроксимации законов распределения ортогональными полиномами со сведением концов аппроксимируемой функции к нулю

3 Предложена методика аппроксимации законов распределения многослойным персептроном Многослойный персептрон используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе

4 Предложена методика аппроксимации законов распределения радиально-базисной сетью В качестве узлов радиально-базисной сети используются не только классические радиально-базисные функции, но и сигмоидальные функции, степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита

5 Исследованы алгоритмы аппроксимации законов распределения ортогональными полиномами и нейронными сетями

Практическая ценность работы заключается в разработке алгоритмического и программного обеспечения автоматизированного программного комплекса аппроксимативного анализа, позволяющего решать следующие задачи

1 Моделирование случайных последовательностей с заданным законом распределения

2 Аппроксимация законов распределения ортогональными полиномами

3 Аппроксимация законов распределения нейронными сетями

4 Обработка данных натурного эксперимента

Положения, выносимые на защиту:

1 Методика и алгоритмы аппроксимации законов распределения ортогональными полиномами Лежандра, Чебышева первого и второго рода, Лагерра, Эрми-та с выделением точки экстремума и со сведением концов аппроксимируемой функции к нулю

2 Методика и алгоритмы аппроксимации законов распределения многослойным персептроном и радиально-базисной сетью Многослойный персептрон используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе Помимо классических радиально-базисных функций в качестве узлов радиально-базисной сети используются сигмоидальные и степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита

3 Программный комплекс аппроксимативного анализа законов распределения ортогональными базисами, а также нейронными сетями

Внедрение результатов работы

Результаты работы внедрены в учебном процессе кафедры ИСТ СГАУ при подготовке студентов по специальности 230102 и на ФГУП ГНП РКЦ «ЦСКБ-Прогресс»

Апробация работы

Основные положения и результаты работы докладывались и обсуждались на XXX Юбилейной Самарской областной студенческой научной конференции (Самара, 2004), международном симпозиуме «Надежность и качество» (Пенза, 2004), международной научно-технической конференции «Информационные, измерительные и управляющие системы (ИИУС-2005)» (Самара, 2005), международной научно-технической конференции, посвященной 110-летию изобретения радио и 75-летию Саратовского государственного технического университета «Радиотехника и связь» (Саратов, 2005), Всероссийской молодежной научной конференции с международным участием «VIII Королевские чтения» (Самара, 2005), Всероссийской межвузовской научно-практической конференции «Компьютерные технологии в науке, практике и образовании» (Самара 2005), третьей международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006), научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006) (Самара, 2006), Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности» («АСТИНТЕХ-2007») (Астрахань, 2007), международной научно-технической конференции «Проблемы автоматизации и управления в технических системах» (Пенза, 2007), II межрегиональной научно-практической конференции «Информационные технологии в высшем профессиональном образовании» (Тольятти-Самара, 2007), четвертой международной научно-технической конференции «Радиотехника и связь» (Саратов, 2007)

Публикации

Соискатель имеет 15 опубликованных работ, в том числе по теме диссертации 15 работ, из них опубликованы в ведущих рецензируемых научных журналах и изданиях, определенных Высшей аттестационной комиссией, 2 Объем и структура работы

Диссертация состоит из введения, пяти глав и заключения Основное содержание работы изложено на 108 страницах, включая 32 рисунка и 22 таблицы Список использованных источников включает 62 наименования, 2 приложения размещены на 5 страницах

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы диссертации, определены цель работы и, задачи исследования, изложена практическая значимость полученных результатов, приведены основные положения, выносимые на защиту

В первой главе проанализированы основные принципы и особенности аппроксимативного исследования законов распределения, рассмотрены эволюция и современное состояние существующих методов

Методы аппроксимации плотности вероятности можно разбить на два крупных класса

• методы параметрической аппроксимации,

• методы непараметрической статистики

Аппроксимация плотностей вероятности параметрическими методами имеет ряд недостатков, который делает их неприменимыми в ряде случаев Во-первых, мы не всегда можем предположить, какому именно закону подчинена имеющаяся у нас выборка, а во-вторых, исследуемые функции распределения или плотности вероятности могут существенно отличаться от имеющегося набора стандартных законов

В этом случае целесообразно применение методов непараметрического оценивания К числу методов непараметрического оценивания относятся гистограммный метод, методы, основанные на аппроксимации плотности вероятности смесью базисных функций, например, ортогональными полиномами, метод ядерных оценок, метод аппроксимации нейронными сетями

Для решения задачи аппроксимации применяются линейно-независимые системы функций, в частности, системы ортогональных полиномов Это позволяет заметно упростить «конструкцию» оценки, если получаемое ортогональное разложение содержит относительно небольшое число слагаемых Однако такие оценки могут обладать следующими недостатками во-первых, нет гарантии того, что полученная оценка будет удовлетворять условию нормировки, во-вторых, эта оценка может на некоторых участках области определения не удовлетворять условию неотрицательности Иначе говоря, такая оценка может не быть плотностью вероятности, что требует предпринимать дополнительные меры для устранения этих недостатков

Кроме аппроксимации функций многочленами в последнее время все больше внимания уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного Такое приближение осуществляется нейронными сетями Нейрон получает на входе вектор сигналов х, вычисляет его скалярное произведение на вектор весов w и некоторую функцию од-

ного переменного ср (х, м>) Результат пересылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций

Во второй главе рассмотрены методы аппроксимации законов распределения ортогональными полиномами

Рассмотрим возможность аппроксимации функции распределения и плотности вероятности произвольного вида ортогональными полиномами Дана функция вида /(х), определенная на интервале [1,Щ Она может быть разложена в ряд вида-

/(*)=£ А ч,к(х), (1)

к= О

где рк~ коэффициенты Фурье, щ(х) — семейство базисных функций, ортонормальных на интервале [Ь,Щ с весом ц(х) Следует подчеркнуть, что на практике приходится ограничиваться конечным числом членов ряда (1) Это приводит к появлению методической погрешности, значение которой зависит в немалой степени от способа оценки параметров модели Поэтому для модели аппроксимирующей функции имеющей ограниченное число параметров, коэффициенты разложения, обеспечивающие минимум среднеквадратической погрешности аппроксимации определяются формулой

А = ]/(*>//„ (2)

Так как выбранная система ортогональных полиномов определена на конкретном интервале, а интервал существования аппроксимируемой функции •*««/ произволен, то они могут не совпадать Поэтому приходится вводить коэффициенты линейного переноса, и формула (2) примет вид

Д = -а ]/(*)//, {(х - Ъ)/ а)м{{х-Ь)!аУк (3)

Поскольку входные данные представлены реализацией произвольной случайной последовательности (стационарной в широком смысле и эргодической), на этапе подготовки данных к аппроксимации требуется построить сплайн-модель, описывающую определенным образом аппроксимируемую характеристику

Для плотности вероятности сплайн-модель строится на базе гистограммы (М дифференциальных коридоров) и представляется в виде простого линейного сплайна

Ы + (уг -У\Мх2 -) (*-*1 )'*<*2.

Л м(х) = \У]+Ь'1+\-У1),{х]+\-х1) {х~х]\х1<х<х1+1, ( )

\Ум-\ +{Ум ~Ум-\)1{хм ~хм-\) (х~хм-\\

Х> X,

■м-ь

а также в виде усредненной суммы линеиных сплайнов, построенных по гистограммам размерностей М-1,М + 1

и+1

/, »(*)= + 1 (5)

Аналогичным образом строится модель для функции распределения на базе кумулятивной гистограммы При численном нахождении значения интеграла (3) в силу того, что на границах интервала аппроксимации трудно добиться хорошего прибли-

жения, имеет смысл предварительно преобразовать аппроксимируемую функцию так, чтобы ее значение на одном из концов интервала (или сразу на обоих) стало равно нулю В таком случае удается точнее посчитать коэффициенты и избежать на концах аппроксимируемой функции явления Гиббса Преобразование осуществляется по формуле

/(0)(х) = /(*)-с/ х-с (6)

Коэффициенты ¿ис принимают значения

Гл = (/(*.«)- /(*- ))/(*™ - ). (7)

К = /(*™ )- Л *т,„

Далее вычисляются коэффициенты разложения для функции /(0)(х)

Д(0) = 1*]>)(Л)//к ((, _ ъ), аМ(х _ ь), ауь (8)

Затем следует пересчитать их в Д, которые используются в выражении (1)

Следующим приемом аппроксимации плотности распределения вероятностей, позволяющим уменьшить погрешность, является двусторонняя аппроксимация Суть этого метода заключается в том, что какая-то определенная точка х (например, точка экстремума) разбивает интервал аппроксимации функции [л:^,,,^] на два независимых интервала [хтт,х] и [х, ] На каждом из них функцию аппроксимируют отдельно, что в ряде случаев позволяет значительно улучшить результат, уменьшив погрешность и сократив количество членов в разложении функции /(х) Выражение (1) представим в виде

Л тЛ тп

/(х)=1,Ркл Ч/кл((х~Ьл)1ал) ¥к п^,х-Ьп)1 ап) \{х~х) (9)

*=0 1=0

Так как границы интегрирования изменились, то коэффициенты теперь рассчитываются по модифицированным формулам Для левой и правой ветви

Рил= — 1 /(*>* л ((* " Ьл )/ал )цл ((* - Ьл )/ал )сЬ (Ю)

^ *тах

Рк.п =- I/(Фк п((х-Ьп)/ап)ип((х-Ьп)/ап)сЬ (11)

ап г

Коэффициенты линейного переноса также изменяются соответственно изменению интервалов интегрирования Этот подход дает возможность использовать комбинированные модели, т е применять для аппроксимации левой и правой ветвей различные ортогональные полиномы Зачастую при двусторонней аппроксимации используют операцию совмещения максимумов Для этого требуется выполнение условий

¥кл((х-Ъл)/ал\

(12)

к-0

Так как при конечных значениях т7 и тп оно не выполняется, поэтому для его обеспечения можно искать аналитическое выражение для /(х) в виде

8

Л Щ 7 Ш/7

/М=2Х,7 Ук,Жх-Ъл)/ал) 1(х-*)+ у/к П{{х-Ьп)1ап) \{х-х) (13)

*=0 *=0 Для оценки коэффициентов разложения окончательно получим

К* = А»+-^-

ьо V1 т)

Пп({х-Ьл)1"„)

¿Хп((*-Ая)Мг)

В третьей главе рассмотрены методы аппроксимации законов распределения с использованием многослойного персептрона и радиально-базисной сети

Сети на основе радиальных базисных функций и многослойный персептрон являются универсальными аппроксиматорами, что обосновывается теоремой об универсальной аппроксимации Универсальную теорему аппроксимации можно рассматривать как естественное расширение теоремы Вейерштрасса. Эта теорема утверждает, что любая непрерывная функция на замкнутом интервале действительной оси может быть представлена абсолютно и равномерно сходящимся рядом полиномов

Рассмотрим аппроксимацию законов распределения многослойным персептро-ном (МЬР-сетью) Аппроксимирующее выражение может быть записано в виде

(15)

о

где (рк (*) — набор функций произвольного вида, рк — коэффициенты, рассчитываемые нейронной сетью

Построение и настройка сети с целью получения коэффициентов разложения включает в себя следующие шаги

1) построение гистограммы и определение количества входов сети, оно равно количеству «узловых точек» {х„у,}, те Мпри аппроксимации плотности вероятности {М+1 при аппроксимации функции распределения),

2) определение количества членов ряда разложения, т е задание числа т, соответственно количество выходов сети будет равно т+1, с них после обучения сети будут сниматься значения коэффициентов,

3) определение количества скрытых слоев, на практике достаточно одного слоя с количеством нейронов К,

4) задание пороговых функций и начальных значений параметров сети,

5) генерация обучающих выборок,

6) обучение сети последовательным предъявлением обучающих выборок и корректировкой параметров сети по методу обратного распространения ошибки,

7) предъявление на вход сети значений аппроксимируемой функции и получение на выходах сети значений коэффициентов /?*

Обозначим входные сигналы сети как .у* (значения восстанавливаемой характеристики, рассчитанные по столбцам гистограммы), а выходные сигналы нейронов скрытого слоя - V* Через обозначим коэффициенты между /-м нейроном текущего слоя

и J-м нейроном предыдущего слоя Веса нейронов скрытого слоя пометим верхним индексом (1), а выходного слоя - верхним индексом (2) С входным вектором у связаны два выходных вектора сети вектор фактических выходных сигналов р и вектор ожидаемых входных сигналов </ При таком подходе выходной сигнал /-го нейрона скрытого слоя удается описать функцией

(16)

В выходном слое к-й нейрон вырабатывает выходной сигнал, определяемый как

А

\/=0

(2)„

= /

1=0 1^=0

(17)

Цель обучения состоит в подборе таких значений весов м>у( и и1*, для всех слоев сети, чтобы при заданном входном векторе у получить на выходе значения сигналов /?„ которые с требуемой точностью будут совпадать с ожидаемыми значениями с1. Для обучения сети используется алгоритм обратного распространения ошибки Он определяет стратегию подбора весов многослойной сети с применением градиентных методов оптимизации и в настоящее время считается одним из наиболее эффективных алгоритмов обучения многослойной сети Его основу составляет целевая функция, формируемая, как правило, в виде квадратичной суммы разностей между фактическими и ожидаемыми значениями выходных сигналов В случае единичной обучающей выборки (у, (I) целевая функция представляется в виде

к=О

"О2

(18)

На первом этапе обучения предъявляется обучающая выборка у, а также рассчитываются значения сигналов соответствующих нейронов сети При заданном векторе у определяются вначале значения выходных сигналов у, скрытого слоя, а затем значения р, нейронов выходного слоя по формулам (16) и (17) После получения значений выходных сигналов р, становится возможным рассчитать фактическое значение целевой функции Е(\у), заданной выражением (18) На втором этапе минимизируется значение этой функции В рамках алгоритма обратного распространения ошибки, как наиболее эффективные способы обучения, используются градиентные методы оптимизации, согласно которым уточнение вектора весов (обучение) производится по формулам

м>{к + \)-м>(к)+\м!, (19)

Дм> = тр(™), (20)

где ц - коэффициент обучения, а р(м>) - направление в многомерном пространстве ж Целевая функция (18) позволяет уточнять веса после предъявления каждой обучающей выборки С учетом формулы (17) эта функция определяется выражением

\ 2

1

I

/I £Ч2Ч

1т

■¿/Ы о

/

2Н27

(21)

Критерием останова алгоритма обучения может являться выполнение одного из следующих условий достижение требуемого значения величины погрешности аппроксимации, удовлетворение аппроксимирующим выражением критерия Пирсона или Колмогорова, таймаут, завершение заданного числа шагов обучения

Сети на основе радиальных базисных функций (ЛЯР-сети) похожи на многослойный персептрон Согласно решаемой задаче, в данной работе используется расширенный случай ЛЯР-сети с одним входом, одним выходом и одним скрытым слоем «Расширенный» значит, что класс базисных функций, используемый при решении задачи аппроксимации, не ограничивается радиальными функциями, но также включает ортогональные полиномы, степенные и сигмоидальные функции

Аппроксимирующее выражение для ЛВР-сети может быть записано в виде

/(*)= Е <Р„(х'а 1. .«») (22)

к=0

где <рк (х, ОС}, , а„) - семейство базисных функций, а1: , ап - набор неизвестных параметров базисной функции, которые настраиваются в процессе обучения, и W|l— весовые коэффициенты КВЕ- сети

Построение и настройка сети с целью настройки коэффициентов включает в себя следующие шаги

1) построение гистограммы и определение «узловых точек» {х„у,},

2) задание вида функций <Рк(х, а,, ,а„),

3) определение количества членов ряда разложения и соответственно числа нейронов скрытого слоя, так как каждый нейрон представляет собой одну из функций выражения (22),

4) задание начальных значений параметров сети,

5) обучение сети последовательным предъявлением на вход сети значений х, и корректировкой параметров сети по методу обратного распространения ошибки

Итак, задача аппроксимации состоит в подборе соответствующего количества функций (рь (х, а/, ,а„), их вида и параметров, а также в таком подборе весов у/к, чтобы решение уравнения (22) было наиболее близким к точному Обучается такая /?Д/Г-сеть на основе градиентного метода обучения с учителем, в котором используется алгоритм обратного распространения ошибки Так же как и в МЬР-сети, их основу составляет целевая функция вида

{23)

Алгоритм корректировки параметров сети зависит от вида базисных функций и количества настраиваемых параметров в базисных функциях Итоговая формула корректировки коэффициентов имеет следующий вид

„,(* + !)= (!>,(*) яМ (24)

В четвертой главе приведено описание разработанного комплекса программных средств, предназначенного для аппроксимативного анализа законов распределения

Программный комплекс включает в себя следующие подсистемы

• подсистему задания входных воздействий,

• подсистему аппроксимативного анализа,

• подсистему интерполяции,

• подсистему статистической обработки,

• подсистему информационного обеспечения

Подсистема задания входных воздействий позволяет генерировать случайные последовательности с заданным видом закона распределения методом обратной функции или производить считывание выборки данных из файла Для генерации в системе присутствует набор стандартных законов распределения При чтении выборки из файла реализована проверка случайной последовательности на стационарность Затем данная система по введенной выборке строит сплайн-модели плотности вероятности и функции распределения

Подсистема аппроксимативного анализа позволяет аппроксимировать функциональные характеристики ортогональными полиномами При этом используются различные приемы, повышающие точность аппроксимации Также данная подсистема позволяет осуществлять аппроксимацию функциональных характеристик MLP-сетью и RBF-сетью В подсистеме предусмотрены восемь видов пороговых функций, сиг-моидальные, радиальные, степенные, полиномы Лежандра, полиномы Чебышева I и II рода, полиномы Лагерра и полиномы Эрмита После аппроксимации подсистема проверяет качество аппроксимации с помощью среднего квадратического отклонения или критериев Пирсона или Колмогорова

Подсистема интерполяции осуществляет интерполяцию функциональных характеристик по узловым точкам с использованием квадратного интерполяционного сплайна и кубического интерполяционного сплайна

Подсистема статистической обработки по восстановленным из выборки характеристикам и по исходным теоретическим характеристикам строит производные функциональные характеристики (фазовый портрет и т д), а также рассчитывает и сравнивает восстановленные моментные характеристики и выборочные моментные характеристики

Подсистема информационного обеспечения заносит на хранение в базу данных аппроксимированные тем или иным способом функциональные характеристики, которые выводятся на один график, что позволяет сравнить, например, одну и ту же характеристику, аппроксимированную несколькими различными методами

Программный комплекс написан в среде программирования Delphi 7. Требования программного комплекса к аппаратному и программному обеспечению процессор Pentium-166 и выше, операционная система Windows'98 и выше, свободное место на диске 3 Мб

В пятой главе исследованы предложенные алгоритмы аппроксимации законов распределения ортогональными полиномами и нейронными сетями с помощью имитационного моделирования и проведена апробация программного комплекса на экспериментальных данных

Проведено исследование аппроксимативных свойств ортогональных полиномов Лежандра, Чебышева первого и второго рода, Лагерра, Эрмита на выборках, полученных методом имитационного моделирования Метод сведения концов аппроксимируемой функции к нулю в большинстве случаев повышает точность аппроксимации, это особенно заметно на малом количестве полиномов (меньше 10) Метод аппроксимации, основанный на разбиении плотности вероятности на две ветви, в ряде случаев значительно повышает точность аппроксимации, это хорошо выражено при наличии явно выраженного пика, например, у выборок, распределенных по закону Лапласа и подобным Для различных плотностей вероятности лучшими оказываются

оценки в различных базисах, то есть нельзя однозначно рекомендовать тот или иной базис для оценивания плотности вероятности.

Проведено исследование аппроксимативных свойств МЬР-сети, которая обучалась для нахождения коэффициентов разложения в различных аппроксимативных базисах: степенные функции, ортогональные полиномы Лежандра, Чебышева первого и второго рода, Эрмита, Лагерра. Исследование проводилось методом имитационного моделирования. При аппроксимации МЬР-сеть в большинстве случаев показывает схожие результаты с предыдущим подходом, однако иногда дает меньшее значение среднего квадратического отклонения плотности вероятности, чем при аппроксимации ортогональными полиномами, это характерно при использовании базисов Лагерра и Эрмита. Главное преимущество аппроксимации МЬР-сетями заключается в том, что этот подход не ограничивает выбор аппроксимативного базиса только семействами ортогональных функций. Это продемонстрировано использованием семейства степенных функций, которое дает схожие результаты.

Проведено исследование аппроксимативных свойств RBF-сети, в которых в качестве узлов использовались сигмоидальные, радиальные, степенные функции, а также ортогональные полиномы Лежандра, Чебышева первого и второго рода, Лагерра, Эрмита. Исследования показали, что использование ИВР-сетей оправдано в случае малой длины ряда разложения (меньше 10). В остальных случаях они показывают схожие результаты с предыдущими подходами.

Исследование зависимости погрешности от увеличения объема выборки показало, что погрешность неуклонно падает с увеличением числа отсчетов в выборке. Исследование зависимости погрешности от числа дифференциальных коридоров показало, что оптимальным является выбор количества коридоров в интервале 15-25.

На рисунке 1 приведена аппроксимация плотности вероятности Вейбулла ортогональными полиномами Чебышева 1 рода со сведением концов аппроксимируемой функции к нулю (N=5000, М=20, ш=15), на рисунке 2 - аппроксимация экспоненциальной плотности вероятности степенными базисными функциями ЯВГ-сетью (N=5000, М=20, К=15).

Рисунок 1 Рисунок 2

В рамках данной диссертационной работы были решены задачи разработки алгоритмов и программного обеспечения имитационного моделирования углового положения космического аппарата (КА) для расчета уровня остаточных микроускорений в системе компенсации внешних и внутренних возмущений. В качестве основной выборки фактических данных использовались параметры углового положения КА типа «Фотон-М», разработанного ФГУП ГНП РКЦ «ЦСКБ-Прогресс».

Выборка измерений параметров углового положения КА представлена тремя независимыми каналами: крен, рыскание, тангаж, причем, на дискретном множестве точек, характеризующих временные отметки 11,12, ..., ^ по каждому из них формируется значения а,ь ос,2, ... ат, где п =1, 2, ...,Ы - размерность выборки (Ы < 9000).

На рисунках 3-5 приведены результаты аппроксимации экспериментальной плотности вероятности по каналам крен, рыскание и тангаж программным комплексом, разработанным в рамках данной диссертационной работы. На рисунке 3 приведена аппроксимация плотности вероятности (крен) ортогональными полиномами Че-бышева I рода КВГ-сетъю (N=8639, М=20, К=10), на рисунке 4 - двусторонняя аппроксимация плотности вероятности (рыскание) ортогональными полиномами Ле-жандра (N=8639, М=20, ш=25), на рисунке 5 - аппроксимация плотности вероятности

Рисунок 5

В заключении сформулированы основные выводы, перечислены полученные в работе результаты.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ:

1. Разработан алгоритм получения гистограммно-аппроксимативной оценки плотности вероятности и функции распределения ортогональными полиномами Ле-жандра, Чебышева I и II рода, Лагерра и Эрмита со сведением концов аппроксимируемой функции к нулю.

2. Разработан алгоритм получения гистограммно-аппроксимативной оценки плотности вероятности ортогональными полиномами Лежандра, Чебышева I и II рода, Лагерра и Эрмита с разделением на две ветви.

3. Разработана модель МЬР-сети для расчета коэффициентов ряда разложения. Нейронная сеть используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе.

4. Разработана сетевая структура на основе ЯВР-сети для моделирования аппроксимирующего выражения. В качестве узлов сети используются не только классические радиально-базисные функции, но и сигмоидальные функции, степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита.

5. Полученные оценки погрешности аппроксимации исследованы на состоятельность и несмещенность. Расчеты показали, что полученные оценки погрешности являются состоятельными и смещенными.

6. Разработан программный комплекс аппроксимативного анализа законов распределения ортогональными полиномами и нейронными сетями.

7. Проведен сравнительный анализ результатов аппроксимации плотности вероятности ортогональными полиномами и нейронными сетями. Результаты аппрокси-

мации проверялись с помощью максимума и верхней границы доверительного интервала по «правилу трех сигма» для среднего квадратического отклонения В качестве тестовых примеров использовались данные, полученные методом имитационного моделирования

8 Проведена аппроксимация плотности вероятности, построенной на основе выборки измерений параметров углового положения КА представленной тремя независимыми каналами крен, рыскание, тангаж программным комплексом, разработанным в рамках данной диссертационной работы Результаты аппроксимации проверялись по критериям Пирсона и Колмогорова Полученные данные использовались в имитационном моделировании для определения величины микроускорений при компенсации внешних и внутренних возмущений

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Монография:

1 Прикладной анализ случайных процессов [Текст] / Под ред Прохорова С А / Лезин И А, Лезина ИВ / СНЦ РАН, Самара, 2007 - Гл 5 10 Автоматизированная система аппроксимативного анализа законов распределения ортогональными полиномами и нейросе-тевыми функциями-С 391-406 - ISBN 978-5-93424-283-2

Работы, опубликованные в ведущих рецензируемых научных журналах и изданиях, определенных Высшей аттестационной комиссией:

2 Прохоров, С А Аппроксимация законов распределения ортогональными полиномами [Текст] / Прохоров С А , Лезин И А , Солдатова И В //Вестник Самарского государственного технического университета Серия Физико-математические науки — 2005 - №34 — С 128-136 — Библиогр с 136

3 Прохоров, С А Определение функциональных характеристик случайных процессов методами аппроксимации и нейросетевого анализа и их сравнение [Текст] / Прохоров С А , Лезин И А , Лёзина ИВ// Вестник Самарского государственного технического университе-та.Серия Технические науки - 2005 - №33 - С 340-346 - Библиогр с 346

Статьи:

4 Прохоров, С А Автоматизированная система аппроксимативного анализа законов распределения случайных процессов [Текст] / Прохоров С А , Солдатова И В , Лезин И А // Надежность и качество труды международного симпозиума. Под ред H К Юркова / Изд-во Пенз гос ун-та - Пенза, 2004 - С 57-63 - Библиогр с 63

5 Прохоров, С А Определение функциональных характеристик случайных процессов методами аппроксимации и нейросетевого анализа и их сравнение [Текст] / Прохоров С А , Лезин И А , Лезина ИВ// Информационные, измерительные и управляющие системы (ИИ-УС-2005) материалы Международной научно-технической конференции / Изд-во Самарского государственного технического университета - Самара, 2005 - С 270-272

6 Солдатова, О П Использование нейросетевых моделей для идентификации законов распределения [Текст] / Солдатова О П , Лезина И В , Васильева Ю В // Радиотехника и связь Материалы международной научно-технической конференции, посвященной 110-летию изобретения радио и 75-летию Саратовского государственного технического университета / Саратовский государственный технический университет - Саратов, 2005 - С 30-34 - Библиогр с 33

7 Прохоров, С А Сравнение качества восстановления функций различными нейросе-тевыми моделями [Текст] / Прохоров С А , Лезин И А , Лезина ИВ// Компьютерные технологии в науке, практике и образовании труды Всероссийской межвузовской научно-практической конференции / изд-во Самарского государственного технического университета- Самара, 2005 - С 59-62

8 Лезина, И В Определение коэффициентов ряда разложения на базе многослойного персептрона с одним скрытым слоем [Текст] / Лезина ИВ// Радиотехника и связь материалы третьей международной научно-технической конференции / Саратовский государственный технический университет - Саратов, 2006 - С 34-38 - Библиогр с 38

9 Лезин, И А Автоматизированный комплекс аппроксимации функций ортогональными полиномами и нейронными сетями [Текст] / Лезин И А , Лезина И В , Прохоров С А // Перспективные информационные технологии в научных исследованиях, проектировании и обучении (ПИТ-2006) труды научно-технической конференции с международным участием Том 1 / Самарский государственный аэрокосмический университет — Самара, 2006 — С 106-112-Библиогр с 112

10 Прохоров, С А Аппроксимация плотности вероятности случайных процессов ядерными функциями и ортогональными полиномами [Текст] / Прохоров С А, Лезин И А , Лезина И В, Соболева А Е // Инновационные технологии в управлении, образовании, промышленности «АСТИНТЕХ-2007» материалы Всероссийской научной конференции в 2 ч Часть 2 / сост И Ю Петрова. / Издательский дом «Астраханский университет» - Астрахань, 2007 - С 136-139 - Библиогр с 139

11 Прохоров, С А Автоматизированная информационная система аппроксимации двумерных плотностей вероятностей нейронными сетями [Текст] / Прохоров С А, Лезин И А, Лезина ИВ// Проблемы автоматизации и управления в технических системах труды Международной научно-технической конференции под ред д т н ,проф М А Щербакова / Информационно-издательский центр ПТУ - Пенза, 2007 - С 143-146 - Библиогр с 146

12 Лезина, ИВ Применение критерия Пирсона для оценки аппроксимации законов распределения [Текст] / Лезина ИВ// Информационные технологии в высшем профессиональном образовании Сборник докладов II межрегиональной научно-практической конференции / Под ред О А Тарабрина, А В Очеповского / Самарский государственный аэрокосмический университет - Тольятти-Самара, 2007 - С 87-90 - Библиогр с 90

13 Прохоров, С А Аппроксимация двумерной плотности вероятности ортогональными полиномами [Текст] / Прохоров С А , Лезин И А , Лезина ИВ // Радиотехника и связь Материалы четвертой международной научно-технической конференции / Саратовский государственный технический университет - Саратов, 2007 -С 17-22 - Библиогр с22

Тезисы докладов:

14 Солдатова, ИВ Подсистема аппроксимативного анализа законов распределения случайных процессов ортогональными полиномами Чебышева и Лагерра [Текст] / Солдатова И В , под рук Прохорова С А // Тезисы докладов XXX Юбилейной самарской областной студенческой научной конференции Часть I Общественные, естественные и технические науки 19-29 апреля, 2004 г / Департамент по делам молодежи Самарской области, Самарский областной совет по научной работе студентов - Самара, 2004 - С 154

15 Лёзина, И В Аппроксимация таблично заданных функций с использованием нейро-сетевых моделей [Текст] / Лезина И В , под рук Прохорова С А // Всероссийская молодежная научная конференция с международным участием «VIII Королевские чтения» Тезисы докладов / Изд-во Самарского государственного аэрокосмического университета имени академика СП Королева-Самара, 2005 - С 317

Подписано в печать 23 11 2007 г Тираж 100 экз Отпечатано с готовых оригинал-макетов СГАУ 443086, Самара, Московское шоссе, 34

Перечень условных обозначений и сокращений.

Введение.

1 Анализ методов аппроксимации законов распределения ортогональными многочленами и нейронными сетями.

1.1 Методы аппроксимации законов распределения.

1.2 Методы аппроксимации законов распределения ортогональными полиномами.

1.3 Методы аппроксимации законов распределения нейронными сетями.

Выводы и результаты.

2 Аппроксимация функций распределения и плотностей вероятности ортогональными рядами.

2.1 Построение сплайн-модели аппроксимируемой характеристики.

2.2 Гистограммно-аппроксимативные оценки плотности вероятности и функции распределения.

2.3 Метод повышения точности аппроксимации сведением концов аппроксимируемой функции к нулю.

2.4 Метод двусторонней аппроксимации функций распределения и плотности вероятности.

2.5 Степенное представление аппроксимируемых характеристик и нормировка.

2.6 Состоятельность и несмещенность оценки погрешности.

Выводы и результаты.

3 Аппроксимация функций нейронными сетями.

3.1 Математическое обоснование возможности аппроксимации функций нейронными сетями.

3.2 Аппроксимация многослойным персептроном.

3.3 Аппроксимация радиально-базисной сетью.

3.4 Состоятельность и несмещенность оценки погрешности.

Выводы и результаты.

4 Программный комплекс аппроксимативного анализа законов распределения ортогональными полиномами и нейронными сетями.

4.1 Описание программного комплекса.

4.2 Подсистема задания входных воздействий.

4.3 Подсистема аппроксимативного анализа.

4.4 Подсистема интерполяции.

4.5 Подсистема статистической обработки.

4.6 Подсистема информационного обеспечения.

Выводы и результаты.

5 Исследование качества аппроксимации и апробация программного комплекса.

5.1 Исследование аппроксимативных возможностей ортогональных базисов.

5.2 Исследование аппроксимативных возможностей MLP-сетей.

5.3 Исследование аппроксимативных возможностей RBF-сетей.

5.4 Исследование погрешности аппроксимации от объема выборки и числа дифференциальных коридоров.

5.5 Применение комплекса программ для обработки результатов экспериментальных исследований.

Выводы и результаты.

При проведении различного рода исследований зачастую приходится прибегать к обработке больших массивов однородной информации. При этом объем выборки может достигать огромных размеров, и оперировать им становится не очень удобно. Кроме того, любые результаты несут в себе некоторую долю погрешности, вносимую по различным причинам. Если в условиях конкретной задачи можно исходить из предположения о том, что данная выборка распределена по какому-либо закону, пусть даже нам неизвестному, то в таком случае можно перейти от хранения информации в виде числовых массивов к хранению закона распределения числового ряда. Помимо удобства в хранении это позволит: а) избавиться от необходимости повторных исследований, зачастую длительных и дорогостоящих, для получения альтернативной выборки, ее можно будет сгенерировать по имеющемуся закону распределения, б) уменьшить влияние случайных погрешностей при получении данных на реальных объектах, это так называемая операция сглаживания, в) упростить получение вероятностных характеристик числовых выборок.

Аппроксимация законов распределения (ЗР) методом моментов или параметрическими методами имеет ряд недостатков, который делает их неприменимыми в ряде случаев. Во-первых, мы не всегда можем предположить, какому именно закону подчинена имеющаяся у нас выборка, а во-вторых, исследуемые ЗР могут существенно отличаться от имеющегося набора стандартных законов.

По этим причинам в качестве альтернативного метода можно предложить аппроксимацию ЗР ортогональными рядами. Этот метод аппроксимации инвариантен к виду распределения, что расширяет область его применимости.

Предлагаемый метод основан на аппроксимации гистограммы, полученной при анализе исследуемой выборки, и построении непрерывной функ6 ции, сглаживающей гистограмму. В дальнейшем полученная гладкая функция может использоваться для нахождения моментных и функциональных характеристик.

Кроме аппроксимации функций многочленами в последнее время все больше внимания уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными «устройствами» - нейронными сетями. Нейрон получает на входе вектор сигналов х, вычисляет его скалярное произведение на вектор весов w и некоторую функцию одного переменного cp(x,w). Результат пересылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций.

Для решения задачи аппроксимации с применением нейронной сети следует спроектировать структуру сети, адекватную поставленной задаче. В данной работе используется многослойный персептрон с одним скрытым слоем и радиально-базисная сеть.

Вопросы разработки аппроксимативных методов и алгоритмов, а также вопросы, посвященные теории нейронных сетей, в разное время исследовали Л.Деврой, Л.Дьерфи, В.Н.Вапник, Э.А.Надарая, С.А.Прохоров, Ф.П.Тарасенко, Н.Н.Ченцов, У.Мак-Каллок, У. Питц, Ф.Розенблатт, Д.Хопфилд, С. Гроссберг, Т.Кохонен, М.Минский, А.И.Галушкин, Н.М.Амосов, А.Н.Горбань, С.А.Терехов, С.Хайкин, С.Осовский и другие ученые.

Анализ существующих современных автоматизированных комплексов математических расчетов (Statistica, Mathematica, MatLab, Mathcad) показал, что они позволяют использовать ортогональные функции, однако в большинстве из них отсутствуют алгоритмы аппроксимации, использующие в качестве аппроксимирующих выражений ортогональные полиномы. Также эти комплексы требуют дополнительной настройки или программирования для решения определенных задач.

Существует довольно много универсальных программных пакетов для работы с нейронными сетями (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolutions, BrainMaker). Однако для решения задач с помощью этих комплексов пользователь должен выполнить настройки нейронной сети - выбрать ее структуру, алгоритм обучения и т.д., подходящие именно для конкретной решаемой задачи. Это, в свою очередь, требует от пользователя владения знаниями по теории нейронных сетей.

В связи с этим актуальной представляется задача разработки алгоритмов аппроксимации законов распределения ортогональными полиномами (Лагерра, Лежандра, Чебышева первого и второго рода, Эрмита) и нейросете-выми моделями (многослойным персептроном и радиально-базисной сетью), а также построения комплекса программ, реализующего эти алгоритмы.

Целью работы является разработка алгоритмов и комплекса программ для аппроксимативного анализа законов распределения в ортогональных базисах, а также с использованием нейронных сетей.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи исследования:

1. Разработка алгоритмов аппроксимации законов распределения с использованием ортогональных базисов и нейронных сетей.

2. Оценка результатов аппроксимации с помощью максимума и верхней границы доверительного интервала по «правилу трёх сигма» для среднего квадратического отклонения, а также с помощью критериев Пирсона и Колмогорова.

3. Исследование и сравнительный анализ результатов аппроксимации ортогональными полиномами и нейронными сетями.

4. Разработка программного комплекса, реализующего разработанные алгоритмы.

5. Проведение экспериментальных исследований по обработке реальных данных с целью апробации комплекса программ.

Методы исследования, используемые в диссертации, основаны на положениях теории вероятностей и математической статистики, теории оптимизации и аппроксимации, методах имитационного моделирования, численных методах, теории нейронных сетей.

Научная новизна работы заключается в следующих положениях:

1. Предложена методика аппроксимации законов распределения ортогональными полиномами с разбиением закона распределения на две ветви относительно точки экстремума.

2. Предложена методика аппроксимации законов распределения ортогональными полиномами со сведением концов аппроксимируемой функции к нулю.

3. Предложена методика аппроксимации законов распределения многослойным персептроном. Многослойный персептрон используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе.

4. Предложена методика аппроксимации законов распределения ра-диально-базисной сетью. В качестве узлов радиально-базисной сети используются не только классические радиально-базисные функции, но и сигмоидальные функции, степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита.

5. Исследованы алгоритмы аппроксимации законов распределения ортогональными полиномами и нейронными сетями.

Практическая ценность работы заключается в разработке алгоритмического и программного обеспечения автоматизированного программного комплекса аппроксимативного анализа, позволяющего решать следующие задачи:

1. Моделирования случайных последовательностей с заданным законом распределения.

2. Аппроксимации законов распределения ортогональными полиномами.

3. Аппроксимации законов распределения нейронными сетями.

4. Обработка данных натурного эксперимента.

Положения, выносимые на защиту:

1. Методика и алгоритмы аппроксимации законов распределения ортогональными полиномами Лежандра, Чебышева первого и второго рода, JTareppa, Эрмита с выделением точки экстремума и со сведением концов аппроксимируемой функции к нулю.

2. Методика и алгоритмы аппроксимации законов распределения многослойным персептроном и радиально-базисной сетью. Многослойный персептрон используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе. Помимо классических радиально-базисных функций в качестве узлов радиально-базисной сети используются сигмои-дальные и степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита.

3. Программный комплекс аппроксимативного анализа законов распределения ортогональными базисами, а также нейронными сетями.

Внедрение результатов работы

Результаты работы внедрены в учебном процессе кафедры ИСТ СГАУ при подготовке студентов по специальности 230102 и на ФГУП ГНП РКЦ «ЦСКБ-Прогресс».

Апробация работы

Основные положения и результаты работы докладывались и обсуждались на XXX Юбилейной Самарской областной студенческой научной конференции (Самара, 2004), международном симпозиуме «Надежность и качество» (Пенза, 2004), международной научно-технической конференции «Информационные, измерительные и управляющие системы (ИИУС - 2005)» (Самара, 2005), международной научно-технической конференции, посвященной 110-летию изобретения радио и 75-летию Саратовского государственного технического университета «Радиотехника и связь» (Саратов, 2005), Всероссийской молодежной научной конференции с международным участием «VIII Королевские чтения» (Самара, 2005), Всероссийской межвузовской научно-практической конференции «Компьютерные технологии в науке, практике и образовании» (Самара 2005), третьей международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006), научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006) (Самара, 2006), Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности» («АСТИНТЕХ-2007») (Астрахань, 2007), международной научно-технической конференции «Проблемы автоматизации и управления в технических системах» (Пенза, 2007), II межрегиональной научно-практической конференции «Информационные технологии в высшем профессиональном образовании» (Тольятти-Самара, 2007), четвертой международной научно-технической конференции «Радиотехника и связь» (Саратов, 2007).

Публикации

Соискатель имеет 15 опубликованных работ, в том числе по теме диссертации 15 работ, из них опубликованы в ведущих рецензируемых научных журналах и изданиях, определенных Высшей аттестационной комиссией, 2.

Объем и структура работы

Диссертация состоит из введения, пяти глав и заключения. Основное содержание работы изложено на 108 страницах, включая 32 рисунка и 22 таблицы. Список использованных источников включает 62 наименования, 2 приложения размещены на 5 страницах.

Выводы и результаты

1. Проведено исследование аппроксимативных свойств ортогональных полиномов Лежандра, Чебышева I и II рода, Лагерра, Эрмита на выборках, полученных методом имитационного моделирования. Метод сведения концов аппроксимируемой функции к нулю в большинстве случаев повышает точность аппроксимации, это особенно заметно на малом количестве полиномов (меньше 10). Метод аппроксимации, основанный на разбиении плотности вероятности на две ветви, в ряде случаев значительно повышает точность аппроксимации, это хорошо выражено при наличии явно выраженного пика, например, у выборок, распределенных по закону Лапласа и подобным. Для различных плотностей вероятности лучшими оказываются оценки в различных базисах, то есть нельзя однозначно рекомендовать тот или иной базис для оценивания плотности вероятности.

2. Проведено исследование аппроксимативных свойств MLP-сети, которая обучалась для нахождения коэффициентов разложения в различных аппроксимативных базисах: степенные функции, ортогональные полиномы Лежандра, Чебышева I и II рода, Эрмита, Лагерра. Исследование проводилось методом имитационного моделирования. При аппроксимации MLP-сетъ в большинстве случаев показывает схожие результаты с предыдущим подходом, однако иногда дает меньшее значение среднего квадратического отклонения плотности вероятности, чем при аппроксимации ортогональными полиномами, это характерно при использовании базисов Лагерра и Эрмита. Главное преимущество аппроксимации MLP-сетями заключается в том, что этот подход не ограничивает выбор аппроксимативного базиса только семействами ортогональных функций. Это продемонстрировано использованием семейства степенных функций, которое дает схожие результаты.

3. Проведено исследование аппроксимативных свойств RBF-сеш, в которых в качестве узлов использовались сигмоидальные, радиальные, степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра, Эрмита. Исследования показали, что использование RBF-cqtqu оправдано в случае малой длины ряда разложения (меньше 10). В остальных случаях они показывают схожие результаты с предыдущими подходами.

4. Исследование зависимости погрешности от увеличения объема выборки показало, что погрешность неуклонно падает с увеличением числа отсчетов в выборке. Исследование зависимости погрешности от числа дифференциальных коридоров показало, что оптимальным является выбор количества коридоров в интервале 15-25.

5. Разработанный программный комплекс применен для аппроксимации плотности вероятности, построенной на основе выборки измерений параметров углового положения КА, представленной тремя независимыми каналами крен, рыскание, тангаж.

Заключение

В ходе выполнения диссертационной работы были получены следующие основные результаты и выводы:

1. Разработан алгоритм получения гистограммно-аппроксимативной оценки плотности вероятности и функции распределения ортогональными полиномами Лежандра, Чебышева I и II рода, Лагерра и Эрмита со сведением концов аппроксимируемой функции к нулю.

2. Разработан алгоритм получения гистограммно-аппроксимативной оценки плотности вероятности ортогональными полиномами Лежандра, Чебышева I и II рода, Лагерра и Эрмита с разделением на две ветви.

3. Разработана модель MLP-сети для расчета коэффициентов ряда разложения. Нейронная сеть используется не для построения сетевой модели, аппроксимирующей заданную функцию, а для обучения сети с целью получения неизвестных коэффициентов разложения на выходе.

4. Разработана сетевая структура на основе RBF-сети для моделирования аппроксимирующего выражения. В качестве узлов сети используются не только классические радиально-базисные функции, но и сигмоидальные функции, степенные функции, а также ортогональные полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита.

5. Полученные оценки погрешности аппроксимации исследованы на состоятельность и несмещенность. Расчеты показали, что полученные оценки погрешности являются состоятельными и смещенными.

6. Разработан программный комплекс аппроксимативного анализа законов распределения ортогональными полиномами и нейронными сетями.

7. Проведен сравнительный анализ результатов аппроксимации плотности вероятности ортогональными полиномами и нейронными сетями. Результаты аппроксимации проверялись с помощью максимума и верхней границы доверительного интервала по «правилу трёх сигма» для среднего квадратического отклонения. В качестве тестовых примеров использовались данные, полученные методом имитационного моделирования.

8. Проведена аппроксимация плотности вероятности, построенной на основе выборки измерений параметров углового положения КА представленной тремя независимыми каналами: крен, рыскание, тангаж программным комплексом, разработанным в рамках данной диссертационной работы. Результаты аппроксимации проверялись по критериям Пирсона и Колмогорова. Полученные данные использовались в имитационном моделировании для определения величины микроускорений при компенсации внешних и внутренних возмущений.

1. Айвазян, С.А. Прикладная статистика: основы моделирования и первичная обработка данных Текст. : справочное издание / Айвазян С.А., Еню-ков И.С., Мешалкин Л.Д. М.: Финансы и статистика, 1983. - 471 с. -17000 экз.

2. Алгоритмы и программы восстановления зависимостей Текст. / В.Н. Вапник, Т.Г. Глазкова, В.А. Кощеев, А.И. Михальский, А.Я. Червоненкис. Под ред. В.Н. Вапника. -М.: Наука, 1984.-816с. 24000 экз.

3. Ахметшина, О.Р. Исследование метода построения плотности распределения с помощью проекционного оценивания Электронный ресурс. 2005. http://nit.miem.edu.ru/2005/sectionl/3.1 l(m).htm.

4. Ахметшина, О.Р. Разработка методов оценки плотности методом вейвлет-анализа с учетом цензурированной информации Электронный ресурс. -2004. http://www.polar.mephi.ru/con£/2004/tez2004/bez.htm

5. Бендат, Дж. Прикладной анализ случайных данных Текст. / Бендат Дж., Пирсол А. Пер. с англ. М.: Мир, 1989. - 540 е., ил. - 19000 экз. - ISBN 5-03-001071-8.

6. Бенткус, Р. Оптимальные статистические оценки плотности распределения в присутствие априорной информации Текст. / Бенткус Р., Казбарас А. // Литовский математический сборник. T.XXII- 1982. -№3. С.29-40.

7. Богданов, Ю.И. Информация Фишера и непараметрическая аппроксимация плотности распределения Текст. // Заводская лаборатория. Диагностика материалов, т. 64. 1998. - N 7. С. 54-60.

8. Боровков, А.А. Курс теории вероятностей Текст. : для мат. и физ. специальностей вузов / М.: Наука, 1972. 287 с. - 75000 экз.

9. Ю.Боровков, А.А. Математическая статистика: Оценка параметров. Провека гипотез Текст. : учебное пособие для мат. и физ. спец. вузов / М.: Наука, 1984.-472 с.-23000 экз.

10. Вапник, В.Н. Восстановление зависимостей по эмпирическим д^^ым Текст. / М.: Наука, 1979. 5500 экз.

11. Вапник, В.Н. Непараметрические методы восстановления плотности вероятности Текст. / Вапник В.Н., Стефанюк А.Р. // Автоматика и телемеханика -1978. №8. С.38-52.

12. Вентцель, Е.С. Задачи и упражнения по теории вероятностей Текст. : Учеб.пособие для втузов / Е.С. Вентцель, JI.A. Овчаров. 4-е изд., пере-раб. и доп. - М.: Высш. шк., 2002. - 448 е.: ил. - 6000 экз. - ISBN 5-06004221-9.

13. Гольцов, Н.А. Некоторые обобщения методов конструирования алгоритмов прикладного численного анализа Текст. / М.: МГУ леса, 2001.- 64с.

14. Горбань, А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей Текст. / Сибирский журнал вычислительной математики. 1998. - Т.1, №1. С. 12-24.

15. Деврой, JI. Непараметрическое оценивание плотности. L. подход Текст]. / Деврой Л., Дьерфи Л. Пер. с англ. - М.: Мир, 1988. - 408 с. -4500 экз. - ISBN 5-03-000475-0.

16. Коварцев, А.Н. Численные методы Текст.: курс лекций / Самарский государственный аэрокосмический университет, 2000. 177 с. - 200 экз. -ISBN 5-7883-0116-5.

17. Комарцова, Л.Г. Нейрокомпьютеры Текст.: учеб. пособие для вузов / Ко-марцова Л.Г., Максимов А.В. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320 е., ил. (Сер. Информатика в техническом университете). - 3000 экз. -ISBN 5-7038-1908-3.

18. Крамер, Г. Математические методы статистики Текст. / Пер. с англ. А.С. Монина и А.А. Петрова, под ред. академика А.Н. Колмогорова. Изд. 2-е, стереотипное. М: Мир, 1975. - 648 с.

19. Кулаичев, А.П. Полное собрание сочинений Текст. В трех томах. Том 1. Методы и средства анализа данных в среде Windows. STADIA. / Изд. 3-е, перераб и доп. М.: Информатика и компьютеры, 1999. - 341 е., ил. -ISBN 5-279-1082-0.

20. Левин, Б.Р. Теоретические основы статистической радиотехники Текст. / 3-изд. перераб. и доп. М.: «Радио и связь», 1989. - 656 е.: ил. - 11000 экз. -ISBN 5-256-00264-3.

21. Надарая, Э.А. Непараметрическое оценивание плотности вероятности и кривой регрессии Текст. / Тбилиси: ТГУ, 1983. 194 с.

22. Надарая, Э.А. Об оценке плотности распределения случайных величин Текст. / Сообщ. АН ГССР. 1964. - Т.34. - № 2. - С. 277-280.

23. Прохоров, А.В. Задачи по теории вероятностей: Основные понятия. Предельные теоремы. Случайные процессы Текст.: учебное пособие / Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. М.: Наука, 1986. - 328 с.

24. Прохоров, С.А. Аппроксимативный анализ случайных процессов Текст. / Самара: СГАУ, 2001. 329 е.: ил. - 1000 экз. - ISBN 9965-01-958-4.

25. Прохоров, С.А. Математическое описание и моделирование случайных процессов Текст. / Самара: СГАУ, 2001. 329 с.

26. Прохоров, С.А. Программный комплекс корреляционно-спектрального анализа в ортогональных базисах Текст. / Прохоров С.А., Графкин А.В. -Самара: СНЦ РАН, 2005. 198 е.,ил. - 500 экз. - ISBN 5-93424-184-2.

27. Рытов, С.Н. Введение в статистическую радиофизику Текст. Часть 1. Случайные процессы / Изд. 2-е, перераб. и доп. М.: Наука, 1976. - 496 с. с илл. - 16000 экз.

28. Саратовский государственный технический университет Саратов, 2005.- С 30-34. Библиогр.: с.ЗЗ.

29. Солодянников, Ю. В. Математическая статистика Текст.: учебное пособие к спецкурсу. /4 1. Куйбышевский государственный университет, 1982.- 106 с.

30. Суетин, П.К. Классические ортогональные многочлены Текст. / Изд. 2-е, доп. -М.: Наука. Гл. ред. физ.-мат. лит-ры, 1979. 416 с. - 8000 экз.

31. Суетин, П.К. Ортогональные многочлены по двум переменным Текст. / М.: Наука. Гл. ред. физ.-мат. лит-ры, 1988. 384 с. - 3000 экз. - ISBN 502-13 757-Х.

32. Тебякин, В.П. Вероятностные методы в радиотехнике Текст.: учебное пособие / Куйбышевский авиационный институт, 1977. 152 с.

33. Терехов, В.А. Нейросетевые системы управления Текст.: учеб. пособие для вузов / Терехов В.А., Ефимов Д.В., Тюкин И.Ю. М.: Высш. шк. 2002.- 183 е.: ил. 5000 экз. - ISBN 5-06-004094-1.

34. Терехов, С.А. Нейросетевые аппроксимации плотности в задачах информационного моделирования Электронный ресурс. / Снежинск, 1998, http://alife.narod.ru/lectures/neural/Neu.htm.

35. Терехов, С.А. Лекции по теории и приложениям искусственных нейронных сетей Электронный ресурс. / Снежинск, 1994=1998, http://alife.narod.ru/lectures/neural/Neu index.htm.

36. Тихонов, А.Н. Методы решения некорректных задач Текст.: учебное пособие для вузов / Тихонов А.Н. Арсенин В.Я. Изд 3-е, исправленное. М.: Наука, 1986.-288 с.

37. Фаронов, В. Delphi 5 Текст.: учебный курс / М.: «Нолидж», 2001. 608 е., ил. - 5000 экз. - ISBN 5-89251-070-0.

38. Хайкин, С. Нейронные сети Текст.: полный курс / 2-е издание.: Пер с англ. М.: Издательский дом «Вильяме», 2006. - 1104 с.: ил. - Парал. тит. англ. - 2000 экз. - ISBN 5-8459-0890-6 (рус.).

39. Zeevi, A.J. Density Estimation Through Convex Combination of Densities: Approximation and Estimation Bounds Text. / Zeevi A.J., Meir R. // Neural Networks. 1996, v. 10, p.99-109.