автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Программный комплекс аппроксимации двумерных плотностей вероятности

На правах рукописи

Лёзин Илья Александрович

ПРОГРАММНЫЙ КОМПЛЕКС АППРОКСИМАЦИИ ДВУМЕРНЫХ ПЛОТНОСТЕЙ ВЕРОЯТНОСТИ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 4 СЕН 2009

Самара - 2009

003477397

Работа выполненав Государственномобразоватеяьномучревдении высшего профессионалшого образования «Самарский государственный аэроюсмический университет имени академика С.П. Королева» на кафедре информационных системи технологий

Научный руюводитель: заслуженный работник высшей школы РФ,

доктор технических наук, профессор Прохоров Сергей Антонович

Официальные оппоненты: доктор физико-математических наук,

профессор Радченга Владимир Павлович

доктор технических наук,

профессор Привалов Александр Юрьевич

Ведущая организация: ОАО «Самарский научно-технический комплекс

имени академикаН.Д. Кузнецова»

Защита состоится "16" октября 2009 г. в 13 часов на заседании диссертационного совета при Государственном образовательном учреждении высшего профессионального образования «Самарский государственный аэроюсмический университетимени академикаС.П. Королева» по адресу:443086,г. Самара, Московское шоссе, 34

С диссертацией можно ознакомиться в библиотеке Государственного образовательного учреждения высшего профессионального образования«Самарский государственный аэроюсмический университет имени академика С.П. Королева»

А вто реферат разослан "15" сентября 2009 г.

Ученый секретарь

диссертационного совета оО '¿12,215. О О'

д.т.н., профессор АА.Калентьев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Исследование параметров различных объектов зачастую дает результат в виде больших массивов однородной информации, являющихся результатом многократных повторений измерений либо сцелью повышения достоверности результата, либо сце-лыо накопления большого количества опытных данных об исследуемом предмете. При этом объем выборки может достигать огромных размеров, и оперировать им становится не очень удобно. Кроме то го, любые результаты несут в себе некоторую долю погрешности, вносимую по различным причинам. Если вусловиях конкретной задачи можно исходить из предположения о том, что данная выборка распределена по какому-либо загану, пусть даже нам неизвестному, то в таком случае можно перейти от хранения информации в виде числовых массивов к хранению закона распределения числового рада. Помимо удобства в хранении это позюлит:

а) использовать аналитическое выражение закона распределения для дальнейшего анализа,

б) уменьшить влияние случайных погрешностей при получении данных на реальных объектах, сглаживая результаты,

в) упростить получение вероятностных характеристик числовых выбороки прочие характеристики законов распределения, например, моду, вероятность попадания отсчета в заданную область, минимальные границы области с заданной вероятностью попадания, условные вероятности и тд., а также разбиение на отдельные составляющие в случае декомпозиции законов.

Аппроксимация плотностей вероятности методом моментов или параметрическими методами имеет некоторые недостатки, которые делают их неприменимыми в ряде случаев. Во-первых, мы не всегда можем предположить, какому именно закону под-чинша имеющаяся у нас выборка, а во-вторых, исследуемые плотности вероятности могут существенно отличатьсяотимеющегосянаборастандартных законов.

По этим причинам в качестве универсального метода восстановления аналитического выражения плотности вероятности можно предложить представление неизвестной плотности в виде суперпозиции базисных функций некоторого семейства с неизвестными коэффициентами. Такой подход нечувствителен к виду распределения входных данных,что расширяет область его применимости.

Предлагаемый метод основан на анализе исследуемой вьюорки, построении на ее основе двумерной гистограммы и вычислении некоторой непрерывной функции, проходящей через точки, вычисленные по столбцам гистограммы. В дальнейшем полученная гладкая функция может использоваться для нахождения числовых и функциональных характеристик выборки, а также для других видов анализа, оперирующих аналитическими выражениями плотности вероятности.

Данный метод может быть реализован с помощью аппроксимации плотности вероятности в некотором ортогональном базисе. Таким образом, неизвестная функция плотности вероятности будет представлена в виде конечной суммы ортогональных функций.

Кроме аппроксимации функций ортогональными радами в последнее время все больше внимания уделяется приближению функций многих переменных с помощью

линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными «устройствами» - нейронными сетями. Нейрон получает на входе вектор сигналов х, вычисляет его скалярное произведение на вектор весов w и некоторую функцию одного переменного. Результат пересылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций. Для решения задачи аппроксимации с применением нейронной сети следует спроектировать структуру сети, адекватную поставленной задаче. В данной работе используется ради ал ьно-базисная сеть, являющаяся универсальным ап-прокеиматором.

Разработке методов аппроксимации неизвестной плотности вероятности ортогональными радами и нейронными сетями, решению сопутствующих проблем и сравнению двух способов аппроксимации посвящена данная работа.

Вопросы разработки аппроксимативных методов и алгоритмов, а также вопросы, посвященные теории нейронных сетей в разное время исследовали Л.Деврой, Л.Дьерфи, ВЛ.Вапник, ЭАНадарая, САЛрохоров, ФЛ.Тарасеню, НН.Ченцов, М.Розенбл атг, А Н .Горбань, С.Х ай кин, С.О со вский и другие уч ен ые.

Анализ существующих современных автоматизированных комплексов математических расчетов (Statistica, SPSS, MalhLab, MathCad) показал, что они позволяют работать с одномерными ортогональными полиномами, однако в них отсутствуют алгоритмы представления функций, заданных в табличном виде, ортогональными радами. При этом аппроксимация двумерных функций вообще не рассматривается. Также эти комплексы требуют дополнительной настройки или программирования для решения конкретных задач.

Существует довольно много универсальных программных пакетов для работы с нейронными сетями (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolitions, BrainMaker). Однако для решения задач с помощью этих комплексов пользователь должен выполнить настройки нейронной сети (выбрать ее стру гауру, задать алгоритм обучения, подать на вход обучающие данные и т.д.), подходящие именно для конкретной решаемой задачи. Это, в свою очередь, требует от пользователя владения знаниями по теории нейронных сетей и умение программировать на языке используемого пакета.

В связи с этим актуальной представляется задача разработай алгоритмов аппроксимации д^мерных плотностей вероятности ортогональными функциями и нейросе-тевыми моделями, а также построения комплекса программ, реализующего эти алгоритмы.

Целью работы является разработка алгоритмов и нэмплекса программ для аппроксимативного анализа двумерных плотностей вероятности в ортогональных базисах, представленных произведениями одномерных функций Лежандра, Чебышева, Ла-герраи Эрмита, атакже с помощью аппроксимации радиально-базисными сетями.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи исследования:

• анализ и сравнение имеющихся материалов в области аппроксимации двумерных функций и восстановлениядвумерных плотностей вероятности;

• разработка алгоритмов аппроксимации дву мерных законов распределения с использованием ортогональных базисов и нейронных сетей;

• оценка результатов аппроксимации с помощью ]фитерия Пирсона и величины погрешности;

• создание программного комплекса, реализующего разработанные алгоритмы;

• исследование и сравнительный анализ результатов аппроксимации ортогональными функциями и нейронными сетями;

• проведение экспериментальных исследований по обработке реальных данных с целью практического внедрения комплекса программ.

Методы исследования, используемые в диссертации, основаны на положениях теории вероятности и математической статистики, теории случайных процессов, теории оптимизации и аппроксимации, методах имитационного моделирования, численных методах, теории нейронных сетей.

Научная новизна работы заключается в следующих положениях:

• предложены модифицированные формулы расчета рекомендуемого числа коридоров в гистограмме по правилу Сгёрджеса, методу Фридмана-Диашниса и методу Сютта для двумерного случая, а также выработаны рекомендации по выбору оптимального числа коридоров по осям;

• предложена методика аппроксимации двумерных плотностей вероятосга семействами дЕу мерных ортогональных функций, являющихся произведением одномерных ортогональных функций, с расчетом оптимальных значений коэффициентов масштаба для достижения минимума погрешности аппроксимации, а также предложена методика аппроксимации двумерных плотностей вероятности радиально-базисной сетью;

• предложена методика определения областей отрицательности полученных выражений и разработан ускоренный алгоритм нахождения базиса Грёбнера для решения систем двух полиномиальных уравнений с двумя неизвестными, а также разработана методика компенсации областей отрицательности функциями Гауссачерезлокализацию минимумов;

• выработаны рекомендации по применению предложенных моделей и выбору значений настраиваемых параметровдля решения конфетных задач.

Практическая ценность заключается в разработке алгоритмического и программного обеспечения автоматизированного программного комплекса аппроксимативного анализа, позволяющего решать следующие задачи:

• моделирование Д1умерных случайных последовательностей с заданным законом распределения, являющимся произведением стандартных одномерных законов;

• аппроксимация двумерных плотностей вероятности ортогональиыми функциями, являющимися произведениями одномерных ортогональных базисов Лежан-дра, Чебышева, Лагерраи Эрмита;

• аппроксимации двумерных плотностей вероятности радиально-базисными сетями;

• обеспечениеусловий неотрицательности и нормировки полученных вьфажений;

• обработка данных натурного эксперимента.

Положения, выносимые на защиту:

• двумерная модификация правил Сгёрджеса, Скотта и Фридман а-Диакониса для определения оптимального числа коридоров по осям гистограммы;

• методика и алгоритмы аппроксимации д^мерных плотностей вероятности ортогональными функциями, являющимися произведениями одномерных ортогональных функций Лежандра, Чебышева, Лагерра и Эрмита, с использованием пф вич но го приближения сплайнами;

• методика определения оптимальных значений коэффициентов масштаба при аппроксимации функциями Лагерраи Эрмита;

• ускоренный алгоритм нахождения базиса Грёбнера для решения системы двух полиномиальных уравнений с д^мя неизвестными;

• методика нахождения и компенсации отрицательно определенных областей полученного аппроксимирующего выражения;

• методика и алгоритмы аппроксимации д^мерных плотностей вероятности ра-диально-базисной сетью;

• программный комплекс аппроксимативного анализадвумерных плотностей вероятности ортогональными базисами и радиально-базисными сетями.

Внедрение результатов работы

Результаты работы внедрены в учебном процессе кафедры «Информационных систем и технологий» СГАУ при подготовке студентов по специальности 230102, а также в ООО «НТФ Протон» для исследования оптимальных пропорций компонентов при компаундировании бензинов.

Апробация работы

Основные положения и результатыработыдоклацывались и обсуждались наXXX Юбилейной Самарской областной студенческой научной конференции (Самара, 2004), международном симпозиуме «Надежность и качество» (Пенза, 2004), международной н^чно-технической конференции «Информационные, измерительные и управляющие системы (ИИУС-2005)» (Самара, 2005), международной научно-технической конференции, посвященной 110-летию изобретения радио и 75-летию Саратовского государственного технического университета «Радиотехника и связь» (Саратов, 2005), Всероссийской молодежной ночной конференции с международным участием «VIII Королевские чтения» (Самара, 2005), Всероссийской межвузовской научно-практической конференции «Компьютерные технологии в нау ке, практике и образовании» (Самара, 2005), третьей международной научно-технической кэнференции «Радиотехника и связь» (Саратов, 2006), научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006) (Самара, 2006), Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности» («АСТИНТЕХ-2007») (Астрахань, 2007), международной научно-технической конференции «Проблемы автоматизации и управления в технических системах» (Пенза, 2007), II межрегиональной нш/чно-практической конференции «Информационные технологии в высшем профессионалшом образовании» (Тольятти-Самара, 2007), четвертой международной научно-технической кэнференции «Радиотехника и связь» (Саратов, 2007), международном симпозиуме «Надежность и качест-

во» (Пенза, 2009), международной научно-технической конференции «Проблемы и перспективыразвитиядвигателестроения» (Самара, 2009).

Публикации

По результатам исследований опубликовано 18 печатных работ, в том числе 1 монография, 15 статей, из них 3 - в изданиях, определенных Высшей аттестационной комиссией Российской Федерации.

Объем и структура работы

Диссертация состоит из введения, трех глав и заключения. Основное (»держание работы изложено на 112 страницах, включая 20 рисунюв и 18 таблиц. Списокисполь-зо ванных источников включает 67 наименований, 1 приложение размещено на4 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы диссертации, определена цель работы, изложена научная новизна и практическая значимость полученных результатов, сфор мулиро ван ы о сно вн ые поло жения, выносимые на защиту.

В первой главе проанализированы основные принципы и особенности аппроксимативного подхода к решению задач обработки экспериментальной информации, рассмотрены эволюция и современное состояние существующих методов аппроксимации д^мерных функций ортогональными радами и моделями, построенными на использовании нейронных сетей, а также прочими методами параметрической аппроксимации.

Одной из самых сложных и плохо формализуемых задач, от правильного решения которой во многом зависит точность, достоверность полученных результатов, простота технической реализации, является выбор модели функциональной характеристики. Модель функциональной характеристики выбирается на основе априорной информа-циио свойствах процессаи может представлять собой:

• линейную комбинацию функций (аппроксимация функциями заданного вида);

• разложение в ряд по функциям определенного класса (аппроксимация степенными радами, экспоненциально-степенная, радами по дисперсиям производных, тригонометрическим многочленом (гармонический анализ),ортогональными полиномами и функциями, асимптотическими радами).

Существующие современные автоматизированные системы математических расчетов не позволяют аппроксимировать двумерные плотности вероятности в различных ортогональных базисах. В связи с этим разработка и реализация алгоритмов аппроксимативного анализа в различных ортогональных базисах и нейросетевых моделях (в нашем случае анализируются алгоритмы аппроксимации ортогональными функциями Лежандра, Чебышева, Лагерраи Эрмита) представляется обоснованной.

Во второй главе рассмотрены методы аппроксимации двумерных плотностей вероятности наоснове выборочных данных с помощью ортогональных функций и ради-ально-базисных сетей.

Для аппроксимации плотностей вероятности, определенных на прямоугольной области

й = {(х,у): а <х < Ь,с < у < с1}, (1)

рассмотрим ортонормированные функции по двум переменным

РЛ*,У) = Р.{*)3.(У), (2)

являющиеся произведениями одномерных ортогональных функций Р„(х) и б„(у), с весовой функцией с разделяющимися переменными

М (х,у) = ^г(х)/гу(у). (3)

Аппроксимирующее выражение в таком случае выгладит следующимобразом:

(4)

п.О т=0

Видыисследованных одномерных функций представлены в таблице 1.

Одномерный базис Аналитическое выражение

Полиномы Лежан-дра, [-1;1]

Полино мы Чеб ы-шева I рода, [-1;1]

Полиномы Чеб ьь шева II рода, [-1;1]

Функции Лагерра, [0;») 5=0 (5!) -(¿-.г]!

Функции Эрмита, (- сс;+оо)

Коэффициенты перед функциями (х,у) рассчитываются по формуле:

А. = \\ЛХ,у)Г„ЛХ,УМХ>У)<Ь<1У, (5)

о

где /(х,у)— аппроксимируемая функция плотности вероятности.

Так как рассматриваемая задача подразумевает отсутствие исходного аналитического выражения для плотности вероятности, то данная функция представлена сплайн-моделью, построенной по двумерной гистограмме. То есть на практике мы имеем дело с билинейным или бикубическим сплайном либо сих производными, если строил ась не частотная, а кумулятивная гистограмма:

(6)

Рекомендациями по выбору количества столбцов в гистограмме являются модифицированные правила для одномерных гистограмм, расширенные для ДЕумерных случаев. Самыми широю распространенными в литературе для одномерных распределений являются правила Стёрджеса, Скотта и Фридмана-Диакониса. Их двумерные модификации представпеныуравнениями, решения которых определяются итеративно в цел ых числах и зависят от количества столбцов гистограммы мх и Му по осям.

Формула Стёрджеса:

мх = 1ов2 Му = —+ Мх + 1

Му = 1ов2 мх = \og.N 1ов2 Му _ + 1

Правило Скотта:

М, =

з.бТп?

N1

3.5 -Л5¥

(Хтах Хпу.г. )

м =

з.бТоу

N

з.5 4Ш

(Упт ~Уаю)

м, =

м„ =

2 /ОД(х)

'ЩЮущ-У*)

2ЮЯ{У)

3.5л/ОУ вар тиле

(8)

3.5

Правило Фридмана-Диакониса(/от(х)- интфквартальный размах):

2 • /ОЯ(г)

2 ■ /ОЯ(Х)

2-т(х)

(у--О

2-/0Я(г)

(9)

450 | 400 -! 350 300 Н 250 200 ■ 150 100 -50 0

I

■ И:

аг и в 1

(иии

6000 г^

5000

4000

3000 I, 2000 1000 Ц

о . 3

Рисунок 1 Рисунок2

Для расчета билинейного и бикубического сплайнов ну жен набор точек, через которые они проходят. Эти точки получаются построением двумерных гистограмм на основе выборочных данных (частотная нарис. 1 и кумулятивная нарис.2).

В общем случае область в определения семейства ортогональных функций и область Д определения плотности вероятности не совпадают. Поэтому необходимо ввести понятие семейств функций, ортонор миро ванных на произвольной прямоугольной области. Это достигается путем использования функций вида (2) в сочетании с коэффициентами переноса рх и ру и масштаба ах и аг:

х-рх у- Ру

•рх У-1

Подставляя выражение (6) в формулу (5), мы получаем формулу расчета коэффициентов разложения неизвестной плотности через аппроксимацию сплайн-модели Величина взвешенной погрешности определяется по формуле:

Д^" = \\{^\х,у)-Кх,у))г \\{^\х,у)У . (11)

И=0 №1=0

Поскольку для функций Лагерра и Эрмита невозможно без дополнительных исследований определить оптимальное значение коэффициента масштаба, представим коэффициенты разложения в общем виде как функции от неизвестных коэффициентов масштаба а, и а-

\dxdy. (12)

^а^Ь1 { «. ) { ау )

Погрешность (11) восстановления исходной функции в большой степени зависит от выбора коэффициентов масштаба. Если хотя бы на одной из осей для аппроксимации вьйираются ортогональные функции Лагерра или Эрмита, то возникает задача определения оптимального значения коэффициента масштаба(или фазу двух).

Остановимся на рассмотрении случая, когда по обеим осям выбраны функции Ла-герра или Эрмита. Задача оптимизации коэффициентов масштаба решается через минимизацию функции (11). Так как функции Лагерраи Эрмита имеют единичную весовую функцию и левая часть погрешности (11) становится константой, требуется минимизировать выражение:

(И)

л=0 т=0

Введем обозначение интефал а слагаемого сплайна для формулы (12):

1<?\а,Ъ)=\хкРяк)м,{*)**• (14)

Подставив в (13) формулу для расчета коэффициентов, получим:

\\2

->тт. (15)

-а

п=о..о^а у.о*-о/=о V а* а* / V ау ау

Посколыу для функций Эрмита выражение (15) нельзя представить в аналитическом виде, в общем случае задача минимизации решается численно. Напримф, можно воспользоваться методом Ньютона как алгоритмом наискорейшего спуска, обеспечивающим более быструю сходимость на широюм классе функций, чем остальные фа-диентные методы.

Полученное выражение плотности вероятности должно удовлетворять условию неотрицательной определенности и условию нормировки. Чтобы упростить решение этой задачи, нужно представить аппроксимирующее выражение в виде суммы мономов, а не суммы полиномов. В случае функций Лагфра и Эрмита это будет сумма произведений мономов на экспоненциальную функцию.

Представим функции из таблицы 1 для упрощения вычислений в виде:

Рк(х)=±Ь<?^<рАХ). (16)

где фх{х) - некоторая функция-сомножитель. Значения новых коэффициентов и вид сомножителей приведены в таблице 2.

Таблица2-Значенияновых коэффициентов ь\к) и вид сомножителей

Вид Коэффициенты мономов Сомножитель

Полиномы Лежандра, Чебьь шева ьМ _ К*-4'2 > (* ~ ~ че,пное, [0, иначе. 1

Функции Лагерра -X/ е /2

Функции Эрмита _ Км/2четное, [0, иначе.

Подставляя выражение(16),получим:

" " й

„,0„=о т]ахау

^ V а

Распоем внутренние скобки:

х-Р,

ЕС

у-Р,

у-Р.

/М=Ц

"=0 т=0

у-Р,

где пересчет коэффициентов осуществляется по формуле:

иМ

Перейдем к более краткому представлению вида

(х~рх\ {у-Р,

тл У ¥х\ -

и=0 т=0

где коэффициенты у„т вычисляются по формуле:

■V л/ п

(17)

(18)

(19)

(20)

(21)

Чтобы компенсировать области в О, на которых выражение (21) становится отрицательным, необходимо определить все экстремумы функции (21), в которых она принимает отрицательные значения. Определение точек, подозрительных на экстремум, сводится к решению следующей системы уравнений:

л=0 (22)

Системы полиномиальных уравнений в общем случае решаются построением базиса Грёбнера из базиса, составленного многочленами рассматриваемой системы, и решением системы уравнений, левые части которых являются многочленами, составляющими базис Грёбнера.

Рассмотрим новый ускоренный алгоритм нахождения базиса Грёбнера, усовершенствованный по отношению к алгоритму Бухбергера с целью минимизации вычио лительной сложности. Блок-схема алгоритма представлена на рисунке 3. Итак, пусть

К - поле вещественных чисел, к\х,у\ - кольцо многочленов от двух переменных с коэффициентами из К. Рассмотрим некоторый идеал I над кольцом многочленов, в иэ-торый входят полиномы из системы (22). Множество Я = является базисом идеала I. Зададимлексикографическоеупорядочение мономов в многочленах: х'-у* >*'■/' >я,)и(р, =д,)г>(р, >д„). (23)

РисунокЗ

Используя операции сложения и умножения над многочленами, входящими в базис Я, требуется редуцировать его так, чтобыпостроитьбазис Грёбнераидеала I. Введем понятие Б-полинома:

(24)

ЬТ{/) •" ¿Г(/у)

¿г(/) представляет старший терм многочлена /(х,у), а £См(/.,/у) равен наименьшему моному, который делится на старшие мономы многочленов /(л:,у) и /¡{х,у). Операцией редуцирования произюльного полинома /(х,у) из к[х,у\ относительно Я является нахождение такого минимального многочлена г(х,у), который вы-

ражается в виде:

/(*. У) ~>',г К*> У) =/(*.>•)-£ а. У)^ (*■ У) >

(25)

где а,(х,у)е К[х,у\ И /(х,у)е Я .

Базис Я можно назвать базисом Грёбнера, если длялюбых двух полиномов/(х,у)

и /¡(х,у) из Я выполняется условие:

0. (26)

При заданном лексикографическом упорядочении (23) базис Грёбнера будет со-ставл ен парой мно гочл ено в, удо вл егво ряющих у ело вию (26), вида:

я-1 тшо

/М'Ъ^у"-

Множество решений системы, составленной из полиномов (27), будет соответствовать множеству решений системы (22). Полиномиальные уравнения одной переменной решаются методом Дюранаг Кернер а.

Для каждого рассчитанного центра локальных минимумов {х,,у:} требуется определить функцию, юторая со о тветство вал а б ы сл еду ю щи м у ело ви ям: 1{х,у)</(х,у)Ух,уе01,

где Д задает некоторую область отрицательности в окрестностях локального минимума.

Скомпенсированное аппроксимирующее выражение примет вид:

х-РА {У-Ру

(28)

(29)

Отрицательную область д в окрестности точки \х1,у:} локализуем с помощью уравнения поверхности, сечениями которой являются эллипсы:

+ + С,„ )г + ктах+Ь,тту + с,тш )2 = 1. (30)

Ни рисунке 4 показана итерация определения неизвестных параметров большой и малой полуосей и для расчета коэффициентов эллипса(ЗО).

I 1

ктв.Л,™}

Рисунок4 13

В качестве компенсирующей наобласти D, используется функция Гаусса: /,(х,У) = . (31)

Ее параметр ырассчитываются из соображений минимизации объема:

v, = -yt,4J4|e"("V'''i"-"Vr'!--)/'T' dudv = du"\e";'lr?™''J dv = x-rtfmrIMak,<rf. (32)

Альтернативой аппроксимации ортогональными функциями является использование нейронных сетей. Для восстановления аналитического вьражения функции плотности вероятности из набора «узловых» точек используется алгоритм нейросетевой аппроксимации. В качестве базовой модели берется RBF-сетъ, нейроны скрытого слоя которой являются двумерными функциями Гаусса вида:

G{x,y) = e^-flí4r^'fl1. (33)

Эти функции используются для построения аппроксимирующей модели, которая выгл эдит сл еду ющим обр азо м:

/*М= % -Gt(x,y)= ч +1 щ . (34)

A=l k=1

Неизвестные коэффициенты wk, vxk, cxt, v t и cyk в выражении (34) являются настраиваемыми, а их значенияопределяются в процессе обучения нейронной сети.

Для определения коэффициентов сета используется градиентный алгоритм наискорейшего спуска, в котором для расчета вектора градиента применяется метод обратного распространения ошибки. На вход сети подаются координаты «узловых» точек \x¡,y¡\, а на выходе полученный результат сравнивается с ожидаемым значением в «узловой» точке. Корректировка весов производится по алгоритму обратного распространения ошибки. Основу алгоритма обучения составляет целевая функция ошибки, определенная для каждой обучающей пары (под парой понимается вектор входных значений координатной сетки и значение функции вточке):

Ee=\{Í",,-Gtb.yJ)-fkl,yJÍj. (35)

где G0{x,y)= 1.

Целью алгоритма обучения является минимизация значений целевой функции для каждой парыизобучающей выборки.

Если пороговые функции Gt(x,y) упрощенно представить в виде

<рР(иР)=е-''"\иР = (v^x.-cj+^y,-cj, (36)

то величин а о шибки будет рассчитываться по следующей формуле:

(37)

О

Так как метод является градиентным, для корректировки коэффициентов сети необходимо рассчитать вектор градиента. Конкретные компоненты градиента рассчитываются дифференцированием зависимости (35).

В первую очередь подбираются веса нейронов выходного слоя:

^ = «V - V ^ = ^ - V А, • ^ = П -17 • А, • )■ (38)

Эй». дмь

Здесь r¡ - обучающий коэффициент, значение которого изменяется в пределах (од) в зависимости от задачи и определяется эмпирически. Компоненты градиента относительно неизвестных коэффициентов нейронов афыгого слоя определяются по тому же принципу:

= = (39)

дск дск 8ск

Таким образом, оставшиеся коэффициенты рассчитываются по следующим формулам:

Cyj¡ = c„j, -1¡ ■ Д, • (w, - Сул), (40)

= 7 A-rfWHw = у,л + »7 ■ V ÍWj ~ су* У У i-

Все обучающие пары применяются по очереди в цикле, пока не закончилось заданное количество итераций либо величина ошибки не стала меньше определенной величины.

В третьей главе приведено описание разработанного комплекса программных средств, предназначенного для аппроксимативного анализа двумерных плотностей вероятности.

Система осуществляет аппроксимативный анализ, который позволяет производить аппроксимацию двумерных плотностей вероятности ортогональными функциями, являющимися произведениями функций Лежандра, Чебышева, Лагерраи Эрмита, а также с помощью рациально-базисных сетей. После аппроксимации система проверяет качество аппроксимации с помощью критерия Пирсона:

'иу х,+А*12у„ У (AÍ, У,*^/'1 Y

л, ЕЯ- í \f(^y)dxdy и í ¡f(x,y)JxJy

х1 = nT^-_L Уг = JVVi^!__L (41)

j \f{x,y)dxdy J \f(x,})dxdy

*,-Л*/2 ymal "^yj-Ay/2

В данной главе рассмотрены аспекты аппроксимации в различных базисах, проведены исследования методом имитационного моделирования и выданы рекомендации по выбору параметров аппроксимативной модели и методике аппроксимации тех или иных функций.

Данный программный комплекс используется при обработке результатов натурного экспфимента по оценке погрешности базирования соединения типа «ласточкин хюст» лопаток компрессора ГТД при установке в наладке ПОМКЛ-БЛИК с использованием координатно-измерительной машины.

КИМ DEA Global Performance 07.10.07 используется на кафедре производства двигателей летательных аппаратов СГАУ для измерения параметров различных деталей авиационных двигателей, в частности лопаток компрессора. С ее помощью для каждой лопатки проводится серия измерений, юторая дает набор результатов, являющихся координатами измерения определенных точек для нескольких сечений лопатки (ри-сунок5).

Рисунок5

Сцелью оценки качества измерений былапоставленазадача определения характеристик набора полученных значений. С помощью программного комплекса аппроксимативного анализа строится аналитическая модель для плотности вероятности, характеризующей распределение отклонений измеренных координат точек лопаток от их эталонных значений.

Измерения с помощью КИМ проводятся с базированием лопатки в приспособлении, аналогичном используемому на приборе ПОМКЛ-БЛИК, что означает наследо-ваниечасти погрешностей базирования из прибораПОМКЛ, который используется на ОАО «Моторостроитель».

Серии измерений, проведенных с помощью КИМ позволяют нам оперировать двумя наборами данных - набором отклонений измеренных машиной координат точек лопатоки набором отклонений измеренных координат точек контрольного эталона.

Каждая серия измерений представляет собой многофатный повтор снятая координат в заранее определенных точках. Отклонения полученных результатов от требуемых и есть тот набор данных, которым мы оперируем при оценивании погрешности измерений.

Погрешность, полученная при измерении эталона, является суммой ДЕух составляющих - погрешности базирования наладки ПОМКЛ в системе координат КИМ и погрешностью самой измерительной машины, которая допускает ошибки при снятии координат точек деталей. Погрешность же измерения точек на спинке и корьггце лопаток ГТД является более сложной, поскольку к у же имеющимся составляющим погрешности добавляется погрешность изготовления поверхности самой лопатки. Если обозначить указанные погрешности как случайные величины А и В, то через них можно оценить погрешность 2 = В-А изготовлениялопатокГТД.

Оперируя данными, полученными в ходе экспериментов, с помощью системы аппроксимации двумерных плотностей вероятности находим выражения плотностей /л(х.у) и /в(х,у) длядвумерных случайных величин А и В. Теперь величина погрешности 2 является суммой погрешностей - А и В.

Для упрощения аналитического выражен и я плотности вероятности компенсирующие функции, если они присутствуют, нужно разложить в ряд аналогичной длины в том же базисе, что был выбран для восстановления неизвестной плотности. Учитывая, что в случае аппроксимации плотностей вероятности распределения погрешностей используются функции Эрмита, искомая плотность вероятности в таком случае опре-

дшлется через известные выражения плотностей /_А(х,у) и /в(х,у). Процесс вычисления выражения сводится к вычислению интегралов в следующей формуле:

А/. К. М» к I "> °°

/:М= ¿¿ЁЁЕК-^^^С/у^Г^хУ 1 \х7к->у71-] ■

л»о™.о»«о /-0 .-О >0 (42)

После расчета интегралов, раскрытая скобок и приведения слагаемых выражение (42) приводится к виду (20). Используя данное выражение, можно определить различные хар актер истеки: точку с максимальной вероятностью, математичесгае ожидание, границы области, в которой измеренная х ар актер и ста ка окажется с заданной вероятностью, вероятность выходазапределызоныдопустимой погрешности и тд.

Подобным споообом решается задача компаундирования бензинов. По составу автомобильные бензины представляют собой смесь компонентов, получаемых в результате различных технологических процессов: прямой перегонки нефти, каталитического риформинга, каталитического крекинга и гидрофекинга вакуумного газойля, изомеризации прямогонных фракций, алкилирования, ароматизации термического крекинга, висбрекинга, замедленного коксования. Важнейшими показателями, характеризующими качество марочного бензина, являются октановое число П и плотность бензина р. Для того чтобы бензин имел соответствующий уровень качества, его октановое число и плотность должны находиться в заданных пределах. По скол ыу же бензин является смесью нескольких компонентов, то его характеристики напрямую зависят отхаракгерисшк компонентов.

Используя статистику по характеристикам продуктов переработки нефти, можно построить оценки двумерных плотностей распределениядляокганового числаи плотности, как связанных характеристик, любого из компонентов. Оперируя данными выражениями, можно рассчитать совместную плотность распределения д^х и более компонент моторных топлив, составленных в заданных пропорциях. Если два компонента рассматривать как некоторые случайные величины А и В, то их смесь в пропорциях г] А-г1 также является случайной величиной 2 = г]А + (\-г])В. Рассчитав плотности вероятностей для величин цА и (1 -ц)В, можно перейти к плотности вероятности случайной величины 2 аналогично вышеизложенной задаче слопатками ГТД. Так характеристики смеси можно оценить заранее без физического смешения компонентов топлив, а анализ значения коэффициента ц позволит рассчитать оптимальное соотношение компонентов в смеси. Данная методика внедрена в ООО «НТФ «Протон».

В рамках разработанного комплекса также есть возможность решать другие задачи. Например, использование радиально-базисных сетей для получения аппроксимативного выражения дает результат в виде суммы двумерных функций Гаусса. Если объектом обработки является многомодальное распределение, то вид полученного выражения позюляет выделить отдельные составляющие из общего выражения (разбить выражение на несколько сумм), решая задачу декомпозиции.

Таким образом, в третьей главе рассмотрены задачи, возможность для решения которых предоставляет предложенная методика аппроксимации и разработанный на ее основе программный комплекс.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

В диссертации решена актуальная задача по разработке алгоритмов и комплекс программ для восстановления аналитических выражений двумерных плотностей вере ятности по выборочным данным методом аппроксимативного анализа с использов; нием ортогональных базисов и радиально-базисной сети. Комплекс является сист< мой, открытой длядобавления новых алгоритмови для последующего развития.

Осно вные результаты работы состоят в следующем:

1. Исследованы имеющиеся материалы в области аппроксимации двумерны функций и восстановлениядЕумерных плотностей вероятности.

2. Разработаны двумерные модификации правил Сгёрджеса, Скотта и Фридман. Диакониса и предложен численный метод расчета оптимального числа коридоров mi то граммы в соответствии сданными правилами.

3. Разработана методика и алгоритмы аппроксимации дьумерных плотностей в< роятносга на прямоугольных областях ортогональными функциями, являющимис произведениями функций Лежандра, Чебышева, Лагерра и Эрмита, с использование первичного приближения сплайн-моделью.

4. Разработан ускоренный алгоритм нахождения базисов Грёбнера при решени систем из д^х полиномиальных уравнений сдвумя неизвестными.

5. Разработана методика компенсации отрицательно определенных областей дв> мерными функциями Гаусса.

6. Предложена методика аппроксимации двумерных плотностей вероятности ра-диально-базисными сетями.

7. Разработана структура, программноеи методическое обеспечение программного комплекса, реализованного на языке Object Pascal в среде визуального проектирования Delphi.

8. Произведен анализ результатов аппроксимации различными ортогоналшыми функциями и нейросетевыми моделями.

9. Получены рекомендации по использованию и настройке аппроксимативных мс дел ей в зави симо ста от вида аппро ксимиру емой х ар акгеристи ки.

10. Разработанные методы, алгоритмы и юмплекс программ внедрены учебном процессе СГАУ, что подтверждается соответствующим актом о внедрении, также использованы при обработке данных натурного эксперимента.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Монография

1. Прикладной анализ случайных процессов [Текст] / Под ред. Прохорова С.А Лёзин И А., ЛёзинаИБ. / СНЦ РАН, Самара, 2007.- 5.10 Автоматизированная система аппроксимативного анализа законов распределения ортогональными полиномами и нейросетевыми функциями.- CJ91-406.- ISBN 978-5-93424-283-2.

Статьи в изданиях, определенных ВАК России

2. Прохоров, С. А. Аппроксимация законов распределения ортогональными полиномами [Текст] / Прохоров С. А., Лёзин И А., Солдата ва И.В. // Вестник Самарского государственного технического университета. Серия Физию-математические науки №34 - 2005, с.128-136,- Библиогр.: с.136.

3. Прохоров, С. А. Определение функциональных хфакгеристик случайных процессов методами аппроксимации и нейросегевого анализа и их сравнение [Текст] / Прохоров С. А., Лёзин ИА., Лёзина И.В. // Вестник Самарского государственного технического университета. Серия Технические науки №33 - 2005, с.340-346.- Биб-лиогр.: с. 346.

4. Лёзин, И А. Разложение двумерных плотностей вероятности в ортогональных базисах [Текст] / Лёзин ИА. // Вестник Самарского государственного технического университета. Серия физико-математические науки №1 (18) —2009, с. 169-174,- Биб-лиогр.: с. 174.

Статьи в других изданиях

5. Прохоров, С. А. Автоматизированная система аппроксимативного анализа законов распределения случайных процессов [Текст] /Прохоров С. А., Солдатава И.В., Лёзин ИА. // Надежность и качество. Труды международного симпозиума. Под ред. Н.К. Юркова,-Пенза:Изд-во Пенз. гос.ун-та,2004., с.57-63.- Библиогр.: с.63.

6. Прохоров, С. А. Определение функциональных характеристик случайных процессов методами аппроксимации и нейросегевого анализа и их сравнение [Текст] / Прохоров С. А., Лёзин ИА., Лёзина И.В. // Информационные, измерительные и управляющие системы (ИИУС-2005). Материалы Международной научно-технической конференции, Самара, изд-ю Самарского государственного технического университета, 2005, с.270-272.- Библиогр.: с.272.

7. Солдатова, ОЛ. Применение нейросетевых моделей для аппроксимации временных радов полиномами [Текст] / Солдатова ОЛ., Лёзин ИА., Васильева Ю.В. // Радиотехника и связь. Материалы международной научно-технической конференции, посвященной 110-летию изобретения радио и 75-летию Саратовского государственного технического университета. Саратов, 2005,с. 12-16.- Библиогр.: с.16.

8. Прохоров, С. А. Сравнение качества восстановления функций различными нейросетевыми моделями [Текст] / Прохоров С. А., Лёзин ИА., Лёзина И.В. // Компьютерные технологии в науке, практике и образовании. Труды Всероссийской меж-Еузовской научно-практической конференции. Самара, изд-во Самарского государственного технического университета, 2005, с.59-62.- Библиогр.: с.62.

9. Лёзин, ИА. Декомпозиция сигналов с использованием нейросетевых моделей [Текст] / Лёзин И А. // Радиотехника и связь. Материалы третьей международной наг учно-техничесюй конференции. Саратов,2006, с.30-34.- Библиогр.: с34.

10. Лёзин, И А. Автоматизированный комплекс аппроксимации функций ортогональными полиномами и нейронными сетями [Текст] / Лёзин И А., Лёзина И.В., Прохоров С. А. // Перспективные информационные технологии в научных исследованиях, проектировании и обучении (ПИТ-2006). Труды научно-технической конференции с между народным участием. Том 1. Самара, 2006, с. 106-112. -Библиогр.: с.112.

П.Прохоров, С. А. Аппроксимация плотности вероятности случайных процессов ядерными функциями и ортогональными полиномами [Текст] /Прохоров С. А., Лёзин ИА., ЛёзинаИ.В., Соболева А.Е. //Инновационные технологии в управлении, образовании, промышленности «АСГИНТЕХ-2007»: материалы Всероссийской научной конференции 18-20 апреля 2007 г.: в 2 ч./ сост. И.ЮЛетрова. - Астрахань: Издательский дом«Астраханский университет», 2007.42, с. 136-139.- Библиогр.: с.139.

12. Прохоров, С. А. Автоматизированная информационная система аппроксимации ДЕу мерных плотностей вероятностей нейронными сетями [Текст] / Прохоров С. А., Лёзин И А., Лёзина И.В. // Проблемы автоматизации и управления в технических системах: труды Международной научно-технической конференции под ред. д.т.н., проф. МА.Щербакова. - Пенза, Информационно-издательский центр ПГУ, 2007, с.143-146.

- Библиогр.: с.146.

13. Лёзин ИА. Автоматизированный юмплекс аппроксимативного анализа двумерных законов распределения ортогональными полиномами и нейронными сетями [Текст] / Лёзин И А. //Информационные технологии в высшем профессиональном образовании: Сборник до кладов II межрегиональной научно-практческой конференции /Подред. OA. Тарабрина, A.B. Очеповского - Тольятга-Самара: Самарский государственный аэроюсмический университет, 2007, с.84-87.

Н.Прохоров, С. А. Аппроксимация двумерной плотности вероятности ортогональными полиномами [Текст] / Прохоров С. А., Лёзин И.А., Лёзина И.В. //Радиотехника и связь. Материалы четвертой международной научно-технич ее кой конференции. Саратовский государственный технический университет - Саратов, 2007, с. 1722,- Библиогр.: с22.

15. Лёзин ИА. Подбор оптимальных значений коэффициентов масштабирования при аппроксимации двухмерных функций [Текст] / Радиотехника и связь: сборник научных трудов,- Саратов: СГТУ,2008. С. 8-13.

16. Лёзин ИА. Нахождение минимумов двумерных функций при компенсации областей отрицательности плотности вероятностей [Текст] / Лёзин ИА., Лёзина И.В. // Надежность и качество: труды Международного симпозиума: в 2-х т. / под ред. Н.К. Юркова,- Пенза: Информационно-издательский центр ПензГУ,2009.-1 т., с. 336-338.

- Библиогр.: с338.- ISBN 978-5-94170-218-3.

Тезисы докладов

17. Лёзин, И А. Декомпозиция сигналов с использованием нейросетевых моделей [Текст] / Лёзин, И.А., под рук. Прохорова С. А. // Всероссийская молодежная научная конференция с международным участием «VIII Королевские чтения». Тезисы докладов. Изд-во Самарского государственного аэроюсмичесюго университета имени академика С.П. Королева, Самара,2005, с. 316.

18.Болотов, МА. Исследование погрешностей базирования в наладке ПОМКЛ-БЛИК в системе аппроксимативного анализа двумерных плотностей вероятности [Текст] / Болотов М.А., Жидяев А.Н., Лёзин ИА., Сурнэв О.С., Шитарев И.Л. // Международная научно-техническая конференция «Проблемы и перспективы развития двигателестроения». Материалы докладов. Изд-во Самарского государственного аэрокосмического университета имени академика С.П. Королева, Самара, 2009. - В 2 ч. 4.1, с. 173-174.

Подписано в печать 18.06.2009 г. Тираж 100 экз. Отпечатано с готового оригинал-макета СГАУ 443086, Самара, Московское шоссе, 34

Перечень условных обозначений и сокращений.

Введение.

1 Анализ методов аппроксимации двумерных плотностей вероятности

1.1 Методы аппроксимации двумерных плотностей вероятности ортогональными функциями.

1.2 Методы аппроксимации двумерных плотностей вероятности нейронными сетями.

Выводы и результаты.

2 Аппроксимация двумерной плотности вероятности.

2.1 Аппроксимация плотности вероятности ортогональными полиномами и функциями.

2.1.1 Двумерные ортогональные базисы.

2.1.2 Построение первичного приближения двумерным сплайном.

2.1.3 Вычисление коэффициентов разложения.

2.1.4 Вычисление оптимальных значений коэффициентов масштаба.

2.1.5 Компенсация отрицательных областей.

2.1.6 Нормализация выражения плотности вероятности.

2.2 Аппроксимация плотности вероятности нейронными сетями.

2.2.1 Подготовка сетки значений.

2.2.2 Построение аппроксимирующей модели.

2.2.3 Обучение нейронной сети.

2.3 Оценка результатов аппроксимации.

2.3.1 Оценка погрешности аппроксимации.

2.3.2 Проверка аппроксимирующего выражения с помощью величины погрешности и критериев согласия.

Результаты.

3 Программный комплекс аппроксимации двумерных плотностей вероятности.

3.1 Описание программного комплекса.

3.2 Исследование зависимости погрешности от параметров аппроксимации.

3.2.1 Задание оптимального числа коридоров.

3.2.2 Выбор аппроксимирующей модели.

3.3 Практическое внедрение программного комплекса.

3.3.1 Анализ погрешности измерения геометрических размеров лопаток газотурбинных двигателей.

3.3.2 Оценка качества смесей углеводородных топлив.

3.3.3 Декомпозиция законов распределения.

Выводы.

Исследование параметров различных объектов зачастую дает результат в виде больших массивов однородной информации, являющихся результатом многократных повторений измерений либо с целью повышения достоверности результата, либо с целью накопления большого количества опытных данных об исследуемом предмете. При этом объем выборки может достигать огромных размеров, и оперировать им становится не очень удобно. Кроме того, любые результаты несут в себе некоторую долю погрешности, вносимую по различным причинам. Если в условиях конкретной задачи можно исходить из предположения о том, что данная выборка распределена по какому-либо закону, пусть даже нам неизвестному, то в таком случае можно перейти от хранения информации в виде числовых массивов к хранению закона распределения числового ряда [4, 7, 8]. Помимо удобства в хранении это позволит: а) использовать аналитическое выражение закона распределения для дальнейшего анализа, б) уменьшить влияние случайных погрешностей при получении данных на реальных объектах, сглаживая результаты, в) упростить получение вероятностных характеристик числовых выборок и прочие характеристики законов распределения, например, моду, вероятность попадания отсчета в заданную область, минимальные границы области с заданной вероятностью попадания, условные вероятности и т.д., а также разбиение на отдельные составляющие в случае декомпозиции законов.

Аппроксимация плотностей вероятности методом моментов или параметрическими методами имеет некоторые недостатки, которые делают их неприменимыми в ряде случаев. Во-первых, мы не всегда можем предположить, какому именно закону подчинена имеющаяся у нас выборка, а во-вторых, исследуемые плотности вероятности могут существенно отличаться от имеющегося набора стандартных законов.

По этим причинам в качестве универсального метода восстановления аналитического выражения плотности вероятности можно предложить представление неизвестной плотности в виде суперпозиции базисных функций некоторого семейства с неизвестными коэффициентами. Такой подход нечувствителен к виду распределения входных данных, что расширяет область его применимости.

Предлагаемый метод основан на анализе исследуемой выборки, построении на ее основе двумерной гистограммы и вычислении некоторой непрерывной функции, проходящей через точки, вычисленные по столбцам гистограммы. В дальнейшем полученная гладкая функция может использоваться для нахождения числовых и функциональных характеристик выборки, а также для других видов анализа, оперирующих аналитическими выражениями плотности вероятности.

Данный метод может быть реализован с помощью аппроксимации плотности вероятности в некотором ортогональном базисе. Таким образом, неизвестная функция плотности вероятности будет представлена в виде конечной суммы ортогональных функций.

Кроме аппроксимации функций ортогональными рядами в последнее время все больше внимания уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными «устройствами» - нейронными сетями. Нейрон получает на входе вектор сигналов л:, вычисляет его скалярное произведение на вектор весов w и некоторую функцию одного переменного. Результат пересылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций. Для решения задачи аппроксимации с применением нейронной сети следует спроектировать структуру сети, адекватную поставленной задаче. В данной работе используется радиально-базисная сеть, являющаяся универсальным аппроксиматором.

Разработке методов аппроксимации неизвестной плотности вероятности ортогональными рядами и нейронными сетями, решению сопутствующих проблем и сравнению двух способов аппроксимации посвящена данная работа.

Вопросы разработки аппроксимативных методов и алгоритмов, а также вопросы, посвященные теории нейронных сетей в разное время исследовали Л.Деврой, Л.Дьерфи, В.Н.Вапник, Э.А.Надарая, С.А.Прохоров, Ф.П.Тарасенко, Н.Н.Ченцов, М.Розенблатт, А.Н.Горбань, С.Хайкин, С.Осовский и другие ученые [14, 15, 16, 17, 30, 46, 47, 48, 50, 54].

Анализ существующих современных автоматизированных комплексов математических расчетов (Statistica, SPSS, MathLab, MathCad) показал, что они позволяют работать с одномерными ортогональными полиномами, однако в них отсутствуют алгоритмы представления функций, заданных в табличном виде, ортогональными рядами. При этом аппроксимация двумерных функций вообще не рассматривается. Также эти комплексы требуют дополнительной настройки или программирования для решения конкретных задач.

Существует довольно много универсальных программных пакетов для работы с нейронными сетями (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolutions, BrainMaker). Однако для решения задач с помощью этих комплексов пользователь должен выполнить настройки нейронной сети (выбрать ее структуру, задать алгоритм обучения, подать на вход обучающие данные и т.д.), подходящие именно для конкретной решаемой задачи. Это, в свою очередь, требует от пользователя владения знаниями по теории нейронных сетей и умение программировать на языке используемого пакета.

В связи с этим актуальной представляется задача разработки алгоритмов аппроксимации двумерных плотностей вероятности ортогональными функциями и нейросетевыми моделями, а также построения комплекса программ, реализующего эти алгоритмы.

Целью работы является разработка алгоритмов и комплекса программ для аппроксимативного анализа двумерных плотностей вероятности в ортогональных базисах, представленных произведениями одномерных функций Лежандра, Чебышева, JIareppa и Эрмита, а также с помощью аппроксимации радиально-базисными сетями.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи исследования:

1. Анализ и сравнение имеющихся материалов в области аппроксимации двумерных функций и восстановления двумерных плотностей вероятности.

2. Разработка алгоритмов аппроксимации двумерных законов распределения с использованием ортогональных базисов и нейронных сетей.

3. Оценка результатов аппроксимации с помощью критерия Пирсона и величины погрешности.

4. Создание программного комплекса, реализующего разработанные алгоритмы.

5. Исследование и сравнительный анализ результатов аппроксимации ортогональными функциями и нейронными сетями.

6. Проведение экспериментальных исследований по обработке реальных данных с целью практического внедрения комплекса программ.

Методы исследования, используемые в диссертации, основаны на положениях теории вероятности и математической статистики, теории оптимизации и аппроксимации, методах имитационного моделирования, численных методах, теории нейронных сетей.

Научная новизна работы заключается в следующих положениях:

1. Предложены модифицированные формулы расчета рекомендуемого числа коридоров в гистограмме по правилу Стёрджеса, методу Фридмана-Диакониса и методу Скотта для двумерного случая, а также выработаны рекомендации по выбору оптимального числа коридоров по осям.

2. Предложена методика аппроксимации двумерных плотностей вероятности семействами двумерных ортогональных функций, являющихся произведением одномерных ортогональных функций, с расчетом оптимальных значений коэффициентов масштаба для достижения минимума погрешности аппроксимации, а также предложена методика аппроксимации двумерных плотностей вероятности радиаль-но-базисной сетью.

3. Предложена методика определения областей отрицательности полученных выражений и разработан ускоренный алгоритм нахождения базиса Грёбнера для решения систем двух полиномиальных уравнений с двумя неизвестными, а также разработана методика компенсации областей отрицательности функциями Гаусса через локализацию минимумов.

4. Выработаны рекомендации по применению предложенных моделей и выбору значений настраиваемых параметров для решения конкретных задач.

Практическая ценность заключается в разработке алгоритмического и программного обеспечения автоматизированного программного комплекса аппроксимативного анализа, позволяющего решать следующие задачи:

1. Моделирование двумерных случайных последовательностей с заданным законом распределения, являющимся произведением стандартных одномерных законов.

2. Аппроксимация двумерных плотностей вероятности ортогональными функциями, являющимися произведениями одномерных ортогональных базисов Лежандра, Чебышева, Лагерра и Эрмита.

3. Аппроксимация двумерных плотностей вероятности радиально-базисными сетями.

4. Обеспечение условий неотрицательности и нормировки полученных выражений.

5. Обработка данных натурного эксперимента.

Положения, выносимые на защиту:

1. Двумерная модификация правил Стёрджеса, Скотта и Фридмана-Диакониса для определения оптимального числа коридоров по осям гистограммы.

2. Методика и алгоритмы аппроксимации двумерных плотностей вероятности ортогональными функциями, являющимися произведениями одномерных ортогональных функций Лежандра, Чебышева, Лагерра и Эрмита, с использованием первичного приближения сплайнами.

3. Методика определения оптимальных значений коэффициентов масштаба при аппроксимации функциями Лагерра и Эрмита.

4. Ускоренный алгоритм нахождения базиса Грёбнера для решения системы двух полиномиальных уравнений с двумя неизвестными.

5. Методика нахождения и компенсации отрицательно определенных областей полученного аппроксимирующего выражения.

6. Методика и алгоритмы аппроксимации двумерных плотностей вероятности радиально-базисной сетью.

7. Программный комплекс аппроксимативного анализа двумерных плотностей вероятности ортогональными базисами и радиально-базисными сетями.

Внедрение результатов работы

Результаты работы внедрены в учебном процессе кафедры «Информационных систем и технологий» СГАУ при подготовке студентов по специальности 230102, а также в ООО «НТФ Протон» для исследования оптимальных пропорций компонентов при компаундировании бензинов.

Апробация работы

Основные положения и результаты работы докладывались и обсуждались на XXX Юбилейной Самарской областной студенческой научной конференции (Самара, 2004), международном симпозиуме «Надежность и качество» (Пенза, 2004), международной научно-технической конференции «Информационные, измерительные и управляющие системы (ИИУС-2005)» (Самара, 2005), международной научно-технической конференции, посвященной , 110-летию изобретения радио и 75-летию Саратовского государственного технического университета «Радиотехника и связь» (Саратов, 2005), Всероссийской молодежной научной конференции с международным участием «VIII Королевские чтения» (Самара, 2005), Всероссийской межвузовской научно-практической конференции «Компьютерные технологии в науке, практике и образовании» (Самара, 2005), третьей международной научно-технической конференции «Радиотехника и связь» (Саратов, 2006), научно-технической конференции с международным участием «Перспективные информационные технологии в научных исследованиях, проектировании и обучении» (ПИТ-2006) (Самара, 2006), Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности» («АСТИНТЕХ-2007») (Астрахань, 2007), международной научно-технической конференции «Проблемы автоматизации и управления в технических системах» (Пенза, 2007), II межрегиональной научно-практической конференции «Информационные технологии в высшем профессиональном образовании» (Тольятти-Самара, 2007), четвертой международной научно-технической конференции «Радиотехника и связь» (Саратов, 2007), международном симпозиуме «Надежность и качество» (Пенза, 2009), международной научно-технической конференции «Проблемы и перспективы развития дви-гателестроения» (Самара, 2009).

Публикации

По результатам исследований опубликовано 18 печатных работ, в том числе 1 монография, 15 статей, из них 3 — в изданиях, определенных Высшей аттестационной комиссией Российской Федерации.

Объем и структура работы

Диссертация состоит из введения, трех глав и заключения. Основное содержание работы изложено на 112 страницах, включая 20 рисунков и 18 таблиц. Список использованных источников включает 67 наименований, 1 приложение размещено на 4 страницах.

Основные результаты работы состоят в следующем:

1. Исследованы имеющиеся материалы в области аппроксимации двумерных функций и восстановления двумерных плотностей вероятности;

2. Разработаны двумерные модификации правил Стёрджеса, Скотта и Фридмана-Диакониса и предложен численный метод расчета оптимального числа коридоров гистограммы согласно данных правил;

3. Разработана методика и алгоритмы аппроксимации двумерных плотностей вероятности на прямоугольных областях ортогональными функциями, являющимися произведениями функций Лежандра, Чебышева, Лагерра и Эрмита, с использованием первичного приближения сплайн-моделью;

4. Разработан ускоренный алгоритм нахождения базисов Грёбнера при решении систем из двух полиномиальных уравнений с двумя неизвестными;

5. Разработана методика компенсации отрицательно определенных областей двумерными функциями Гаусса;

6. Предложена методика аппроксимации двумерных плотностей вероятности радиально-базисными сетями;

7. Разработана структура, программное и методическое обеспечение программного комплекса, реализованного на языке Object Pascal в среде визуального проектирования Delphi;

8. Произведен анализ результатов аппроксимации различными ортогональными функциями и нейросетевыми моделями;

9. Получены рекомендации по использованию и настройке аппроксимативных моделей в зависимости от вида аппроксимируемой характеристики;

10. Разработанные методы, алгоритмы и комплекс программ внедрены в учебном процессе СГАУ, что подтверждается соответствующим актом о внедрении, а также использованы при обработке данных натурного эксперимента.

Заключение

В диссертации решена актуальная задача по разработке алгоритмов и комплекса программ для восстановления аналитических выражений двумерных плотностей вероятности по выборочным данным методом аппроксимативного анализа с использованием ортогональных базисов и радиально-базисных сетей. Комплекс является системой, открытой для добавления новых алгоритмов и для последующего развития.

1. Айвазян, С.А. Прикладная статистика: основы моделирования и первичная обработка данных Текст. : справочное издание / Айвазян С.А., Енюков И.С., Мешалкин Л.Д. -М.: Финансы и статистика, 1983. 471 с. — 17000 экз.

2. Алексеев, В.Б. Теорема Абеля в задачах и решениях Текст. / М.: МЦНМО, 2001. 192 е., ил. - 3000 экз. - ISBN 5-900916-86-3.

3. Ахметшина, О.Р. Исследование метода построения плотности распределения с помощью проекционного оценивания Электронный ресурс. 2005. http://nit.miem.edu.ru/2005/sectionl/3.11 (m).htm.

4. Бендат, Дж. Прикладной анализ случайных данных Текст. / Бендат Дж., Пирсол А. Пер. с англ. М.: Мир, 1989. - 540 е., ил. - 19000 экз. - ISBN 503-001071-8.

5. Боровков, А.А. Курс теории вероятностей Текст. : для мат. и физ. специальностей вузов / М.: Наука, 1972. — 287 с. 75000 экз.

6. Боровков, А.А. Математическая статистика: Оценка параметров. Проверка гипотез Текст. : учебное пособие для мат. и физ. спец. вузов / М.: Наука, 1984.-472 с.-23000 экз.

7. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным Текст. / М.: Наука, 1979. 815 с. - 5500 экз.

8. Вапник, В.Н. Непараметрические методы восстановления плотности вероятности Текст. / Вапник В.Н., Стефанюк А.Р. // Автоматика и телемеханика -1978.-№8. С.38-52.

9. Вентцель, Е.С. Теория вероятностей Текст. / Учеб. для вузов. 7-е изд. стер. - М.: Высш. шк., 2001. - 576 е.: ил. - 10000 экз. - ISBN 5-06-003650-2.

10. Вентцель Е.С. Теория вероятностей и ее инженерные приложения Текст. / Вентцель Е.С., Овчаров JI.A. // М.: Наука, 1988. 416 с.

11. Гмурман B.E. Теория вероятностей и математическая статистика Текст. / М.: Высш. шк., 1977. 479 с.

12. Горбань, А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей Текст. / Сибирский журнал вычислительной математики. 1998. - Т.1, №1. С. 12-24.

13. Горбань, А.Н. Функции многих переменных и нейронные сети Текст. / Соросовский образовательный журнал. 1998. -№12. С. 105-113.

14. Деврой, Л. Непараметрическое оценивание плотности. Li — подход Текст. / Деврой Л., Дьерфи Л. Пер. с англ. М.: Мир, 1988. - 408 с. - 4500 экз. - ISBN 5-03-000475-0.

15. Доррер, М.Г. Аппроксимация многомерных функций полутораслойным предиктором с произвольными преобразователями Электронный ресурс. / http://neuroschool.narod.ru.

16. Дьяконов, В.П. MATLAB: Соврем, средство мат. моделирования процессов Текст. / Учебный курс. Спб. : Питер : Питер бук 2001. - 553 с. — ISBN 5-272-00276-8.

17. Коварцев, А.Н. Численные методы Текст.: курс лекций / Самарский государственный аэрокосмический университет, 2000. 177 с. - 200 экз. -ISBN 5-7883-0116-5.

18. Комарцова, Л.Г. Нейрокомпьютеры Текст.: учеб. пособие для вузов / Комарцова Л.Г., Максимов А.В. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320 е., ил. (Сер. Информатика в техническом университете). —'3000 экз. — ISBN 5-7038-1908-3.

19. Крамер, Г. Математические методы статистики Текст. / Пер. с англ. А.С. Монина и А.А. Петрова, под ред. академика А.Н. Колмогорова. Изд. 2-е, стереотипное. М: Мир, 1975. — 648 с.

20. Кулаичев, А.П. Полное собрание сочинений Текст. В трех томах. Том 1. Методы и средства анализа данных в среде Windows. STADIA. / Изд. 3-е, пе-рераб и доп. М.: Информатика и компьютеры, 1999. — 341 е., ил. - ISBN 5279-1082-0.

21. Лёзин И.А. Подбор оптимальных значений коэффициентов масштабирования при аппроксимации двухмерных функций Текст. / Лёзин И.А. // Радиотехника и связь: сборник научных трудов Саратов: СГТУ, 2008. С. 8-13.

22. Муха, B.C. Анализ многомерных данных Текст. / Монография // Мн.: УП «Технопринт», 2004. 368 с. -250 экз. - ISBN 985-464-676-9.

23. Надарая, Э.А. Непараметрическое оценивание плотности вероятности и кривой регрессии Текст. / Тбилиси: ТГУ, 1983. — 194 с.

24. Никифоров, А.Ф. Классические ортогональные полиномы дискретной переменной Текст. / Никифоров А.Ф., Суслов С.К., Уваров В.Б. — М.: Наука, 1985.- 1900 экз.

25. Осовский, С. Нейронные сети для обработки информации Текст. / Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2002. - 344 е.: ил. -3000 экз. - ISBN 5-279-02567-4.

26. Прасолов, В.В. Многочлены. — 2-е изд., стереотипное Текст. / М.: МЦНМО, 2001.-336 с: ил. 1000 экз.-ISBN 5-900916-73-1.

27. Прохоров, С.А. Аппроксимативный анализ случайных процессов Текст. / Самара: СГАУ, 2001.-329 е.: ил. 1000 экз. - ISBN 9965-01-958-4.

28. Прохоров, С.А. Математическое описание и моделирование случайных процессов Текст. / Самара: СГАУ, 2001. — 329 с.

29. Роджерс, Д. Математические основы машинной графики Текст. / Роджерс Д., Адаме Дж. // М.: Мир, 2001. 604 с. - ISBN 5-03-002143-4

30. Скворцов, Б.В. Электрофизические устройства контроля качества углеводородных топлив Текст. / Самарский государственный аэрокосмический университет имени академика С.П. Королева. Самара, 2000. — 264 с. — ISBN 5-7883-0127-0.

31. Солодянников, Ю. В. Математическая статистика Текст.: учебное пособие к спецкурсу. /4 1. Куйбышевский государственный университет, 1982. -106 с.

32. Суетин, П.К. Классические ортогональные многочлены Текст. / Изд. 2-е, доп. -М.: Наука. Гл. ред. физ.-мат. лит-ры, 1979. 416 с. - 8000 экз.

33. Суетин, П.К. Ортогональные многочлены по двум переменным Текст. / М.: Наука. Гл. ред. физ.-мат. лит-ры, 1988. 384 с. - 3000 экз. - ISBN 5-0213757-Х.

34. Терехов, В.А. Нейросетевые системы управления Текст.: учеб. пособие для вузов / Терехов В.А., Ефимов Д.В., Тюкин И.Ю. — М.: Высш. шк. 2002. — 183 е.: ил. 5000 экз. - ISBN 5-06-004094-1.

35. Терехов, С.А. Нейросетевые аппроксимации плотности в задачах информационного моделирования Электронный ресурс. / Снежинск, 1998, http://alife.narod.ru/lectures/neural/Neu.htm.

36. Терехов, С.А. Лекции по теории и приложениям искусственных нейронных сетей Электронный ресурс. / Снежинск, 1994-1998, http://alife.narod.ru/lectures/neural/Neuindex.htm.

37. Тихонов, А.Н. Методы решения некорректных задач Текст.: учебное пособие для вузов / Тихонов А.Н. Арсенин В.Я. Изд 3-е, исправленное. М.: Наука, 1986.-288 с.

38. Фаронов, В. Delphi 5 Текст.: учебный курс / М.: «Нолидж», 2001. 608 е., ил. - 5000 экз. - ISBN 5-89251-070-0.

39. Фихтенгольц, Г.М. Курс дифференциального и интегрального исчисления, том I Текст. / Под ред. Акилова Г.П., Невельсона М.Б. / М.: Издательство «Наука», 1970. 608 с. с илл. - 50000 экз.

40. Хайкин, С. Нейронные сети Текст.: полный курс / 2-е издание.: Пер с англ. — М.: Издательский дом «Вильяме», 2006. — 1104 с. : ил. — Парал. тит. англ. 2000 экз. - ISBN 5-8459-0890-6 (рус.).

41. Чистяков, В.П. Курс теории вероятностей Текст. / М.: Наука, 1978. 224 с.

42. Bicubic interpolation Electronic source. / http://en.wikipedia.org/wiki/Bicubicinterpolation.

43. Bosch, S. Algebra. 6 Text. / Bosch, S. // Auflage. Springer 2006.

44. Buchberger, B. Grobner Bases: an Algorithmic Method in Polynomial Ideal Theory Text. / Recent trends in multidimensional system theory, Reidel, Ed. Bose, 1985.

45. Buchberger's algorithm Electronic source. / 2001, http://www.geocities.com/famancin/buchberger.html.

46. Cubic Hermite spline Electronic source. / http://en.wikipedia.org/wiki/CubicHermitespline.

47. Durand-Kerner method Electronic source. / http://en.wikipedia.org/wiki/Durand-Kernermethod.

48. Faugere, J.C. A new efficient algorithm for computing Grobner bases (F4) Text. / Journal of Pure and Applied Algebra 139, 1-3 (June 1999), pp. 61-88.

49. Freedman, D. On the histogram as a density estimator: L2 theory Text. / Freedman, D. Diaconis, P. // Zeitschrift fur Wahrscheinlichkeitstheorie und verwandte Gebiet- 1981.

50. Properties of Groebner bases Electronic source. / 2001, http://www.geocities.com/famancin/gbproperties.html

51. Scott, David W. On optimal and data-based histograms Text. / Scott, David W. // Biometrika — 1979.

52. Sturges, H.A. The Choice of a Class Interval Text. / Sturges, H.A. // J. Amer. Statist. Assoc 1926.

53. Zeevi, A.J. Density Estimation Through Convex Combination of Densities: Approximation and Estimation Bounds Text. / Zeevi A.J., Meir R. // Neural Networks. 1996, v. 10, p.99-109.