автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Модели и алгоритмы идентификации и оценивания случайных последовательностей на основе вейвлетов и нейронечетких систем

На правах рукописи ои. -----

МЛГОЛА Дмитрий Степанович

МОДЕЛИ И АЛГОРИТМЫ ИДЕНТИФИКАЦИИ И ОЦЕНИВАНИЯ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ НА ОСНОВЕ ВЕЙВЛЕТОВ И НЕЙРОНЕЧЕТКИХ СИСТЕМ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на Соискание ученой степени кандидата технических наук

2 4 СЕН 2009

Комсомольск-на-Амуре - 2009

003477400

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Комсомольский-на-Амуре государственный технический университет» (ГОУВПО «КнАГТУ») на кафедре «Информационные системы».

Научный руководитель: доктор технических наук, профессор

Амосов Олег Семенович Официальные оппоненты: доктор физико-математических наук,

профессор

Чехонин Константин Александрович кандидат технических наук, доцент Черный Сергей Петрович Ведущая организация: Институт автоматики и процессов управления ДВО РАН, г. Владивосток

Защита состоится «16» октября 2009 г. в 1300 часов на заседании диссертационного совета ДМ 212.092.03 при Комсомольском-на-Амуре государственном техническом университете (ГОУВПО «КнАГТУ») по адресу: 681013, г. Комсомольск-на-Амуре, пр. Ленина, 27, ГОУВПО «КнАГТУ». С диссертацией можно ознакомиться в библиотеке ГОУВПО «КнАГТУ». Отзывы на автореферат в двух экземплярах, заверенных печатью, просим направлять по адресу: 681013, г. Комсомольск-на-Амуре, пр. Ленина, д. 27, ГОУВПО «КнАГТУ».

Автореферат разослан «Ц » сентября 2009 г

Ученый секретарь диссертационного совета, кандидат физико-математических наук

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Современное развитие различных областей человеческой деятельности характеризуется ростом в них информационной составляющей, представляющей собой опыт, накопленный при решении конкретных задач в прошлом. В настоящее время структура информационной составляющей такова, что получение на ее основе строгой математической модели посредством методов интерполяции или экстраполяции, сводящихся к задаче построения регрессионных уравнений, весьма затруднительно, а в некоторых случаях невозможно.. В условиях недетерминированной системы (где отсутствует четкая функциональная связь между причиной и следствием) накладываются значительные ограничения на использование распространенных методов системного анализа - например, статистики. В таких условиях хорошо зарекомендовали себя интеллектуальные системы, построенные на основе теории нечетких множеств и нейронных сетей (НС). Параллельно с интеллектуальными системами развивался аппарат вейвлетов, являющийся весьма эффективным средством локального представления сигналов как во временной, так и в частотной областях.

Каждый из методов интеллектуальных систем имеет свои достоинства и недостатки, что в отдельности позволяет с их помощью эффективно решать различные задачи. В последнее время наблюдается тенденция к комбинации различных подходов в гибридные интеллектуальные системы, которые позволяют расширить круг решаемых с их помощью задач. На стыке этих концепций появились новые конструкции, получившие название нечетких нейронных сетей и вейвлет-нейронных сетей, которые сочетают в себе гибкость и обучаемость нейронных сетей, возможности компактного описания сигналов, присущее вейвлетам и возможность построения прозрачных правил вывода решений на основе аппарата нечеткой логики.

В связи с этим актуальной является задача разработки моделей и алгоритмов обработки информации на основе вейвлетов, вейвлет-нейронных сетей и нейронечетких систем, способных функционировать в условиях априорной и текущей неопределенности.

Целью исследования является разработка современных моделей и алгоритмов с использованием вейвлетов и нейронечетких систем и комплекса программ на их основе для решения задач идентификации и оценивания случайных последовательностей.

В ходе достижения цели решались следующие задачи:

• разработка алгоритма оценивания случайных последовательностей с использованием вейвлетов;

• разработка алгоритма выбора вейвлета и типа порога для процедуры трешолдинга на основе аппарата нечеткой логики;

• разработка математической модели пользователя корпоративной информационной системы, модели и алгоритма идентификации пользователя на основе аппаратов нейронных сетей и вейвлетов;

• модификация алгоритмов обучения вейвлет-нейрона на основе градиентных методов;

• разработка математической модели и алгоритма реализации нечеткой вейвлет-нейронной сети;

• реализация- программных средств обеспечения имитационного моделирования разрабатываемых алгоритмов и моделей.

Основные методы исследования базируются на математическом аппарате теории нечетких множеств, искусственных нейронных сетей, теории вейвлетов, дискретной математики, математического анализа, методах вычислительной математики и математического программирования. Для практических исследований и алгоритмической обработки использованы среды «Math Works Matlab 7.5», «Borland С++ Builder 6.0».

Достоверность полученных в диссертации результатов подтверждается результатами вычислительных и натурных экспериментов.

Предмет исследования: модели и алгоритмы обработки информации на основе теории искусственных нейронных сетей, теории вейвлетов, теории нечеткой логики; алгоритмы и комплексы программ.

Научную новизну работы составляют:

- алгоритм оценивания случайных последовательностей на основе регрессии и вейвлетов;

- алгоритм определения материнского вейвлета и вида порога для трешолдинга на основе аппарата нечеткой логики;

- математическая модель пользователя корпоративной информационной системы;

- технология идентификации пользователя корпоративной информационной системы;

- модели и алгоритмы идентификации пользователя с использованием нейронных сетей и вейвлетов;

- модифицированные алгоритмы обучения вейвлет-нейрона на основе градиентных методов;

- математическая модель и алгоритм нечеткой вейвлет-нейронной сети, реализующие систему нечеткого вывода Сугено в виде пятислойной нейронной сети прямого распространения сигнала;

- алгоритмы и компьютерные программы для обработки одномерных, двумерных и трехмерных сигналов с использованием вейвлетов.

Научная и практическая значимость работы.

Основные результаты диссертационной работы были получены ав-

тором при проведении исследований, выполнявшихся в 2005 - 2009 гг.

Практическая ценность работы состоит в возможности использования ее результатов для решения задач идентификации и оценивания реальных случайных процессов в динамических системах различного назначения, в том числе, в системах управления, информационных системах и др. Практическая полезность подтверждается актом об использовании результатов при разработке и внедрении в эксплуатацию корпоративной информационной системы ФГОУ ВПО «АмГПГУ» и актом внедрения результатов в учебной деятельности ГОУВПО «КнАГТУ». В 2005 году издано пособие «Искусственные нейронные сети, нечеткие и экспертные системы: Лабораторный практикум», рекомендованное Дальневосточным региональным учебно-методическим центром в качестве учебного пособия для студентов специальностей «Прикладная информатика (по областям)», «Информационные системы и технологии» вузов региона; авторы: Амосов

0.С., Магола Д.С. С июля 2008 года функционирует сайт www.magdm.narod.ru, на котором размещены научные труды соискателя.

Положения, выносимые на защиту.

1. Алгоритм оценивания случайных последовательностей на основе регрессии и вейвлет-преобразования.

2. Алгоритм определения вида вейвлета и типа порога на основе аппарата нечеткой логики.

3. Математическая модель пользователя корпоративной информационной системы.

4. Модели и алгоритмы идентификации пользователя на основе нейронных сетей и вейвлетов.

5. Модифицированные алгоритмы обучения вейвлет-нейрона на основе градиентных методов.

6. Математическая модель нечеткой вейвлет-нейронной сети.

Апробация работы. Основные положения и отдельные результаты работы докладывались и обсуждались на научных конференциях: 35, 37 и 38 научно-технических конференциях студентов и аспирантов КнАГТУ (Комсомольск-на-Амуре, 2005 г., 2007 г., 2008 г.), научно-практической конференции «Информационно-коммуникационные технологии в образовании» (Хабаровск, 2007 г.), IX (Всероссийской) и X (Международной) научно-технических конференциях «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2008 г., 2009 г.), научно-практической конференции «Информационные и коммуникационные технологии в образовании и научной деятельности» (Хабаровск, 2008 г.), XI Санкт-Петербургской международной конференции «Региональная информатика-2008» (Санкт-Петербург, 2008 г.), региональной научно-практической конференции «Актуальные проблемы математики, физики, информатики в вузе и школе» (Комсомольск-на-Амуре, 2009 г.).

Публикации. Основное содержание диссертации отражено в 12 публикациях, приведенных в конце автореферата. В числе основных — 8 статей, из них 2 опубликованы в журналах, рекомендованных ВАК, 2 авторских свидетельства о регистрации программ для ЭВМ.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения и списка литературы, содержащего 118 наименований работ отечественных и зарубежных авторов. Объем диссертации составляет 125 страниц, включая 43 рисунка, 5 таблиц и 3 приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цель и задачи диссертационной работы, показана научная новизна, практическая ценность. Приведены основные положения, выносимые на защиту.

В первой главе приведен обзор и анализ современного состояния математических аппаратов искусственных нейронных сетей, нечетких систем, теории вейвлетов для решения задач обработки информации, в том числе для решения задач идентификации и оценивания.

Описан математический аппарат теории искусственных нейронных сетей, систем основанных на нечеткой логике и теории вейвлетов. Вклад в развитие искусственных нейронных сетей внесли такие ученные, как Мак-Каллок B.C., Питтс В.Х., Роземблат Ф., Кохонен Т., Хопфилд Дж., Танк Д., Фальман С.Е., Липман Р., Янг Дж., Вильяме Р., Зипсер Д, Херольт Дж., Джуттен К. и другие. Теории нечеткой логики посвящены работы Заде Л.А., Мамдани Е.Х., Такаги Т., Сугено М., Янга Дж., Ванга JL, Менделя Дж., Ларсена и других. Теории вейвлетов посвящены работы ученных Гроссмана А., Морле Дж., Добеши И., Малла С., Мейера Р., Лемарье П. и других.

Проанализированы математические методы и алгоритмы синтеза искусственных нейронных сетей и нечетких систем, синтеза искусственных нейронных сетей и вейвлетов. Дано изложение алгоритмов работы нечетких нейронных сетей и вейвлет-нейронных сетей, трудностей при их обучении и использовании. В конце первой главы представлены цели и задачи исследования.

Вторая глава посвящена использованию вейвлетов для оценивания случайных последовательностей, описанию этапов вейвлет-анализа, использованию нечетких систем для определения материнского вейвлета и типа пороговой обработки.

Несмотря на достоинства искусственных нейронных сетей, нечетких систем и гибридных сетей, использование аппаратов осложняется при обработке нестационарных стохастических последовательностей. Гибкую

технику обработки подобных сигналов дает теория вейвлетов. Вейвлет-анализ состоит из следующих шагов:

1. Выбирается достаточно высокий уровень разрешения j, такой, что аппроксимация Р (х) достаточно точно отражает функцию f(x). Функция/^ обычно задается массивом значений. Эти значения и берутся за начальное приближение Pj(J).

2. Выбирается глубина разложения ¡1 и находятся коэффициенты разложения {a^.d^.d^,,...,«!,}. Анализируются эти коэффициенты и изменяются в случае необходимости.

3. Восстанавливается функция f(x), с использованием, возможно, измененных коэффициентов разложения i = :

/« = M + lLdj^<Pj-f,,k(x) + ...+Y.dj-i>.'?^Ax)> Z=...,-1,0,1,....

*eZ UZ kzZ

В диссертации разработан программный комплекс для обработки одномерных, двумерных и трехмерных сигналов с использованием вейвлетов, состоящий из 4 модулей: «Вейвлет-анализ сигналов», «Fuzzy wavelet», «Regression Estimation 1-2-3-D», «Трехмерный вейвлет». С его помощью в диссертации пошагово рассмотрено нахождение аппроксимирующих и детализирующих коэффициентов на каждом уровне разложения сигнала.

Дано решение задачи оценивания случайных последовательностей с использованием регрессии и вейвлетов. Традиционными способами решения задач оценки состояния объекта по информации, получаемой в результате измерений, являются байесовский и классический (небайесовский) подходы, метод наименьших квадратов. Традиционным способам решения задач оценки состояния объекта посвящены работы Медича Дж., Тихонова В.И., Харисова В.Н., Ярлыкова М.С., Дмитриева В.Д., Степанова O.A., Девятисильного A.C. и др.

Новыми для задач оценивания являются подходы с использованием искусственных нейронных сетей и нечетких систем. Сравнительный анализ нейросетевых алгоритмов и алгоритмов на основе нечеткой логики с оптимальными в среднеквадратическом смысле традиционными алгоритмами показывает их возможность успешного применения при решении ряда сложных в вычислительном отношении задач оценивания, решаемых в рамках байесовской постановки. Этому направлению посвящены научные работы Хайкина С.Э., Степанова O.A., Амосова О.С., Осипова A.B. и др.

В диссертации предложен альтернативный алгоритм оценивания с использованием вейвлетов. Рассмотрена постановка традиционной задачи нерекуррентного оценивания и ее байесовское решение для линейного случая:

Пусть задана недоступная непосредственному наблюдению п-мерная случайная последовательность х,- =(x1;,...,xm)T,i = 0,1,... . Требуется, рас-

полагая статистически связанными с х( значениями т -мерной случайной последовательности измерений у у = ]=\к, найти оптималь-

ного в среднеквадратическом смысле оценку хик, минимизирующую критерий вида:

¿Ик = М[(*/ - *//*)*(*/ " *//*)] > С1)

где М — определяет операцию взятия математического ожидания.

Введем составной вектор измерений Ук = [у[, ..., у^, у£]т размерности к-т и определим оценку \цк как п-мерную вектор-функцию измерений:

Таким образом, суть рассматриваемой задачи оценивания заключается в нахождении некоторым обоснованным способом п -мерной векторной функции измерений Ь,(УА), исходя из условия минимизации критерия (!)•

Для критерия (1) оптимальная оценка хик представляет собой условное математическое ожидание

х,-д=М[х,/¥*] = Ь,(Ул), (2)

и Ь,- для произвольных случайных последовательностей х(, 1 = 0Д,... и у у, у =1Л: является в общем случае нелинейной относительно измерений функцией. Если г>к, задача называется задачей предсказания, если ¡=к, это задача фильтрации, а если ¡<к, - задача сглаживания или интерполяции.

В дальнейшем рассмотрена задача, в которой ¡=к.

Решение задачи оценивания как задачи регрессии

Из выражения (2), где нелинейная функция Ь, определена как условное математическое ожидание, следует, что задача нахождения функции Ь, может быть сведена к решению задачи регрессии. Выбор модели регрессии определяется предположением о форме нелинейной зависимости между векторами х, и У,. Будем искать зависимость х,7/ = Ь,(У,) с незаданным заранее типом функции Ь,-. Примем модель регрессии в виде

х^ВДО + е,-, (3)

где х,/; = Ь,(У,), а е, считается шумом.

Уравнение (3) называется регрессионным уравнением. Основная задача заключается в нахождении уравнения регрессии по выборочным данным векторов х,- =(х1,.,...,х„,)т и У,- =[у[, ..., у/4, уТ]\ УI = (УИ'->УтУ > >' = 0.1. которые запишем в виде

= (4)

Таким образом, речь идет об удалении шума е, в модели (3). В таких задачах вейвлетьг применяются достаточно эффективно.

Практическая работа по обработке и представлению реальных сигналов обычно базируется на трактовке всйвлет-преобразований в частотной области и позволяет плодотворно использовать аппарат частотной фильтрации и методы быстрого вейвлет-преобразования. Они основаны на пирамидальном алгоритме Малла и прореживании спектра вейвлетов по частоте. Главным результатом является вывод о соответствии вейвлет-коэффициентов коэффициентам передаточной характеристики низкочастотного и высокочастотного фильтров, что позволяет организовать эффективные, с точки зрений объема вычислений, процедуры вычислений коэффициентов вейвлетов.

Нахождение функции регрессии с использованием вейвлетов

Для поиска функции регрессии Ь; на основе вейвлетов предлагается свести общую проблему регрессии к классической модели регрессии.

Для упрощения выкладок без потери общности рассмотрим нахождение скалярной функции регрессии * = ¡¡(у) для двух случайных величин х и у. Модель регрессии (3) в этом случае примет вид х = к{у) + е.

Основные шаги для вычислений х = Ь(у) следующие.

1. Преобразуем выборочные данные {(л^.з^)}, / = 1 ■А' в данные

' = , используя процедуру разбиения области значений на малые промежутки. Значения у равномерно распределены. Для каждого /го промежутка, / = 1.Ь определяем

_ _ сумма{х^ таких, что у^ лежит в 1-ом промежутке} число {х*^ таких, что у^ лежит в 1-ом промежутке} с соглашением 0/0=0.

2. Делаем вейвлет-разложение сигнала Х[, I = \.Ь, используя быстрые алгоритмы, для нахождения вейвлет-коэффициентов.

3. Делаем пороговую обработку вейвлет-коэффициентов одним из методов для удаления шума е.

4. Восстанавливаем оценку = , 1 = IX функции И из обработанных вейвлет-коэффициентов, используя быстрые алгоритмы.

5. Перемасштабируем результирующую функцию х, = ^ (у/), преобразовывая каждое значение индекса / в данные у;, I =1.Ь и интерполируем /¡/(У/) в каждом промежутке 1, чтобы найти оценку х.

Алгоритмы вейвлет-оценнвания

Анализ процедуры поиска функции регрессии Ь,- показывает, что задачу оценивания можно рассматривать как задачу нахождения неизвестно-

го отображения (У|,С(), с помощью которого определяется оценка х]П аналогично выражению (2), т.е.:

= !.?(¥,.,С,), (5)

где матрица С,-={а;/,<1Л,(1А_1,...,с11}определяет массив аппроксимирующих коэффициентов, которые описывают сглаженный сигнал, и детализирующих коэффициентов, которые описывают колебания. В качестве входа для преобразования выступает вектор У,-, а выходом является вырабатываемая вейвлетом оценка х®,-.

Определение матрицы С, = {а^, <1^,,<1 ,..., с!,} осуществляется с использованием выборочных данных У/;')}, ^ = ЦУ в соответствии с описанной выше процедурой.

Для вейвлет-оценивания, аналогично нейросетевому подходу, можно также выделить два режима работы. Первый из них, режим нахождения функции регрессии с использованием вейвлетов при наличии выборочных данных (4) назовем режимом синтеза алгоритма. Второй режим работы -это штатный режим.

В первом режиме, с использованием обучающего множества отыскивается функциональная зависимость вида х®; = И® (У;,С,) в соответствии с заданным критерием. Другими словами, на этом этапе находятся коэффициенты вейвлет-разложения С,-. Значения коэффициентов Сг зависят от типа вейвлета, уровня разложения, алгоритма пороговой обработки и размера выборки. В качестве критерия работы вейвлет-алгоритма У, (С;) выберем функцию вида:

где ]|а||2 = ага; У/^.С,)- оценка, вырабатываемая вейвлетом по измерениям Ур', соответствующим эталонной реализации х^; С, - матрица аппроксимирующих и детализирующих коэффициентов сигнала для момента времени /.

В штатном режиме с использованием коэффициентов вейвлет-разложения С, в соответствии с выражением (5) отыскивается оценка по составному вектору измерений.

В качестве расчетной характеристики точности для оптимальной в среднеквадратическом смысле оценки может быть выбрана апостериорная матрица ковариаций ошибок, вычисляемая с помощью следующего соотношения:

Р^лф,-!,,,)^,-*,,,)*}. (6)

Известно, что для линейного случая, расчетная характеристика точности имеет вид

Ре = P*,i, - Pi,Y( (PYfY,- •

По аналогии с нейросетевым подходом, который рассмотрен в работах Степанова O.A., Амосова О.С., для исследуемого алгоритма после его синтеза характеристика точности оценивания, аналогичная матрице кова-риаций (6), может быть рассчитана как

1

Обработка сигналов с использованием аппарата вейвлетов осложняется первоначальным выбором вида вейвлета. Кроме того, для решения задачи шумоподавления используют пороговую обработку (трешолдинг) вейвлет-коэффициентов, которая осложняется первоначальным выбором типа пороговой обработки. От этого типа зависит качество шумоподавления сигнала, оцениваемое в отношении сигнал/шум. Для решения задачи определения вида вейвлета и выбора типа пороговой обработки предлагается использовать схему вейвлет-анализа, в которой с использованием нечеткой системы определяется вид вейвлета и тип порога при мягком или жестком трешолдинге.

Третья глава посвящена моделям и алгоритмам идентификации пользователя корпоративной информационной системы (КИС) с использованием нейронных сетей и вейвлетов. Разработана формальная математическая модель пользователя КИС, построенная на основе логики предикатов. Пусть р = [pi, р2, ..., p„Y — вектор зарегистрированных пользователей КИС; cJ = [cJi, с12, ...,cJmf - вектор параметров истинного «почерка» j-го пользователя КИС (эталонный вектор почерка j-го пользователя), j~l,2,...,n,; cJ-f(b\J), где bvJ - данные работы j-го пользователя в КИС, поступающие от сенсоров; /{bv J) - функция преобразования bvJ в вектор сс' =[ё kj, с к2, ..., с *„]т - вектор параметров «почерка» к-то потенциального пользователя КИС, k=l,2,...,rt2; г = [ri,r2,...,гл]т - вектор паролей (кодов) доступа пользователей р; а - ложный «почерк»; щ- количество зарегистрированных пользователей КИС; пх~ количество пользователей, желающих использовать КИС; m - количество параметров, определяющих «почерк» пользователя КИС. Тогда модель пользователя может быть выражена следующим образом:

ЗрЗс(г(р) л -.(с = а))

Под идентификацией пользователя КИС здесь понимается процесс сопоставления входного вектора с к, полученного от возможного пользователя КИС, эталонному вектору cJ.

Постановка задачи идентификации пользователя КИС: Необходимо по вектору входных параметров потенциального пользователя с* определить его принадлежность данной КИС с использованием критерия:

В общем случае, для получения доступа к определенным информационным ресурсам, пользователь «предоставляет» системе свой «почерк» в виде т-мерной случайной последовательности у, = (уц,--,Ут1У, ' = 1, 2,.... на основе которой, с использованием блока идентификации, аутентификации и авторизации предоставляется или блокируется доступ к запрашиваемым ресурсам.

В диссертации предложена технология идентификации пользователя КИС: в течение работы пользователя в КИС, на автоматизированном рабочем месте (АРМ) начинают функционировать службы определения «почерка» пользователя, которые по истечению заданного промежутка времени передают соответствующие данные пользователя на сервер, под условным названием «сервер безопасности». На сервере данные обрабатываются и на основе имеющих данных, хранящихся в соответствующей базе данных и знаний базы знаний, генерируется «ключ» подтверждения доступа данного пользователя в КИС, который передается на соответствующий АРМ. Данный «ключ» в свою очередь предоставляется службам идентификации пользователя КИС. В случае предоставления истинного «ключа» доступа, работа пользователя КИС не прекращается, в случае если «почерк» пользователя является ложным, генерируется ложный «ключ», предоставление которого работу пользователя блокирует. Для пользователя работа служб идентификации должна проходить в фоновом режиме. По мере работы пользователя в КИС данные и знания о пользователе должны пополняться и (или) редактироваться в соответствующих базах.

Для идентификации пользователя КИС предлагается использовать нейронные сети и вейвлеты. В качестве блока идентификации, аутентификации и авторизации, предлагается использовать НС, обученную на N примерах образа «Друг». Эта НС, исходя из данных о «поведении» пользователя в сети, воспроизводит пароль или код доступа, принадлежащий образу «Друг», предоставляя, таким образом, доступ пользователю. В случае, когда «поведение» пользователя не соответствуют образу «Друг», НС воспроизводит «ложный» пароль, при вводе которого, доступ блокируется.

Идея использования вейвлет-преобразования для идентификации заключается в следующем: данные «почерка» пользователя представляются в виде сигнала, который, с использованием вейвлетов, раскладываются до заданного уровня разложения. Затем, полученный массив аппроксимирующих коэффициентов желаемого уровня разложения преобразовывается

в код доступа с использованием специального ключа и специального, например криптографического, алгоритма. Кроме того, вейвлет-преобразование предлагается использовать также и на этапе предобработки данных для решения задачи удаления шума.

Результаты данного исследования использованы при разработке и внедрении в эксплуатацию корпоративной информационной системы ФГОУ ВПО «АмГПГУ».

Четвертая глава посвящена математическому моделированию и алгоритмам обучения вейвлет-нейронных сетей и нечетких вейвлет-нейронных сетей. Способность вейвлет-анализа обнаруживать хорошо локализованные изменения сигнала, способность нейронных сетей к обучению и способность нечетких систем функционировать в условиях неопределенности легло в основу комбинации данных математических аппаратов, что дает дополнительные преимущества при обработке сигналов. В основе вейвлет-нейронной сети лежит радиально-базисная НС с вейвлет-функциями, заключенными в вейвлет-нейронах. При подаче на вход вейв-лет-нейрона векторного сигнала х(к) = (х,(к),...,хп(к))т, где ¿-момент времени, на его выходе появляется скалярное значение

У(к) = ХШк)) = I ^(к)<р^(х,(к)), ¿=1 ;=1;=1

определяемое как настраиваемыми весами ^¿¡(к), так и используемыми вейвлет-функциями Здесь п — количество входов, к, — количест-

во вейвлет-нейронов, обрабатывающих г'-й вход.

В качестве критерия обучения вейвлет-нейрона используется квадратичная функция ошибки

т =\(у'т - У(к))2 = \е\к) = \[у\к) -11 м>л<Рл(х,(к))\

где у (к) - идеальный сигнал.

В качестве материнского вейвлета выбран вейвлет:

где т):(к) ---—, с ¡¡{к),а ¡¡{к) - параметры, определяющие поло-

жение центра (сдвига) и ширину (растяжение) вейвлета, тг — константа.

Эр, (*,(£)) с<р (хХк)) дЕ(к)

Вычислив частные производные —--,—----, ——,

дсм да- дн>м

8Е(к) дЕ(к)

—-, —алгоритм обучения веивлет-неирона по градиентному

дс^ да'

методу можно записать следующим образом:

Ч<('+1) = +140■ е(0' гг ■ ехр(-^.(0), < С/1.^ + 1) = су,(0 + 7с(0-^К(0-2гг-тр -а'' -ехр(-г;.(/)),

аЦ} +1) = о-;,(0 + ''2гг • г,,. • "ехр(-^(0),

где скалярные коэффициенты 7С(0>П'Т(() определяют шаг смещения

в пространстве настраиваемых параметров, / - номер итерации.

Алгоритм обучения вейвлет-нейрона по методу сопряженных градиентов:

с7,(/+1) = с/0->7с(0[-е«^(0-2тг -г,, -о* •ехр(-^((/))-... ...-а' -е(Г-1)м^-1)-2гг • туст;,1 • ехр(-^,(г-1))],

„. + «' .е(/-1>»//-1)-2г/. - г,, - (X, -1) - о, -1)) - ехр(-г^ |е(0 ■ ТГ ■ ехр(-г;((0)|2

где а"—---!—

Ц'Н(0' 2гг ■ тл ■ а) • ехр(-г* (0)Г

-г,-а'} .ехр(-г^-1))|2 ' [е(0^,(0 • 2гг • • (х,(0 -с„(0) • ехр(-^.(0)[2 \е(1 -1) (/ -1) ■ 2гг • г,, • (х, -1) - ср (Г -1)) • ехр(-г*, (/ -1))|2 ' Алгоритм обучения вейвлет-нейрона по методу тяжелого шарика:

'^,('+1) = *>(0 - «"(^(О - ™А< -1)) + -

—+7*(0 ■ е(0 ■ тг ■ ехр(""гу|(0)>

С+1)=^ (0 - «с (¿V, (/) - с, 0-1))+... ...+Т7с(0-е(0^7(0-2гг ту,. -о-; -ехр(-4(0),

<т;Ч/+1) = - <('-!))-...

•■•-'/"(0 • <')"„(') • 2гг - г, • (*,(0 - с„ (0) • ехр(-г;,(0). Проведенный обзор литературы показал, что практическому использованию вейвлет-нейронных сетей (ВНС) при исследовании реальных объектов корпоративных информационных систем, структурированных ка-

ст

сс

бельных систем и других систем не уделяется достаточное внимание. Поэтому в диссертации рассмотрено использование вейвлет-нейронной сети и нечеткой вейвлет-нейронной сети при исследовании реального объекта -входящего трафика одного из маршрутизаторов локальной вычислительной сети предприятия (рис. 1а). Среднеквадратичное отклонение (СКО)

ошибок аппроксимации, вычисляемое как ае = (1/п^Ау2(к))и2,

ы

Ау(к) = у\к)-у(к), гдеу*(к) - реальный сигнал КИС, у(к) - выход ВНС, п- количество входов, не превысило 0,02 Мб/с (рис. 16). В работе также рассмотрено использование ВНС при решении задачи аппроксимации случайного сигнала.

Рис. 1 -а) Реальный сигнал и результат работы ВНС б) ошибки аппроксимации ВНС

Предложена модель ANFIS (Adaptive-Network-based Fuzzy Inference System - адаптивная нейронечеткая сеть) с вейвлет-функциями принадлежности. Эта модель, названная AWNFIS (Adaptive-Wavelet-Network-based Fuzzy Inference System - адаптивная вейвлет-нейронечеткая сеть) реализует систему нечеткого вывода Сугено в виде пятислойной нейронной сети прямого распространения сигнала. Назначение слоев следующее: первый слой - термы входных переменных; второй слой - посылки нечетких правил; третий слой — нормализация степеней выполнения правил; четвертый слой - заключения правил; пятый слой - агрегирование результата, полученного по различным правилам.

Рассмотрено несколько примеров использования AWNFIS-технологии. Представлена модель, предсказывающая значение временно ряда через шесть интервалов времени x{t + 6) на основе предыдущих четырех наблюдений ряда: х(/ -18), x(t -12), x(t - 6), x(t). Данная задача для сравнения также решалась с помощью ANFIS с другими типами функций принадлежности. С помощью модели AWNFIS проведены исследования

реального объекта: входящего трафика одного из маршрутизаторов локальной вычислительной сети предприятия. Полученные результаты моделирования подтверждает эффективность комбинации преимуществ математических аппаратов искусственных нейронных сетей, систем нечеткой логики и теории вейвлетов при обработке случайных последовательностей.

В заключении описана апробация работы и приводятся ее основные результаты:

- разработан алгоритм оценивания случайных последовательностей на основе регрессии и вейвлетов;

- разработан алгоритм определения материнского вейвлета и вида порога для трешолдинга на основе аппарата нечеткой логики;

- разработана математическая модель пользователя корпоративной информационной системы;

- разработана технология идентификации пользователя корпоративной информационной системы;

- разработаны модели и алгоритмы идентификации пользователя корпоративной информационной системы с использованием нейронных сетей и вейвлетов;

- модифицированы 3 алгоритма обучения вейвлет-нейрона на основе градиентных методов. Рассмотрен пример использования вейвлет-нейронной сети для исследования реальной компьютерной сети предприятия;

- разработаны математическая модель и алгоритм реализации нечеткой вейвлет-нейронной сети, реализующие систему нечеткого вывода Су-гено в виде пятислойной нейронной сети прямого распространения сигнала. Рассмотрен пример использования нечеткой вейвлет-нейронной сети для исследования реальной компьютерной сети предприятия;

- созданы алгоритмы и компьютерные программы для обработки одномерных, двумерных, трехмерных сигналов с использованием вейвлетов.

Опубликованные работы по теме диссертации

1. Амосов, О.С. Модели и алгоритмы идентификации пользователя корпоративной информационной системы на основе нейронных сетей и вейвлетов /О.С. Амосов, Д.С. Магола // Информатика и системы управления. - 2008. - № 3(17). - С. 91-101.

2. Амосов, О.С. Оценивание случайных последовательностей с использованием регрессии и вейвлетов. /О.С. Амосов, Амосова Л.Н., Д.С. Магола //Информатика и системы управления. - 2009. - № 3(21). - С. 101-109.

3. Амосов, О.С. Математическое моделирование и программная реализация вейвлет-преобразования сигналов. /О.С. Амосов, Д.С. Магола// Труды научно-практической конференции «Информационно-коммуникационные технологии в образовании» Хабаровск, 21-23 нояб-

ря 2007. - С. 3-12.

4. Вейвлет-анализ сигналов: Св. 2008610136 Российская федерация/Магола Д.С., Амосов О.С. -№2007614335; заявл. 02.11.07; опубл. 09.01.08.

5. Амосов, О.С. Определение вида вейвлета с использованием нечеткого логического вывода. /О.С. Амосов, Д.С. Магола // Труды IX Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий»: 4.1 - Улан-Удэ, 24-29 марта 2008. С. 108-112.

6. Амосов, О.С. Применение нечеткого логического вывода при вейвлет-анализе сигналов. /О.С. Амосов, Д.С. Магола // Материалы межрегиональной научно-практической конференции «Информационные и коммуникационные технологии в образовании и научной деятельности» Хабаровск, 21-23 мая 2008. - С. 238-246.

7. Амосов, О.С. Модели и алгоритмы обучения вейвлет-нейронных сетей и нечетких вейвлет-нейронных сетей. /О.С. Амосов, Д.С. Магола // Труды X Международной научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий»: 4.2 - Улан-Удэ, 20-26 июля 2009. С. 388-392.

8. Fuzzy wavelet: Св. 2008612974 Российская федерация/Магола Д.С., Амосов О.С. -№2008610092; заявл. 09.01.08; опубл. 19.06.08.

9. Магола, Д.С. Технология идентификации пользователя корпоративной информационной системы. /Д.С. Магола // Материалы IV региональной научно-практической конференции «Актуальные проблемы математики, физике, информатики в вузе и школе» Комсомольск-на-Амуре, 24-25 марта 2009. - С. 26-29.

10. Магола, Д.С. Вейвлет-анализ для обработки случайных последовательностей. / Д.С. Магола, О.С. Амосов// Научно-техническое творчество аспирантов и студентов: материалы 37-й научно-технической конференции аспирантов и студентов (г. Комсомольск-на-Амуре, 3-17 апреля 2007г.): Ч. 1/ Редкол.: А.И. Евстигнеев (отв. ред.) и др. - Комсомольск-на-Амуре, 2007. -С. 159-160.

И. Магола, Д.С. Программный комплекс для работы с вейвлетами /Д.С. Магола, О.С. Амосов//Научно-техническое творчество аспирантов и студентов: материалы 38-й научно-технической конференции аспирантов и студентов (г. Комсомольск-на-Амуре, 3-17 апреля 2008г.): 4.2/ Редкол.: A.M. Шпилев (отв. ред.) и др.-Комсомольск-на-Амуре, 2008.-С. 138-139.

12. Амосов, О.С. Интегрированная информационно-коммуникационная система университета (на примере ФГОУ ВПО «АмГПГУ»), /О.С. Амосов, Елисеев М.Е., Суворов A.B., Д.С. Магола // Материалы IV региональной научно-практической конференции «Актуальные проблемы математики, физике, информатики в вузе и школе» Комсомольск-на-Амуре, 24-25 марта 2009. - С. 3-7.

МАГОЛА Дмитрий Степанович

Модели и алгоритмы идентификации и оценивания случайных последовательностей на основе вейвлетов и нейронечетких систем

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 10.09.2009. Формат 60x84/16. Бумага писчая. Печать офсетная. Усл. печ. л. 1,16. Уч.-изд л. 1,05. Тираж 100. Заказ 22636.

Отпечатано в полиграфической лаборатории ГОУВПО «Комсомольский-на-Амуре государственный технический университет» 681013, г. Комсомольск-на-Амуре, пр. Ленина, 27

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

ГЛАВА 1. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И АЛГОРИТМЫ ОБРАБОТКИ ИНФОРМАЦИИ НА ОСНОВЕ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И ТЕОРИИ ВЕЙВЛЕТОВ.

1.1. Искусственные нейронные сети и нечеткие системы.

1.1.1. Строение биологического нейрона.

1.1.2. Структура и свойства искусственного нейрона.

1.2. Комбинация нейронных сетей и систем, основанных на нечеткой логике.

1.3. Вейвлет-анализ.

1.4. Комбинация нейронных сетей и вейвлетов.

1.5. Задачи идентификации и оценивания.

1.6. Выводы, цель и задачи исследования.

ГЛАВА 2. ОБРАБОТКА СИГНАЛОВ НА ОСНОВЕ ВЕЙВЛЕТОВ И НЕЧЕТКИХ СИСТЕМ.

2.1. Оценивание случайных последовательностей с использованием регрессии и вейвлетов.

2.2. Применение нечеткого логического вывода при вейвлет-анализе сигналов.

2.2.1. Пример создания нечеткой системы определения вида вейвлета.

2.2.2. Пример создания нечеткой системы определения типа порога.

2.3. Выводы.

ГЛАВА 3. МОДЕЛИ И АЛГОРИТМЫ ИДЕНТИФИКАЦИИ ПОЛЬЗОВАТЕЛЯ КОРПОРАТИВНОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ И ВЕЙВЛЕТОВ.

3.1. Модели для идентификации пользователя КИС.

3.2. Использование нейронной сети для идентификации пользователя.

3.3. Использование вейвлетов для идентификации пользователя КИС.

3.4. Выводы.

ГЛАВА 4. МАТЕМАТИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ, АЛГОРИТМЫ ОБУЧЕНИЯ ВЕЙВЛЕТ-НЕЙРОННЫХ СЕТЕЙ И НЕЧЕТКИХ ВЕЙВЛЕТ-НЕЙРОННЫХ СЕТЕЙ.

4.1. Обработка информации на основе вейвлет-нейронных сетей.

4.1.1. Алгоритмы обучения вейвлет-нейрона.

4.1.2. Проверка адекватности математических моделей на основе данных натурного и вычислительного экспериментов.

4.2. Разработка модели нечеткой вейвлет-нейронной сети.

4.2.1. Компьютерное моделирование нечеткой вейвлет-нейронной сети

4.3. Выводы.

Современное развитие различных областей человеческой деятельности характеризуется ростом в них информационной составляющей, представляющей собой опыт, накопленный при решении конкретных задач в прошлом. В настоящее время структура информационной составляющей такова, что получение на ее основе строгой математической модели посредством методов интерполяции или экстраполяции, сводящихся к задаче построения регрессионных уравнений, весьма затруднительно, а в некоторых случаях невозможно. В условиях недетерминированной системы (где отсутствует четкая функциональная связь между причиной и следствием) накладываются значительные ограничения на использование распространенных методов системного анализа - например, статистики. В таких условиях хорошо зарекомендовали себя интеллектуальные системы, построенные на основе теории нечетких множеств и нейронных сетей [1-2, 28, 54, 56, 57, 82, 88-90, 103]. Параллельно с интеллектуальными системами развивался аппарат вейвлетов [40, 42, 48, 55, 58, 59, 61-63], являющийся весьма эффективным средством локального представления сигналов как во временной, так и в частотной областях.

Каждый из методов интеллектуальных систем имеет свои достоинства и недостатки, что в отдельности позволяет с их помощью эффективно решать различные задачи. В последнее время наблюдается тенденция к объединению различных подходов в гибридные интеллектуальные системы, которые позволяют усилить эффективность применения. На стыке этих концепций появились новые конструкции, получившие название нечетких нейронных сетей [28, 54, 78] и вейвлет-нейронных сетей [64, 80, 84, 110, 117], которые сочетают в себе гибкость и обучаемость нейронных сетей, возможности компактного описания сигналов, присущее вейвлетам и возможность построения прозрачных правил вывода решений на основе аппарата нечеткой логики.

Следует отметить, что в работах ученых не уделяется внимание вейвлет-оцениванию случайных последовательностей и формализации выбора вейвлета при вейвлет-анализе, в следствие чего вейвлет подбирается «вручную», буквально под каждую конкретную ситуацию; не достаточно освещена математическая задача идентификации пользователя информационной системы; процедуры обучения гибридных сетей, которые традиционно используются, имеют низкую скорость сходимости, что в свою очередь ограничивает их использование, особенно при работе в реальном времени.

В связи с этим актуальной является задача разработки методов и алгоритмов обработки информации на основе совместного использования теории нейронных сетей, теории вейвлетов и теории нечетких систем, имеющих повышенную скорость обучения, способных функционировать в условиях априорной и текущей неопределенности.

Вклад в развитие искусственных нейронных сетей внесли такие ученные, как МакКаллок B.C., Питтс В.Х., Роземблат Ф., Кохонен Т., Хопфилд Дж., Танк Д., Фальман С.Е., Липман Р., Янг Дж., Вильяме Р., Зипсер Д, Хе-рольт Дж., Джуттен К., Круглов В.В. и другие. Теории нечеткой логики посвящены работы Заде Л.А., Мамдани Е.Х., Такаги Т., Сугено М., Янга Дж., Ванга Л., Менделя Дж., Ларсена, Круглова В.В. и других. Теории вейвлетов посвящены работы ученных Гроссмана А., Морле Дж., Добеши И., Малла С., Мейера Р., Лемарье П., Смоленцева Н.К. и других.

Целью исследования является разработка современных моделей и алгоритмов с использованием вейвлетов и нейронечетких систем и комплекса программ на их основе для решения задач идентификации и оценивания случайных последовательностей.

В ходе достижения цели решались следующие задачи:

• разработка алгоритма оценивания случайных последовательностей с использованием вейвлетов;

• разработка алгоритма выбора вейвлета и типа порога для процедуры трешолдинга на основе аппарата нечеткой логики;

• разработка математической модели пользователя корпоративной информационной системы, модели и алгоритма идентификации пользователя на основе аппаратов нейронных сетей и вейвлетов;

• модификация алгоритмов обучения вейвлет-нейрона на основе градиентных методов;

• разработка математической модели и алгоритма реализации нечеткой вейвлет-нейронной сети;

• реализация программных средств обеспечения имитационного моделирования разрабатываемых алгоритмов и моделей.

Основные методы исследования базируются на математическом аппарате теории нечетких множеств, искусственных нейронных сетей, теории вейвлетов, дискретной математике, математического анализа, методах вычислительной математики и математического программирования. Для практических исследований и алгоритмической обработки использованы среды «Math Works Matlab 7.5», «Borland С++ Builder 6.0».

Научную новизну работы составляют:

- алгоритм оценивания случайных последовательностей на основе вейвлет-преобразования;

- алгоритм определения материнского вейвлета и вида порога для тре-шолдинга на основе аппарата нечеткой логики;

- математическая модель пользователя корпоративной информационной системы;

- технология идентификации пользователя корпоративной информационной системы;

- модели и алгоритмы идентификации пользователя с использованием нейронных сетей и вейвлетов;

- модифицированные алгоритмы обучения вейвлет-нейрона на основе градиентных методов;

- математическая модель и алгоритм реализации нечеткой вейвлетнейронной сети, реализующие систему нечеткого вывода Сугено в виде пя-тислойной нейронной сети прямого распространения сигнала;

- алгоритмы и компьютерные программы для обработки одномерных, двумерных и трехмерных сигналов с использованием вейвлетов.

Научная и практическая значимость работы:

Основные результаты диссертационной работы были получены автором при проведении исследований, выполнявшихся в 2005 - 2009 гг. Практическая ценность работы состоит в возможности использования ее результатов для решения задач идентификации и оценивания реальных случайных процессов в динамических системах различного назначения, в том числе, в системах управления, информационных системах и др. Практическая полезность подтверждается актом об использовании результатов при разработке и внедрении в эксплуатацию корпоративной информационной системы ФГОУ ВПО «АмГПГУ» и актом внедрения результатов в учебной деятельности ГОУВПО «КнАГТУ». В 2005 году издано пособие «Искусственные нейронные сети, нечеткие и экспертные системы: Лабораторный практикум» [2], рекомендованное Дальневосточным региональным учебно-методическим центром в качестве учебного пособия для студентов специальностей «Прикладная информатика (по областям)», «Информационные системы и технологии» вузов региона; авторы: Амосов О.С., Магола Д.С. С июля 2008 года функционирует сайт www.magdm.narod.ru, на котором размещены научные труды соискателя.

Публикации. Содержание диссертации отражено в 12 публикациях. В числе основных - 8 статей, из них 2 опубликованы в журналах, рекомендованных ВАК; 2 авторских свидетельства о регистрации программ для ЭВМ.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения и списка литературы, содержащего 118 наименований работ отечественных и зарубежных авторов. Объем диссертации составляет 125 страниц, включая 43 ри

4.3. Выводы

В данной главе получены следующие результаты:

1. На основе радиально-базисной нейронной сети представлена модель вейвлет-нейронной сети и вейвлет-нейрона.

2. На основе градиентных методов модифицированы алгоритмы обучения вейвлет-нейронов. Пример исследования реального объекта позволяет сделать вывод об адекватности предложенных моделей и алгоритмов.

3. На основе системы ANFIS предложена модель нечеткой вейвлет-нейронной сети AWNFIS. Пример исследования реального объекта позволяет сделать вывод об адекватности предложенной модели.

108

ЗАКЛЮЧЕНИЕ

В ходе диссертационного исследования были получены следующие результаты:

- разработан алгоритм оценивания случайных последовательностей на основе регрессии и вейвлетов. Рассмотрен пример вейвлет-оценивания скалярного процесса;

- разработан алгоритм определения материнского вейвлета и вида порога для трешолдинга на основе аппарата нечеткой логики. Рассмотрены примеры определения вида вейвлета и типа порога с использованием нечеткого вывода Мамдани;

- разработана формальная математическая модель пользователя корпоративной информационной системы;

- разработана технология идентификации пользователя корпоративной информационной системы;

- разработаны модели и алгоритмы идентификации пользователя корпоративной информационной системы с использованием нейронных сетей радиально-базисных функций и вейвлетов. Рассмотрены примеры идентификации пользователя с помощью нейронной сети радиально-базисных функций и ортогонального вейвлета Добеши;

- модифицированы 3 алгоритма обучения вейвлет-нейрона на основе градиентных методов. Рассмотрен пример использования вейвлет-нейронной сети для исследования реальной компьютерной сети предприятия;

- разработаны математическая модель и алгоритм реализации нечеткой вейвлет-нейронной сети, реализующие систему нечеткого вывода Сугено в виде пятислойной нейронной сети прямого распространения сигнала. Рассмотрен пример использования нечеткой вейвлет-нейронной сети для исследования реальной компьютерной сети предприятия;

- созданы алгоритмы и компьютерные программы для обработки одномерных, двумерных и трехмерных сигналов с использованием вейвлетов.

Свидетельства о регистрации программ для ЭВМ представлены в приложении С. В приложении D представлен код программы для обработки трехмерных сигналов с использованием вейвлетов.

Таким образом, в диссертации решена комплексная задача математического, и на его основе численного, моделирования обработки случайных последовательностей на основе теории вейвлетов, теории искусственных нейронных сетей и теории нечеткой логики.

Апробация работы. Основные положения и отдельные результаты работы докладывались и обсуждались на научных конференциях: 35, 37 и 38 научно-технических конференциях студентов и аспирантов КнАГТУ (Комсомольск-на-Амуре, 2005 г., 2007 г., 2008 г.), научно-практической конференции «Информационно-коммуникационные технологии в образовании» (Хабаровск, 2007 г.), IX (Всероссийской) и X (Международной) научно-технических конференциях «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2008 г., 2009 г.), научно-практической конференции «Информационные и коммуникационные технологии в образовании и научной деятельности» (Хабаровск, 2008 г.), XI Санкт-Петербургской международной конференции «Региональная информатика-2008» (Санкт-Петербург, 2008 г.), региональной научно-практической конференции «Актуальные проблемы математики, физики, информатики в вузе и школе» (Комсомольск-на-Амуре, 2009 г.).

Практическая полезность подтверждается актом об использовании результатов при разработке и внедрении в эксплуатацию корпоративной информационной системы ФГОУ ВПО «АмГПГУ» и актом внедрения результатов в учебной деятельности ГОУВПО «КнАГТУ». Акты об использовании и внедрении результатов представлены в приложениях А, В.

Научные труды соискателя размещены в сети Интернет на сайте [118].

1. Амосов, О.С. Интеллектуальные информационные системы. Нейронные сети и нечеткие система: учеб. пособие. / О.С. Амосов. Комсомольск-на-Амуре: ГОУВПО «КнАГТУ», 2005. - 106 с.

2. Амосов, О.С. Искусственные нейронные сети, нечеткие и экспертные системы. Лабораторный практикум: учеб. пособие. / О.С. Амосов, Д.С. Магола. Комсомольск-на-Амуре: ГОУВПО «КнАГТУ», 2005. - 100 с.

3. Амосов, О.С. Математическое моделирование и программная реализация вейвлет-преобразования сигналов. / О.С. Амосов, Д.С. Магола // Информационно-коммуникационные технологии в образовании: Сб. науч. трудов Хабаровск, 2008. - С. 3-12.

4. Амосов, О.С. Модели и алгоритмы идентификации пользователя корпоративной информационной системы на основе нейронных сетей и вейвлетов. / О.С. Амосов, Д.С. Магола // Информатика и системы управления. 2008. -№ 3(17). - С. 91-101.

5. Амосов, О.С. Оценивание случайных последовательностей с использованием регрессии и вейвлетов. / О.С. Амосов, JI.H. Амосова, Д.С. Магола // Информатика и системы управления. 2009. - № 3(21). - С. 101-109.

6. Астафьева, Н.М. Вейвлет-анализ: основы теории и примеры применения / Н.М. Астафьева // УФН-1996. Т. 166.- № 11 - С. 1145-1170.

7. Барский, А.В. Нейронные сети: распознавание, управление, принятие решений. / А.В. Барский. М.: Финансы и статистика, 2004.

8. Бодянский, Е.В. Искусственные нейронные сети: архитектуры, обучение, применения. / Е.В. Бодянский, О.Г. Руденко. Харьков: ТЕЛЕТЕХ, 2004. - 369 с.

9. Вейвлет-анализ сигналов: Св. 2008610136 Российская Федерация / Д.С. Магола, О.С. Амосов №2007614335; заявл. 02.11.07; опубл. 09.01.08.

10. Воробьев В. Теория и практика вейвлет-преобразования. / В. Воробьев, В. Грибунин. СПб.: Издательство ВУС, 1999.

11. Громыко, И.А. Общая парадигма защиты информации. / И.А. Громыко. // Защита информации. 2008. - № 1. - С. 12-18.

12. Добеши, И. Десять лекций по вейвлетам. / И. Добеши. М.: Ижевск: РХД, 2001.

13. Дремин, И. Вейвлеты и их использование. / И. Дремин, О. Иванов, В. Нечитайло. Успехи физических наук, 2001, т. 171, № 5, с. 465—561.

14. Дьяконов, В.П. Вейвлеты. От теории к практике / В.П. Дьяконов. М.: СОЛОН-Пресс, 2004. - 400 с.

15. Зегжда, П.Д. Обеспечение безопасности информации в условиях создания единого информационного пространства / П.Д. Зегжда // Защита информации. 2007. - № 4. - С. 28-33.

16. Иванов, А.И. Нейросетевое преодоление «проклятие» размерности, выход на «благодать» высокой размерности биометрических данных. / А.И. Иванов // Защита информации. 2007. - № 5. — С. 50-56.

17. Каллан, Р. Основные концепции нейронных сетей. / Р. Каллан. — М.: Вильяме, 2001.

18. Кеннеди, Дж. Нейросетевые технологии в диагностике аномальной сетевой активности. / Дж. Кеннеди; пер. с англ. НИП «Информзащита». 1999. www.citforum.ru.

19. Комарцова, Л.Г. Нейрокомпьютеры. / Л.Г. Комарцова, А.В. Максимов. — М.: МГТУ, 2004.

20. Круглов, В.В. Искусственные нейронные сети. Теория и практика. / В.В. Круглов, В.В. Борисов. М.: Горячая линия-Телеком, 2002. - 382 с.

21. Круглов, В.В. Нечеткая логика и искусственные нейронные сети. / В.В. Круглов, М.И. Дли, Р.Ю. Голунов. М.: Физматлит, 2001. - 224 с.

22. Лашунин, Д. Обзор программы «Соло на клавиатуре» / Д. Лашунин // http://www.aspirantura.spb.rU/artcl/l.html.

23. Левин, М. Криптография без секретов. / М. Левин. М.: Новый издательский дом, 2005.

24. Леоненков, А.В. Нечеткое моделирование в среде MATLAB и fuz-zyTECH. / А.В. Леоненков. СПб.: БХВ-Петербург, 2005. - 736 с.

25. Малоземов В. Быстрое вейвлетное преобра-зование дискретных периодических сигналов и изображений. / В. Малоземов, А. Певный, А. Третьяков. Проблемы передачи информации, 1998, т. 34. - № 5. - с. 465561.

26. Маркин, В.И. Логика предикатов / В.И. Маркин // Новая философская энциклопедия в 4-х т., т.2. М.: Мысль, 2000.

27. Медич, Дж. Статистически оптимальные линейные оценки и управление / Дж. Медич; пер с англ.; под ред. А.С. Шаталова. -М.: Энергия, 1973.

28. Новиков, Л. Адаптивный вейвлет-анализ сигналов / Л. Новиков. — Научное приборостроение, 1998, т. 9. № 2. - с. 35.

29. Оссовский, С. Нейронные сети для обработки информации. / С. Оссов-ский. М.: Финансы и статистика, 2002.

30. Ососков, Г. Применение вейвлет-анализа для обработки дискретных сигналов гауссовой формы. / Г. Ососков, А. Шитов. — Сообщение ОИЯИ Р11-97-347. Дубна, 1997.

31. Петренко, С.А. Проблема обнаружения компьютерных атак в критически важных инфраструктурах. / С.А. Петренко, А.В. Беляев // Защита информации. 2008. - № 2. - С. 32-36.

32. Пивкин, В.Я. Нечеткие множества в системах управления / В.Я. Пивкин, Е.П. Бакулин, Д.И. Кореньков // http://www.idisys.iae.nsk.su/fuzzy-book.

33. Провека правил политики безопасности для корпоративных компьютерных сетей / И.В. Котенко, А.В, Тишков, Е.В. Сидельникова, О.В. Черва-тюк // Защита информации. 2007. - № 6. — С. 52-59.

34. Райан, Дж. Обнаружение атак с помощью нейросетей. / Дж. Райан, Менг-Джанг Лин, Р. Миккулайнен; пер. с англ. А.В. Лукацкого, Ю.Ю. Цаплева. 2002. http://neurnews.iu4. bmstu.ru/book/security/inst.htm.

35. Романов, В.П. Интеллектуальные информационные системы в экономике: учебное пособие / В.П. Романов; под ред. Н.П. Тихомирова. М.: Изд-во «Экзамен», 2003. - 496 с.

36. Смоленцев, Н.К. Основы теории вейвлетов. Вейвлеты в MATLAB. / Н.К. Смоленцев. М.: ДМК, 2005. - 304 с.

37. Степанов, О.А. Байесовское оценивание с использованием нейронной сети / О.А. Степанов, О.С. Амосов // Авиакосмическое приборостроение. 2004.-№6.

38. Степанов, О.А. Нерекуррентное линейное оценивание с использованием нейронной сети / О.А. Степанов, О.С. Амосов // Математика, информатика, управление: Материалы III Всероссийской конференции, 29 июня— 1 июля 2004. Иркутск. 2004. С. 1-12.

39. Степанов, О.А. Применение теории нелинейной фильтрации в задачах обработки навигационной информации. / О.А. Степанов. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 1998. - 370 с.

40. Тихонов, В.И. Статистический анализ и синтез радиотехнических устройств и систем. / В.И. Тихонов, В.Н. Харисов. М.: Радио и связь,1991.-608 с.

41. Уланов В.А. Защита от DDoS-атак: механизмы предупреждения, обнаружения, отслеживания источника и противодействия / В.А. Уланов, И.В. Котенко // Защита информации. 2007. - № 2. - С. 70-77.

42. Уоссермен, Ф. Нейрокомпьютерная техника. / Ф. Уоссермен. М.: Мир,1992.

43. Чуй, К. Введение в вэйвлеты. / К. Чуй. М.: Мир, 2001.

44. Штовба, С.Д. Проектирование нечетких систем средствами MATLAB. / С.Д. Штовба. М.: Горячая линия-Телеком, 2007. - 288 с.

45. Яхъяева, Г.Э. Нечеткие множества и нейронные сети. / Г.Э. Яхъяева. — М.: Бином, 2006.

46. Altaisky, М. On Standard and Non-Standard Applications of Wavelet Analysis. / M. Altaisky. JINR Rapid Communications, vol. 74. - 1995, № 6, pp. 35-60.

47. Altaisky M. WASP (Wavelet Analysis of Secondary Particles distribu-tions) package. Long Write Up and User's Guide. // M. Altaisky, G. Ososkov, A. Soloviev, A. Shitov, A. Stadnik. — JINR Communication El0-2001-205, Dubna, 2001.

48. Amosov, O.S. Optimal Estimation by Using Fuzzy Systems / O.S. Amosov, L.N. Amosova // Proc. of the 17th IFAC World Congress, Seoul, Korea, July 6-11, 2008. pp. 6094-6099.

49. Antonini, M. Image coding using the wavelet transform. // M. Antonini, M. Barlaud, P. Mathieu, I. Daubechies. — IEEE Trans. Image Proc., vol. 1. — 1992, pp. 205-220.

50. Arneodo, A. Wavelet Transform of Multi-fractals. / A. Arneodo, G. Grasseau, G. Holschneider. Phys. Rev. Lett., vol. 61. - 1988, p. 2281.

51. Barclay, V.J. Application of Wavelet Transforms to Experimental Spectra: Smoothing, Denoising and Data Set Compression / V.J. Barclay, R.F. Bonner, I.P. Hamilton //Anal.Chem.1997.-V. 69, No.l. pp. 78-90.

52. Bodyanskiy, Ye. Learning wavelet neuron based on the RASP-function / Ye. Bodyanskiy, V. Kolodyazhniy, I. Pliss, O. Vinokurova // Radio Electronics. Computer Science. Control. 2004. - №1. - P.l 18-122.

53. Burrus, C. Sidney. Introduction to Wavelets and Wavelet Transforms. / C. Sidney Burrus, A. Gopinath Ramesh, Guo Haitao. Prentice Hall, New Jersey, 1998.-268 p.

54. Chui, C. A Tutorial in Theory and Applications. / C. Chui. — Academic Press Inc., 1992.

55. Cohen, A. Biorthogonal Bases of Compactly Supported Wavelets / A. Cohen, I. Doubechies, J.-C. Feanveau //Communications on Pure and Applied Mathematics, 1992-Vol. XLV-pp.485-560.

56. Cohen, A. Wavelets on the Interval and Fast Wavelet Transforms. / A. Cohen, I. Daubechies, P. Vial. Aplied and Computational Harmonic Analysis 1, 1993, pp. 54-81.

57. Daubechies, I. Orthonormal Bases of Compactly Supported Wavelets. / I. Daubechies. Comm. Pure. Apl. Math., vol. 41. - 1998, pp. 909-996.

58. Daubechies, I. Recent Results in Wavelet Applications. / I. Daubechies. — Proceedings of SPIE Aerosense Symposium, 1998, pp. 23-31.

59. Daubechies, I. The wavelet transform, time-frequency localization and signal analysis / I. Daubechies. // IEEE Trans. Inform. Theory . 1990. - Vol. 36. -pp. 961-1005.

60. Eide, E. Eye Identification for Face Recognition with Neural Networks. // E. Eide, C. Jahren, S. Jorgensen, T. Lindblad, C. Lindsey, K. Osterud. Norway, 1996.

61. Fuzzy wavelet: Св. 2008612974 Российская федерация, / Д.С. Магола, О.С. Амосов.-№2008610092; заявл. 09.01.08; опубл. 19.06.08.

62. Grossberg, S. Contour enhancement, short-term memory, and consistencies in reverberating neural networks. / S. Grossberg. Studies in Applied Mathematics 52:217, 257.-1973.

63. Grossmann A., Morlet J. Decomposition of Hardy Functions into Square Inte-grable Wavelets of Constant Shape / A. Grossmann, J. Morlet // SIAM J. Math. Anal. 1984. - vol. 15. - № 4. - pp. 723-736.

64. Hebb, D. Organization of behavior. / D. Hebb. New York: Science Edition. 1961.

65. Ivanov, P. Wavelets in medicine and Physiology. // P. Ivanov, A. Gold-berg, S. Halvin, C. Peng, M. Posenblum, H. Stanley. In Wavelets in Physics. -Cambridge University Press, 1999, pp. 391^-19.

66. Jang, J.-S.R. ANFIS: Adaptive-Network-Based Fuzzy Inference System / J.-S.R. Jang // IEEE Trans. Systems & Cybernetics. 1993. - vol. 23. - pp. 665-685.

67. Kaiser, G. Wavelet Filtering with the Mellin Transform. / G. Kaiser- Applied Mathe-matics Letters, 1996. vol. 9. - № 5. - pp. 69-74.

68. Kohonen, T. 1984. Self-organization and associative memory. Series in Information Sciences, vol. 8. Berlin: Springer Verlag.

69. Kosko, B. Fuzzy Systems as Universal Approximators / B. Kosko // IEEE Trans. On Computers. 1994. - vol. 43. - № 11. - pp. 1329-1333.

70. Kruger, N. Object Recognition with a Sparse and Autonomously Learned Representation Based on Banana Wavelets. / N. Kruger, G. Peters, C. Mals-burg. In-ternal Report IR-INI 96-11, Bochum Institit for Neuroinformatics, 1996.

71. Lekutai, G. Self-tuning control of nonlinear systems using neural network adaptive frame wavelets / G. Lekutai, H.F. van Landingham // Proc. IEEE Int. Conf. on Systems, Man and Cybernetics. Piscataway, N.J. - 1997. -vol. 2.-pp. 1017-1022.

72. Louis A. Wavelet Theory and Applications. / A. Louis, P. Maas, A. Reider. -John Wiley & Sons, 1997.

73. Mallat, S.G. A theory for multiresolution signal decomposition: The wavelet representation / S.G. Mallat // IEEE Trans, on Pattern Anal. Machine Intell. -1989.-11.-pp. 674-693.

74. Mallat, S.G. Muiliresolution approximation and wavelet orthonormal basis of LA2(R) / S.G. Mallat // Trans. AMS. 1989. - vol. 315. - pp. 69-87.

75. Mamdani, E.H. Advances in the linguistic synthesis of fuzzy controllers. / E.H. Mamdani. International Journal of Man-Machine Studies, 1976. -vol. 8. - pp. 669-678.

76. Mamdani, E.H. An experiment in linguistic on thesis with a fuzzy logic controller. / E.H. Mamdani, S. Assislian International Journal of Man-Machine Studies, 1975. - vol. 7. -№ 1. - pp. 1-13.

77. Mamdani, E.H. Application of fuzzy logic to approximate reasoning using linguistic synthesis. / E.H. Mamdani. IEEE Transactions on Computers, 1977. -vol. 26.-№12.-pp. 1182-1191.

78. Mandelbrot, B.B. Die fractale Geometrie der Natur. / B.B. Mandelbrot. -Basel: Birkhaeuser Verlag, 1991. 491 p.

79. Morev, S. Applying Wavelet Analysis Methods to Processing of Electrocar-diographical Data. / S. Morcv, G. Ososkov, F. Shitov. Proceedings of Rat-mino Summer School. Dubna, 2001, pp. 34-43.

80. Morlet, J. Sampling Theory and Wave Propagation in NATO ASI Series. — Issues in Acoustic signal / J. Morlet // Image processing and recognition. Vol. 1. Berlin, 1983, pp. 233-261.

81. Morlet, J. Wave Propagation and Sampling Theory // J. Morlet, G. Arens, I. Fourgeau, D. Giard. Geophysics, 1982. - vol. 47. - pp. 203-236.

82. Norgun, Erdol. Use of the wavelet transform in optimal receiver design / Er-dol Norgun, Basbug Filiz. // Applied Optics. 1994. - vol.33. - №23. -pp. 5303-5307.

83. Ososkov, G. Gaussian Wavelet Features and their Applications for Analysis of Discretized Signals. / G. Ososkov, F. Shitov. — Computer Physics Communications, 2000. vol. 126. - pp. 149-157.

84. Pen, W. Application of Wavelets to Filtering of Noisy Data. / W. Pen. In Wavelets: the Key to Intermittent Information? — Oxford University Press, 2000.

85. Rauch, H.E. Neural networks for Routing Communication Traffic / H.E. Rauch, T. Winarske // IEEE Control Syst. Mag., 1988. vol.8. - pp. 26-31.

86. Rosenblatt, F. Principles of neurodynamics. / F. Rosenblatt. New York: Spartan Books. 1962. (Русский перевод: Розенблатт Ф. Принципы нейродина-мики. М.: Мир, 1965.)

87. Sankar, К. Fuzzy Sets, and Classification. / К. Sankar, Mitra Sushmita, Per-ceptron Multilayer // IEEE Transactions on Neural Networks, 1992. -vol.3. -№5.-pp. 683-696.

88. Stepanov, O.A. Optimal Estimation by Using Neural Networks. / O.A. Stepanov, O.S. Amosov. Proceeding of the 16-th IFAC World Congress, Prague, Czech Republic July 3-8, 2005. 6 p.

89. Stotva, S. A fuzzy back propagation algorithm. / S. Stotva, A. Nikov // Fuzzy sets and systems, 112(2000) pp. 27-39.

90. Sugeno, M. Fuzzy measures and fuzzy integrals: a survey. / M. Sugeno. (in M.M. Gupta, G.N. Saridis, and B.R. Gaines, editors) Fuzzy Automata and Decision Processes, North-Holland, New York, 1977. pp. 89-102,

91. Sweldens, W. Wavelets and the lifting scheme: A 5 minute tour. / W. Sweldens. Zeitschrift fiir Angewandte Mathematik und Mechanik, (Suppl. 2), 1996. - vol. 76. - pp. 4H4.

92. Sweldens, W. Building your own Wavelets at Home (in Wavelets in Computer Graphics). / W. Sweldens, P. Schroder. ACM SIG-GRAPH Course Notes, 1996, pp. 15-87.

93. Sweldens, W. Factoring Wavelet Transforms into Lifting Steps. / W. Sweldens, I. Daubechies. Fourier Anal. Appl., 1998. - vol. 4. - №. 3. -pp. 247-269.

94. Sweldens, W. Wavelet Sampling Techniques. / W. Sweldens, R. Pissens -Proceedings of the Statistical Computing Section, American Statistical Association, 1993. pp. 20-29.

95. Sweldens, W. Wavelets: What Next? / W. Sweldens. Proceedings of the IEEE, 1996. - vol. 84. - № 4. - pp. 680-685.

96. Szu, H. H. Neural network adaptive wavelets for signal representatin and classification / H. H. Szu, B.A. Telfer, S. Kadambe. // Optical Engineering. -1992. 31. - № 9. - pp. 1907-1916.

97. Takagi, T. Fuzzy identification of systems and its applications to modeling and control. / T. Takagi, M. Sugeno. IEEE Transactions on Systems, Man, and Cybernetics, 1985. - vol. 15. - № 1. - pp. 116-132.

98. Turiel, A. Multifractal Wavelet Filter of Natural Images. / A. Turiel, N. Parga. Physical Review Letters, 2000. - vol. 85. - pp. 3325-3328.

99. Vetterli, Martin. Wavelets and Subband Coding. / Martin Vetterli, Jelena Kovacevic. // Prentice Hall, New Jersey, 1995, 430 p.

100. Zadeh, L.A. Fuzzy logic. / L.A. Zadeh. IEEE Transactions on Computers, 1988. -vol. 21. - № 4. - pp. 83-93.

101. Zadeh, L.A. The concept of a linguistic variable and its application to approximate reasoning. / L.A. Zadeh. Information Sciences, 1975. - vol. 8 — pp. 43-80.

102. Zadeh, L.A. Fuzzy sets. / L.A. Zadeh. Information and Control, 1965. -vol. 8.-pp. 338-353.

103. Zhang, Q. Wavelet networks / Q. Zhang, A. Benveniste. // IEEE Trans, on Neural Networks. 1992. - 3. - pp. 889-898.118. www.magdm.narod.ru интернет-сайт Магола Д.С.

104. Использование результатов диссертационной работы Д.С. Магола в учебном процессе позволяет улучшить качество подготовки специалистов, повысить уровень знаний по указанным курсам.124