автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование и разработка численных методов обучения нейронных сетей суперпозиционной линейно-нелинейной структуры

Введение

1 Исследование процесса нейросетевого моделирования и числен ных методов обучения нейронных сетей прямого распростране ния

1.1 Структура нейронных сетей прямого распространения

1.2 Исследование процесса нейросетевого моделирования.

1.3 Численные методы обучения нейронных сетей и их связь с методами оптимизации.

1.3.1 Постановка задачи обучения.

1.3.2 Численные методы обучения на основе методов безусловной оптимизации

1.3.3 Численные методы обучения на основе методов решения нелинейных задач о наименьших квадратах

1.3.4 Процедура обратного распространения ошибки . Постановка задач диссертационного исследования.

2 Разработка численных методов обучения нейросетевых моделей, учитывающих их суперпозиционную линейно-нелинейную структуру

2.1 Применение блочных рекуррентно-итерационных процедур в задачах обучения нейронных сетей

2.1.1 Использование блочных рекуррентно-итерационных процедур в обучении нейронных сетей.

2.1.2 Применение блочных процедур для последовательного наращивания структуры.

2.2 Использование базового линейно-нелинейного соотношения в процессе обучения.

2.3 Разработка численного метода обучения нейронных сетей на основе базового линейно-нелинейного соотношения.

2.3.1 Разработка метода обучения нейронных сетей стандартной структуры.

2.3.2 Распространение метода на многослойные многовыходные нейронные сети с нелинейной функцией активации в выходном слое.

Выводы.

3 Сравнительный анализ алгоритмических реализаций численных методов обучения

3.1 Разработка методики проведения вычислительных экспериментов по сравнению эффективности алгоритмов обучения

3.2 Структура программного комплекса для сравнительного исследования эффективности численных методов обучения

3.2.1 Алгоритмизация процесса исследования эффективности алгоритмов обучения.

3.2.2 Структура программного комплекса исследователя

3.3 Результаты сравнительного анализа эффективности алгоритмов обучения.

Выводы.

4 Управление ценовой политикой на основе использования ней-росетевых моделей

4.1 Разработка алгоритма принятия решений по управлению ценовой политикой предприятий.

4.2 Структура программного комплекса нейросетевого моделирования для решения практических задач.ПО

4.2.1 Алгоритмизация процесса практического использования нейронных сетей.

4.2.2 Структура программного комплекса нейросетевого моделирования

4.3 Моделирование спроса и оптимизация тарифной политики ОАО «Липецкэлектросвязь» на основе использования нейронных сетей.

4.3.1 Построение нейросетевой модели спроса населения на услуги междугородной связи.

4.3.2 Оптимизация тарифной политики ОАО «Липецкэлектросвязь»

Выводы

Актуальность темы. В настоящее время искусственные нейронные сети прямого распространения (НС ПР) все чаще используются для моделирования технических, социальных, экономических, экологических процессов. Широкая область применения НС ПР основывается на их способности аппроксимировать произвольные нелинейные функции с любой заданной точностью. Основной этап построения нейросетевых моделей заключается в их обучении — настройке весовых коэффициентов НС на основе обучающего множества. Задача обучения формализуется в виде нелинейной задачи о наименьших квадратах (НЗНК), для решения которой могут быть использованы как численные методы безусловной оптимизации, рассчитанные на широкий класс функций, так и методы, специально ориентированные на решение НЗНК.

НС ПР обладают суперпозиционной линейно-нелинейной по весовым коэффициентам структурой, что может быть использовано при разработке численных методов обучения, специально ориентированных на данный класс математических моделей. Такие методы в ряде случаев могут качественнее и эффективнее определять оптимальные значения весов нейросетевых моделей за счет учета специфики задачи обучения.

Из вышесказанного следует, что разработка и исследование численных методов обучения нейронных сетей суперпозиционной линейно-нелинейной структуры для построения адекватных моделей при решении практических задач являются актуальными проблемами, представляющими научный интерес.

Диссертационная работа соответствует научному направлению ЛГТУ «Исследование и разработка методов и алгоритмов прикладной математики для идентификации технологических и сопровождающих процессов».

Цель и задачи исследования. Целью диссертационной работы является повышение эффективности построения нейросетевых моделей за счет использования численных методов обучения нейронных сетей, максимально учитывающих их суперпозиционную линейно-нелинейную по весам структуру. В соответствии с данной целью были поставлены и решались следующие задачи:

- разработка численных методов обучения нейронных сетей прямого распространения, в максимальной степени учитывающих их суперпозиционную линейно-нелинейную по весам структуру;

- разработка программного комплекса, предназначенного для проведения вычислительных экспериментов по обучению НС, и проведение на его основе сравнительного анализа существующих и разработанных численных методов обучения, наиболее полно учитывающих специальную структуру НС;

- алгоритмизация процесса построения адекватных нейросетевых моделей и разработка программного комплекса для построения и практического применения НС при моделировании различных процессов;

- моделирование спроса населения на услуги междугородной телефонной связи (МТС) на основе использования нейросетевых моделей и оптимизация тарифной политики ОАО «Липецкэлектросвязь» с целями максимизации спроса населения на данные услуги и максимизации дохода.

Методы исследования. В работе использованы методы математического моделирования, теории нейронных сетей, теории оптимизации, линейной алгебры, численных методов, математической статистики, вычислительных экспериментов, объектно-ориентированного программирования.

Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:

- блочные рекуррентно-итерационные процедуры для обучения НС, позволяющие использовать разбиение вектора весов НС на части для их рекуррентного определения и использования преимуществ вычислительного характера при псевдообращении матриц малых размеров;

- численный метод обучения НС, основанный на блочных процедурах псевдообращения и базовом линейно-нелинейном соотношении, отличающийся использованием на каждой итерации аналитического соотношения для определения линейно входящих в модель весов;

- численный метод обучения НС, основанный на базовом линейно-нелинейном соотношении, наиболее полно учитывающий квадратичный характер минимизируемого функционала, суперпозиционную линейно-нелинейную по весам структуру нейросетевых моделей, позволяющий снизить размерность пространства оптимизируемых весов;

- алгоритм последовательного наращивания структуры НС для конструирования адекватных нейросетевых моделей, отличающийся использованием блочных рекуррентно-итерационных процедур.

Практическая ценность работы. Разработан программный комплекс для сравнительного исследования эффективности алгоритмов обучения нейросетевых моделей, базирующихся на численных методах безусловной оптимизации функций и методах решения НЗНК, а также на разработанных численных методах обучения НС ПР, основанных на базовом линейно-нелинейном соотношении и приводящих к снижению размерности пространства оптимизируемых весов.

На основе алгоритмов построения и выбора адекватных структур НС разработан программный комплекс для нейросетевого моделирования, в котором реализованы предложенные процедуры оптимизации ценовой политики предприятий с целью увеличения объема реализуемых товаров (предоставления услуг) и максимизации дохода от их реализации.

Реализация и внедрение результатов работы. Разработанный программный комплекс для нейросетевого моделирования и оптимизации ценовой политики, результаты моделирования спроса населения на услуги междугородной телефонной связи и оптимизации тарифов внедрены в деятельность ведущего оператора связи Липецкой области — ОАО «Липецкэлектросвязь».

Результаты диссертационной работы используются в учебном процессе ЛГТУ при изучении студентами специальности «073000 Прикладная математика» специальных дисциплин «Математическое моделирование», «Численные методы», «Методы оптимизации», при прохождении производственных практик, при выполнении курсовых и дипломных работ.

Апробация работы. Теоретические и практические результаты, полученные в процессе исследования, обсуждались на Молодежной научно-технической конференции ВУЗов центральной России (Брянск, 2000); V Международной электронной научной конференции «Современные проблемы информатизации в непромышленной сфере и экономике» (Воронеж, 2000); VI Международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (Воронеж, 2001); VII 1-Х Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2000-2002); V научно-практическом семинаре «Новые информационные технологии» (Москва, 2002); Международной конференции «IEEE International Conference on Artificial Intelligence Systems» (Таганрог, 2002); V Всероссийской научно-технической конференции «Нейроинформатика» (Москва, 2003); на семинарах, проводимых Липецким региональным отделением Российской ассоциации искусственного интеллекта (Липецк, 2000-2003).

Публикации. По материалам диссертационной работы опубликовано 14 работ, в том числе 8 без соавторов. В [17] и [18] лично автором разработан численный метод обучения, основанный на базовом линейно-нелинейном соотношении, для многослойных НС; в [19] предложено применение блочных рекуррентно-итерационных процедур в адаптивном обучении и конструировании нейросетевых моделей; в [20] разработано применение блочных рекуррентно-итерационных процедур при последовательном наращивании НС стандартной структуры; в [88] разработан программный комплекс для исследования эффективности численных методов обучения, приводящих к снижению размерности пространства оптимизируемых весов, и проведен сравнительный анализ с известными алгоритмами.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 105 наименований, 2 приложений. Основная часть работы изложена на 138 страницах машинописного текста, содержит 40 рисунков и 11 таблиц.

Основные результаты работы заключаются в следующем:

1. Предложено использование блочных рекуррентно-итерационных процедур для обучения НС, развивающих методы решения нелинейных задач о наименьших квадратах и позволяющих рекуррентно определять веса НС на основе разбиения вектора весов на части.

2. Разработан численный метод обучения НС, основанный на блочном псевдообращении и базовом линейно-нелинейном соотношении.

3. Разработан численный метод обучения НС на основе базового линейно-нелинейного соотношения, наиболее полно учитывающий квадратичный характер минимизируемого функционала и суперпозиционную линейно-нелинейную структуру.

4. Разработан программный комплекс для проведения вычислительных экспериментов с целью сравнительного анализа эффективности существующих и разработанных алгоритмов обучения.

5. Проведен сравнительный анализ существующих и разработанных с учетом базового линейно-нелинейного соотношения алгоритмов обучения на базе численных методов безусловной оптимизации функций и методов решения нелинейных задач о наименьших квадратах.

6. Разработан алгоритм последовательного наращивания структуры НС с целью построения адекватных нейросетевых моделей, использующий блочные рекуррентно-итерационные процедуры.

7. Разработан программный комплекс для построения адекватных нейросетевых моделей и их использования для оптимизации ценовой политики предприятий с целью максимизации спроса на реализуемые товары (предоставляемые услуги) и максимизации дохода.

8. Построена нейросетевая модель спроса населения на услуги междугородной телефонной связи в зависимости от уровней тарифов с использованием разработанного программного комплекса и проведена оптимизация тарифной политики ОАО «Липецкэлектросвязь» на данные услуги на основе построенной модели.

Возможности исследования методов обучения нейросетевых моделей суперпозиционной линейно-нелинейной структуры не исчерпаны. Можно выделить следующие направления, по которым может вестись работа:

- программная реализация методов обучения, основанных на использовании ВРИП, и сравнение их эффективности с существующими и БЛНС-алгоритмами обучения;

- исследование возможности безытерационного обучения НС на основе учета БЛНС для весов каждого слоя;

- распространение разработанных методов для обучения рекуррентных НС.

Заключение

Методы нейроматематики и нейроинформатики небезосновательно относятся к методам искусственного интеллекта. На основе использования нейросетевых моделей могут быть решены многие сложные технические, экономические и социальные задачи. Хотя НС являются на самом деле специфическим классом математических моделей, им присущи многие свойства, имеющие аналоги в живом мире: способность обучаться на предыдущем опыте, возможность находить качественные решения для ранее неизвестных задач, отказоустойчивость. Основой эффективного использования НС является их способность приближать любые нелинейные функции с произвольной точностью.

Для использования НС при решении практических задач требуется пройти несколько этапов, важнейшим из которых является обучение — настройка весовых коэффициентов на множестве известных вход-выходных данных — обучающем множестве. Качество построения модели закладывается именно в процессе ее обучения. В диссертационной работе проведено широкое исследование алгоритмов обучения суперпозиционной линейно-нелинейной структуры, наиболее часто используемых на практике.

1. Абаффи Й., Спедикато Э. Математические методы для линейных и нелинейных уравнений: проекционные ABS-алгоритмы / Пер. с англ.- М.: Мир, 1996.- 268 с.

2. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика.— 1995,— №4.— С. 106-118.

3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей.— М.: Финансы и статистика, 1985.— 487 с.

4. Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики.— М.: Юнити, 1998.— 1022 с.

5. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание / Пер. с англ.— М.: Наука, 1977— 224 с.

6. Арустамов А. Моделирование поведения рынка, 2001.— http://www.basegroup.ru/neural/mpr.htm

7. Асаи К., Тэрано Т., Сугэно М. и др. Прикладные нечеткие системы,— М.: Мир, 1993. 368 с.

8. Аттетков А.В., Галкин С.В., Зарубин B.C. Методы оптимизации (Сер. Математика в техническом университете; вып.XIV). — М.: Изд-во МГТУ им. Н.Э.Баумана, 2001 440 с.

9. Баканов М.И., Шеремет А.Д. Теория экономического анализа,— М.: Финансы и статистика, 1997,— 416 с.

10. Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы,— М.: Наука, 1987,- 600 с.

11. Блюмин С.Л., Миловидов С.П. Псевдообращение: Учебное пособие,— Воронеж: ВорПИ-ЛипПИ, 1990,- 72 с.

12. Блюмин С.Л., Миловидов С.П. Взвешенное псевдообращение: Учебное пособие,— Воронеж: ВорПИ-ЛипПИ, 1991.— 64 с.

13. Блюмин С.Л., Миловидов С.П., Погодаев А.К. Нелинейный метод наименьших квадратов и псевдообращение: Учебное пособие,— Липецк: ЛипПИ, 1992 80 с.

14. Блюмин С.Л., Погодаев А.К. Суперпозиционная регрессия // Журнал вычислительной математики и математической физики.— 1995.— Т. 35. № 10,- С. 1576-1581.

15. Блюмин С.Л., Погодаев А.К. Блочные рекуррентно-итерационные процедуры решения нелинейной задачи о наименьших квадратах // Журнал вычислительной математики и математической физики,— 1992,- Т. 32. № 8,- С. 1180-1186.

16. Блюмин С.Л., Самордин П.В. Рандомизированное моделирование технологических зависимостей: Учебное пособие,— Липецк: ЛГТУ, 1995,- 67 с.

17. Блюмин С.Л., Сараев П.В. Алгоритм Голуба-Перейры в обучении искусственных нейронных сетей // Нейроинформатика и ее приложения: Материалы VIII Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2000.- С. 18-19.

18. Блюмин С.Л., Сараев П.В. Адаптивное рекуррентно-итерационное обучение искусственных нейронных сетей // Современные проблемы информатизации в технике и технологиях: Труды VI Международной открытой научной конференции,— Воронеж: ВЭПИ, 2001,— С. 87-88.

19. Блюмин С.Л., Сараев П.В. Рекуррентно-итерационные процедуры для адаптивного конструирования нейронных сетей // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001,- С. 20-21.

20. Блюмин С.Л., Шуйкова И.А. Модели и методы принятия решений в условиях неопределенности,— Липецк: ЛЭГИ, 2000.— 139 с.

21. Буцев А.В., Первозванский А.А. Локальная аппроксимация на искусственных нейросетях // Автоматика и телемеханика.— 1995.— №9,— С. 127-136.

22. Вилков Д.В. Алгоритм настройки весовых коэффициентов для многослойного персептрона // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001.— С. 33.

23. Власов А. Новости с российского рынка нейрокомпьютеров и нейро-информационных технологий, 1999. http://neurnews.iu4.bmstu.ru/neurnews.html

24. Гаврилова Т.А., Хорошевский Т.Ф. Базы знаний интеллектуальных систем,- СПб.: Питер, 2001,- 384 с.

25. Галушкин А.И. Теория нейронных сетей. Кн.1,— М.: ИПРЖР, 2001.— 416 с.

26. Гантмахер Ф.Р. Теория матриц.— М.: Наука, 1988.— 548 с.

27. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация,— М.: Мир, 1985.- 509 с.

28. Глова В.И., Аникин И.В., Аджели М.А. Мягкие вычисления (soft computing) и их приложения: Учебное пособие /Под ред. В.И. Глова.— Казань: Изд-во КГТУ, 2000,- 98 с.

29. Голуб Дж., Ван Лоун Ч. Матричные вычисления,— М.: Мир, 1999.— 548 с.

30. Горбань А.Н. Быстрое дифференцирование сложных функций и обратное распространение ошибки // Нейроинформатика и ее приложения. Тезисы докладов V Всероссийского семинара.—Красноярск: изд. КГТУ, 1997.- С. 54-56.

31. Горбань А.Н. Обучение нейронных сетей.— М.: изд. СССР-США СП «Параграф», 1990,- 160 с.

32. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере,— Новосибирск: Наука. Сиб. издат. фирма РАН, 1996.— 276 с.

33. Джейн А.К., Мао Ж., Моиуддин М. Введение в искусственные нейронные сети //Открытые системы,— 1997.— №4,— С. 16-24.

34. Дубровин В.И., Субботин С.А. Алгоритм ускоренного обучения ней-росетей // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001.— С. 63-64.

35. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений.— М.: Мир, 1988.— 440 с.

36. Ежов А., Шумский С. Нейрокомпьютинг и его применение в экономике и бизнесе, 1998г. http://canopus.lpi.msk.su/neurolab/papers/nnbusapp/index.html.

37. Загоруйко Н.Г. Прикладные методы анализа данных и знаний,— Новосибирск: Изд-во Ин-та математики, 1999,— 270 с.

38. Заенцев И.В. Нейронные сети: основные модели / Учебное пособие.— Воронеж: ВГУ, 1999,- 76 с.

39. Зиновьев А.Ю. Визуализация многомерных данных: Монография,— Красноярск: ИПЦ КГТУ, 2000,- 168 с.

40. Искусственный интеллект. Кн.2. Модели и методы: Справочник / Под ред. Д.А. Поспелова.— М.: Радио и связь, 1990,— 304 с.

41. Кафаров В.В., Гордеев JI.C., Глебов М.Б., Го Цзинбяо. К вопросу моделирования и управления непрерывными технологическими процессами с помощью нейронных сетей // Теоретические основы химической технологии,, 1995.- Т. 29,- №2,- С. 205-212.

42. Картавцев В.В. Нейронная сеть предсказывает курс доллара // Компьютеры + программы, 1993.— №6(7).— С. 10-13.

43. Колмогоров А.Н. Представление непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения. // Из докладов АН СССР, 1957,— Т.114.— №5.— С. 953-956.

44. Корнеев В.В., Гарев А.Ф., Васютин С.В., Райх В.В. Базы данных. Интеллектуальная обработка информации. М.: «Нолидж», 2000.— 352 с.

45. Короткий С. PC Noon: нейронные сети, 1997-2001.— http://www.orc.ru/~stasson/menu.html

46. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети,— М.: Физматлит, 2001,— 224 с.

47. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.— М.: Горячая линия — Телеком, 2001.— 382 с.

48. Кудинов Ю.И., Венков А.Г., Келина А.Ю. Моделирование технологических и экологических процессов,— Липецк: ЛЭГИ, 2001.— 131 с.

49. Кук A. NeuroPower, 1998-2000.— http://www.neuropower.de/rus/

50. Методы робастного, нейро-нечеткого и адаптивного управления / Под ред. Н.Д. Егупова,— М.: Изд-во МГТУ им. Н.Э. Баумана, 2001.— 744 с.

51. Мину М. Математическое программирование,— М.: Наука, 1990.— 488 с.

52. Миркес Е.М. Нейрокомпьютер: проект стандарта.— Новосибирск: Наука, 1999,- 337 с.

53. Нейронные сети: история развития теории. Кн.5 / Под ред. А.И. Галушкина, Я.З. Цыпкина,- М.: ИПРЖР, 2001,- 840 с.

54. Нейронные сети. Statistica Neural Networks / Пер. с англ.— М.: Горячая линия — Телеком, 2000.— 182 с.

55. Нейроинформатика / Горбань А.Н., Дунин-Барковский В.Л., Кир-дин А.Н. и др.— Новосибирск: Наука. Сибирское предприятие РАН, 1998.- 296 с.

56. Нейропроект: Аналитические технологии XXI века из первых рук, 1998-2002,— http://www.neuroproject.ru

57. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин и др.— СПб: Издательство С.-Петербургского университета, 1999,— 264 с.

58. Некипелов Н. Введение в RBF сети, 2002.— http://www.basegroup.ru/neural/rbf.htm

59. Осовский С. Нейронные сети для обработки информации.— Москва: Финансы и статистика, 2002,— 344 с.

60. Россиев А.А. Моделирование данных при помощи кривых для восстановления пробелов в таблицах // Методы нейроинформатики.— Красноярск: КГТУ, 1998,- С. 6-22.

61. Сараев П.В. Алгоритмические реализации метода Голуба-Перейры // Тезисы докладов Молодежной научно-технической конференции вузов центральной России.— Брянск: Издательство БГУ, 2000.— С. 7-8.

62. Сараев П.В. Применение методов рандомизации обработки данных в обучении искусственных нейронных сетей ,// Наука и молодёжь на рубеже столетий: Сборник научных трудов Студенческой научно-практической конференции,— Липецк: ЛГТУ, 2000,— С. 9-10.

63. Сараев П.В. Выбор оптимальной структуры нейронной сети и метод джекнайф // Современные проблемы математики, механики иинформатики: Тезисы докладов Региональной научной студенческой конференции,- Тула: ТГУ, 2000,- С. 110-111.

64. Сараев П.В. Использование псевдообращения в задачах обучения искусственных нейронных сетей // Электронный журнал «Исследовано в России», 2001.- №29- С. 308-317.-http://zhurnal.ape.relarn.ru/articles/2001/029.pdf

65. Сараев П.В. Метод Голуба-Перейры для задач снижения размерности // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001- С. 173-174.

66. Сараев П.В. Принятие решений на основе обученных нейронных сетей прямого распространения // Сборник научных трудов преподавателей и сотрудников, посвященный 45-летию ЛГТУ.— Липецк: ЛГТУ, 2001. С. 59-61.

67. Сараев П.В. Применение нейронных сетей для управления ценовой политикой предприятия // Сборник трудов V научно-практического семинара «Новые информационный технологии»,— М.: МГИЭМ, 2002. С. 40-48.

68. Сараев П.В. Исследование эффективности алгоритмов обучения нейронных сетей // Нейроинформатика и ее приложения: Материалы X Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2002,— С. 120122.

69. Сараев П.В. Обучение искуственных нейронных сетей: учет линейно-нелинейной структуры // Вестник молодых ученых, 2002,— №12,— Серия «Прикладная математика и механика».— Вып.2,— С. 45-51.

70. Стариков А. Нейронные сети математический аппарат, 2000.— http://www.basegroup.ru/neural/rnath.htm

71. Статсофт: Электронный учебник по математической статистике и нейронным сетямб 1999-2001.— http://www.statsoft.ru/home/textbook/default.htm

72. Тарасевич В.М. Ценовая политика предприятия.— СПб.: Питер, 2001,- 272 с.

73. Тарасик В.П. Математическое моделирование технических систем.— Мн.: ДизайнПРО, 1997,- 640 с.

74. Трояновский В.М. Математическое моделирование в менеджменте.— М.: Русская деловая литература, 1999.— 240 с.

75. Уоссермен Ф. Нейрокомпьютерная техника,— М.: Мир, 1992,— 184 с.

76. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы.- 1998.- №4-5,- С. 11-19.

77. Химмельблау Д. Прикладное нелинейное программирование,— М.: Мир, 1975,- 534 с.

78. Царегородцев В.Г. Производство полуэмпирических знаний их таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики,— Красноярск: КГТУ, 1998.— С. 176-198.

79. Царегородцев В.Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Нейроинформатика и ее приложения: Материалы X Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2002,- С. 146-150.

80. Царегородцев В.Г. Нелинейные функции нейронов, константа Липшица нейросетевой функции и свойства нейронных сетей // Нейроинформатика и ее приложения: Материалы X Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2002,- С. 151-152.

81. Цыганков В.Д. Нейрокомпьютер и его применение / под ред. В.А. Львова,— М.: «Сол Систем», 1993,— 115 с.

82. Эксаревский А.В., Воищев А.В. Проектирование подсистемы ассоциативного поиска в базе данных на основе нейронных сетей // Оптимизация и моделирование в автоматизированных системах: Меж-вуз. сб. науч. тр Воронеж, ВГТУ, 1999.- С. 43-48.

83. Amaldi Е. Two Constructive Methods For Designing Compact Feedforward Networks Of Threshold Units, 1998.— http://www.wspc.com/journals/ijns/856/amaldi.pdf

84. Blyumin S.L., Saraev P.V. Reduction of adjusting weights space dimension in feedforward artificial neural networks training //

85. EE International Conference on Artificial Intelligence Systems: Proceedings.- 2002 P.242-247.

86. Buckley J.J., Hayashi Y. Can neural nets be universal approximators for fuzzy functions? //Fuzzy Sets and Systems.— 1999.— №10,— P. 323330.

87. Buckley J.J., Eslami E., Hayashi Y. Solving fuzzy equations using neural nets //Fuzzy Sets and Systems.- 1997,- Y.86.- P. 271-278.

88. Campbell C. Constructive Learning Techniques for Designing Neural Networks Systems, 1997.— http://www.enm.bris.ac.uk/research/neural/preprints.htrnl

89. Cybenco G. Approximation by superposition of a sigmoidal function // Math. Control Systems and Signals.- 1989,- V.2.- P. 303-314.

90. Duch W., Korczak J. Optimisation and global minimization methods suitable for neural networks, 1998.— http://www.phys.uni.torun.pl/publications/kmk/99globmin.ps.gz

91. Fuller R. Introduction to Neuro-Fuzzy Systems.— Berlin/Heildelberg, Springer-Verlag, 2000.- 289p.

92. Golub G.H., Pereyra V. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate // SIAM J. Num. Anal., 1973,- V. 10.- P. 413-432.

93. Kwok Tin-Yau, Yeung Dit-Yan. Constructive Algorithms for Structure Learning in Feedforward Neural Networks for Regression Problems: A Survey, 1995. ftp://ftp.cs.ust.hk/pub/techreport/95/tr95-43.ps.gz.

94. Kwok Tin-Yau, Yeung Dit-Yan. Objective Functions for Training New Hidden Units in Constructive, 1999.— http://www.comp.hkbu.edu.hk/ jamesk/papers/tnn97b.ps.gz

95. Liang Y.C., Feng D.P., Lee H.P., Lim S.P., Lee K.H. Successive approximation training algorithm for feedforward neural networks // Neurocomputing, 2002,- V.42 P. 311-322.

96. Mandischer M. A comparison of evolution strategies and backpropagation for neural networks training // Neurocomputing, 2002,- V.42 P. 87-117.

97. Nauck D. Neuro-Fuzzy Systems: Review And Prospects // Fifth European Congress on Intelligent Techniques and Soft Computing.— 1997,- P. 1044-1053.

98. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representation by error backpropagation // Parallel Distributed Processing.- 1986,- V.l, №8,- P. 318-362.

99. Setiono R., Leow W.K. Pruned neural networks for regression, 2000. ftp://ftp.comp.nus.edu.sg/pub/staff/leowwk/pricai2000.ps

100. Sexton R.S., Dorsey R.E., Johnson J.D. Toward global optimisation of neural networks: A comparison of the genetic algorithm and backpropagation // Decision Support Systems, 1998. — V.22.— P. 171185.

101. Simon N. Constructive Supervised Learning Algorithms for Artificial Neural Networks, 1993. http://archive.cis.ohio-state.edu/pub/neuroprose/Thesis/simon.thesis.ps.Z

102. Начальник отдела маркетинга и1. УТВЕРЖДАЮ

103. Проректор по учебной работе Липецкого государственного .„технического университета,

104. СПРАВКА об использовании в учебном процессе результатов кандидатской диссертации Сараева Павла Викторовича

105. Моделирование и разработка численных методов обучения нейронных сетей суперпозиционной линейно-нелинейной структуры»,

106. Список используемых сокращений

107. АМТС — автоматическая междугородная телефонная станция

108. АПК — аналитический программный комплекс1. БД — база данных

109. БЛНС — базовое линейно-нелинейное соотношение

110. ГА — генетические алгоритмы

111. ЗВП — задача восстановление пробелов

112. ЗНК — задача о наименьших квадратах

113. МАП — Министерство по антимонопольной политике иподдержке предпринимательства

114. МПМ — метод переменной метрики

115. МТР — междугородный телефонный разговор

116. МТС — междугородная телефонная связь

117. НЗНК — нелинейная задача о наименьших квадратах1. НС — нейронная сеть

118. НС ОС — нейронная сеть с обратными связями

119. НС ПР — нейронная сеть прямого распространения

120. ОАО — открытое акционерное общество

121. ОРО — обратное распространение ошибки

122. ООП — объектно-ориентированное программирование1. ПК — программный комплекс

123. ПКНСМ — программный комплекс для нейросетевого моделирования

124. СОК — самоорганизующиеся карты

125. СУБД — система управления базами данных1. ТА — телефонный аппарат