автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Оптимизация нейронных сетей с учетом запаздывания

Введение

§1. Биологические нейронные сети и нейробиология

§2. Искусственные нейронные сети.

§3. Формальный нейрон Мак-Каллока-Питтса.

§4. Модель Розенблатта.

§5. Модель Хопфилда.

§6. Процедура обратного распространения

§7. Современные направления развития нейрокомпьютерных технологий.

1 Модель нейронной сети

§1. Общая постановка задачи.

§2. Модель нейронной сети последовательной линейной структуры

§3. Необходимые условия оптимальности.

§4. Сведение исходной непрерывной задачи к дискретной задаче оптимального управления

§5. Алгоритм построения приближённого оптимального решения (метод градиентного спуска с дроблением шага)

§6. Модель нейронной сети последовательной кольцевой структуры

§7. Необходимые условия оптимальности.

§8. Сведение исходной непрерывной задачи к дискретной задаче оптимального управления

§9. Анализ результатов численного эксперимента.

2 Модель нейронной сети

§1. Модель нейронной сети, описывающая авторитмичность нейронов.

§2. Необходимые условия оптимальности.

§3. Сведение исходной непрерывной задачи к дискретной задаче оптимального управления

§4. Алгоритм построения приближённого оптимального решения.

§5. Анализ результатов численного эксперимента.

3 Модель нейронной сети

§1. Модель нейронной сети, описываемая системой интегродифференциальных уравнений.

§2. Необходимые условия оптимальности.

§3. Сведение исходной непрерывной задачи к дискретной задаче оптимального управления

§4. Алгоритм построения приближённого оптимального решения.

§5. Анализ результатов численного эксперимента.

В предшествующее десятилетие развитие средств вычислительной техники во всем мире испытало сильное влияние со стороны инициированной Японией программы "Пятое поколение компьютеров". Основным лозунгом этой программы было развитие систем искусственного интеллекта на основе алгоритмических языков. В 1992 году программа "Пятое поколение" была завершена, и ей на смену в 1993 году пришла программа "Вычисления в Реальном мире" (Real World Computing), рассчитанная на десять лет.

В ней речь идёт прежде всего о том, чтобы дать вычислительным и управляющим системам возможность самостоятельно, без помощи "переводчика"-человека воспринимать воздействия внешнего мира и действовать в нём. Авторы программы огромную роль — до 30-40% её содержания отводят исследованию естественных и созданию искусственных нейросетевых систем.

Искусственные нейронные сети, они же коннекционистские или свя-зевые системы представляют собой устройства, использующие огромное число элементарных условных рефлексов, называемых по имени канадского физиолога синапсами Хебба (D. Hebb). Такой синапс, как основу возможных механизмов памяти и поведения, Д. Хебб описал теоретически в 1949 году, т. е. в первые годы после рождения кибернетики. Уже сейчас искусственные нейронные сети применяются для решения очень многих задач обработки изображений, управления роботами и непрерывными производствами, для понимания и синтеза речи, для диагностики заболеваний людей и технических неполадок в машинах и приборах, для предсказания курсов валют и результатов скачек. Та часть работ, которая связана с разработкой устройств переработки информации на основе принципов работы естественных нейронных систем относится к области нейроинформатики или нейровычислений (нейрокомпьютинга). Термины эти появились недавно — в середине 80-х годов. Суть всех подходов нейроинформатики: разработка методов создания (синтеза) нейронных схем, решающих те или иные задачи. Нейрон при этом выглядит очень просто: устройство (сумматор с активационной функцией) с большим числом входов и одним выходом. Различие между подходами и методами — в деталях представлений о работе нейрона, и, конечно, в представлениях о работе связей. Собственно, как уже отмечалось выше, устройства нейроинформатики представляют собой связевые системы. В отличие от цифровых микропроцессорных систем, представляющих собой сложные комбинации процессорных и запоминающих блоков, нейропроцессоры содержат память, распределенную в связях между нейронами. Тем самым основная нагрузка на выполнение конкретных функций процессорами ложится на архитектуру системы, детали которой в свою очередь определяются межнейронными связями.

В основу искусственных нейронных сетей положены следующие черты естественных нейронных сетей, позволяющие им хорошо решать поставленные задачи:

1. простой обрабатывающий элемент — нейрон;

2. очень большое число нейронов участвует в обработке информации;

3. один нейрон связан с большим числом других нейронов (глобальные связи);

4. изменяющиеся по весу связи между нейронами;

5. параллельность обработки информации.

Заключение

В диссертации получены следующие основные результаты.

1. Синтезирована и программно реализована система математических моделей искусственных нейронных сетей. Система включает модели нейронных сетей последовательной (линейной и кольцевой) структуры, модель нейронной сети, описывающую авторитмичность нейронов, и модель нейронной сети, описываемую системой интегро-дифференциальных уравнений.

2. Проанализированы математические модели нейронных сетей последовательной (линейной и кольцевой) структуры, модель нейронной сети, описывающая автоколебания нейронов, и модель нейронной сети, описываемая системой интегро-дифференциальных уравнений.

3. Определены положения равновесия математических моделей нейронных сетей последовательной (линейной и кольцевой) структуры, модели нейронной сети, описывающей авторитмичность нейронов, и исследована устойчивость положений равновесия в зависимости от параметров моделей.

4. Получены необходимые условия оптимальности весовых коэффициентов моделей нейронных сетей последовательной (линейной и кольцевой) структуры, модели нейронной сети, описывающей автоколебания нейронов, и модели нейронной сети, описываемой системой интегро-дифференциальных уравнений, для обеспечения процесса обучения нейронных сетей с заданным критерием качества.

5. Разработаны алгоритмы построения приближённого оптимального решения для математических моделей нейронных сетей последовательной (линейной и кольцевой) структуры, модели нейронной сети, описывающей авторитмичность нейронов, и модели нейронной сети, описываемой системой интегро-дифференциальных уравнений, которые позволяют с заданной точностью определить весовые коэффициенты нейронной сети.

Разработанные вычислительные алгоритмы построения приближённого оптимального решения эффективны по быстродействию и точности и реализуют требования по организации исследований показателей функционирования искусственных нейронных сетей с использованием ПЭВМ.

6. Исследовано влияние параметров модели и целевого функционала на оптимальное решение и проведён анализ результатов численного эксперимента.

Для всех моделей было проанализировано: a) чувствительность оптимального решения к возмущению начальных условий; b) чувствительность оптимального решения к изменению запаздывания; c) устойчивость оптимального решения к изменению оптимального управления в конечном числе точек; d) влияние начального приближения на оптимальные значения весовых коэффициентов и на значение минимизируемого функционала J; e) зависимость оптимального решения и минимизируемого функционала от времени Т; f) зависимость оптимального решения и минимизируемого функционала от запаздывания; g) влияние параметров минимизируемого функционала М;, i = на оптимальное решение. h) роль фазовых ограничений; i) влияние внешнего управления на оптимальное решение.

1. Нейронные сети

2. Абу-Мустафа Я. С., Псалтис Д. Оптические нейронно-сетевые компьютеры/j В мире науки. 1987. N 5. С. 42-50.

3. Андреева Е. А. Оптимизация искусственной нейронной сети// Применение функционального анализа в теории приближений: Сб. научн. тр. Тверь: ТвГУ, 1996. С. 7-12.

4. Андреева Е. А., Пустарнакова Ю. А. Оптимизация нейронной сети с запаздыванием. Ч. 1.J. Применение функционального анализа в теории приближений: Сб. научн. тр. Тверь: ТвГУ, 2000. С. 14-30.

5. Бехтерева Н. П. Здоровый и больной мозг человека. JI.: Наука, 1980.

6. Блум Ф., Лейзерсон А., Хофстефтер JL Мозг, разум и поведение. М.: Мир, 1988.

7. Гольцёв А. Д. Яркостная сегментация изображения при помощи нейроподобной сети// Автоматика. 1965. N 5. С. 40-50.

8. Горбань А. Н. Обучение нейронных сетей. М.: Изд. СССР-США СП "ПараГраф", 1990.

9. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996.

10. Иванченко А. Г. Персептрон — системы распознавания образов. К.: Наукова думка, 1972.

11. Картавцев В. В. Нейронная сеть предсказывает курс доллара?// Компьютеры 4- программы. 1993. N 6(7). С. 10-13.

12. Кащенко С. А., Майоров В. В. Об одном дифференциально-разно ст-ном уравнении, моделирующем импульсную активность нейрона// Мат. моделирование. 1993. Т. 5. N 12. С. 13-25.

13. Кащенко С. А., Майоров В. В., Мышкин И. Ю. Исследование колебаний в кольцевых нейронных структурах// Докл. Акад. наук. Мат. физика. 1993. Т. 333. N 5. С. 594-597.

14. Кащенко С. А., Майоров В. В. Волновые структуры в клеточной сети из формальных нейронов Хатчинсона // Радиотехника и электроника. 1995. Вып. 6. С. 925-936.

15. Куссуль В. М., Байдык Т. Н. Разработка архитектуры нейро-подобной сети для распознавания формы объектов на изображении// Автоматика. 1990. N 5. С. 56-61.

16. Ливанов М. Н. Пространственная организация процессов головного мозга. М.: Наука, 1972.

17. Майоров В. В., Мышкин И. Ю. Математическое моделирование нейронов сети на основе уравнений с запаздыванием.I Мат. моделирование. 1990. Т. 2, N И. С. 64-76.

18. Мак-Каллок У., Питтс У. Логические исчисления идей, относящихся к нервной деятельности// Автоматы. М.: ИЛ, 1956.

19. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.

20. Оке С. Основы нейрофизиологии. М.: Мир, 1969.

21. Пустарнакова Ю. А. Оптимизация искусственной нейронной сети/ / "Понтрягинские чтения — X". Тезисы докладов. Воронеж: ВГУ, 1999. С. 202.

22. Пустарнакова Ю. А. Математическое моделирование искусственных нейронных сетей// Учёные записки Тверского гос. ун-та: Сб. научн. тр. Тверь: ТвГУ, 1999. Т. 5. С. 49-53.

23. Пустарнакова Ю. А. Моделирование искусственной нейронной сети/ / Научная конференция, посвященная 70-летию со дня рождения акад. В. А. Мельникова: Сб. докладов. М., 1999. С. 205-206.

24. Пустарнакова Ю. А. Анализ управляемой нейронной сети// Учёные записки Тверского гос. ун-та: Сб. научн. тр. Тверь: ТвГУ, 2000. Т. 6. С. 53-59.

25. Пустарнакова Ю. А. Оптимизация нейронной сети с запаздыванием. Ч. 2./j Методы и алгоритмы исследования задач оптимального управления: Сб. научн. тр. ВЦ РАН, ТвГУ. Тверь: ТвГУ, 2000. С. 56-71.

26. Пустарнакова Ю. А. Оптимальное управление процессом обучения искусственной нейронной сети, описываемой системой интегро-дифференциальных уравнений// Применение функционального анализа в теории приближений: Сб. научн. тр. Тверь: ТвГУ, 2001. С. 93-105.

27. Пустарнакова Ю. А. Оптимальное управление нейронной сетью с запаздыванием// Моделирование сложных систем: Сб. научн. тр. Тверь: ТвГУ, (в печати).

28. Пустарнакова Ю. А. Оптимизация искусственной нейронной сети, описываемой системой интегро-дифференциальных уравнений// "Понтрягинские чтения — XI". Тезисы докладов. Воронеж: ВГУ, (в печати).

29. Розенблатт Ф. Принципы нейр о динамики. М.: Мир, 1965. (Rosenblatt F. Principles of neurodynamics. Spartan, Washington, D.C., 1962.)

30. Розенблатт Ф. Аналитические методы изучения нейронных сетей// Зарубежная радиоэлектроника. 1965. N 5. С. 40-50.

31. Соколов Е. Н., Вайткявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989.

32. Суворов С. В., Матихина Н. Ю. Программное моделирование нейро-подобных структур j I Распределенная обработка информации. Улан-Уде, 1989.

33. Тасаки И. Нервное возбуждение. М.: Мир, 1971.

34. Тэнк Д. У., Хопфилд Д. Д. Коллективные вычисления в нейронопо-добных электронных схемах/. В мире науки. 1988. N 2. С. 44-53.

35. Уоссермен Ф. Нейрокомпъютерная техника: Теория и практика. М.: Мир, 1992.

36. Хинтон Д. Е. Как обучаются нейронные сети./ В мире науки. 1992. N 11. С. 103-107.

37. Ходжкин A. JI. Нервный импульс. М.: Мир, 1965.

38. Ходоров Б. И. Общая физиология возбудимых мембран. М.: Наука, 1975.

39. Черников В. М., Виксне П. Е., Фомин Д. В., Шевченко П. А. Архитектурные особенности нейропроцессора NM6403// Всероссийская научно-техническая конференция "Нейроинформатика-99". Сборник научных тр. М., 1999. Ч. 2. С. 93-101.

40. Шаде Дж., Форд Д. Основы неврологии. М.: Мир, 1976.

41. Burr D. J. Experiments with a connecnionlist text reader.j In Proceedings of the IEEE First International Conferense on Neural Networks, eds. M. Caudill and C.Butler, San Diego, CA: SOS Printing. 1987. V. 4. P. 717-724.

42. Carpenter G. A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine./ Comput. Vision Graphics Image Process. 1986. V. 37. P. 54-115.

43. Cohen M. A., Grossberg S. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks.] IEEE Trans. Syst., Man, Cybern. 1983. V. 13. N 5. P. 815-826.

44. Cottrell G. W., Munro P., Zipser D. Image compression by backpro-pagation: An example of extensional programming// ICS Report 8702, University of California, San Diego. 1987.

45. Hecht-Nielsen R. Neurocomputing: picking the human brain// IEEE SPECTRUM. 1988. V. 25. N 3. P. 36-41.

46. Hebb D.O. The organization of behaviour. N.Y.: Wiley, 1949.

47. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities// Proc. Natl. Acad. Sci. 1984. V. 9. P. 147-169.

48. Hopfield J. J., Feinstein D. I., Palmer F. G. Unlearning has a stabilizing effect in collective memories./ Nature. 1983. V. 304. P. 141-152.

49. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems/J Biol. Cybernet. 1985. V. 52. P. 141-152.

50. Rosenblatt F. The peseptron: a probabilistic model for information storage and organization in the brain)/ Psychol. Rev. 1958. V. 65.

51. Rumelhart В. E., Minton G. E., Williams R. J. Learning representations by back propagating error// Wature, 1986. V. 323. P. 1016-1028.

52. Sejnowski T. J., Rosenberg C. R. Parallel networks that learn to pronounce English text// Complex Systems 1:145-68. 1987.

53. Takefuji D. Y. A new model of neural networks for error correction./ Proc. 9th Annu Conf. IEEE Eng. Med. and Biol. Soc. Boston, Mass., Nov. 13-16, 1987. V. 3, New York, 1987. P. 1709-1710.53. www.module.ru

54. Дифференциальные уравнения с отклоняющимся аргументом. Вопросы устойчивости

55. Алексеевская Н. JL, Громова П. С. Второй метод Ляпунова для дифференциальных уравнений с отклоняющимся аргументом// Дифференциальные уравнения с отклоняющимся аргументом. К.: Наукова думка, 1977. С. 19-34.

56. Алиев Р. Г. Устойчивость решений дифференциальных уравнений с отклоняющимся аргументом в гильбертовом пространстве. Махачкала, 1984.

57. Барбашин Е. А. Функции Ляпунова. М.: Наука, 1970.

58. Зубов В. И. Устойчивость движения. Методы Ляпунова и их применение. М.: Высш. шк., 1973.

59. Кирьянен А. И. Устойчивость решений дифференциальных уравнений с отклоняющимся аргументом. JL: ЛГУ, 1983.

60. Колмановский В. Б., Носов В. Р. Устойчивость и периодические режимы регулируемых систем с последействием. М.: Наука, 1981.

61. Колмановский В. Б., Носов В. Р. Методы исследования устойчивости систем с последействием// Функции Ляпунова и их применения. Новосибирск: Наука, 1986.

62. Красовский Н. Н. Некоторые задачи теории устойчивости движения. М.: Физматгиз, 1959.

63. Малкин И. Г. Теория устойчивости движения. М.: Наука, 1966.

64. Мартынюк Д. И. Лекции по теории устойчивости решений систем с последействием. К.: Изд-во Ин-та мат. АН УССР, 1971.

65. Мышкис А. Д. Линейные дифференциальные уравнения с запаздывающим аргументом. М.: Наука, 1972.

66. Разумихин Б. С. Устойчивость эредитарных систем. М.: Наука, 1988.

67. Хейл Д. К. Теория функционально-дифференциальных уравнений. М.: Мир, 1984.

68. Хусаинов Д. Я., Шатырко А. В. Метод функций Ляпунова в исследовании устойчивости дифференциально-функциональных систем. К.: КГУ, 1997.

69. Эльсгольц JI. Э., Норкин С. Б. Введение в теорию дифференциальных уравнений с отклоняющимся аргументом. М.: Наука, 1971.

70. Оптимальное управление динамическими системами

71. Андреева Б. А. Оптимальное управление системами с запаздывающим аргументом. Препринт// ВЦ АН СССР. М., 1987.

72. Андреева Е. А. Достаточные условия оптимальности для разрывной задачи оптимального управления системой с запаздыванием// Автоматика и телемеханика. 1989. N 5.

73. Андреева Е. А., Колмановский В. Б., Шайхет Л. Е. Управление системами с последействием. М.: Наука, 1992.

74. Андреева Е. А., Бенке X. Оптимизация управляемых систем. Тверь: ТвГУ, 1996.

75. Андреева Е. А. Оптимальное управление динамическими системами. Тверь: ТвГУ, 1999.

76. Андреева Е. А., Пустарнакова Ю. А., Семыкина Н. А. и др. Модели управляемых систем. Тверь: ТвГУ, 1999. Ч. I, II.

77. Болтянский В. Г. Математические методы оптимального управления. М.: Наука, 1966.

78. Васильев Ф. П. Численные методы решения экстремальных задач. М.: Наука, 1980.

79. Габасов Р. Ф., Кириллова Ф. М. Принцип максимума в теории оптимального управления. Минск: Наука и техника, 1974.

80. Гноенский JI. С., Каменский Г. А., Эльсгольц JL Э. Математические основы теории управляемых систем. М.: Наука, 1969.

81. Евтушенко Ю. Г. Методы решения экстремальных задач и их применение в системах оптимизации. М.: Наука, 1982.

82. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач. М.: Наука, 1974.

83. Колмановский В. Б. Об аппроксимации линейных управляемых систем с последействием// Проблемы управления и теории информации. 1974. Т. 3. N 1.

84. Кротов В. Ф., Гурман В. И. Методы и задачи оптимального управления. М.: Наука, 1973.

85. Понтрягин JI. С., Болтянский В. Г., Гамкрелидзе Р. В., Мищенко Е. Ф. Математическая теория оптимальных процессов. М.: Наука, 1969.