автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.14, диссертация на тему:Алгоритмическое и программное обеспечение автоматизированной системы прогнозирования социально-экономических процессов

Введение.

1. Состояние проблемы автоматизированного прогнозирования временных рядов.

1.1. Общая характеристика временных рядов, описывающих социально-экономические процессы.

1.2. Анализ известных методов и систем прогнозирования временных рядов.

1.2.1. Критерии оценки.

1.2.2. Сравнительный анализ методов и систем прогнозирования временных рядов.

1.3. Постановка задачи построения алгоритмического и программного обеспечения автоматизированной системы прогнозирования временных рядов.

Выводы по первой главе.

2. Разработка технологии автоматизированного прогнозирования социально-экономических процессов.

2.1. Процедура восстановления пропущенных значений временного ряда.

2.2. Процедура выделения главных компонент временного ряда.

2.3. Процедура выбора моделей прогнозирования.

2.3.1. Алгоритм идентификации главных компонент.

2.3.2. Выбор модели тренда.

2.3.3. Выбор модели периодической компоненты.

2.3.4. Выбор модели случайной компоненты.

2.4. Формирование окончательного значения прогноза исследуемого временного ряда.

Выводы по второй главе.

3. Оптимизация процесса функционирования автоматизированной системы прогнозирования временных рядов.

3.1. Постановка задачи эффективного управления системой прогнозирования временных рядов.

3.2. Локальные критерии эффективности.

3.3. Методика оптимизации.

Выводы по третьей главе.

4. Экспериментальные исследования программного обеспечения автоматизированной системы прогнозирования временных рядов.

4.1. Функциональная схема программного обеспечения автоматизированной системы прогнозирования временных рядов.

4.2. Экспериментальные исследования автоматизированной системы прогнозирования.

4.3. Перспективы развития автоматизированных систем прогнозирования социально-экономических процессов.

Выводы по четвертой главе.

Актуальность работы. Эффективное управление предприятием, отраслью, регионом невозможно без решения проблем прогнозирования изменений важнейших показателей, описывающих ту или иную социально-экономическую систему. Происходящие процессы, как правило, можно отнести к классу случайных процессов. При этом значительное количество факторов, влияющих на них, затрудняет поиск имеющих место закономерностей, а следовательно, и нахождение правильного прогноза.

В настоящее время разработано немало программных продуктов, обеспечивающих прогнозирование различных временных рядов [30]. Однако можно выделить, по крайней мере, ряд существенных недостатков, которые ограничивают применение этих программ в реальной жизни. К ним можно отнести серьезное влияние на точность прогноза квалификации и опыта специалиста, работающего с программой. К тому же возможности многих моделей весьма ограничены. Например, статистические методы значительно хуже работают при наличии во временном ряде нелинейных зависимостей. Следует отметить, что имеющие место погрешности прогноза во многих случаях не устраивают пользователя.

Отдельные попытки объединения в систему прогнозирования нескольких подходов пока не привели к существенным результатам. Не изучены в достаточной степени теоретические основы выбора той или иной модели для прогнозирования конкретного временного ряда. Остаются мало исследованными вопросы управления системой прогнозирования временных рядов.

В этой связи проблема создания автоматизированной системы прогнозирования временных рядов, описывающих различные социально-экономические процессы, представляется весьма актуальной.

Цель работы. Построение алгоритмического и программного обеспечения автоматизированной системы прогнозирования временных рядов, описывающих широкий круг социально-экономических процессов, основанной на одновременном использовании различных моделей и отличающейся от известных более высокой точностью прогноза и инвариантностью к квалификации пользователя системы. В соответствии с этим в работе решаются следующие основные задачи:

1) Анализ современного состояния проблемы автоматизированного прогнозирования временных рядов.

2) Разработка технологии автоматизированного прогнозирования временных рядов, описывающих социально-экономические процессы.

3) Разработка методики оптимизации процесса управления системой прогнозирования временных рядов.

4) Создание и исследование программного обеспечения автоматизированной системы прогнозирования временных рядов.

Методы исследований. Для решения поставленных в работе задач использован аппарат теории вероятностей и математической статистики, теории нейронных сетей и теории оптимального управления.

Научная новизна результатов работы состоит в следующем:

1) Разработана технология автоматизированного прогнозирования временных рядов, инвариантная к уровню квалификации пользователя и обеспечивающая эффективное прогнозирование для широкого спектра социально-экономических процессов.

2) Предложена процедура заполнения пропусков значений временного ряда, отличающаяся более высокой точностью при наличии пакетных пропусков и позволяющая осуществлять оперативное управление в процессе формирования прогнозируемого параметра.

3) Разработана методика, основанная на нейросетевых технологиях и обеспечивающая в автоматическом режиме выделение главных компонент, а также выбор моделей прогнозирования, максимально соответствующих каждой компоненте. Предложен алгоритм формирования окончательного прогноза на базе значений отдельных прогнозов, получаемых для каждой из главных компонент, основанный на использовании нейронной сети.

4) Поставлена задача оптимального управления, разработана методика оптимизации процесса управления системой прогнозирования временного ряда, использующая принцип динамического программирования.

Практическая ценность работы заключается в следующем:

1) Разработано программное обеспечение автоматизированной системы прогнозирования временных рядов, описывающих социально-экономические процессы.

2) Даны практические рекомендации по работе с предлагаемым программным комплексом.

3) Разработанная система использована при проведении научных исследований, проводимых Череповецким научным координационным центром РАН.

4) Результаты диссертации использованы в учебном процессе в Череповецком филиале Санкт-Петербургского государственного технического университета в курсе «Основы построения АСУ» для специальности 220400 - Программное обеспечение ВТ и АС.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на 1-ой Международной конференции «Прогрессивные процессы и оборудование металлургического производства» (г. Череповец, 1998), на 1-ой

Международной электронной научно-технической конференции «Перспективные технологии автоматизации» (г. Вологда, 1999), на 2-ой Международной научно-технической конференции «Информационные технологии в производственных, социальных и экономических процессах» (г. Череповец, 1999), а также на научно-технических семинарах Череповецкого государственного университета и Череповецкого научного координационного центра РАН в 1997-2000 гг.

Публикации. По материалам диссертации опубликовано 4 печатные работы.

В структурном отношении работа состоит из введения, четырех глав, заключения, списка литературы и приложений.

Первая глава содержит анализ современных методов и систем, используемых при прогнозировании временных рядов, описывающих социально-экономические процессы. Даны общие характеристики и особенности исследуемых временных рядов. Рассматриваются наиболее распространенные системы прогнозирования с позиций введенных автором критериев. Ставится задача построения алгоритмического и программного обеспечения автоматизированной системы прогнозирования, отличающейся от известных более высокой точностью и инвариантностью к квалификации пользователя. Выбираются методы прогнозирования, используемые в дальнейшем для решения поставленной задачи.

Во второй главе рассматриваются вопросы разработки технологии автоматизированного прогнозирования временных рядов. Приводится методика заполнения пропущенных значений временного ряда с помощью нейронной сети встречного распространения. Дается описание управляемого модуля выделения основных компонент. Решается задача распознавания вида компонент и выбор модели прогнозирования, для каждой из них. Рассматриваются возможные методы нахождения окончательного прогнозного решения на основе значений выбранных моделей. Приводится алгоритм формирования окончательного значения прогноза.

Третья глава посвящена разработке алгоритма оптимального управления процессом прогнозирования. Дается анализ существующих методов оптимизации, в результате которого выбирается метод динамического программирования. Приводятся управляющие параметры каждого модуля, а также критерии качества их работы. Описывается разработанная методика управления, которая позволяет достигать оптимального режима функционирования всей системы в целом. Даны рекомендации пользователю при возникновении особых ситуаций.

В четвертой главе рассматривается разработанное программное обеспечение, позволяющее оценить эффективность предложенных алгоритмов и методик. Приводятся результаты экспериментальных исследований и сравнение характеристик предложенного ПО по введенным критериям. Рассматриваются перспективы развития разработанного ПО и систем в целом.

В приложении приведены:

1. Временные ряды основных макроэкономических показателей Вологодской области за 95-96 гг., используемые при проведении экспериментальных исследований.

2. Программа заполнения пропущенных значений с помощью нейронной сети встречного распространения.

3. Программа, реализующая разработанную технологию прогнозирования временных рядов.

На защиту выносятся:

1) Технология автоматизированного прогнозирования временных рядов, инвариантная к уровню квалификации пользователя и обеспечивающая эффективное прогнозирование для широкого спектра социально-экономических процессов.

2) Процедура заполнения пропусков значений временного ряда, отличающаяся более высокой точностью при наличии пакетных пропусков и позволяющая осуществлять оперативное управление в процессе формирования прогнозируемого параметра.

3) Алгоритмы, реализующие основные этапы процесса прогнозирования и обеспечивающие эффективную работу системы в автоматическом режиме.

4) Методики выделения главных компонент, выбора моделей прогнозирования, формирования окончательного значения прогноза.

Выводы по четвертой главе.

1. На базе предложенных в работе решений разработано программное обеспечение автоматизированной системы прогнозирования временных рядов, описывающих социально-экономические процессы.

2. Проведены экспериментальные исследования, которые показали, что лишь в 2-х случаях из 10 ее ошибка соизмеримо с ошибкой других систем, в то время как в остальных точность прогнозирования предлагаемой системы значительно выше.

3. Построена экспериментальная зависимость влияния модуля предварительной обработки данных на эффективность прогноза в целом

4. Рассмотрены перспективы автоматизированных систем прогнозирования и предложены направления их дальнейшего развития.

Заключение

В диссертационной работе на основе полученных теоретических и практических результатов разработано алгоритмическое и программное обеспечение автоматизированной системы управления процессом прогнозирования временных рядов, описывающих социально-экономические процессы, отличающейся от существующих систем более высокой точностью прогноза и инвариантностью к квалификации пользователя. Наиболее существенные научные и практические результаты заключаются в следующем:

1) Разработана технология автоматизированного прогнозирования временных рядов, инвариантная к уровню квалификации пользователя и обеспечивающая эффективное прогнозирование для широкого спектра социально-экономических процессов.

2) Предложена процедура заполнения пропусков значений временного ряда, отличающаяся более высокой точностью при наличии пакетных пропусков и позволяющая осуществлять оперативное управление в процессе формирования прогнозируемого параметра.

3) Разработана методика, основанная на нейросетевых технологиях и обеспечивающая в автоматическом режиме выделение главных компонент, а также выбор моделей прогнозирования, максимально соответствующих каждой компоненте. Предложен алгоритм формирования окончательного прогноза на базе значений отдельных прогнозов, получаемых для каждой из главных компонент, основанный на использовании нейронной сети.

4) Поставлена задача оптимального управления, разработана методика оптимизации процесса управления системой прогнозирования временного ряда, использующая принцип динамического программирования.

5) Разработано программное обеспечение автоматизированной системы прогнозирования временных рядов, описывающих социально-экономические процессы.

6) Даны практические рекомендации по работе с предлагаемым программным комплексом.

7) Разработанная система использована при проведении научных исследований, проводимых Череповецким научным координационным центром РАН.

8) Результаты диссертации использованы в учебном процессе в Череповецком филиале Санкт-Петербургского государственного технического университета в курсе «Основы построения АСУ» для специальности 220400 - Программное обеспечение ВТ и АС.

1. Автоматизированные системы анализа и прогнозирования. М.: Институт финансов и права, 1997. - 100 С.

2. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. -М.: Финансы и статистика, 1989. 606 С.

3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 469 С.

4. Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. М.: Юнити, 1998. 1022 С.

5. Айвазян С.А., Степанов B.C. Инструменты статистического анализа данных.// Мир ПК, 1997. №8. - С. 32-41.

6. Андерсон Т. Статистический анализ временных рядов.

7. Араб-Оглы Э.А. Рабочая книга по прогнозированию. М.: Мысль, 1982. - 600 С.

8. Атанов Г.А., Пустырников И.Н. Обучение путем построения баз знаний для экспертных систем.// Искусственный интеллект. 1998. - №2. - С. 23-28.

9. Боровиков В.П., Боровиков И.П. Statistica. Статистический анализ и обработка данных в среде. М.: Филинъ, 1998. - 592 С.

10. Векслер Л.С. Статистический анализ на персональном компьютере. // Мир ПК. 1992. - №2. - С. 89-97.

11. Венецкий И.Г. Вариационные ряды и их характеристики. М.: Статистика, 1970. - 158 С.

12. Галушкин А.И. Применение нейрокомпьютеров в финансовой деятельности.// Научный центр нейрокомпьютеров. 1998.

13. Главные компоненты временных рядов: метод «Гусеница»./ под ред. Д.Л. Данилова и A.A. Жиглявского. С-П.: Санкт-Петербургский университет, 1997.

14. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 1998. - 478 С.

15. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. - 276 С.

16. Горчаков A.A., Орлова И. В. Компьютерные экономико-математические модели. М.: Юнити, 1995. - 134 С.

17. Даджион Д., Марсеро Р. Цифровая обработка сигналов. М.: Мир, 1998. - 486 С.

18. Джейн А.К., Мао Ж., Моиуддин K.M. Ввведение в искусственные нейронные сети.// Открытые системы. 1997. - №4. - С. 16-24.

19. Дженкинс. Спектральный анализ и его приложения. М.: Мир, 1971. - 316 С.

20. Дик В.В., Бебнева е.в., Божко В.П. Информационные системы в экономике. М.: Финансы и статистика, 1996. - 269 С.

21. Дубров A.M. Обработка статистических данных методом главных компонент.

22. Дюк В.А., Мирошников А.И., Эволюция STATGRAPHICS.// Мир ПК. 1995. - №12. - С. 32-34.

23. Ежов А., Шумский С. Нейрокомпьютинг и его применение в экономике и бизнесе. М.: Мир, 1998. - 222 С.

24. Ефимова М.Р., Петрова Е. В., Румянцева В.Н. Общая теория статистики. М.: Инфра-М, 1997. 367 С.

25. Загоруйко Н.Г. Алгоритмы обнаружения эмпирических закономерностей.

26. Змитрович А.И. Интеллектуальные информационные системы. -Минск: ТетраСистемс, 1997. 367 С.

27. Иващенко H.H. Автоматическое регулирование. М.: Машиностроение, 1973. - 442 С.

28. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976. - 736 С.

29. Кисилев М., Соломатин Е. Средства добычи знаний в бизнесе и финансах.// Открытые системы. 1997. - №4. - С. 41-44.

30. Кузнецов С.Е., Халилеев В.А. Обзор специализированных статистических пакетов по анализу временных рядов М.: СтатДиалог, 1993. - науч. отчет.

31. Куропаткин П.В. Теория автоматического регулирования. Л-Д: Лениздат, 1969. - 279 С.

32. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наукова думка, 1990. - 230 С.

33. Аитл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. -М.: Финансы и статистика, 1991. 333 С.

34. Логовский A.C. Зарубежные нейропакеты: современное состояние и сравнительные характеристики.// Нейрокомпьютер, 1998. -№1,2. С. 13-27.

35. Аукашин Ю.П. Адаптивные методы прогнозирования. М.: Статистика, 1979. - 251 С.

36. Макаров A.A. STADIA против STATGRAPHICS, или кто ваш «лоцман» в море статистических данных.// Мир ПК, 1992. -№3. С. 58-66.

37. Минский М., Пейперт С. Персептроны. М.: Мир, 1971.-261 С.

38. Нейрокомпьютеры и их применение: Сборник докладов. 5-я всероссийская конференция. М.: ИПУ, 1999. - 483 С.

39. Нейрокомпьютеры и нейроматематика. -http: //www.bmstu.ru/facult/iu/iu4.

40. Осуги С., Саэки Ю. Приобретение знаний. М.: Мир, 1990. - 304 С.

41. Пивкин В.Я., Бакулин Е.П. Кореньков Д.И. Нечеткие множества в системах управления.// Fuzzy Technologies Lab, 1999.

42. Попов Р. Обзор методов принятия решений трейдером на основании статистических методов обработки информации.//Релпресс, 1997.

43. Румчинский Л.З. Математическая обработка результатов эксперимента.

44. Саркисян С.А. Теория прогнозирования и принятия решений. -М.: Высшая школа, 1977. 489 С.

45. Синицын Е. Нейронные сети и финансы.// Банковские технологии, 1996. №1. - С. 19-22.

46. Современные статистические пакеты. -http//www. info tech/Stat/sm/html.

47. Статистический анализ данных, http / / www.infotech / analiztime / analiz/lec 1-21 .html.

48. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. -М.: Синтег, 1998. 376 С.

49. Тьюки Дж.У. Анализ результатов наблюдений. М.: Мир, 1981. -693 С.

50. Тэрано Т., Асаи К., Сугэно М. Прикладные нечеткие системы. -М.: Мир, 1993. 366 С.

51. Тюрин Ю.Н., Макаров A.A. Статистический анализ данных на компьютере. М.: Инфра-М, 1998. - 528 С.

52. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. -М.: Мир, 1992. -184 С.

53. Фигурин A.A. Автоматизированная система анализа производственно-экономических показателей.// Прогрессивные процессы и оборудование металлургического производства: Тезисы докладов 1-ой международной конференции. Череповец, 1998, С. 123-124.

54. Фигурин A.A. О построении автоматизированной системы прогнозирования временных рядов на базе статистических методов. / / Информационные технологии в производственных, социальных и экономических процессах. Материалы конференции. Череповец, 1999, С. 116.

55. Фигурин A.A. Об автоматизированной системе контроля знаний студентов высших учебных заведений. / / Перспективные технологии автоматизации: Тезисы докладов международнойэлектронной научно-технической конференции. Вологда, 1999, С. 177-177.

56. Фигурин А.Д., Малыгин Л.Л. Современные методы и технологии прогнозирования в бизнесе и социальных процессах./ / Информационные технологии в производственных, социальных и экономических процессах. Материалы конференции. Череповец, 1999, С. 115.

57. Физические и математические модели нейронных сетей.//Итоги науки и техники. М.: ВИНИТИ, 1990. - том1.

58. Харченко Л.П. Статистика: курс лекций. М.: Инфра-М, 1997. -387 С.

59. Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970.-252 С.

60. Что такое нейронные сети, их обучение и использование, http//www.neuralbench.ru\RUS\Theory\Theory.htm.

61. Сыслов В.В. Нейросетевая система распознавания иероглифов.//Нейрокомпьютер. М.: Московская типография № 2 РАН, 1995. - С. 9-14.

62. Лесин В.В., Лисовец Ю.П. Основы методов оптимизации. М.: Изд-во МАИ, 1998. - 344 С.

63. Бахвалов Н.С. Численные методы. М.: Наука, 1973. 480 С.

64. Brown R.G. Smoothing forecasting and prediction of discrete time series. N.Y.: 1963, Table C. 5, P. 422.

65. Decker K.M., Focardi S. Technology overview: A Report on Data Mining.//CSCS-ETH. Swiss Scientific Computer Center, 1995.

66. Linsker R. Self-organization in perceptual network.//IEE, 1988. 0018-9162. P. 105-117.

67. Polyanalyst 4.0Л User manual.// Megaputer Intelligence, 1999. 249 P.

68. Rosenberg P.S. and Gail M.H. Backcalculation of flexible linear models of the human Immunodeficiency Virus infection curve.// Applied Statistics. №40,- 1991. P. 269-282.

69. Takens F.Jn. Lecture Notes in Mathematics. New York: Rand., D.A.&Young. L.-S., 1981. - 366 P.

70. F. Lisi, O. Nicolis, M. Sandri. Combining Singular-Spectrum Analysis and neural networks for time series forecasting.// http: / /ai.iit.org/jair/public/.

71. J. Draye, D. Pavisic, G. Cheron, G. Libert. Adaptative constant time in periodic neural nets. .// http://ai.iit.org/jair/public/.

72. G. Deco, В. Schurmann. Neural learning of chaotic dynamics . // http: / / ai .iit. org/j air / public /.

73. Yam Y.F., Chow T. W.S. Technical report. Hong Kong.// Department of Electronic Engineering, City University of Hong Kong, 1989. 170 P.

74. Bengio Samy , Bengio Yoshua , Cloutier Jocelyn. On the search for new learning rules for ANNs.// http://ai.iit.org/jair/public/.

75. Mansur A., Bethesda, Fischthal. Прогнозирование, использующее neural сеть(цепь) и статистический прогноз./ Пат № US5461699.