автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Система прогнозирования на основе многокритериального анализа временных рядов

На правах рукописи

Щипин Константин Сергеевич

СИСТЕМА ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ МНОГОКРИТЕРИАЛЬНОГО АНАЛИЗА ВРЕМЕННЫХ РЯДОВ

Специальность 05.13.10 «Управление в социальных и экономических системах»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2004

Работа выполнена на кафедре автоматизированных систем управления в Московском государственном институте стали и сплавов (технологическом университете).

Научный руководитель:

доктор технических наук, профессор Рыков Александр Семенович

Официальные оппоненты:

- доктор технических наук, профессор

Бурков Владимир Николаевич;

- доктор технических наук, профессор

Елисов Лев Николаевич

Ведущее предприятие:

Институт проблем передачи информации РАН

Защита диссертации состоится 10 декабря 2004 г. в 14 часов на заседании диссертационного совета Д.212.132.10 в Исследовательском центре проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета) по адресу: 105318, г. Москва, Измайловское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке Исследовательского центра. Автореферат разослан ноября 2004 г.

Ученый секретарь диссертационного совета кандидат технических наук доцент

2,005-д

Общая характеристика работы

В 2001 году постановлением Правительства Российской Федерации утверждена Федеральная целевая программа «Предупреждение и борьба с заболеваниями социального характера (2002-2006 годы)». В подпрограмме «Вакцинопрофилактика» этой программы говорится о необходимости проведения работ по совершенствованию эпидемиологического надзора за инфекциями, управляемыми средствами специфической профилактики, и государственного контроля за проведением профилактических и противоэпидемических мероприятий.

В рамках решения задач подпрограммы «Вакцинопрофилактика» создана и постоянно совершенствуется «Компьютерная система эпидемиологического надзора за инфекционными заболеваниями (федеральный уровень)» (далее информационная система «Эпиднадзор»), предназначенная для автоматизации процедур сбора, хранения и обработки информации по мониторингу за инфекционными заболеваниями. Основу системы составляет интегрированная база данных, содержащая информацию, собираемую по формам федерального государственного и отраслевого статистического наблюдения.

Актуальность работы обуславливается необходимостью решения задач, возникающих перед государственной санитарно-эпидемиологической службой при осуществлении эпидемиологического надзора за инфекционными заболеваниями и связанных с обработкой и анализом поступающих статистических данных. Это задачи регламентированной обработки статистической отчетности, постоянного наблюдения за эпидемическим процессом во времени, оперативные ситуационные задачи, связанные с принятием управленческих решений, задачи анализа причинно-следственных связей в складывающейся обстановке, прогнозирования развития эпидемической ситуации.

В работе содержатся теоретические положения, которые были положены в основу подсистемы «Прогноз» информационной системы «Эпиднадзор», предназначенной для поддержки принятия управленческих решений при эпидемиологическом надзоре за инфекционными заболеваниями, а также примеры использования и результаты внедрения этой системы в деятельность Департамента государственного санитарно-эпидемиологического надзора Минздрава России и Федерального центра государственного санитарно-эпидемиологического надзора Минздрава России.

В диссертационной работе предлагается методика решения задачи прогнозирования на основе временных рядов с использованием стандартных методов, их комбинаций и модификаций известных методов.

Особенности предлагаемого подхода состоят в следующем:

• реализованы многокритериальное описание качества прогнозов, описание понятий «хороший» или «оптимальный» прогноз;

• для разных ситуаций содержательно описаны требования к качеству прогнозов, которые трансформированы в множество формальных постановок задач прогнозирования;

сформировано множество прогнозных моделей, на основе ретроспективного анализа осуществляется выбор вида и параметров моделей;

используются прогнозные модели аддитивной структуры, позволяющие проводить покомпонентный анализ составляющих временного ряда;

система прогнозирования реализуется в диалоговом варианте.

Целью диссертационной работы являются разработка алгоритмов построения прогнозов на основе анализа временных рядов, разработка методов формализации оценки их качества, создание на основе этих методов и алгоритмов системы прогнозирования и ее последующая интеграция в информационную систему эпидемиологического надзора за инфекционными заболеваниями «Эпиднадзор».

Задачи исследования. Для достижения поставленной цели в работе поставлены и решены следующие задачи.

1. Анализ существующих методов прогнозирования на основе временных рядов.

2. Формулировка постановок многокритериальных задач прогнозирования.

3. Разработка методики оценки качества прогнозирования, учитывающей предпочтения эксперта.

4. Разработка диалогового алгоритма рационального выбора «лучших» прогнозов.

5. Решение задач построения прогнозов как задач оптимизации.

6. Реализация подсистемы прогнозирования для информационной системы «Эпиднадзор».

7. Оценка работоспособности системы при прогнозировании инфекционной заболеваемости.

Методы исследования. Для решения поставленных задач исследования были использованы методы многокритериальной оптимизации, системного анализа и исследования операций, математической статистики, эконометрики, теории реляционных баз данных, объектно-ориентированного проектирования и программирования.

На защиту выносятся:

1. Многокритериальный подход при формализации постановки задачи прогнозирования, включающий построение критериев оценки качества прогноза, постановку оптимизационных задач для настройки прогнозных моделей.

2. Диалоговый алгоритм решения задачи прогнозирования как многокритериальной задачи оптимизации на основе предложенных критериев оценки качества прогноза.

3. Предложенные в работе прогнозные модели, их структура и параметры.

4. Разработанная система прогнозирования на основе многокритериального анализа временных рядов

Научная новизна. Предложен многокритериальный подход при формализации постановки задачи прогнозирования. Множество предложенных критериев оценки качества прогнозов трансформировано в формальные постановки задач многокритериальной оптимизации, которые решаются на множестве конкурирующих прогнозов. Для решения поставленных задач построено множество прогнозных моделей. Разработан диалоговый алгоритм рационального выбора лучших прогнозов.

Практическая значимость работы состоит в том, что применение разработанной системы прогнозирования в деятельности госсанэпидслужбы с последующим принятием управленческих решений, направленных на профилактику и снижение инфекционной заболеваемости, позволяет повысить качество и эффективность эпидемиологического надзора за инфекционными заболеваниями в России.

Внедрение результатов. Разработанная система прогнозирования на основе много -критериального анализа временных рядов реализована как подсистема прогнозирования в информационной системе эпидемиологического надзора за инфекционными заболеваниями «Эпиднадзор».

Информационная система «Эпиднадзор» находится в промышленной эксплуатации в Департаменте государственного санитарно-эпидемиологического надзора Минздрава России и Федеральном центре государственного санитарно-эпидемиологического надзора Минздрава России.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на:

• международной конференции «Идентификация систем и задачи управления» (81СРЯО), Москва, 2004 г.;

• международном форуме «Информатизация процессов охраны здоровья населения -2001», Кемер, Турция, 2001 г.;

• совещаниях в Департаменте государственного санитарно-эпидемиологического надзора Минздрава России и Федеральном центре Госсанэпиднадзора Минздрава России;

• семинарах на кафедре автоматизированных систем управления Московского государственного института стали и сплавов (технологического университета).

Публикации. Основные результаты диссертационной работы опубликованы в трех печатных работах.

Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения и списка использованных источников из 86 наименований. Общий объем работы - 134 листа.

Содержание работы

В первой главе рассмотрены известные методы и модели, применяемые при анализе временных рядов. Описаны временные ряды, рассматривается генезис наблюдений его образующих. Приводится обзор основных задач, решаемых при анализе временных рядов. Рассматриваются стационарные временные ряды и их основные характеристики.

Описываются методы регрессионного анализа, применявшиеся в работе, модели стационарных временных рядов. Также приведена методика аппроксимации рядами Фурье временных рядов. Изложены основные методы многокритериальной оптимизации.

Во второй главе рассматриваются теоретические положения, являющиеся базисом системы прогнозирования на основе временных рядов.

Сформулирована постановка задачи прогнозирования, которая сводится к выбору рационального прогноза из множества конкурирующих прогнозов, построенных с использованием различных и/или по-разному настроенных прогнозных моделей.

Пусть заданы значения временного ряда - значение анализируемого показателя, зарегистрированного в такте времени Требуется построить «хорошие» оценки будущих значений ряда

где - горизонт прогнозирования.

Из исходного временного ряда выделяется обучающая выборка на основании наблюдений которой строятся оценки значений -6-

временного ряда и прогнозные значения на тактах Х„.п ={5(1),.;с(2))...,5(Л^)}. Затем, на основании к произвольных точек исходного временного ряда, составляется экзаменационная выборка Х^ = {х(0.*('г)..........*(^)|,где <N.

Качество прогноза оценивается в процессе сопоставления полученных оценок Х1а ={*(/]),х(12),...,х(1^,...,х(1к)\ со значениями экзаменационной выборки Хзи. При этом используются различные критерии оценки качества прогнозирования. Окончательный прогноз X строится на основании всех имеющихся наблюдений временного ряда X с использованием того же метода прогнозирования, что и при построении вспомогательного прогноза.

Для учета требований к качеству прогнозов в различных ситуациях введены критерии оценки качества прогнозов вида

Качество точечных прогнозов оценивается критерием

Качество траекторных прогнозов оценивается одним из критериев:

где а^ - весовые коэффициенты, отражающие степень важности совпадения прогнозного и реального значения на такте задаваемые экспертным путем.

Для оценки качества прогноза максимума применяются два критерия. Первый определяет наилучшее совпадение величины максимума прогноза:

6. У5 =У3 (Я^, ,.£,„)=|тах{*(/,).....х(11)}-тах{х(1[),...М1)}\,

второй - совпадение значения такта с максимальным прогнозным значением:

7. У6 =^(Х1П,Хэц)=|агётах{ ),...,)}-агйтах.....*(/,)} |.

-7-

На основании введенных критериев оценки качества прогноза формулируются оптимизационные задачи выбора лучшего прогноза, где целевой функцией является функция качества прогноза.

Пусть было построено L различных прогнозов Х1,Хг,...,Х1 ,...XL, i = l,...,L, с использованием различных (или по-разному настроенных) прогнозных моделей Мf. Требуется выбрать «лучший» прогноз.

Критерии оценки качества, введенные выше, записываются в виде однокритериальных постановок задач прогнозирования:

1. X' = arg min V„ (Х„, X,) = arg min(| x, (w) - x(m) |).

"KU)

«IUI

2. X' = argminVl(X3KJIi,) = argminya1 |x,(i )-x(/)|.

<6(1X) *(U) J=l 1

3. X * = arg min V2 (X эо, X,) = arg min7—т,J^a, (i(f,)-x(t ))2.

«(u) *(u.) k-li/% '

4. *' = arg min V3 (X , X,.) = arg min max a, \x, (f;) - x(tj )|.

5.

6. X * = arg min V,(X3KJI X() = arg min(] max {*(/,).....*(ft)}-max{i,(/,).....5,(/t)}|).

< v> • ,,/v v>4 • !*.(',)

5. X = arg m.n Д,) = ™?>fc |>'' ' '■

■6(1.1.)

ie(U)

7. X' = arg min V6 (X M, X,) = arg tninö argmax { x(l,).....x(it)}- arg max {x, (tt),..., x, (tk )j).

"6(U) ie(1.L)

Более гибко подстроиться под требования эксперта к качеству прогноза позволяют следующие предложенные формулировки многокритериальных задач прогнозирования.

8. Комбинируются критерии V}, У6".

9. Комбинируются критерии

Весовые коэффициенты X.,, \г, Х,3, Х.5> Х6 задаются экспертным путем и позволяют определять значимость частных критериев в обобщенных постановках задач прогнозирования.

Сформулированные оптимизационные задачи решаются на множестве конкурирующих прогнозов. Это множество строится с помощью предлагаемого в работе алгоритма на основании выбранных и настроенных экспертом прогнозных моделей.

Особенность алгоритма заключается в том, что при настройке прогнозных моделей экспертом указываются не конкретные значения их параметров, а диапазоны их возможных значений. Такой способ задания значений параметров актуален в силу того, что эксперт, априори не зная, при каких значениях параметров прогнозной модели будет построен лучший прогноз, избавляется от необходимости вручную перебирать интересующие его варианты значений параметров прогнозных моделей. В ходе работы алгоритма для каждой прогнозной модели строится морфологический ящик, в котором формируются все возможные комбинации значений параметров прогнозной модели.

Все описанные выше теоретические положения объединяет диалоговый алгоритм решения задачи прогнозирования, структура которого представлена на рис. 1. Он описывает последовательность действий, которой следует придерживаться эксперту при построении прогнозов с помощью системы. В алгоритме описываются как действия эксперта, так и связанные с ними операции, выполняемые системой прогнозирования. Подробное описание шагов диалогового алгоритма построения прогноза приведено в табл. 1.

Рис. 1 Структура диалогового алгоритма решения задачи прогнозирования

Описание диалогового алгоритма решения задачи прогнозирования

Номер шага Шаг алгоритма Исполнитель шага Описание шага алгоритма

1 Выбор временного ряда для прогнозирования Эксперт Эксперт выбирает временной ряд, на основании которого необходимо провести прогнозирование. Выбранный ряд передается в систему прогнозирования

2 Визуализация временного ряда Система прогнозирования Временной ряд отображается в виде графика, на котором по оси абсцисс откладываются временные такты, а по оси ординат - значения временного ряда

3 Визуальный анализ временного ряда Эксперт В ходе визуального анализа временного ряда эксперт принимает решение о том, стоит ли учитывать все данные ряда при построении прогноза и, при необходимости, исключает некоторое количество последовательных тактов слева. Таким образом игнорируются «старые» данные. В случае если эксперту хочется сопоставить прогноз с реальными данными, он может исключить из рассмотрения несколько последовательных тактов справа (игнорируются «новые» данные)

4 «Усечение» временного ряда по краям Эксперт Эксперт указывает, какое количество тактов справа и слева следует исключить из рассмотрения, после чего эти такты игнорируются системой при построении прогноза

5 Выбор горизонта прогнозирования Эксперт Эксперт принимает решение, на какое количество тактов вперед необходимо построить прогноз, учитывая при этом количество наблюденных значений в исходном временном ряду.

-И-

Продолжение табл. 1

Номер шага Шаг алгоритма Исполнитель шага Описание шага алгоритма

6 Настройка набора прогнозных моделей Эксперт Эксперт определяет, какие прогнозные модели и с каким диапазоном значений их параметров следует использовать при построении прогноза

7 Выбор критерия оценки качества прогноза Эксперт Эксперт выбирает формальную постановку задачи прогнозирования из предлагаемых системой. На основании выбранного критерия система прогнозирования будет определять, какие прогнозы «лучше», а какие «хуже»

8 Задание экзаменационной выборки Эксперт В зависимости от критерия оценки качества прогноза и выбранных прогнозных моделей, эксперт выбирает точки исходного временного ряда, которые необходимо включить в экзаменационную выборку. По точкам этой выборки будут проверяться построенные прогнозы. По умолчанию экзаменационными считаются т последних тактов временного ряда

9 Построение прогнозов Система прогнозирования Система прогнозирования выполняет построение набора конкурирующих прогнозов с помощью прогнозных моделей, выбранных и настроенных экспертом

10 Ранжирование прогнозов Система прогнозирования Система прогнозирования ранжирует построенные прогнозы от «лучшего» к «худшему», после чего предъявляет их упорядоченный список эксперту с указанием значений критерия оценки качества для каждого из них

Окончание табл. 1

Номер шага Шаг алгоритма Исполнитель шага Описание шага алгоритма

11 Выбор в диалоговом режиме лучшего прогноза (лучших прогнозов) Эксперт Эксперт, просматривая последовательно прогнозы в виде совмещенных графиков исходного временного ряда, вспомогательного и окончательного прогнозов, выбирает наиболее рациональный

12 Экспорт или печать прогноза Эксперт Результаты прогнозирования могут быть экспортированы в файл для последующего использования или отправлены на печать

В случае если ни один прогноз эксперта не устраивает или он считает возможным построить более качественные прогнозы, ему следует вернуться к шагу № 3 алгоритма и «подстроить» параметры прогнозирования, которые, по мнению эксперта, позволят достичь лучших результатов при повторном моделировании.

Итогом выполнения диалогового алгоритма является построенный прогноз, который выбран из множества конкурирующих прогнозов, предъявленных эксперту. Модели временных рядов не учитывают причинно-следственные связи, порождающие временные ряды, поэтому принципиально важным при выборе лучшего прогноза остается мнение эксперта, который может использовать свои представления о качестве прогнозов и оценить, насколько они адекватны развивающейся ситуации.

При построении прогнозов используются различные прогнозные модели, в том числе имеющие аддитивную структуру. Аддитивные прогнозные модели позволяют проводить покомпонентный анализ составляющих временного ряда: тренда, сезонной и случайной компоненты. Описание моделей, использованных и реализованных в системе прогнозирования, а также их параметров приведено в табл. 2.

Модели, использованные для построения прогнозов

№ п/п Обозначение модели Описание модели

1 Ща,к) Модель описывает тренд в виде алгебраического полинома порядка «а». Параметр «к» принимает значение 1 в случае, если в модели учитывается автокорреляция случайных остатков, О-в противном случае

2 ЛЯ(р) Модель авторегрессии порядка « р »

3 ПТ) Модель, аппроксимирующая исходные данные рядами Фурье с периодом «Г »

4 ЕхрО Модель описывает экспоненциальный тренд

5 Ща,к)+Р(Т)+АЩр) Аддитивная прогнозная модель. Тренд описывается полиномом порядка «а» с учетом или без учета автокорреляции остатков (параметр « к »), сезонные колебания - рядами Фурье, случайные факторы - моделью авторегрессии порядка «р ». Параметр «Г » -период ряда Фурье.

6 £хр() + Р(7')+АЛ(р) Аддитивная прогнозная модель. Тренд описывается экспоненциальной функцией, сезонные колебания -рядами Фурье, случайные факторы - моделью авторегрессии порядка « р ». Параметр «Т » - период ряда Фурье.

В третьей главе рассматривается программная реализация системы прогнозирования. Приводится ее структура, объектная модель, описывается пользовательский интерфейс системы прогнозирования.

Программное обеспечение информационной системы «Эпиднадзор» реализовано в двухуровневой архитектуре «клиент/сервер».

Серверная часть системы, управляемая СУБД «Oracle Standard 8.1.7», предназначена для централизованного хранения данных об инфекционной заболеваемости, собранных на основании форм федерального государственного и отраслевого статистического наблюдения, а также включает в себя необходимые средства обработки данных на сервере: логический контроль, импорт и экспорт данных, выдачу данных по запросам клиентских приложений.

Клиентская часть системы реализована как приложение для операционной системы «Microsoft Windows» на языке прогнозирования «C++» с использованием средства разработки приложений «Borland C++ Builder 6.0» и предназначена для формирования запросов к серверу, обработки данных и их представления в виде таблиц, графиков, диаграмм, гистограмм, географических карт. Система прогнозирования интегрирована в клиентское приложение как подсистема «Прогноз».

При построении информационной системы «Эпиднадзор» применялся объектно-ориентированный подход, язык моделирования «UML». Система прогнозирования является открытой и может быть расширена за счет добавления новых прогнозных моделей и постановок задач прогнозирования.

В четвертой главе приводятся примеры прогнозов, построенных с помощью разработанной системы прогнозирования на основании анализа временных рядов, описывающих заболеваемость вирусным гепатитом А и бактериальной дизентерией в Российской Федерации. Использованы данные о заболеваемости, собираемые ежемесячно на основе формы № 1 «Инфекционная и паразитарная заболеваемость» федерального государственного статистического наблюдения.

При построении траекторного прогноза заболеваемости гепатитом А демонстрируется работа диалогового алгоритма решения задачи прогнозирования, процесс настройки и выбора параметров прогнозных моделей. Построенный прогноз приведен на рис. 2.

Огмтмый период

| □ Область прогнив ЕЗ неуч>ты»ммм тщты и» Нииройта 1Я(0,0)*ГС60)*АВ(Э) [■^.ГЕомоэ иЭД.О)+Р(ВО)**Я(3) -«-Исидамед»*»|с___

Рис. 2. Прогноз, построенный с помощью модели № 5

Проведено сравнение оптимальных прогнозов, полученных при использовании различных прогнозных моделей. Результаты сравнения представлены в табл. 3.

Таблица 3

Результаты прогнозирования

Прогнозная модель, параметры модели

Критерий оценки качества прогноза модель № 1 модель № 2 модель №3 модель №4 модель №5 модель Мб

а = 2, к = 0 р = 1 Г = 60 - а = к = 0 Т = 60, Р = з Г = 60, р = 1

Ошибка прогноза, %, на такте: t = N +1; ¡ = N + 2; 1 = И + 3 5,06 4,95 1,93 15,06 5,20 16,70 521,36 523,95 677,01 129,29 136,78 196,36 0,83 3,65 36,21 59,17 57,96 116,02

Средняя ошибка прогноза, %: подсчитанная на основе реальных данных; полученная при настройке прогноза 3,98 22,30 12,32 19,30 574,11 335,00 154,14 62,00 13,56 3,74 77,72 43,55

Значение критерия оценки качества прогноза 1,48 1,24 20,93 3,85 0,38 2,74

В процессе анализа и сравнения был выбран прогноз, построенный с помощью прогнозной модели № 5 как наиболее рациональный. Это решение было подкреплено:

• наименьшим значением критерия оценки качества прогнозирования;

• наименьшей величиной средней ошибки прогноза, полученной при настройке модели;

• наименьшей величиной относительной ошибки на первых двух прогнозных тактах.

В результате анализа сделан вывод о том, что значения критериев оценки качества, получаемые в процессе настройки прогноза, хорошо соотносятся с ошибкой, подсчитанной на основе расхождения прогноза с реальными данными. Возможность осуществить такую проверку дало исключение из рассмотрения тактов с данными справа, выполненное перед началом анализа ряда.

Влияние выбора формальной постановки задачи прогнозирования на результат прогнозирования продемонстрировано при прогнозировании очередного сезонного всплеска заболеваемости бактериальной дизентерией. Построенный прогноз приведен на рис. 3. Результаты сравнения качества оптимальных прогнозов, полученных при различных формальных постановках задачи прогнозирования, сведены в табл. 4.

БАКТЕРИАЛЬНАЯ ДИЗЕНТЕРИЯ

11?1111|11?|11|1?|||1||111111111

Отчетны* триад

I СП Область прогою»

ИЗВеучиты»

«^»Протсг Ш(4,1) ♦ Р(2<) ♦АЕЙ^^Исходиш д<ииы»

Рис. 3. Прогноз заболеваемости бактериальной дизентерией при постановке задачи № б

Таблица 4

Сравнение качества прогнозов, полученных при различных постановках задачи

Постановка задачи прогнозирования Прогнозная модель, параметры модели

модель № 5 модель № 5 модель № 5 модель № 5

а= 3, 4 = 1, Г = 24,р = 0 а=1, 4 = 1, Г = 24, р = 2 д = 3, 4 = 0, Г = 24, р = 3 д=4, 4=1, Г = 24, р = 3

Минимизация среднего квад-ратического отклонения (№ 3) 6,95 7,80 7,15 9,56

Минимизация суммы модулей отклонений (№ 2) 159,25 155,83 168,56 241,37

Минимизация модуля максимального отклонения (№ 4) 29,94 36,03 29,80 30,51

Минимизация средней ошибки прогноза (№ 5) 19,90 17,85 23,84 43,29

Взвешенный критерий (№ 9). Весовые коэффициенты: X, =0,5; \2 =Х, =0,25 50,77 51,87 53,16 72,75

Прогноз максимума (№ 8). Весовые коэффициенты: X, = 0,2; X, = 0,5; Х6 = 0,3 0,39 0,40 0,76 030

Из таблицы 4 видно, что выбор прогнозных моделей совпадает при постановках задач № 3 и № 9, а также при постановках № 2 и № 5. Весовые коэффициенты, введенные в постановки задач № 8 и № 9 и задаваемые экспертным путем, играют существенную роль: они позволяют эксперту-прогнозисту настраивать постановку задачи на основе его предпочтений. С помощью этих коэффициентов становится возможным «плавный» переход между частными постановками задач прогнозирования, образующих обобщенную постановку задачи.

Оценка истинной точности построенных прогнозов проведена в процессе сопоставления прогнозного значения в точке «будущего» максимума с истинным значением временного ряда, которое составило дт(45) = 26,74. Значения абсолютных и относительных ошибок, соответствующие прогнозам, построенным при различных постановках задачи прогнозирования, приведены в табл. 5.

Сопоставление прогнозных значений с имеющимися данными

Постановка задачи прогнозирования Прогнозная модель, параметры модели Прогнозное значение, ¿(45) Абсолютная ошибка прогноза, Д Относительная ошибка прогноза, е,%

Прогноз максимума (№ 8). Весовые коэффициенты: X, = 0,2; А., =0,5, А.6=0,3 Модель № 5 а = 4, к = 1, Г = 24,р = 3 26/77 0,03 0,11

Минимизация суммы модулей отклонений (№ 2) Модель № 5 a-l,k-U Г = 24, р = 2 27,88 1,14 4,26

Минимизация средней ошибки прогноза (№ 5)

Взвешенный критерий (№ 9). Весовые коэффициенты: Я., =0,5; А.2=А.3=0,25 Модель № 5 а = 3, к =1, Г = 24,р = 0 31,00 4,26 15,93

Минимизация среднего квадратического отклонения (№ 3)

Минимизация модуля максимального отклонения (№ 4) Модель № 5 а = ЗД=0, Т = 24, р = 3 32,72 5,98 22,36

Из таблицы видно, что наиболее точным оказался оптимальный прогноз, полученный при постановке задачи № 8 - «прогноз максимума». Такой результат является вполне закономерным, так как в данном случае формальная постановка задачи прогнозирования совпадает с представлениями эксперта о хорошем прогнозе. Также позитивную роль в данном случае сыграло наличие весовых коэффициентов, которые позволили учесть значимость каждого из частных критериев качества, а также настройка экзаменационной выборки: в нее вошли такты в окрестности сезонных всплесков заболеваемости (выделены на рис. 3 цветом).

Хорошие результаты прогнозирования в обоих случаях обусловлены применением гибкого инструментария, позволяющего как комбинировать различные и по-разному настроенные модели, так и выбирать и настраивать постановки задач прогнозирования на основе предпочтений эксперта.

Проведенный анализ и промышленная эксплуатация системы прогнозирования позволяют сделать вывод о ее высоком качестве и работоспособности.

Основные результаты и выводы

В диссертации предложены, успешно апробированы и внедрены методика, математическое и программное обеспечение системы прогнозирования на основе многокритериального анализа временных рядов. Система предназначена для решения задачи прогнозирования с последующим принятием управленческих решений, направленных на профилактику и снижение инфекционной заболеваемости, что позволяет повысить качество и эффективность эпидемиологического надзора за инфекционными заболеваниями в России. Получены следующие основные научные и практические результаты.

1. Предложено многокритериальное описание качества прогнозов на основании сформированного множества критериев оценки их качества, учитывающих предпочтения эксперта. Для различных ситуаций требования к качеству прогнозов представлены в виде формальных постановок задач прогнозирования.

2. Разработан алгоритм построения множества конкурирующих прогнозов, на котором задача прогнозирования решается как задача оптимизации, где целевой функцией является функция качества прогноза, сконструированная на основе критериев оценки качества прогнозирования.

3. Разработан диалоговый алгоритм решения задачи прогнозирования как многокритериальной задачи оптимизации на основе сформулированных критериев оценки качества прогноза.

4. Описаны и адаптированы под решаемую задачу многокритериальной оптимизации прогнозные модели аддитивной структуры, позволяющие проводить покомпонентный анализ составляющих временного ряда: тренда, сезонной и случайной компоненты.

5. Разработанные алгоритмы и методы составили основу подсистемы «Прогноз» информационной системы «Эпиднадзор», предназначенной для построения прогнозов на основании данных об инфекционной заболеваемости. Информационная система «Эпиднадзор» находится в промышленной эксплуатации в Департаменте государственного санитарно-эпидемиологического надзора Минздрава России и Федеральном центре санитарно-эпидемиологического надзора Минздрава России.

Основные положения диссертации опубликованы в следующих работах:

1. Система многокритериального выбора и настройки параметров моделей анализа данных эпидемиологического надзора за инфекционными заболеваниями в России / А.С. Рыков,

B.О. Хорошилов, К.С. Щипин, АА. Рыков // Тр. междунар. конф. «Идентификация систем и задачи управления» (SICPRÖ04). - М., 2004. - С. 1045 -1050.

2. Система прогнозирования на основе многокритериального анализа временных рядов / А.С. Рыков, В.О. Хорошилов, К.С. Щипин, АА Рыков // Сб. науч. тр. МИСиС «Экономика, информационные технологии и управление в металлургии». - М.: МИСиС, 2003. -

C. 77-79.

3. Концепция компьютерной системы эпидемиологического надзора за инфекционными заболеваниями / А.С. Рыков, В.О. Хорошилов, М.П. Шевырева, К.С. Щипин // Сб. докл. междунар. форума «Информатизация процессов охраны здоровья населения- 2001». — М.: МИСиС, 2001. - С. 54 - 57.

Формат 60 х 90 'Лб Бумага офсетная Тираж 130 экз.

Объем 1,375 п. л. Заказ 568

Отпечатано с готовых оригинал-макетов в типографии Издательства «Учеба» МИСиС, 117419, Москва, ул. Орджоникидзе, 8/9 Тел.: 954-73-94,954-19-22 ЛР №01151 от 11.07.01

№22 6 7 1

РНБ Русский фонд

2005-4 18234

Введение.

1. Модели и методы прогнозирования на основе временных рядов.

1.1. Временные ряды.

1.1.1. Определение временного ряда.

1.1.2. Генезис наблюдений, образующих временной ряд.

1.1.3. Основные задачи анализа временных рядов.

1.1.4. Стационарные временные ряды и их основные характеристики.

1.2. Обзор, математических моделей, применяемых при анализе временных рядов.

1.2.1. Регрессионные модели.

1.2.2. Модель авторегрессии (АР).

1.2.3. Модель скользящего среднего (СС).

1.2.4. Смешанные модели авторегрессии — скользящего среднего (АРСС).

1.2.5. Описание периодических процессов рядами Фурье.

1.3. Модели и методы принятия решений.

1.3.1. Постановки многокритериальных задач принятия решений.

1.3.2. Характеристики приоритета критериев. Нормализация критериев.

1.3.3. Принципы оптимальности в задачах принятия решений.

1.3.4. Метод аналитической иерархии.

1.3.5. Методы порогов несравнимости ЭЛЕКТРА.

1.3.6. Диалоговые методы. Метод ограничений.

1.4. Выводы к главе 1.

2. Модели и метды многокритериального прогнозирования.

2.1. Постановка задачи прогнозирования.

2.2. Критерии оценки качества прогнозирования.

2.3. Решение задачи прогнозирования как задачи оптимизации.

2.4. Алгоритм построения множества конкурирующих прогнозов.

2.5. Прогнозирование в диалоговом режиме с ЛПР.

2.5.1. Особенности диалоговых методов принятия решений.

2.5.2. Диалоговый алгоритм решения задачи прогнозирования.

2.6. Аддитивные модели прогнозирования.

2.6.1. Определение наличия неслучайной составляющей во временном ряду.

2.6.2. Анализ тренда.

2.6.3. Анализ сезонной компоненты.

2.6.4. Анализ случайной компоненты.

2.7. Выводы к главе 2.

3. Программная реализация системы прогнозирования.

3.1. Структура информационной системы «Эпиднадзор».

3.2. Объектная модель системы прогнозирования.

3.2.1. Диаграммы классов.

3.2.2. Описание классов подсистемы прогнозирования.

3.3. Пользовательский интерфейс системы прогнозирования.

3.3.1. Назначение основных элементов интерфейса пользователя.

3.3.2. Настройка параметров прогнозирования.

3.3.3. Настройка параметров отображения результатов прогнозирования.

3.3.4. Выбор рационального прогноза в диалоговом режиме.

3.4. Выводы к главе 3.

4. Примеры построения прогнозов с помощью системы прогнозирования.

4.1. Использование диалогового алгоритма решения задачи прогнозирования при построении прогноза.

4.2. Влияние выбора формальной постановки задачи прогнозирования на результаты прогнозирования.

4.3. Выводы к главе 4.

Основные результаты работы.

В 2001 году постановлением Правительства Российской Федерации утверждена Федеральная целевая программа «Предупреждение и борьба с заболеваниями социального характера (2002-2006 годы)». В подпрограмме «Вакцинопрофилактика» этой программы говорится о необходимости проведения работ по совершенствованию эпидемиологического надзора за инфекциями, управляемыми средствами специфической профилактики, и государственного контроля за проведением профилактических и противоэпидемических мероприятий.

В рамках решения задач подпрограммы «Вакцинопрофилактика» создана и постоянно совершенствуется «Компьютерная система эпидемиологического надзора за инфекционными» заболеваниями (федеральный уровень)» (далее информационная система; «Эпиднадзор»), предназначенная для автоматизации процедур сбора, хранения и обработки информации по; мониторингу за инфекционными заболеваниями. Основу системы составляет интегрированная база данных, содержащая информацию, собираемую по формам федерального государственного и отраслевого статистического наблюдения /33,49/.

Актуальность обуславливается необходимостью решения задач, возникающих перед государственной санитарно-эпидемиологической службой- при осуществлении, эпидемиологического надзора за инфекционными заболеваниями и связанных с обработкой и анализом поступающих статистических данных. Это задачи регламентированной обработки статистической отчетности, постоянного наблюдения за эпидемическим процессом во времени, оперативные ситуационные задачи,, связанные с принятием управленческих решений, задачи анализа причинно-следственных связей в складывающейся обстановке, прогнозирования развития эпидемической ситуации 151.

В работе содержатся теоретические положения, которые были положены в, основу подсистемы «Прогноз» информационной системы «Эпиднадзор»,, предназначенной для» поддержки принятия управленческих решений при эпидемиологическом надзоре за инфекционными заболеваниями, а также примеры использования' и результаты внедрения этой системы в деятельность Департамента государственного санитарно-эпидемиологического надзора Минздрава России и Федерального центра государственного санитарно-эпидемиологического надзора Минздрава России.

В диссертационной работе предлагается методика решения задачи прогнозирования на основе временных рядов с использованием стандартных методов, их комбинаций и модификаций известных методов. Особенности предлагаемого подхода состоят в следующем:

• реализованы многокритериальное описание качества прогнозов, описание понятий «хороший» или «оптимальный» прогноз;

• для разных ситуаций содержательно описаны требования к качеству прогнозов, которые трансформированы в множество формальных постановок задач прогнозирования;

• сформировано множество прогнозных моделей, на основе ретроспективного анализа осуществляется выбор вида и параметров моделей;

• используются прогнозные модели аддитивной структуры, позволяющие проводить покомпонентный анализ составляющих временного ряда;

• система прогнозирования реализуется в диалоговом варианте.

Целью диссертационной работы являются разработка алгоритмов построения прогнозов на основе анализа временных рядов, разработка методов формализации оценки их качества, создание на основе этих методов и алгоритмов системы прогнозирования и ее последующая интеграция в информационную систему эпидемиологического надзора за инфекционными заболеваниями «Эпиднадзор».

Для достижения поставленной цели в работе поставлены и решены следующие задачи.

1. Анализ существующих методов прогнозирования на основе временных рядов.

2. Формулировка постановок многокритериальных задач прогнозирования.

3. Разработка методики оценки качества прогнозирования, учитывающей предпочтения эксперта.

4. Разработка диалогового алгоритма рационального выбора «лучших» прогнозов.

5. Решение задач построения прогнозов как задач оптимизации.

6. Реализация подсистемы прогнозирования для информационной системы «Эпиднадзор».

7. Оценка работоспособности системы при прогнозировании инфекционной заболеваемости.

Для решения поставленных задач исследования были использованы методы многокритериальной оптимизации, системного анализа и исследования операций, математической статистики, эконометрики, теории реляционных баз данных, объектно-ориентированного проектирования и программирования.

На защиту выносятся.

1. Многокритериальный подход при формализации постановки задачи прогнозирования, включающий построение критериев оценки, качества прогноза, постановку оптимизационных задач для настройки прогнозных моделей.

2. Диалоговый алгоритм решения задачи прогнозирования как многокритериальной задачи оптимизации на основе предложенных критериев оценки качества прогноза.

3. Предложенные в работе прогнозные модели, их структура и параметры.

4. Разработанная система прогнозирования на основе многокритериального анализа временных рядов

Научная новизна диссертации заключается в предложении многокритериального подхода при формализации постановки задачи прогнозирования. Множество предложенных критериев оценки качества прогнозов трансформировано в формальные постановки< задач многокритериальной оптимизации, которые решаются на множестве конкурирующих прогнозов. Для решения поставленных задач построено множество прогнозных моделей. Разработан диалоговый алгоритм рационального выбора лучших прогнозов.

Практическая значимость работы состоит в> том, что применение разработанной системы прогнозирования в деятельности госсанэпидслужбы с последующим принятием управленческих решений, направленных на профилактику и снижение инфекционной заболеваемости, позволяет повысить качество и эффективность эпидемиологического надзора за инфекционными заболеваниями в России.

Разработанная, система прогнозирования на основе многокритериального анализа временных рядов реализована как подсистема прогнозирования в информационной системе эпидемиологического надзора за инфекционными заболеваниями «Эпиднадзор».

Информационная система «Эпиднадзор» находится в промышленной эксплуатации в Департаменте государственного санитарно-эпидемиологического надзора Минздрава России и Федеральном центре государственного санитарно-эпидемиологического надзора Минздрава России.

Результаты диссертационной работы докладывались и обсуждались на:

• международной конференции «Идентификация систем и задачи управления» (SICPRO), Москва, 2004 г.;

• международном форуме «Информатизация процессов охраны здоровья населения-2001», Кемер, Турция, 2001 г.;

• совещаниях в Департаменте государственного санитарно-эпидемиологического надзора Минздрава России и Федеральном центре Госсанэпиднадзора Минздрава России;

• семинарах на кафедре автоматизированных систем управления Московского государственного института стали и сплавов (технологического университета).

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертации предложены, успешно- апробированы и внедрены методика, математическое и программное обеспечение системы прогнозирования на основе многокритериального анализа временных рядов. Система предназначена для решения задачи прогнозирования с последующим принятием управленческих решений, направленных на профилактику и снижение инфекционной заболеваемости, что позволяет повысить качество и эффективность эпидемиологического надзора за инфекционными заболеваниями в России. Получены следующие основные научные и практические результаты.

1. Предложено многокритериальное, описание качества прогнозов на основании сформированного множества критериев оценки их качества, учитывающих предпочтения эксперта. Для различных ситуаций сформулированы требования к качеству прогнозов как формальные постановки задачи прогнозирования.

2. Разработан алгоритм построения множества конкурирующих прогнозов, на котором задача прогнозирования решается как задача оптимизации, где целевой функцией является функция качества прогноза,- сконструированная на основе критериев оценки качества прогнозирования.

3. Разработан диалоговый алгоритм решения задачи прогнозирования как многокритериальной задачи оптимизации на основе сформулированных критериев оценки качества прогноза.

4. Описаны и адаптированы под решаемую задачу многокритериальной оптимизации прогнозные модели: аддитивной структуры, позволяющие проводить покомпонентный анализ составляющих временного ряда: тренда, сезонной и случайной компоненты.

5. Разработанные алгоритмы и методы составили основу подсистемы «Прогноз» информационной системы «Эпиднадзор», предназначенной для построения прогнозов на основании данных об инфекционной заболеваемости. Информационная система «Эпиднадзор» находится в промышленной эксплуатации в Департаменте государственного санитарно-эпидемиологического надзора Минздрава России и Федеральном центре санитарно-эпидемиологического надзора Минздрава России.

1. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. М.: Наука, 1990.— 240 с.

2. Аллен К. 101 Oracle PL/SQL. М.: Лори, 2001. - 368 с.

3. Аммерааль Л. STL для программистов на С++. М.: ДМК Пресс, 2000. - 240 с.

4. Анго А. Математика для электро- и радиоинженеров. М.: Наука, 1967. - 780 с.

5. Беляев Е.Н. Роль санэпидслужбы в обеспечении санитарно-эпидемиологического благополучия населения Российский Федерации.- М.: Издательско-информационный центр Госкомитета санитарно-эпидемиологического надзора РФ, 1996. — 416 с.

6. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление: Пер. с англ. Вып. 1 и 2. М.: Мир, 1974. - 406 с.

7. Боггс У., Боггс М. UML и Rational Rose. М.: Лори, 2001. - 582 с.

8. Борисов В.И. Проблемы векторной оптимизации. Исследование операций // Методологические аспекты. М.: Наука, 1972. - С. 102-113.

9. Бунич А.Л. Бахтадзе Н.Н. Синтез и применение дискретных систем управления с идентификатором. М.: Наука, 2003. - 232 с.

10. Бэлсон Д., Гокмен М., Ингерем Дж. Внутренний мир Огас1е8. Проектирование и настройка: Пер. с англ. Киев: Издательство «ДиаСофт», 2000. - 800 с.

11. И. Вопросы анализа и процедуры принятия решений / Сб. пер. с англ. М.: Мир, 1976.230 с.

12. Геминтер В.И., Штильман М.С. Оптимизация в задачах проектирования. М.: Знание, 1982.-64 с.

13. Джонстон Дж. Эконометрические методы. М.: Статистика, 1980. -444 с.

14. Доугерти Кристофер Введение в эконометрику. М.: ИНФРА-М, 1997. - 402 с.

15. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука, 1986. - 296 с.

16. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1986.-29 с.

17. Зеленский К.Х., Игнатенко В.Н., Код А.П. Компьютерные методы прикладной математики. — Киев: Дизайн, 1999. 352 с.

18. Иванова В.М. Эконометрика. -М.: Соминтек, 1991.

19. Инфекционная заболеваемость в Российской Федерации за январь-декабрь 1998 года // ЗНиСО. 1999. -№ 1 (70).

20. Инфекционная заболеваемость в Российской Федерации за январь-декабрь 1999 года // ЗНиСО. 2000. - № 1 (82).

21. Инфекционная заболеваемость в Российской Федерации за январь-декабрь 2000 года // ЗНиСО. 2001. - № 1 (94).

22. Инфекционная заболеваемость в Российской Федерации за январь-декабрь 2001 года // ЗНиСО. 2002. - № 1 (Ю6).

23. Инфекционная заболеваемость в Российской Федерации за январь-декабрь 2002 года // ЗНиСО. -2003. -№ 1 (118).

24. Инфекционная заболеваемость в Российской Федерации за январь-декабрь 2003 года// ЗНиСО. 2004. - № 1 (130).

25. Инфекционная заболеваемость в Российской Федерации за январь-июнь 2004 года // ЗНиСО. 2004. - № 7 (136).

26. Казанцев А.П., Матковский B.C. Справочник по инфекционным болезням.- М: Медицина, 1979. 248 с.

27. Кватрани Т. Визуальное моделирование с помощью Rational Rose 2002 и UML. М.: Издательский дом «Вильяме», 2003. - 192 с.

28. Кендалл М.Дж. Временные ряды: Пер. с англ. М.: Финансы и статистика, 1981. - 199 с.

29. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды: Пер. с англ. — М.: Наука, 1976. 736 с.

30. Кини P.JL, Райфа X. Принятие решений при многих критериях: предпочтения и замещения: Пер. с англ. М.: Радио и связь, 1981. - 560 с.

31. Юпошин Д.А. Полный курс С++. Профессиональная работа. Киев: Диалектика, 2004. -672 с.

32. Компьютер и поиск компромисса. Метод достижимых целей / А.В. Лотов, В.А. Бушевков, Г.К. Каменев, О.Л. Черных. М.: Наука, 1997. - 239 с.

33. Коржов В. Многоуровневые системы клиент-сервер // Сети. -1997. № 6.

34. Корн Г., Корн Т. Справочник по математике. М.: Наука, 1974. - 832 с.

35. Ладыженский Г. Технология «клиент-сервер» и мониторы транзакций // Открытые системы. -1994. №3.

36. Ларичев О.И. Наука и искусство принятия решений. — М.: Наука, 1979. 200 с.

37. Ларичев О.И. Теория и методы принятия решений а также Хроника событий в Волшебных Странах. М.: Логос, 2000. - 296 с.

38. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Наука, 1996.-208 с.

39. Литвак Б.Г. Разработка управленческого решения: Учебник. 4-е изд., испр. - М.: Дело, 2003. - 392 с.

40. Литвак Б.Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982.-184 с.

41. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования. М.: Статистика, 1979.-253 с.

42. Лукашин Ю.П. Регрессионные и адаптивные методы прогнозирования. М.: МЭСИ, 1997.

43. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. — М.: Дело, 2000.-400 с.

44. Малыхин В.И. Финансовая математика: Учеб. пособие для вузов. М.: ЮНИТИ-ДАНА, 2000.-247 с.

45. Мейерс С. Эффективное использование STL. Библиотека программиста. — СПб.: Питер, 2002.-224 с.

46. Многокритериальные задачи принятия решений / Под ред. Д.М. Гвишиани, С.В. Емельянова. М.: Машиностроение, 1978. — 192 с.

47. Нейбург Э., Максимчук Р. Проектирование баз данных с помощью UML. М.: Издательский дом «Вильяме», 2002. - 288 с.

48. Оптимизация качества. Сложные продукты и процессы / Э.В. Калинина, А.Г. Лапига, В.В. Поляков и др. М.: Химия, 1989. - 256 с.

49. Основные социально-экономические показатели по Российской Федерации за 1997-2002 гг. // Вопросы статистики. 2002. - № 6. - С. 49-60.

50. Основные социально-экономические показатели по Российской Федерации за 1999-2004 гг. (По материалам Госкомстата России) // Вопросы статистики. 2004. № 6. - С. 71-82.

51. Песаран М., Слейтер Л. Динамическая регрессия: теория и алгоритмы: Пер. с англ. М.: Финансы и статистика, 1984. - 312 с.

52. Подиновский В.В. Методы многокритериальной оптимизации. Вып. 1 Эффективные планы. М.: Военная академия им. Дзержинского, 1971. - 122 с.

53. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. — 2-е изд., испр. Т. 1: Айвазян С.А., Мхитарян B.C. Теория вероятностей и прикладная статистика. - М.: ЮНИТИ-ДАНА, 2001. - 656 с.

54. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. - Т. 2: Айвазян С.А. Основы эконометрики. - М.: ЮНИТИ-ДАНА, 2001. - 432 с.

55. Рыков А.С. Методы системного анализа: многокритериальная и нечеткая оптимизация, моделирование и экспертные оценки. — М.: НПО «Издательство «Экономика», 1999. -191 с.

56. Рыков А.С. Методы системного анализа: оптимизация. М.: НПО «Издательство «Экономика», 1999. - 255 с.

57. Саати Т., Керне К. Аналитическое планирование и организация систем.- М.: Радио и связь, 1991.-224 с.

58. Салуквадзе М.Е. Задачи векторной оптимизации в теории управления. — Тбилиси: Мецниереба, 1975.

59. Светов Б.Я., Яковлев С.А. Моделирование систем. М.: Высш. шк., 1985. - 251 с.

60. Система прогнозирования на основе многокритериального анализа временных рядов / А.С. Рыков, В.О. Хорошилов, К.С. Щипин, А.А. Рыков // Сб. науч. тр. МИСиС «Экономика, информационные технологии и управление в металлургии». М.: МИСиС, 2003.-С. 77-79.

61. Статистические методы прогнозирования на основе временных рядов / Ю.В. Сажин, А.В. Катынь, В.А. Басова, Ю.В. Сарайкин. Саранск: Изд-во Мордовского ун-та, 2000. -116с.

62. Статистическое моделирование и прогнозирование: Учеб. пособие / Под ред. А.Г. Гранберга. М.: Финансы и статистика, 1990. - 383 с.

63. Субетто А.И. Квалиметрия. СПб.: Изд-во «Астерион», 2002. — 288 с.

64. Теория выбора и принятия решений / Макаров И.М., Виноградская Т.М., Рубчинский А.А., Соколов В.Б. — М.: Наука, 1982. 328 с.

65. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. М.: СИНТЕГ, 2003. - 284 с.

66. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. — М.: СИНТЕГ, 1998. -376 с.

67. Уотшем Т.Дж., Паррамоу К. Количественные методы в финансах: Учеб. пособие для вузов / Пер. с англ. М: Финансы; ЮНИТИ, 1999. - 527 с.

68. Управление и оптимизация производственно-технологических процессов / Н.М. Вихров, Д.В. Гаскаров, А.А. Грищенков и др. СПб.: Энергоатомиздат, 1995. - 301 с.

69. Френкель А.А. Прогнозирование производительности труда: методы и модели. М.: Экономика, 1989. - 214 с.

70. Черкасский Б.Л. Инфекционные и паразитарные болезни человека: Справочник эпидемиолога. М.: Медицинская газета, 1994. - 617 с.

71. Четыркин Е.Н. Статистические методы прогнозирования. М.: Статистика, 1977. - 199 с.

72. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. — М.: Радио и связь, 1992. 504 с.

73. Энсор Дэйв, Стивенсон Йен. Oracle. Проектирование баз данных: Пер. с англ. Киев: Издательская группа BHV, 2000. - 560 с.

74. Aitken A.C. On Least-Squares and Linear Combinations of Observations. // Proc. Royal Soc. — Edinburgh, 1934. Vol. 55. - P. 42-48.

75. Cochrane D., Orcutt G.H. Application of Least-Squares Regressions to Relationships Containing Autocorrelated Error Terms. // Journ. of the Amer. Stat. Assoc. 1949. - Vol. 44. -P. 32-61.

76. Durbin J., Watson G.S. Testing for Serial Correlation in Least-Squares Regression.-Biometrica, 1950-1951. Vol. 37. - P. 409-428; Vol. 38. - P. 159-178.

77. Ng W.Y. Interactive multi-objective programming as a framework for computer-aided control system design // Lect. Notes Control & Inf. Sci. Berlin: Springer-Verlag, 1989. - № 132.

78. Pareto V. Manuale di Economia Politica. Milan: Societa Editrice Libraria, 1906.

79. Roy B. Multicriteria Methodology for Decision Aiding. Dordrecht: Kluwer Academic Pulisher, 1996.

80. Stam A., Silva A.P. Stochastic judgements in the AHP: the measurement of rank reversal probabilities // Rep.WP-94-101. IIASA. Laxenburg ,1994.

81. Walker G. On periodicity in series of related terms. Proc. Royal Soc, 1931. - 518 p.

82. Yule G. U. On a method of investigating periodicities in disturbed series. Phil. Trans., 1927. -227 p.

83. Zeleny Ed. M. Multiple criteria decision making. Berlin: Springer Verlag, 1976.1. УТВЕРЖДАЮ

84. Генеральный директор ЗАО Научно-производственная фирма «ИнфоТех»1. О.Хорошилов 2004 г.1. УТВЕРЖДАЮ

85. Заместитель Руководителя Департамента государственного санитарно-эпидйшеяащаеского надзора Мишр5тепств^^|)^воохра11ения1ЦИИ;1. Ш.Шевырева 2004 г.использовании результатов диссертационной работы К.С.Щипина

86. Система прогнозирования на основе многокритериального анализа временных рядов»

87. От ЗАО Научно-производственная фирма «ИнфоТех»

88. От Департамента государственного санитарно-эпидемиологического надзора Министерства здравоохранения Российской Федерации Начальник отдела госэпидиадзора ицелевых пр^ррамм:1. Г.ФЛазикова1. УТВЕРЖДАЮ»

89. Главный врач Федерального центра государственного санитарно-эпидемиологического надзора ^инздрава России ' ' ссог

90. Е.Н. Беляев <з2/4?з><ХрЯ 2004 г.1. АКТоб использовании результатов диссертационной работы К.С. Щипина «Система прогнозирования на основе многокритериального анализа временных рядов»

91. Начальник отдела информационно-технического обеспечения