автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Прогнозирование аналоговых и дискретных процессов на основе структурной идентификации базовых параметров их источников

На правах рукописи

Кузнецов Егор Сергеевич

ПРОГНОЗИРОВАНИЕ АНАЛОГОВЫХ И ДИСКРЕТНЫХ ПРОЦЕССОВ НА ОСНОВЕ СТРУКТУРНОЙ ИДЕНТИФИКАЦИИ БАЗОВЫХ ПАРАМЕТРОВ ИХ ИСТОЧНИКОВ

Специальность 05.13.01. - «Системный анализ, управление и обработка информации (в науке и промышленности) по техническим наукам»

5 ДЕК 2013

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Нижний Новгород 2013

005542494

005542494

Работа выполнена на кафедре «Компьютерные технологии в проектировании и производстве» федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Нижегородский государственный технический университет им. P.E. Алексеева»

Научный доктор технических наук, профессор

руководитель: |Кирьянов Кирилл Геннадьевич

Научный доктор технических наук, доцент

консультант Хряиилов Валерий Павлович

Официальные Никульчев Евгений Витальевич

оппоненты: доктор технических наук, профессор

Негосударственное образовательное учреждение высшего профессионального образования Московский технологический институт "ВТУ", проректор по научной работе Соколова Элеонора Станиславовна доктор технических наук, профессор, федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Нижегородский государственный технический университет им. P.E. Алексеева», зав. кафедрой "Информатика и системы управления"

Ведущая ОАО «Федеральный научно-производственный центр

организация: «Нижегородский научно-исследовательский приборостроительный институт «Кварц» имени А.П. Горшкова»

Защита диссертации состоится «26» декабря 2013 года в 13 часов в ауд. 1258 на заседании диссертационного совета при Нижегородском государственном техническом университете им. P.E. Алексеева по адресу: 603950, г. Нижний Новгород, ул. Минина, 24.

С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. P.E. Алексеева.

Автореферат разослан «26» ноября 2013 года.

Ученый секретарь

диссертационного совета jf i^/ Суркова Анна Сергеевна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Процессы, протекающие в технических, экономических, экологических системах, представляют собой объекты с большим количеством внутренних связей, которые находятся в постоянном взаимодействии друг с другом и могут рассматриваться в качестве динамических. Данные, накапливаемые при их изучении, могут представлять собой временные ряды, отражающие процесс развития системы. В связи с этим проблема разработки и совершенствования методов прогнозирования временных рядов, применяемых при изучении сложных динамических систем с целью повышения эффективности их функционирования, является актуальной.

Достаточной основой для развития методов и средств прогнозирования аналоговых и дискретных процессов можно считать работы Ко-тельникова В.А., Боде X., Шеннона К., Бокса Дж., Дженкинса Г., Кра-мерса Дж., Сидоровича Е.Е., Брауна Р. Дальнейшее развитие теория прогнозирования получила в работах Агеева Д.В., Глушкова В.М. Кирьянова К.Г., Крылова В.В. и д.р.

Во всех предложенных ранее методах прогнозирования одной из главных задач является нахождение порядка модели и параметров так называемого "прогнозирующего оператора". Прогнозирующий оператор может представлять собой комбинацию предыдущих отсчётов прогнозируемого временного ряда. Точность прогноза в таких методах в основном определяется выбором порядка модели, задаваемого числом её коэффициентов. К сожалению, не все процессы удаётся прогнозировать такими моделями, хотя в ряде случаев их удаётся заменять линейной комбинацией гармонических или иных функций. Поэтому широко используются такие модели прогнозирующего оператора, сложность идентификации которых не сильно зависит от вида их нелинейностей.

Известные технологии прогнозирования, включающие сплайны, и методы, основанные на декомпозиции в ортогональные системы, характеризуются тем, что при увеличении сложности исследуемой системы число используемых коэффициентов при обучении растет экспоненциально (феномен «проклятия размерности»), что значительно ограничивает область применения таких решений. При использовании нейронной сети необходимо заранее выбрать её архитектуру или иметь некоторый эвристический метод для ее изменения, однако, даже в этом случае сложно обосновать оптимальность предложенной архитектуры сети, так

\ -

V

как всегда существует вероятность того, что при обучении сети будет найден только локальный экстремум применяемой целевой функции.

Заметим также, что иногда требуется прогнозировать непрерывные процессы конечной длительности Т. Во многих таких случаях не меняется изначальная частота дискретизации сигнала (). Значение /а ,

которое должно соответствовать теореме В.А.Котельникова, чаще всего выбирается из практических соображений, кратной секунде, минуте, часу, месяцу, году и т.д., что свидетельствует о возможной потере необходимой информации уже на стадии дискретизации сигнала. В данном случае необходима модель прогнозирующего оператора с настройкой на оптимальную с учетом получения максимума информации. Выбор

, по Котельникову осложняется еще тем, что не всегда возможно указать верхнюю частоту .

В рассмотренных методах определение порядка модели и подбор разных параметров прогнозирующего оператора, определяющего точности модели, осуществляется не связанными между собой способами. Поэтому проводимые в диссертации исследования направлены на разработку модели прогнозирования, предназначенной для скалярных и векторных процессов, имеющей согласованные между собой параметры, выбираемые по единому критерию.

Метод структурной идентификации базовых параметров источников процессов позволяет одновременно получить оптимальное значение порядка прогнозирующего оператора, количество уровней квантования исходного процесса и оптимальную частоту дискретизации непрерывного процесса, тем самым достигается уникальное решение при построении прогнозирующей модели. Идеологом теории структурной идентификации с помощью базовых параметров и разработчиком теоретических основ (в том числе выбора критерия оптимальности) является отечественный ученый, доктор технических наук, профессор К.Г. Кирьянов. В его работах оптимальность базовых параметров доказывается с применением энтропийных критериев

На сегодняшний день задачи разработки и совершенствования методов и алгоритмов прогнозирования на основе оптимальных базовых параметров являются актуальными.

Целью диссертационной работы являются исследование и разработка методов прогнозирования процессов на основе идентификации базовых параметров их источников.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

• критический анализ существующих методов прогнозирования;

• постановка задачи исследования;

• разработка и исследование новых методов и алгоритмов прогнозирования временных рядов, основанных на определении базовых параметров исходного процесса;

• разработка информационной системы прогнозирования временных рядов на основе оптимальных базовых параметров;

• апробация результатов исследования, проведение вычислительных экспериментов, подтверждающих эффективность предложенных методов и алгоритмов.

Объектом исследования являются физические, природные и промышленные процессы, протекающие в различных динамических системах и представленные в виде временных рядов.

Предметом исследования являются методы и алгоритмы прогнозирования временных рядов на основе оптимальных базовых параметров.

Методы исследования. Выполненные исследования базируются на использовании методов системного анализа и структурной идентификации источников процессов на основе оптимальных базовых параметров, теории вероятностей, с применением методов математической статистики, теории нелинейных динамических систем и теории информации.

Положения, выносимые на защиту:

1) Методика прогнозирования скалярных аналоговых и дискретных процессов, состоящая из двух этапов:

— нахождение оптимальных базовых параметров исходных процессов;

— прогнозирование выборки процесса на основе синтезируемого логического прогнозирующего оператора.

2) Систематизированные особенности прогнозирования скалярных и векторных процессов.

3) Новый метод восстановление пропусков в записях скалярных и векторных процессов.

4) Выявленная и исследованная связь прогнозируемости скалярных и векторных процессов с оптимальными базовыми параметрами.

Достоверность и обоснованность научных результатов и выводов основаны на корректности использования математического аппарата, соответствии результатов вычислительных экспериментов реальным

данным и подтверждены апробацией результатов диссертационной работы на научно-технических конференциях и в научной печати.

Научная новизна. В работе получены следующие новые научные результаты:

— разработан метод прогнозирования временных рядов, позволяющий исследовать аналоговые и дискретные процессы, предназначенный для решения различных задач прогнозирования моделируемых при помощи временных рядов процессов, отличающийся от известных использованием оптимальных базовых параметров прогнозируемых процессов;

— разработана система базовых параметров, позволяющая проводить структурную идентификацию исходных процессов, предназначенная для построения прогнозирующих операторов прогнозируемых процессов, отличаемая от известных систем согласованностью параметров между собой единым способом;

— предложен способ интерполяции временных рядов, позволяющий восстанавливать пропуски временных рядов, предназначенный для скалярных и векторных процессов, который отличается от известных представлением восстанавливающего оператора в виде д -значной логической функции;

— проведены исследования, позволяющие установить связь прогно-зируемости процессов с базовыми параметрами, предназначенными для построения оптимальной модели прогнозирования скалярных и векторных процессов, которые отличаются от проводимых ранее использованием структурной идентификации базовых параметров источников прогнозируемых процессов.

Практическая значимость. Разработаны специализированные алгоритмы построения прогнозирующего оператора, на основе оптимальных базовых параметров. Данные алгоритмы были реализованы в программном обеспечении, позволяющем осуществлять: предобработку исходных выборок, нахождение оптимальных базовых параметров источников процессов, построение прогнозирующего оператора, анализ и прогнозирование временных рядов на основе полученной модели.

С помощью разработанного программного обеспечения было проведено прогнозирование реальных и смоделированных временных рядов, основанных на теоретических (полигармонических и хаотических рядах) и реальных данных (процесса флуктуации лазера дальнего ин-

фракрасного диапазона, колец деревьев, рыночных курсов ценных бумаг и т.п.).

Публикация результатов. По результатам диссертации опубликовано всего 14 публикаций, из них 2 статьи в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук, 6 печатных работ в сборниках трудов научных конференциях, 4 в сборниках тезисов докладов международных научно-технических конференциях, получено 2 свидетельства о государственной регистрации программы для ЭВМ № 2007612952 и № 2008611799.

Апробация работы. Основные результаты работы докладывались и обсуждались на международных научно-технических конференциях «Информационные системы и технологии» (ИСТ) НГТУ, Нижний Новгород 2007 - 2012 гг., на научной конференции по радиофизике ННГУ, Нижний Новгород 2007-2011 гг., на заседаниях научного семинара кафедры «Компьютерные технологии в проектировании и производстве» (НГТУ).

Реализация и внедрение результатов работы. Результаты работы внедрены в учебный процесс Нижегородского государственного технического университета им. P.E. Алексеева, в производственный процесс ООО «Апрель Софт» и ОАО «Инвестиционная компания «Земля-инвест».

Объем и структура работы. Диссертация включает в себя введение, 4 главы, заключение, список литературы из 61 наименований и 3 приложения. Работа изложена на 115 страницах, содержит 40 рисунков и 26 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, определена цель и сформулированы решаемые в диссертации задачи, приведены новые научные положения, полученные в работе, показана их практическая ценность и представлены результаты апробации.

В первой главе проведен анализ известных, наиболее популярных методов прогнозирования временных рядов, выявлены их преимущества и недостатки, связанные с поиском прогнозирующего оператора, при ограниченном количестве имеющихся наблюдений.

На практике типичны ситуации, когда основным источником информации о поведении объекта являются данные измерений скалярной или векторной величины у (наблюдаемой), проведенных в последова-

тельные моменты времени. Такой набор данных называют временным рядом и обозначают

(Л) = (3'о»3'1.....З'м-!).

где у(. = у(^), = ¡Аг, Аг- интервал выборки; М - длина выборки.

В качестве альтернативы существующим методам рассматривается метод прогноза на основе нахождения оптимальных базовых параметров. Под базовыми параметрами понимается тройка основных параметров А?), где д — количество уровней квантования по значению, п является порядком математической модели (ММ) источника данных, порождающего прогнозируемую последовательность, Д/ — шаг дискретизации по времени прогнозируемого ряда.

ч-| 4-2 q-3

Дм :

;Уп

; ум

>\М

Рис. 1. Квантование по уровню и по времени исходного процесса.

К.Г. Кирьяновым и A.A. Горбуновым было предложено при прогнозировании q- уровневых временных рядов использовать в качестве прогнозирующего оператора q -значную логическую функцию

fk = Ук+1 = /(Ук-п+1' Ук-п+2' •••' У к) общего вида, т.е. заданную своей таблицей истинности (ТИ). ТИ прогнозирующего оператора при данном подходе строится по первым имеющимся в наличии М отсчетам прогнозируемой последовательности (з7,-} сопоставлением каждым идущим подряд п отсчетам следующего за ними отсчета в качестве прогнозируемого ими. При построении ТИ прогнозирующего оператора определяется как минимальное п, при котором по одним и тем же П идущим подряд отсчетам не прогнозируются различные значения (ТИ получается непротиворечивой).

Таблица 1

Таблица истинности___

аргументы прогнозирующего оператора Прогноз

Уо У1 ... Уп-1 II

У. У2 ... Уп fn Уп+1

• • • ...

Ук-п+1 Ук-п+2 ... Ук Л =

...

Ум-п-1 Ум-п ... Ум-2 /м-2 = Ум-1

Ум-п Ум-п+1 ... Ум-1 -

Процедура прогнозирования будущих отсчетов временного ряда начинается с последних п отсчетов Ум-„+1,Ум-п+2>-—>Ум (из М имеющихся), по которым прогнозируется следующий отсчет ум+1; далее-по уи-п+2>Ум-п+Э'""Ум+1 прогнозируется значение ум+2 и т.д.

Если очередная п -последовательность отчетов уже присутствует в ТИ, то прогнозируемое ею значение берётся непосредственно из таблицы. Однако, общее количество всех возможных наборов из п д -значных отсчетов оказывается обычно существенно больше, чем число п -последовательностей представленных в таблице истинности (их число ограничено длиной М имеющейся первоначально последовательности): ц" >М -п +1 •

Во второй главе рассматриваются методы прогнозирования на основе оптимальных базовых параметров. Рассмотрена методика прогноза, начиная от предварительной обработки исходных процессов до прогнозирования.

Идентификация модели основана на предварительном преобразовании исходных процессов в -уровневые временные ряды длиной М

{ук},к = 1,2,...,М <°° (1)

и прогнозировании на основе определения тройки оптимальных базовых параметров (БП) временного ряда. Оптимальные БП находятся по единому новому энтропийному критерию: 1-1

Е = ■ log2pi —»min (2)

1=0

где Pi — оценка вероятности появления в выборках значения

ie [0,0-1].

Определения оптимальных базовых (ОБП) параметров заключается в нахождении такой тройки (q,n,At), при которой энтропия (2) временного ряда (1) будет минимальна.

Если изначально дан дискретный процесс с фиксированным шагом Дt, то для прогнозирования определяются только q и пор1 нахождением минимума Е при qmm <q< qmM , птт <п< птзх. Если же изначально имеется выборка из непрерывного процесса с неоптимальным и требующим уточнения шагом Аt, то по имеющимся М отсчетам сигнал методом сплайнов восстанавливается в "непрерывный". Затем образуются новые наборы выборок процессов с разными шагами дискретизации в интервале Т / MmaJ < At <Т / Mmin (где Г-длительность исходного процесса). Тот набор из упомянутых будет иметь шаг Д/ , на котором пара д, п даёт среди всех наборов выборок процессов наименьшее значение критерия (2). Так определяется вся оптимальная тройка (qcpl,n

opt'

Прогнозирование для любого k = tl,n + \,...,M — 1 основывается на построении прогнозирующего оператора в виде q -значной логической функции с оптимальными БП:

Уш =/(Ук-п+1>Ук-п+2> — >Ук)кЛ' О)

или эквивалентной таблице истинности (ТИ) (табл. 1).

Строки ТИ прогнозирующего оператора строятся по всем идущим подряд п членам ряда отсчетов и следующего за ними отсчета, в качестве прогнозируемого ими символа.

Для прогнозирования выборок вне заданного ряда (1) при к>М требуется модификации алгоритма, реализующего формулу (3).

Прогнозирование при к>М заключается в пошаговом построении продолжения ТИ с М—и + 1-й по М +s- ю строку, где s = \,2,...,L, а

L - номер максимального шага прогнозирования или т.н. «прогнозного горизонта» для пополнения выборок данных (3), имеющихся в исходной ТИ.

Для определения yM+s используется последовательное сравнение >'а/-„+1-°й 11 последовательности со всеми П последовательностями,

уже имеющимися в исходной таблице, рассматриваемыми как опорные («эталонные») по критерию «минимума расстояния» между ними:

У M+s= аг® r min (4)

Ук&[уп+ЪУп+Т"<Ум+1-\]

где

5 (5)

ye[l,n] J J J

к — п + \,п + 2.....М + s- 1

В критерии близости (5) используются весовые функции индекса j= 1,2,..., п с типом веса i = {c,l,e,h}:

W{p =1, uA'> =1+(1 -j)/n, wl/} = e~J wf = Г' (6)

В третьей главе рассматриваются особенности прогнозирования векторных процессов на основе использования оптимальных БП.

Модель прогнозирования векторных процессов аналогична основана на предварительной дискретизации исходных векторных процессов продолжительности Т одновременно по времени, с периодом At— ТIМ , и по значению в q -уровневые временные ряды исходной

длины М у = имеющие ограничения по диапазону изменения параметров математической модели (ММ):

-00 < yL * < yL <°°,ке[0,М -1],vе [1,г] (7) Определение оптимальных базовых параметров осуществляется подобно методам, описанным во второй главе.

После нахождения оптимальных базовых параметров строится ПО для любого ks[n,M — 1] в виде q-значной нелинейной логической функции (8) с оптимальными аргументами (что является существенным отличием от известных методов прогнозирования векторных процессов)

(}''ы.....Угш)т =/((>'li-„+i,....yr*-n+i)7'.....(у1*, vr')r) (8)

или эквивалентной ТИ.

Для определения используется последовательное

сравнение-ой п последовательности со всеми П

последовательностями, уже имеющимися в исходной таблице, рассматриваемыми как опорные («эталонные») по модифицированному критерию «минимума расстояния» между П последовательностями:

wi.

yM+s = ^ min dkJ(s), (9) Ук^Уп+ЬУп+2.....Ум+s-1]

где

4(V)= Z TL ™lJ-\ylk + l:-ylM+s: I (Ю)

k J jelln] le[l,r] J k + l J M+s 1 где к - n +1, л + 2,..., M+s-1

Из введенных обозначений и алгоритма прогнозирования для век-' торного временного ряда (11), удовлетворяющего условиям (7), существует ММ ПО, который по п t начальным, следующим подряд с шагом Atopl = Т 1Мср1 <1ор, -значным выборкам исходного ряда позволяет вычислить все оставшиеся М — пор1 выборок.

Исходя из этого, характеризуем «голографическое» свойство векторного М,q,п -процесса- — «восстанавливаемость» (с точностью

1 / qopl) с помощью прогнозирующего оператора по nopt известным,

следующим подряд векторам-столбцам, последующих вектор-столбцов с любыми изменениями в них значений. И это позволяет естественным образом ввести понятие «предсказуемости (прогнозируемое™)» (Рг) поведения векторного ПО, как отношения энтропии предсказываемой части векторных процессов к энтропии базовой (начальной части)

Рг = -пор, )/пор1 +1 = М/пор, <М, (11)

1о§2<1ор,

1о8гЯ%

из которого следуют следующие выводы: Предсказуемость (11) обладает следующими свойствами:

а) зависит явно только от длины М и порядка П ПО (8);

б) не может превышать длины М ряда;

в) возрастает с ростом М , если - ряд M,q,n при своем продолжении сохраняет ОБП, то есть при ДМ > 0 остается стационарным « М + ДМ, qnp,, пор, -рядом»;

г) при nopl = 1 предсказуемость Рг ряда максимальна и равна М

Доказательство перечисленных свойств следует из возможности представления функции / ПО (8) в форме ТИ по ряду полной длины М .

При прогнозировании экономических рядов необходимо учитывать четкую восходящую или нисходящую тенденцию (тренд). Очевидно, что при этом количество уровней квантования будет не постоянным (не выполняется условие (12)). В данном случае, целесообразно прогнозировать не сами значения ряда, а отклонения относительно предыдущего значения, т.е. разности 1-го порядка:

yj; = yli-y-kje N'M -l],ve [l,r] (12)

Используя предположение, что количество уровней квантования для ряда (12) будет постоянным, после оптимальной дискретизации используя формулы (8)-(10) можно спрогнозировать ряд разностей 1-го порядка, Так как в конечном итоге важны не относительные изменения, а абсолютные значения, то используется обратное преобразование:

У1 = V0v + X 7 е [1,М -1 + L], V е [1, г] (13)

При прогнозировании рыночной стоимости акции также необходимо учесть объем сделок, который был совершен в этот же временной промежуток. Для этого прогнозный ряд можно представить в виде векторного процесса, состоящего из двух компонент: цена при окончании временного промежутка (At) и количество сделок, совершенных за данный временной промежуток времени.

При наличии пропусков значений в скалярных и векторных процессах возникает задача их восстановления по имеющимся отчетам. Построение восстанавливающего оператора (ВО) отличается от построения ПО (8), тем что он строится по имеющимся п -последовательностям. Для определения пропущенного значения

V-v ;/е [О,Л/ — l];ve [1,г], используется последовательное сравнение

/ — И -ой II -последовательности со всеми п -последовательностями, имеющимися в исходной таблице, рассматриваемыми как опорные («эталонные») по критерию «минимума расстояния» между ними (10).

Данный подход восстановления пропусков имеет следующие особенности:

1. Восстановление отсчета у- возможно только при условии, что

уже известны предыдущие п -отсчетов.

2. Один восстанавливаемый отсчет добавляет в существующую ТИ от 1 до п- последовательностей

3. Восстанавливаемый отсчет не должен создавать противоречий в уже существующей ТИ.

В четвертой главе представлена реализация предложенных методов и алгоритмов в разработанном программном обеспечении, а также описаны практические результаты его использования. Для проверки эффективности предложенных решений приведены результаты вычислительных экспериментов на реальных рядах различной природы (природные, промышленные и физические).

В данной работе разработан новый программный комплекс «Forecast». Отличия данного комплекса от других программ, предназначенных для прогнозирования временных рядов, таких как Statistica и др. заключаются в том, что в программной системе реализованы следующие возможности:

— нахождение оптимальных базовых параметров;

— построение таблицы истинности по найденным оптимальным базовым параметрам; . .

— прогнозирование на основе оптимальных базовых параметров.

Архитектура программного комплекса включает подсистемы:

I предварительной обработки данных;

II прогнозирования временных рядов;

III генерации процессов;

IV визуализации результатов вычислительных экспериментов.

Программный комплекс был разработан в среде Microsoft Visual

Studio .Net 2005 на языке программирования С#. Программный комплекс был разработан в рамках объектно-ориентированного подхода программирования.

Механизм верификации прогноза позволяет выполнить оценку достоверности и точности прогноза по участку эталонного временного ряда. В качестве оценки точности прогноза используется формула

о L J=|

где у' - исходный (реальный) процесс; 5 - шаг прогноза; L - длина прогноза, СТ2 - несмещенная дисперсия реальных значений у'. Сравниваются исходный процесс (y'(s),ss [М — L,M — 1]) и спрогнозированный процесс [М -L,M -1]) на основе исходного процесса с отброшенным концом (y'(s),se [0,М — L — 1]). Поиск оптимальных базовых параметров и построение прогнозирующего оператора (8) осуществлялись на участке к е [О, М — L — 1].

В качестве экспериментальных данных, приведем 2 временных ряда: выборка цен акции ОАО «Газпром» за период 01.01.2008-31.12.2012 и "классический" ряд Ряд G - Series G, представляющий месячные международные авиаперевозки (в тысячах) в течение 12 лет с 1949 по 1960. Отличительной особенностью международных перевозок является наличие ярко выраженной сезонной составляющей. Ниже приведена таблица сравнения точности прогноза предложенного метода с наиболее популярными: метод экспоненциального сглаживания и ARIMA.

Таблица 2

Результаты прогнозирования международных авиаперевозок

L 1 5 10 15 20 25

ОБП 0,002 0,17 0,11 0,09 0,07 0,08

Экспоненциальное сглаживание 0,007 0,125 0,11 0,08 0,06 0,07

ARIMA 0,003 0,205 0,15 0,13 0,11 0,12

Исходя из результатов, можно сделать вывод, что предложенный метод при прогнозировании временных рядов с ярко выраженной сезонной компонентой уступает методу прогнозирования, основанному на экспоненциальном сглаживании.

На рисунке 1 изображен результат прогнозирования методом на основе оптимальных базовых параметров, выполненный с помощью программы Forecast. Жирной линей изображен прогнозный ряд, обычной -исходный ряд.

Для сравнения прогноза цены акции ОАО «Газпром» процесс был спрогнозирован каждые 20 рабочих дней с учетом объемов сделок и без учета объема сделок.

■S f«*t*rt — JWw П«и own. П ........ Прапдуч! . MiitiiSklsx. мтор ЬдмДмю* 0УРСМЙ9' £

s llO.OWO |uVGM№ j - j

1

1 . '\J

Рис. 3. Прогноз цены акции ОАО «Газпром» На рисунке 3 изображен результат векторного прогнозирования цены акции ОАО «Газпром». Жирной линей изображен прогнозный ряд, обычной - исходный ряд.

Результаты экспериментов (усредненная оценка точности прогноза рыночной стоимости акции) скалярного и векторного процесса, выполненных в программе Forecast, представлен в виде таблицы 3.

Таблица 3

Результаты прогнозирования акции ОАО «Газпром»_

ь 1 5 10 15 20 25

Скалярный 0,01217 0,0121 0,03996 0,08738 0,26713 0,49633

Векторный 0,00782 0,00782 0,02 0,04 0,12 0,17

В качестве примера прогноза модельного векторного процесса был выбран аттрактор Лоренца.

РетесвЛ ф Щ- ■ Ег34

1>»ал Гр»фк* Аивлю Пои« ОВП и ГК Идентифкошю Прогмиирвииие !>"Ю»гор 6«» • увор»« а- [Ё

-¡.оосо г.сосо с. оосо ■Г.0000 -1.5000 ¿.0000 '"у™

.7 .у

//

• X «

Г

• 1

V 1

40 ¿"60 0"30 0530 0320 €540 С360 0550 0900 09-0 0945 юг К1 гпигт 11е ^^в\'"аИССЕР-ДЦИЯ'-вмь1Япв»««о1,-5-»Г1^1з« сио

Рис. 4. Векторный прогноз компоненты аттрактора Лоренца Графическое отображение результата прогнозирования при одновременном прогнозировании всех компонент вместе (векторный случай) показано на рис. 4. Результаты сравнения оценки точности прогноза сведены в таблицу 4

Таблица 4

Оценка точности прогноза компоненты аттрактора Лоренца

1 3 5 10 20

Скалярный 0,0001 0,0003 0,0009 0,0013 0,03

Векторный 0.001 0.0012 0.0012 0.0011 0.011

В заключении приводятся основные результаты работы. Наглядно продемонстрировано, что данный метод зарекомендовал себя в задачах прогнозирования рядов, в которых априорная информация не позволяет сделать вывод о функциональной зависимости прогнозируемого значения от предыдущих. В тех случаях, когда имеется априорная информация, например, информация о наличии сезонной компоненты, следует использовать данный метод совместно с «классическими», наиболее популярными методами прогнозирования, позволяющими учесть эту информацию.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработаны методы прогнозирования скалярных и векторных процессов основанные на предварительной оптимальной дискретизиза-ции («оптимальном загрублении») исходных данных во временные ряды. Это дало следующие преимущества перед наиболее популярными методами прогноза:

• поиск оптимальных базовых параметров осуществляется по единому новому энтропийному критерию, а не по различным известным ранее критериям оптимальности, например, Н.Акшке (только для п) и В.А. Котельникова

(только для ДГ);

• предлагаемый метод может подстроить частоту дискретизации отсчетов, если она в исходном процессе была выбрана не оптимально;

• прогнозирующий оператор определяется в виде Ц -значной логической функции для любого прогнозируемого процесса;

• прогнозируемое значение зависит от всех предыдущих значений, а не только от п последних;

• одинаковая методика прогноза, как для скалярных так и векторных процессов.

2. Предложена адаптация предложенного метода для прогнозирования процессов, имеющих четкую восходящую или нисходящую тенденцию (тренд), т.е. у которых максимальное и/или минимальное значение не постоянно.

3. Найдена связь прогнозируемости различных процессов с их оптимальными базовыми параметрами.

4. Предложен новый способ восстановления пропусков в скалярных и векторных процессов, восстанавливающий оператор определяется в виде #-значной логической функции для любого прогнозируемого процесса.

5. Разработано программное обеспечение, реализующее предложенные методы и алгоритмы: поиск оптимальных базовых параметров, прогнозирование скалярных и векторных временных рядов.

6. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных моделей, алгоритмов и программ для модельных (полигармонических и хаотических) и реальных временных' рядов из различных областей: промышленности, биологии и экономики.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИОННОЙ РАБОТЫ ИЗЛОЖЕНЫ В ПУБЛИКАЦИЯХ

Публикации в рецензируемых изданиях

[1] Кирьянов, К. Г. Прогнозирование процессов и сигналов на основе определения их оптимальных базовых параметров [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Вестник Нижегородского университета им. Н.И. Лобачевского. - Нижний Новгород - 2011. - № 5. - с. 196-200. (Режим доступа: http://www.unn.ru/e-librarv/vestnik.html?anum=4500)

[2] Кузнецов, Е.С. Особенности прогнозирования экономических процессов на основе определения их оптимальных базовых параметров [Текст] / Е.С. Кузнецов // Междисциплинарный научно-практический журнал "Бизнес-информатика". - Москва - 2012. - №3. - с. 17-23. (Режим доступа: http://biionrna1.hse.ru/2012-3(21V63252641 .htmll

Публикации в других изданиях

[3] Кирьянов, К.Г. Информационная система прогнозирования временных рядов [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Материалы Международной научно-технической конференции «Информационные системы и технологии (ИСТ-2007)»: - Н.Новгород: НГТУ, 2007. -С.154.

[4] Кирьянов, К.Г. Прогнозирование аналоговых и дискретных процессов на основе идентификации их базовых параметров [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Труды 11-й Научной конференции по радиофизике. - Н.Новгород: ННГУ, 2007. - С.228-229.

(Режим 40CTvna:littp://www.rf.iinn.ru/m.s/sci/books/07/pdf/inf svstems.pdf).

[5] Kiryanov, K.G. Information System Of Forecasting Processes And Signals On The Basis Of Definition Of Optimum Base Parameters [Text] / K.G. Kiryanov, Y.S. Kuznetsov // 8th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-8-2007): Conference Proceedings. Vol.1. - Yoskar-Ola, 2007. P.32-35

[6] Кирьянов, К.Г. Модификация метода прогнозирования аналоговых и дискретных процессов в программе forecast 2 [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Труды 12-й Научной конференции по радиофизике. - Н.Новгород: ННГУ, 2008. - с.271-272.

(Режим доступа: http://www.rf.unn.nl/rus/sci/books/08/pdf/inf systems.pdf)

[7] Кирьянов, К.Г. Нахождение числа продолжений q-уровневого ряда на заданную длину [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Труды 13-й Научной конференции по радиофизике. - Н.Новгород: ННГУ, 2009.-с.214-216.

(Режим доступа: http://www.rf.unn.ru/rus/sci/books/09/pdf/inf systems.pdf)

[8] Кирьянов, К.Г. Особенности прогнозирования дискретных и аналоговых векторных процессов на основе идентификации их базовых параметров [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Труды 14-й Научной конференции по радиофизике. - Н.Новгород: ННГУ, 2010. -с.278-280.

(Режим доступа: http://www.rf.unn.ru/rus/sci/books/10/pdf/inf sys.pdf)

[9] Кирьянов, К.Г. Информационная система прогнозирования векторных временных рядов [Текст] / К.Г. Кирьянов, Е.С. Кузнецов // Материалы Международной научно-технической конференции «Информационные системы и технологии (ИСТ-2010)»: - Н.Новгород: НГТУ, 2010.-С.158-159.

[10] Кирьянов, К.Г. Вычисление g-граммной энтропии q-уровнего текста конечной длины [Текст] / К.Г. Кирьянов, Е.С. Кузнецов, Е.В. Смолина // Материалы Международной научно-технической конференции «Информационные системы и технологии (ИСТ-2010)»: -Н.Новгород: НГТУ, 2010. - С. 160.

[11] Кузнецов, Е.С. Прогнозирование поведения процессов на основе их оптимальных базовых параметров [Текст] / Е.С. Кузнецов // Труды 15-й Научной конференции по радиофизике.- Н.Новгород: ННГУ, 2011. -с.261-262.

(Режим доступа: http://www.rf.unn.ru/rus/sci/bo«ks/l 1/pdf/inf sys.pdf)

[12] Кузнецов, Е.С. Об одном подходе к восстановлению пропусков в q-уровневых последовательностей // Материалы Международной научно-технической конференции «Информационные системы и технологии (ИСТ-2012)»: - Н.Новгород: НГТУ, 2012. -с.158-159.

[13] Кирьянов, К.Г. Прогнозирование временных рядов «Forecast» / К.Г.Кирьянов, Е.С.Кузнецов // Свидетельство о государственной регистрации программ для ЭВМ № 2007612952. Зарегистрировано в реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности, патентам и товарным знакам РФ от 09 июня 2007 г.

[14] Кирьянов, К.Г. Прогнозирование временных рядов «Forecast-2» / К.Г.Кирьянов, Е.С.Кузнецов // Свидетельство об официальной регистрации программ для ЭВМ № 2008611799. Зарегистрировано в реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности, патентам и товарным знакам РФ от 09 апреля 2008 г.

Усл. п. л. 1,0. Тираж 100 экз. Заказ № 4239

Нижегородский государственный технический университет

На правах рукописи

04201456376

Кузнецов Егор Сергеевич

ПРОГНОЗИРОВАНИЕ АНАЛОГОВЫХ И ДИСКРЕТНЫХ ПРОЦЕССОВ НА ОСНОВЕ СТРУКТУРНОЙ ИДЕНТИФИКАЦИИ БАЗОВЫХ ПАРАМЕТРОВ ИХ ИСТОЧНИКОВ

Специальность 05.13.01 - Системный анализ. Управление и обработка информации (в науке и промышленности) по техническим наукам

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель: д.т.н, профессор Кирьянов К.Г. 1

Научный консультант: д.т.н, доцент Хранилов В.П.

Нижний Новгород 2013

Содержание

1. Исследование и анализ методов прогнозирования временных рядов 11

1.1. Классификация методов прогнозирования....................................11

1.2 Особенности построения моделей прогноза..................................13

1.3 Классические методы и модели прогнозирования............................18

1.4 Прогнозирование с использованием оптимальных базовых параметров 21

1.5 Обобщение методов и моделей прогнозирования.............................23

1.6 Выводы...................................................................................................26

2 Разработка методов прогнозирования на основе базовых параметров 28

2.1 Предварительная обработка исходных процессов. Нахождение оптимальных базовых параметров......................................................................28

2.2 Синтез прогнозирующего оператора..................................................32

2.3 Модификация критерия близости с учетом классов эквивалентности34

2.4 Результаты вычислительных экспериментов на модельных данных35

2.5 Выводы...................................................................................................40

3 Особенности прогнозирования на основе использования оптимальных базовых параметров......................................................................41

3.1 Прогнозирование векторных процессов.............................................41

3.2 Восстановление пропусков в записях процессов..............................43

3.3 Прогнозирование экономических процессов.....................................45

3.4 Восстанавливаемость и прогнозируемость процессов......................46

3.5 Нахождение количества вариантов прогноза на заданную длину... 47

3.6 Результаты вычислительных экспериментов.....................................49

Выводы.........................................................................................................53

4 Реализация методов прогнозирования на основе оптимальных базовых параметров............................................................................................... 55

4.1 Особенности разработанного программного обеспечения...........55

4.1.1 Анализ информационной системы..................................................55

4.1.2 Разработка форм.............................................................61

Заключение.........................................................................................................89

Библиографический список..............................................................................89

Приложение А....................................................................................................96

Приложение В....................................................................................................97

Приложение С..................................................................................................113

Введение

Актуальность темы.

Процессы, протекающие в технических, экономических, экологических системах, представляют собой объекты с большим количеством внутренних связей, которые находятся в постоянном взаимодействии друг с другом и могут рассматриваться в качестве динамических. Данные, накапливаемые при их изучении, могут представлять собой временные ряды, отражающие процесс развития системы. В связи с этим проблема разработки и совершенствования методов прогнозирования временных рядов, применяемых при изучении сложных динамических систем с целью повышения эффективности их функционирования, является актуальной.

Достаточной основой для развития методов и средств прогнозирования аналоговых и дискретных процессов можно считать работы Котельникова В.А., Боде X., Шеннона К., Бокса Дж., Дженкинса Г., Крамерса Дж., Сидоровича Е.Е., Брауна Р., Гилл, Марпл Дальнейшее развитие теория прогнозирования получила в работах Агеева Д.В., Глушкова В.М., Ивахненко А.Г., Крылова В.В., Кирьянова К.Г и др.

Во всех предложенных ранее методах прогнозирования одной из главных задач является нахождение порядка модели и параметров так называемого "прогнозирующего оператора"[1]. Прогнозирующий оператор может представлять собой комбинацию предыдущих отсчётов прогнозируемого временного ряда. Точность прогноза в таких методах в основном определяется выбором порядка модели, задаваемого числом её коэффициентов. К сожалению, не все процессы удаётся прогнозировать такими моделями, хотя в ряде случаев их удаётся заменять линейной комбинацией гармонических или иных функций. Поэтому широко используются такие модели прогнозирующего оператора, сложность идентификации которых не сильно зависит от вида их нелинейностей.

Известные технологии прогнозирования, включающие сплайны, и методы, основанные на декомпозиции в ортогональные системы,

характеризуются тем, что при увеличении сложности исследуемой системы число используемых коэффициентов при обучении растет экспоненциально (феномен «проклятия размерности»), что значительно ограничивает область применения таких решений. При использовании нейронной сети необходимо заранее выбрать её архитектуру или иметь некоторый эвристический метод для ее изменения, однако, даже в этом случае сложно обосновать оптимальность предложенной архитектуры сети, так как всегда существует вероятность того, что при обучении сети будет найден только локальный экстремум применяемой целевой функции.

Заметим также, что иногда требуется прогнозировать непрерывные процессы конечной длительности Т. Во многих таких случаях не меняется изначальная частота дискретизации сигнала Значение , которое

должно соответствовать теореме В.А.Котельникова [2], чаще всего выбирается из практических соображений, кратной секунде, минуте, часу, месяцу, году и т.д., что свидетельствует о возможной потере необходимой информации уже на стадии дискретизации сигнала. В данном случае необходима модель прогнозирующего оператора с настройкой на оптимальную с учетом получения максимума информации. Выбор , по Котельникову осложняется еще тем, что не всегда возможно указать верхнюю частоту .

В рассмотренных методах определение порядка модели и подбор разных параметров прогнозирующего оператора, определяющего точности модели, осуществляется не связанными между собой способами. Поэтому проводимые в диссертации исследования направлены на разработку модели прогнозирования, предназначенной для скалярных и векторных процессов, имеющие согласованы между собой параметры, выбираемые по единому критерию.

Метод структурной идентификации базовых параметров источников процессов позволяет одновременно получить оптимальное значение порядка прогнозирующего оператора, количество уровней квантования исходного

процесса и оптимальную частоту дискретизации непрерывного процесса, тем самым достигается уникальное решение при построении прогнозирующей модели. Идеологом теории структурной идентификации с помощью базовых параметров и разработчиком теоретических основ является отечественный ученый, доктор технических наук, профессор К.Г. Кирьянов.

На сегодняшний день задачи разработки и совершенствования методов и алгоритмов прогнозирования на основе оптимальных базовых параметров являются актуальными.

Целью диссертационной работы являются исследование и разработка методов прогнозировании процессов на основе идентификации базовых параметров их источников.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

• критический анализ существующих методов прогнозирования;

• постановка задачи исследования;

• разработка и исследование новых методов и алгоритмов прогнозирования временных рядов, основанных на определении базовых параметров исходного процесса;

• разработка информационной системы прогнозирования временных рядов на основе оптимальных базовых параметров;

• апробация результатов исследования, проведение вычислительных экспериментов, подтверждающих эффективность предложенных методов и алгоритмов.

Объектом исследования являются физические, природные и промышленные процессы, протекающие в различных динамических системах и представленные в виде временных рядов.

Предметом исследования являются методы и алгоритмы прогнозирования временных рядов на основе оптимальных базовых параметров.

Методы исследования. Выполненные исследования базируются на использовании методов системного анализа и структурной идентификации источников процессов на основе оптимальных базовых параметров, теории вероятностей, с применением методов математической статистики, теории нелинейных динамических систем и теории информации.

Положения, выносимые на защиту:

1) Методика прогнозирования скалярных аналоговых и дискретных процессов, состоящая из двух этапов:

- нахождение оптимальных базовых параметров исходных процессов;

- прогнозирование выборки процесса на основе синтезируемого логического прогнозирующего оператора.

2) Систематизированные особенности прогнозирования скалярных и векторных процессов.

3) Новый метод восстановление пропусков в записях скалярных и векторных процессов.

4) Выявленная и исследованная связь прогнозируемости скалярных и векторных процессов с оптимальными базовыми параметрами.

Научная новизна. В работе получены следующие новые научные результаты:

- разработан метод прогнозирования временных рядов, позволяющий исследовать аналоговые и дискретные процессы, предназначенный для решения различных задач прогнозирования моделируемых при помощи временных рядов процессов, отличающийся от известных использованием оптимальных базовых параметров прогнозируемых процессов;

- разработана система базовых параметров, позволяющая проводить структурную идентификацию исходных процессов, предназначенная для построения прогнозирующих операторов прогнозируемых процессов, отличаемая от известных систем согласованностью параметров между собой единым способом;

- предложен способ интерполяции временных рядов, позволяющий восстанавливать пропуски временных рядов, предназначенный для скалярных и векторных процессов, который отличается от известных представлением восстанавливающего оператора в виде д-значной логической функции;

- Проведены исследования позволяющие установить связь прогнозируемости процессов с базовыми параметрами, предназначенными для построения оптимальной модели прогнозирования скалярных и векторных процессов, которые отличаются от проводимых ранее использованием структурной идентификации базовых параметров источников прогнозируемых процессов.

Достоверность и обоснованность научных результатов и выводов основаны на корректности использования математического аппарата, соответствии результатов вычислительных экспериментов реальным данным и подтверждены апробацией результатов диссертационной работы на научно-технических конференциях и в научной печати

Практическая значимость. Разработаны специализированные алгоритмы построения прогнозирующего оператора, на основе оптимальных базовых параметров. Данные алгоритмы были реализованы в программном обеспечении, позволяющем осуществлять: предобработку исходных выборок, нахождение оптимальных базовых параметров источников процессов, построение прогнозирующего оператора, анализ и прогнозирование временных рядов на основе полученной модели.

С помощью разработанного программного обеспечения было проведено прогнозирование реальных и смоделированных временных рядов, основанных на теоретических (полигармонических и хаотических рядах) и реальных данных (процесса флуктуации лазера дальнего инфракрасного диапазона, колец деревьев, рыночных курсов ценных бумаг и т.п.).

Публикация результатов. По результатам диссертации опубликовано 2 статьи в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук, 6 печатных работ в сборниках трудов научных конференциях, 4 в сборниках тезисов докладов международных научно-технических конференциях, получено 2 свидетельства о государственной регистрации программы для ЭВМ № 2007612952 и № 2008611799.

Апробация работы. Основные результаты работы докладывались и обсуждались на международных научно-технических конференциях «Информационные системы и технологии» (ИСТ) НГТУ, Нижний Новгород 2007 - 2012 гг., на научной конференции по радиофизике ННГУ, Нижний Новгород 2007 - 2011 гг., на заседаниях научного семинара кафедры «Компьютерные технологии в проектировании и производстве» (НГТУ).

Реализация и внедрение результатов работы. Результаты работы внедрены в учебный процесс Нижегородского государственного технического университета, в производственный процесс ООО «Апрель Софт» и ОАО «Инвестиционная компания «Земля-инвест».

Объем и структура работы. Диссертация включает в себя введение, 4 главы, заключение, список литературы из 61 наименования и 3 приложения. Работа изложена на 115 страницах, содержит 40 рисунков и 20 таблиц.

Содержание работы.

В первой главе проведен анализ известных, наиболее популярных методов прогнозирования временных рядов, выявлены их преимущества и недостатки, связанные с поиском прогнозирующего оператора, при ограниченном количестве имеющихся наблюдений.

Во второй главе рассматриваются методы прогнозирования на основе оптимальных базовых параметров. Рассмотрена методика прогноза, начиная от предварительной обработки исходных процессов до прогнозирования.

В третьей главе рассматриваются особенности методов прогнозирования на основе оптимальных базовых параметров. Рассмотрено

прогнозирование экономических процессов, восстановление пропущенных отсчетов в исходных данных.

В четвертой главе представлена реализация предложенных методов и алгоритмов в разработанном программном обеспечении, а также описаны практические результаты его использования. Для проверки эффективности предложенных решений приведены результаты вычислительных экспериментов на реальных рядах различной природы (природные, промышленные и физические).

В заключении приводятся основные результаты работы.

1. Исследование и анализ методов прогнозирования временных рядов

В главе проведен анализ известных, наиболее популярных методов прогнозирования временных рядов, выявлены их преимущества и недостатки, связанные с поиском прогнозирующего оператора, при ограниченном количестве имеющихся наблюдений.

1.1. Классификация методов прогнозирования

По оценкам зарубежных и отечественных ученых уже насчитывается свыше 100 методов прогнозирования. Число базовых методов прогностики, которые в тех или иных вариациях повторяются в других методах, гораздо меньше. Многие из них относятся скорее к отдельным приемам или процедурам прогнозирования, другие представляют собой набор отдельных приемов, отличающихся от базовых или друг от друга количеством частных приемов и последовательностью их применения.

Анализ показал, что существует большое количество классификаций методов прогнозирования. Однако большинство из них обладает рядом недостатков. Основной их погрешностью является нарушение принципов классификации. К числу таких принципов относятся: достаточная полнота охвата прогностических методов, единство классификационного признака на каждом уровне членения, открытость классификационной схемы. Одна из наиболее полных классификаций методов прогнозирования [3] представлена на рис. 1.1.

Как видно, по степени формализации все методы прогнозирования делятся на два класса: интуитивные и формализованные. Интуитивное прогнозирование применяется тогда, когда объект прогнозирования либо слишком прост, либо настолько сложен, что аналитически учесть влияние многих факторов практически невозможно. Формализованные методы чаще

используются тогда, когда объект исследования можно представить в виде некоторой модели, например, математической, а процессы, протекающие в нем, в виде математических зависимостей,

формул.

Методы прогнозирования

Икзвшзуиь-пм жсаарпш* одоюж

I

Метод «ннтервыо»

I

Аналгтнч-е докладные шшаш

Коллектив- Экстраааи-

ные эксперт- шюнные

ные шекки методы

1 1

Метоа Метод

авжетнроеа-ш мнк

1 1

Метод Экспоненци-

«КОМИССИИ'» альное сглз*

дням

Системно-етруктурные методы

I

налыю-верзрхнческие методы

Метод морфологического анализа

Метод спеяариев

Метод «мозговых атак»

Матричный метод

Метод программного пропюзиро-взши

.......I "

Метод эвристического прогнозир

I

Сетевое моэеавд-е I

Методы стр>тсгурной аналогкн

X

Граф я дерево □елей

..............................ч...........—

Прогнозный

Нейросетевое

ПрОГЕОЗНрО-

ьа-ине

Няхешепу-алышй ш-даз данных

Математические методы

Кор -кьш 8 рег.-ный «щадив

МГУА

Факторный шлю

Цепи Маркой

Распознала -вне образов

Взршюад