автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Потраекторно-детерминированный подход к исследованию стохастических моделей управляемых систем

На правах рукописи

ИСМАГИЛОВ Нияз Салаватович

ПОТРАЕКТОРНО-ДЕТЕРМШШРОВАШ1ЫЙ ПОДХОД К ИССЛЕДОВАНИЮ СТОХАСТИЧЕСКИХ МОДЕЛЕЙ УПРАВЛЯЕМЫХ СИСТЕМ

Специальность: 05.13.18 — Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Уфа - 2014

005549123

005549123

Работа выполнена на кафедре математики ФГБОУ ВПО «Уфимский государственный авиационный технический университет»

Научный руководитель: доктор физико-математических наук, профессор

Насыров Фарит Сагитович

Официальные оппоненты: доктор физико-математических наук, профессор

Хохлов Юрий Степанович доцент кафедры математической статистики ФГБОУ ВПО «Московский государственный университет им. М.В. Ломоносова»

кандидат физико-математических наук Яковлев Андрей Александрович начальник отдела разработки ООО «РН-УфаНИПИнефть»

Ведущая организация: ФГБОУ ВПО «Санкт-Петербургский государственный политехнический университет»

Защита состоится 17 июня 2014 г. в 1200 часов па заседании диссертационного совета Д-212.288.06 на базе ФГБОУ ВПО «Уфимский государственный авиационный технический университет» по адресу: 450000, г. Уфа, ул. К. Маркса, 12.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Уфимский государственный авиационный технический университет» и на сайте http :/Avww. uga tu. ас. ги/.

Автореферат разослан 18 апреля 2014 года.

Ученый секретарь диссертационного совета д.ф.-м.н., профессор

Г.Т. Булгакова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

В различных сферах человеческой деятельности встречаются физические, химические, биологические, экономические и иные системы, состояние которых изменяется со временем. При моделировании таких систем, для описания динамики изменения состояния применяют дифференциальные уравнения. Существует класс систем, которые могут быть подвержены управляемому внешнему воздействию, изменяющему состояние системы и характер ее эволюции. Наличие возможности воздействия порождает естественную задачу выбора такого воздействия, которое бы давало наилучший в каком-либо смысле результат. Иными словами, возникает задача оптимального управления.

Обычно в роли уравнений, задающих динамику изменения состояния системы, выступают обыкновенные дифференциальные уравнения, которые могут описать гладкое, либо кусочно-гладкое движение. В реальности, однако, часто встречаются системы, динамика эволюции которых зависит от случайных факторов и носит негладкий характер, поэтому плохо поддается описанию обыкновенными дифференциальными уравнениями, либо не поддается таковому вообще. В большинстве случаев зависимость от случайных факторов носит характер «шума» и такие системы могут быть описаны стохастическими дифференциальными уравнениями.

Для исследования стохастических моделей оптимально управляемых си-стем.наиболее широко используют стохастические версии принципа максимума Понтрягина и метода динамического программирования Беллмана. Стохастический метод динамического программирования появился несколько раньше и был развит в работах Беллмана, Крылова, H.J. Kushner, W.H. Fleming и R.W. Rishel. К ранним результатам по переносу принципа максимума на стохастические задачи относятся работы В.И. Аркина и И.В. Евстигнеева, В.И. Аркина и М.Т. Сак-сонова, H.J. Kushner, A. Bensoussan, U.G. Haussmann, которые были развиты в работах S. Peng, X. Y. Zhou, A. Cadenillas и I. Karatzas и других исследователей. Оба упомянутых метода, обладая рядом достоинств, имеют свои недостатки и зачастую оказываются намного сложнее в применении по сравнению со своими детерминированными аналогами.

Однако, существует еще один, к настоящему моменту мало изученный подход к исследованию стохастических моделей управляемых систем. Основной идеей этого подхода является сведение стохастической моделей к потраекторно-детерминированным моделям управляемых систем. По всей видимости впервые данный подход был представлен в работе R. J. В. Wets, в которой исследовалась взаимосвязь между детерминированной и стохастической задачами оптимизации. В дальнейшем этот подход был развит работе R. Т. Rockafellar и R. J. В. Wets

и несколько позже в работах М. Н. А. Davis, М. Н. А. Davis и G. Burstein. Несмотря на все достоинства метода, изложенного в работе М. Н. А. Davis и G. Burstein, применение этого метода вызывает некоторые сложности. Связано это в основном с тем, что при переходе к детерминированным моделям обыкновенное дифференциальное уравнение, описывающее динамику системы, имеет сложную структуру, что приводят к довольно трудоемким вычислениям и сильным ограничениям.

В настоящее время существуют формулы для явного представления решения стохастических дифференциальных уравнений. Одна из таких формул, разработанная Ф.С. Насыровым, предоставляет структуру решения и позволяет провести простое разложение решения на суперпозицию двух функций. Такое разложение дает возможность свести стохастические модели к детерминированным, которые имеют намного более простую структуру, чем предложенные ранее.

Другим преимуществом разложения решения является относительная простота моделирования решений стохастических дифференциальных уравнений, которая обусловлена отсутствием необходимости численного решения стохастических дифференциальных уравнений.

Проблемам численного интегрирования стохастических дифференциальных уравнений и задачам моделирования решений стохастических дифференциальных уравнений посвящены работы Д.Ф. Кузнецова, Г.Н. Мильштейна, P.E. Kloeden, Е. Platen и других исследователей. Однако, многие вопросы численного моделирования таких уравнений до сих пор остаются открытыми.

Таким образом, приведенные выше доводы позволяют судить о необходимости и возможности разработки новых методов исследования и моделирования оптимальных траекторий стохастических моделей управляемых систем, а также методов численно-аналитического построения решений управляемых стохастических дифференциальных уравнений.

Степень ее разработанности

Потраекторно-детерминированный подход к исследованию моделей стохастических управляемых систем был проработан в некоторой степени только для моделей с управляемым сносом. Применение разработанных ранее методов на практике вызывало определенные сложности. В данной работе рассмотрены потраекторно-детерминированные методы исследования моделей, которые имеют управляемый снос и управляемую диффузию.

Цель работы

Целью настоящей работы является разработка методов моделирования и исследования оптимальных траекторий стохастических управляемых систем,

динамика которых описываются одномерными стохастическими дифференциальными уравнениями.

Поставленная цель достигается в результате решения следующих задач:

1. Выявление структуры решения для одномерных стохастических дифференциальных уравнений с управлением, воздействующим только на коэффициент сноса, и разработка нового аналитического потраекторно-детерминированного метода исследования стохастических моделей управления динамическими системами, основанного на этом разложении.

2. Разработка метода, позволяющего свести нелинейные стохастические модели к линейным и выявление класса управляемых моделей, для которых такое сведение осуществимо.

3. Выявление структуры решения для одномерных стохастических дифференциальных уравнений с управлением, которое, кроме коэффициента сноса, также оказывает линейное воздействие на диффузию. Разработка нового аналитического потраекторно-детерминированного метода исследования стохастических моделей управления динамическими системами, основанного на этом разложении.

4. Разработка численно-аналитического способа построения оптимальных траекторий и моделирования в стохастических моделях управления системами, которые описываются одномерными стохастическими дифференциальными уравнениями.

Научная новизна

1. Разработан новый аналитический метод исследования одномерных стохастических моделей с управляемым коэффициентом сноса, основанный на построении эквивалентной потраекторно-детерминированной модели. Представлен метод модификации потраекторно-детерминированной модели, который гарантирует неупреждаемость оптимальных траекторий.

2. Представлен новый аналитический метод, позволяющий свести нелинейные стохастические модели к линейным моделям в некотором классе одномерных стохастических управляемых систем.

3. Разработан новый аналитический метод исследования одномерных стохастических моделей систем с управляемым сносом и диффузией, основанный на построении эквивалентной потраекторно-детерминированной модели импульсной системы. Предложен метод модификации потраекторно-детерминированной модели, который гарантирует неупреждаемость оптимальных траекторий.

4. Представлен новый численно-аналитический способ построения решений и моделирования процессов оптимального управления, в которых динамика процесса описывается одномерным стохастическим дифференциальным уравнением.

Теоретическая и практическая значимость

Представленная в работе структура решений фазовых траекторий стохастических моделей управляемых систем позволяет избавиться от необходимости вычислять стохастические интегралы и строить численные решения стохастических дифференциальных уравнений, тем самым упростить моделирование.

Возможность исследования детерминированных моделей управляемых систем вместо стохастических моделей существенно упрощает задачу оптимизации в моделируемых системах, так как детерминированные модели имеют более развитый набор методов построения оптимальных траекторий.

Возможность сведения нелинейных стохастических моделей к линейным или, как частный случай, к линейно-квадратичным, а также выделение класса управляемых моделей, для которых это осуществимо, позволяет упростить исследование таких моделей.

Методология и методы исследования

Аналитические исследования проводились с использованием методов теории случайных процессов, обыкновенных дифференциальных уравнений, теорий стохастического и детерминированного оптимального управления, теории функций действительной переменной, функционального анализа и вычислительной математики. Для реализации программного комплекса, производящего численный расчет траекторий моделируемых процессов, использовался пакет МайаЪ.

Положения, выносимые на защиту

1. Новый аналитический потраекторно-детерминированный метод исследования стохастических моделей одномерных динамических управляемых систем, основанный на выявленной структуре решения стохастических дифференциальных уравнений, в которых управление воздействует только на коэффициент сноса.

2. Новый аналитический метод, позволяющий свести нелинейные модели к линейным в некотором классе стохастических моделей управляемых систем.

3. Новый аналитический потраекторно-детерминированный метод исследования стохастических моделей одномерных динамических управляемых систем, основанный на выявленной структуре решения стохастических дифференциальных уравнений с управлением, которое, кроме коэффициента сноса, также оказывает линейное воздействие на коэффициент диффузии.

4. Численно-аналитический способ моделирования и построения оптимальных траекторий в стохастических моделях, которые описываются одномерными стохастическими дифференциальными уравнениями с управляемым сносом и линейно управляемой диффузией.

Степень достоверности и апробация результатов

Основные результаты диссертации были представлены и обсуждались на научных семинарах и конференциях, соответствующих профилю диссертации. В частности, были сделаны доклады:

1. на международных конференциях студентов, аспирантов и молодых ученых «Ломоносов» (г. Москва, 2008, 2010, 2011, 2013 гг.);

2. на Большом семинаре кафедры теории вероятностей МГУ, руководитель — академик РАН, профессор Ширяев А.Н. (г. Москва, 2012, 2014 гг.);

3. на П1 Международной конференции «Оптимизация и приложения» (ОПТИМА-2012) (Копгга-да-Капарика, Португалия, 2012 г.);

4. на семинаре в Институте математики с ВЦ УНЦ РАН, руководитель — профессор Жибер A.B. (г. Уфа, 2014 г.);

5. на семинарах по теории вероятностей и случайным процессам кафедры математики УГАТУ, руководитель — профессор Насыров Ф. С. (г. Уфа, 2008-2014 гг.).

Публикации

Основные результаты диссертации опубликованы в работах [1]-[12], в том числе 2 публикации в изданиях, рекомендованных ВАК, и 10 публикаций в других изданиях.

Структура и объем работы

Диссертация состоит из введения, 3 глав, разбитых на параграфы, 12 рисунков, заключения, библиографического списка литературы, включающего 78 работ отечественных и зарубежных авторов, 1 приложения. Общий объем работы составляет 135 страницы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Введение. Во введении обосновывается актуальность работы, сформулированы ее цели и задачи. Кроме того, дан краткий обзор по тематике вопроса, сформулированы основные результаты, полученные в работе.

В первой главе приведены описание исследуемых в работе моделей и формулировка общей постановки задачи; сформулированы тестовые примеры, на которых в главе 3 апробированы развиваемые в основной части работы методы исследования.

Все исследуемые в работе стохастические модели управляемых систем объединяет общая черта — наличие одномерных стохастических дифференциальных уравнений, задающих динамику изменения состояния системы

dXt = b{t,Xuut)dt + a(t,Xt, ut)dWt, X0 = x0,

(1)

и функционала потерь, который отражает качество управляющего воздействия

Здесь — фазовая координата, щ — управляющая функция. Уравнение (1) накладывает ограничение на фазовую координату и называется дифференциальным ограничением. Допустимым называется управляющее воздействие, при котором существует единственное решение (1) и функционал (2) имеет смысл. Одним из основных требований к допустимости управления является его неупрежда-емость, то есть независимость от будущего поведения системы. Оптимальным называется допустимое управление, при котором достигается минимум функционала (2).

Первый из тестовых примеров представляет из себя модель процесса оптимальной намотки провода на катушку. Одним из основных требований к этому процессу является постоянство линейной скорости движения провода, которое необходимо для предотвращения провисания и обрыва провода. Это требование формализуется в виде стохастического дифференциального уравнения, которое связывает угловую скорость катушки и входное напряжение электродвигателя (управляющая величина). Качество управления оценивается при помощи квадратичного функционала качества, который отражает потери, связанные с отклонением параметров системы от целевых значений.

В качестве второго примера рассматривается система, которая описывает процесс оптимизации расходов предприятия при планировании производства. Рассматривается предприятие, выпускающее большие объемы однородной продукции и использующее систему производство-хранение. Контролер имеет возможность управлять темпом производства. Уровень запасов в такой системе описывается стохастическим дифференциальным уравнением, в котором диффузионная составляющая может отражать колебания уровня спроса, либо порчу „ или возврат товара. Задача контролера состоит в выборе такого темпа производства, которое минимизировало бы функционал, отражающий потери, связанные с отклонением темпа производства и уровня запасов от оптимальных значений.

Третий пример описывает оптимизацию процессов инвестирования и потребления. Некоторый инвестор, обладая состоянием, желает инвестировать его на планируемый промежуток времени (время жизни) и потреблять часть средств в течении этого времени. Для инвестирования доступны два актива: безрисковый (вклад в банке) и рисковый (акции). Следуя модели Мертона для рискового актива, динамика изменения состояния инвестора описывается при помощи стохастического дифференциального уравнения. Задача инвестора состоит в том, чтобы так поделить инвестируемое состояние между активами и так выбрать скорость

■т

(2)

потребления, чтобы в течении жизни потребить возможно больше средств и к концу жизни оставить большее наследство.

Во второй главе изложены основные теоретические результаты данной работы. В начале главы приведены ранее известные сведения из стохастического и детерминированного анализа, теории детерминированного оптимального управления.

Основная часть главы 2 посвящена построению потраекторно-детерминированных моделей управляемых систем, которые эквивалентны стохастическим моделям, и модификации первых для неупреждаемости оптимальных траекторий. Сначала исследуются модели с управляемым сносом, затем модели с управляемой диффузией.

Модель с управляемым сносом. Рассматривается модель управления системой, динамика изменения состояния которой описывается одномерным стохастическим дифференциальным уравнением в форме Стратоновича

dXt = b{t, Xt, ut)dt + a(t, Xt) о dWu X0 = i0, (3)

где Xt - фазовая координата, ut — управляющая функция, одномерный стохастический процесс. Целью управления является минимизация функционала потерь

Еg(XT) inf , (4)

u£W

по множеству всех неупреждающих процессов N.

Доказывается теорема, которая позволяет записать решение уравнения (3)

в виде

Xt = ${t,yt + Wt), (5)

где Ф(£, v) есть произвольное решение параметризованного обыкновенного дифференциального уравнения

s

a yt является решением потраекгорной задачи Коши

ÈL - Ф(*. Vt + Wt),ut) - yt + Wt) = ф—i/Q v f(n dt ~ a{tMt,yt + Wt)) ' У° ^ '

Здесь Ф^' (i, ж) — функция обратная к Ф(£, v) по V.

В формуле (5) функция Ф не зависит ни от управляющего воздействия, ни от фазовой координаты, поэтому дифференциальные ограничения, накладываемые уравнениями (3) и (6), эквивалентны. Заменив Xt = Ф(£, Ht + Wt) в функционале (4), можно сформулировать новую модель, которая эквивалента модели (3)-(4):

л,щ ЪУ,Фа,у1 + Ш1),щ)-Ф'1(^ + \У1) !

17 =-/. лц/.-, --1 Уо — V (.и,(/)

Е./(м) = Е5(Ф(Г, ут + Игт)) -> Ы. (8)

N

Для того, чтобы рассмотреть (7)-(8) как потраекторяо-детерминированную модель, осуществляется расширение множества допустимых управляющих воздействий с множества неупреждаюгцих функций Л/" до множества всех измеримых функций Л. Такое расширение позволяет доказать лемму, которая в предположении достижимости ш£и£д«7(м) дает возможность заменить усредненный функционал качества (7) на потраекторный.

Далее формулируется новая потраекгорно-детерминированная модель, которая допускает упреждающие функции в качестве управляющих воздействий, но в тех случаях, когда оптимальная траектория является неулреждающей, она сохраняет эквивалентность с исходной стохастической моделью

~1Т =-„п ¡м+-ГйТй-' 2/0 = ф (9)

д{Ф{Т,ут + Шт))-^ Ы (10)

ие.4

Для того, чтобы оптимальные траектории в детерминированной модели были неупреждающими, строится модифицированная модель, которая имеет вид

д(Ф(Т, ут + У/т)) + Г М (11)

J о иел

^ = В(^уищ), уо = ф-1(0,хо). (12)

Здесь А({) — некоторый стохастический процесс,

В{=-сЬЩу + Щ)-•

Доказано, что в предположении существования оптимальной фазовой траектории и управляющего воздействия (Х.1, щ) для стохастической модели (3)-(4), если функция А^) задается выражением вида

дВ

где % = —некоторая известная функция,вычисляемая как

решение задачи Коши, то оптимальное для модели (11)-(12) управляющее воздействие является неупреждающим и совпадает с оптимальным управляющим воздействием исходной стохастической модели.

Результаты для модели с управляемым сносом обобщены на модели, в которых функционал качества имеет интегральное слагаемое; модели, в которых источником шума выступает не винеровский процесс, а произвольный семимар-тингал; детерминированные модели, в которых нерегулярность в правой части уравнения динамики системы обусловлена наличием слагаемого, представляющего да себя симметричный интеграл по некоторой непрерывной функции неограниченной вариации.

Кроме приведенного выше метода сведения стохастических моделей к детерминированным, структура решения, предоставляемая формулой (5), позволяет в ряде случаев строить линейные модели. В работе выделен класс нелинейных моделей, для которых новое дифференциальное ограничение в форме обыкновенного дифференциального уравнения (7) является линейным, а функционал потерь квадратичным, то есть новая модель (7)-(8) является линейно-квадратичной моделью.

Также рассмотрены стохастические модели со случайными коэффициентами. Для них сформулирована теорема, предоставляющая структуру решения, аналогичную структуре решепия (5), и также выявлен класс нелинейных моделей, которые могут быть сведены к линейным.

Модель с управляемой диффузией. Рассматривается модель управления системой, состояние которой характеризуется величиной Хг и динамика изменения этого состояния описывается одномерным стохастическим дифференциальным уравнением вида

в котором щ — управляющая функция из класса Л/" неупреждающих функций ограниченной вариации. Для оценки качества управления используется функционал потерь, который требуется минимизировать:

Доказывается теорема, предоставляющая структуру решения уравнения

Рассуждения для модели (13)-(14) аналогичны рассуждениям, проведенным для моделей с управляемым сносом (3)-{4). А именно, на основе структуры

йХг = Ь{Ь, Хи щ)си + Х^щ о ¿\¥и Х0 = х0,

(13)

Ед{Хт) -»■ Ш

(14)

решения уравнения (13) строится эквивалентная модель с новым дифференциальным ограничением, которое в этом случае оказывается уравнением с мерой. Далее строится потраекторно-детерминированная модель, которая имеет динамику импульсной системы

dyt = B(t, yt, ut)dt - Wtd0, 2/(0) = у0,

dut — d'à, ще U, (15)

G(yT,uT)-+ inf.

uSM

Здесь ■д — новое импульсное управляющее воздействие, щ рассматривается как фазовая координата, M — множество измеримых функций u(t, w) : [0, Т] х —> R, имеющих ограниченную вариацию. На неупреждающих траекториях (15) сохраняет эквивалентность с исходной стохастической моделью (13)-(14).

Неупреждаемость оптимальных траекторий потраекторно-детерминиро-вашюй модели достигается в результате модификации модели введением интегральных слагаемых в функционал потерь:

dyt = B(t,yt,ut)dt — Wtdâ, dut = dd,

dzt = A (f)dt?, (16)

JX = G{yT,uT) + zT inf.

UÇ.M

Здесь Zt — новая фазовая координата, отвечающая интегральному слагаемому в функционале потерь, Jx — новый функционал потерь. Вид множителя А(£) задается формулой

Л(i) = -Wt4>\t) 4- Ф2(i),

где Ф*(4) — известные функции, вычисляемые как решения задач Коши. Доказывается теорема, которая утверждает, что приведенный вид функции A(f) обеспечивает неупреждаемость оптимальных траекторий модели (16).

Приведены обобщения результатов на модели с управляемой диффузией, которые содержат интегральное слагаемое в функционале потерь

dXt = b{t, Хи ut)dt + a(t, Xt)ut о dWt, X0 = x0. EJ = Е[з(Л>) + f{t, Xt, ut dt)] -> jnf .

Обобщены результаты и на модели, в которых два управляющих воздействия: vt —функция с неограниченной вариацией и ut —функция с ограниченной вариацией. При этом на диффузию воздействует только последняя

dXt — b(t, Хи щ, vt)dt + cr(t, Xt)ut о dWu XQ = х0,

Е,/ = Е

¡п£

иг-Л!], иеМг

Также приводится обобщение метода применительно к моделям, в которых источником шума выступает произвольный непрерывный семимартингал с траекториями неограниченной вариации.

В главе 3 при помощи аналитических методов, разработанных в главе 2, производится численно-аналитические моделирование тестовых примеров, сформулированных в главе 1. Приводятся результаты вычислений на разработанном комплексе программ.

Моделирование примера 1. Сначала уравнение динамики системы переписывается через интеграл Стратоновича. Далее, к стохастической модели применяются результаты главы 2 и строится потраекторно-детерминированная модель и модифицированная модель. Оптимальное управляющее воздействие для линейно-квадратичной задачи намотки провода имеет вид щ = —СР{€)Хи в котором С — известная константа, — фазовая координата, а Р(Ь) — решение некоторого уравнения Риккати. Задача Коши на уравнение Риккати решается методом Рунге-Кутга. Этим же методом строится численное решение для фазовой координаты модифицированной модели. Для вычисления множителя А^) по схеме Эйлера строится численное решение задачи Коши на функцию Ф. На рисунке 1 приведена траектория фазовой координаты X¡.

123456789

Рисунок 1: Траектория фазовой координаты в примере 1

Моделирование примера 2. Исходная стохастическая модель сведена к потраекторно-детерминированной модели и построена модифицированная модель. Для вычисления траекторий фазовой координаты и управляющей функции использовано известное аналитическое оптимальное управляющее воздействие

для исходной модели, которое имеет вид управления с обратной связью. Для построения фазовой координаты модифицированной модели численно решается задача Коши, для чего используется метод Рунге-Кутта. Тем же методом решается задача Коши для функции Ф(£), а затем строится траектория множителя А(*), который использовался при модификации модели. На рисунке 2 приведены траектории фазовой координаты управляющего воздействия щ, винеровского процесса ¥/1 и множителя А(£).

Моделирование примера 3. К модели применены теоретические результаты, разработанные для моделей с управляемой диффузией. Построена потраекторно-детерминированная модель и ее модификация, оптимальные траектории которой являются неупреждающими функциями. В модифицированной модели траектории фазовой координаты управляющих функций щ и С4, а также множителей Л1 (¿) и Аг(£), вычислены аналитически. На рисунке 3 приведены траектории фазовой координаты и управляющих функций щ и С(.

Рисунок 2: Траектории процессов Хи щ, Рисунок 3: Траектории процессов Хи щ И7« и А(г) в примере 2 и в примере 3

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработан новый аналитический метод исследования одномерных стохастических моделей с управляемым коэффициентом сноса, основанный на построении эквивалентной потраекторно-детерминированной модели. Предложен мегод модификации потраекторно-детерминированной модели, который гарантирует неупреждаемость оптимальных траекторий.

2. Предложен новый аналитический метод, позволяющий свести нелинейные стохастические модели к линейным моделям в некотором классе одномерных стохастических управляемых систем.

3. Разработан новый аналитический метод исследования одномерных стохастических моделей с управляемым сносом и диффузией, основанный на построении эквивалентной потраекторно-детерминированной модели импульсной

системы. Предложен метод модификации потраекторно-детерминированной модели, который гарантирует неупреждаемость оптимальных траекторий.

4. На основе разработанных аналитических методов представлен и апробирован на тестовых моделях способ численно-аналитического построения решений и моделирования процессов оптимального управления, в которых динамика процесса описывается одномерным стохастическим дифференциальным уравнением, реализованный в виде программного комплекса.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ В рецензируемых журналах из списка ВАК

1. Исмагилов, Н. С. О детерминированном подходе к задаче стохастического оптимального управления / Н. С. Исмагилов, Ф.С. Насыров // Вестник УГАТУ. - 2013. - Т. 17, № 5. - С. 38-43.

2. Исмагилов, Н. С. Одномерные стохастические дифференциальные уравнения: потраекторный подход / М. А. Абдуллин, Н.С. Исмагилов, Ф.С. Насыров // Уфимский математический журнал. — 2013. — Т. 5, № 3 — С. 3-16.

В других изданиях

3. Исмагилов, Н. С. О детерминированном методе оптимального решения стохастической модели инвестирования и потребления / Н. С. Исмагилов // "Современные проблемы теории функций и их приложения". Материалы 17-й междунар. Саратовской зимней школы. — Научная книга Саратов, 2014. — С. 108-110.

4. Исмагилов, Н. С. О задаче потраекторного оптимального управления процессами диффузионного типа / Н. С. Исмагилов // Материалы Международного молодежного научного форума «ЛОМОНОСОВ-2012» / Отв. ред. А.И. Андреев, A.B. Андриянов, Е.А. Антипов, М.В. Чистякова. [Электронный ресурс] — М.: МАКС Пресс, 2012. — 1 электрон, опт. диск (DVD-ROM); 12 см.

5. Исмагилов Н.С. О новом методе решения потраекторных задач стохастического оптимального управления / Н.С. Исмагилов // XII Всероссийский симпозиум по прикладной и промышленной математике (осенняя сессия) (Сочи, 1-8 октября 2011 г.), Обозрение прикладной и промышленной математики. — 2011. - 19, № 5 - С. 776-777.

6. Исмагилов, Н. С. О решении одного класса одномерных дифференциальных уравнений в частных производных параболического типа с возмущенными коэффициентами / Н. С. Исмагилов //• Материалы докладов XV Международной конференции студентов, аспирантов и молодых ученых «Ломоносов» / Отв. ред. И.А. Алешковский, П.Н. Костылев, А.И. Андреев. [Электронный ресурс] —

M.: Издательство МГУ; СП МЫСЛЬ, 2008. — 1 электрон, опт. диск (CD-ROM); 12 см.

7. Исмагилов, Н. С. Об одном детерминированном методе в модели стохастического оптимального управления производством / Н. С. Исмагилов // Труды 45-й Международной молодежной школы-конференции, посвященной 75-летию В.И. Бердышева. - Екатеринбург: ИММ УрО РАН, - 2014 г. — С. 170-171.

8. Исмагилов, Н.С. Об одном классе обратных стохастических дифференциальных уравнений / Н. С. Исмагилов // Материалы Международного молодежного научного форума «JIOMOHOCOB-2013» / Отв. ред. А.И. Андреев, A.B. Андриянов, Е.А. Антипов, К.К. Андреев, М.В. Чистякова. [Электронный ресурс] — М.: МАКС Пресс, 2013. — 1 электрон, опт. диск (DVD-ROM); 12 см.

9. Исмагилов, Н. С. Оптимальное управление стохастическим дифференциальным уравнением и принцип максимума Понтрягина / Н. С. Исмагилов II Материалы Международного молодежного научного форума «ЛОМОНОСОВ-2010» / Отв. ред. И.А. Алешковский, П.Н. Костылев, А.И. Андреев, A.B. Андриянов. [Электронный ресурс] — М.: МАКС Пресс, 2010. — 1 электрон, опт. диск (CD-ROM); 12 см.

10. Исмагилов, Н. С. Потраекторное оптимальное управление стохастическими дифференциальными уравнениями / Н. С. Исмагилов // Материалы Международного молодежного научного форума "ЛОМОНОСОВ-2011"/ Отв. ред. А.И. Андреев, A.B. Андриянов, Е.А. Антипов, М.В. Чистякова. [Электронный ресурс] — М.: МАКС Пресс, 2011. — 1 электрон, опт. диск (DVD-ROM); 12 см.

11. Ismagilov, N. On pathwise optimality for controlled diffusion type processes / N. Ismagilov // Abstracts of 11th International Workshop on Dynamical Systems and Applications. Ankara, Turkey, 26-29 June 2012, p. 15.

12. Ismagilov, N. Pathwise optimal control of diffusion type processes / N. Ismagilov, F. Nasyrov H Сборник трудов III Международной конференции "Оптимизация и приложения"(ОПТИМА-2012). Costa da Caparica, Portugal, September 2012. — Федеральное государственное бюджетное учреждение науки Вычислительный центр им. А.А.Дородницына РАН Москва, 2012. — С. 111-115.

Н. С. Исмагилов

ИСМАГИЛОВ Нияз Салаватович

ПОТРАЕКТОРНО-ДЕТЕРМИНИРОВАННЫЙ ПОДХОД К ИССЛЕДОВАНИЮ СТОХАСТИЧЕСКИХ МОДЕЛЕЙ УПРАВЛЯЕМЫХ СИСТЕМ

Специальность 05.13.18 — Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Подписано к печати 11.04.2014 г. Формал 60x84 1/16. Бумага офсетная. Печать плоская. Гарнитура Times New Roman. Усл. печ. л. 1,0. Усл. кр.-отг. 1,0. Уч. — изд. л. 1,0. Тираж 100 экз. Заказ № 252.

ФГБОУ ВПО «Уфимский государственный авиационный технический университет» Центр оперативной полиграфии 45000, Уфа-центр, ул. К.Маркса, 12

ФГБОУ ВПО

«Уфимский государственный авиационный технический университет»

На правах рукописи

04201455854

Исмагилов Нияз Салаватович

ПОТРАЕКТОРНО-ДЕТЕРМИНИРОВАННЫЙ ПОДХОД К ИССЛЕДОВАНИЮ СТОХАСТИЧЕСКИХ МОДЕЛЕЙ УПРАВЛЯЕМЫХ СИСТЕМ

Специальность 05.13.18 - «Математическое моделирование, численные методы и комплексы программ»

Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель: д-р физ.-мат. наук, проф.

Ф.С. Насыров

Уфа - 2014

Оглавление

Введение 4

1 Постановка задачи 26

1.1 Общая постановка задачи............................................26

1.2 Модель управления намоткой провода при случайных возмущениях коэффициента трения..........................................29

1.3 Оптимизация расходов при планировании производства..........31

1.4 Модель оптимизации инвестирования и потребления на рынке

с одним рискованным активом......................................34

2 Разработка аналитических методов исследования 37

2.1 Необходимые сведения................................................37

2.1.1 Некоторые сведения из стохастического анализа..........37

2.1.2 Симметричный интеграл и дифференциальные уравнения с симметричным интегралом............................41

2.1.3 О детерминированной задаче оптимального управления . 42

2.1.4 О детерминированной задаче оптимального импульсного управления....................................................49

2.2 Потраекторно-детерминированный подход к исследованию стохастических моделей управляемых систем с управляемым сносом 52

2.2.1 Сведение стохастической задачи к классической детерминированной задаче оптимального управления..........53

2.2.2 Модификация детерминированной задачи и неупрежда-емость решений................................................58

2.2.3 Некоторые обобщения........................................60

2.2.4 О стохастическом подходе к задачам с потраекторным дифференциальным ограничением..........................68

2.3 Потраекторно-детерминированный подход к исследованию стохастических моделей с управляемой диффузией......... 73

2.3.1 Сведение стохастической задачи к потраекторно-детерминированной задаче оптимального импульсного управления.......................... 75

2.3.2 Модификация детерминированной задачи и неупрежда-емость решений........................ 80

2.3.3 Обобщение результатов................... 86

3 Численно-аналитическое решение и моделирование тестовых примеров 95

3.1 Моделирование траекторий винеровского процесса........ 95

3.2 Численно-аналитическое решение задачи моделирования управления намоткой провода....................... 96

3.3 Численно-аналитическое решение задачи моделирования планирования производства ....................... 104

3.4 Численно-аналитическое решение задачи моделирования оптимального инвестирования и потребления .............109

Заключение 114

Список литературы 117

Приложение. Листинги программ

127

Введение

Актуальность темы

В различных сферах человеческой деятельности встречаются физические, химические, биологические, экономические и иные системы, состояние которых изменяется со временем. При моделировании таких процессов, для описания динамики изменения состояния применяют дифференциальные уравнения. Обычно в роли таковых выступают обыкновенные дифференциальные уравнения, которые могут описать гладкое, либо кусочно-гладкое движение. Существует класс систем, которые могут быть подвержены управляемому внешнему воздействию, изменяющему состояние системы и характер ее эволюции. Наличие возможности воздействия порождает естественную задачу выбора такого воздействия, которое бы давало наилучший в каком-либо смысле результат. Иными словами, возникает задача оптимального управления. Решение задачи оптимального управления позволяет максимизировать извлекаемую из поведения системы выгоду или минимизировать возможные потери, например, максимизировать прибыль финансовой организации, максимизировать пройденное расстояние средством передвижения, минимизировать энергетические либо финансовые затраты предприятия, минимизировать время достижения объектом конечной цели и так далее.

В реальности, однако, часто встречаются системы, динамика эволюции которых зависит от случайных факторов и носит негладкий характер, поэтому плохо поддается описанию обыкновенными дифференциальными уравнениями, либо не поддаются таковому вообще. Кроме того, и величина приносимого выигрыша от управления является случайной величиной. В большинстве случаев зависимость от случайных факторов носит характер «шума» и такие системы называют «зашумленными». Зашумлеппые системы имеют негладкие траектории фазовых координат, которые зачастую могут быть описаны стохастическими дифференциальными уравнениями. Так как будущее пове-

дение стохастической системы заранее не известно, то и приносимый эффект носит вероятностный характер. Поэтому в задаче стохастического оптимального управления целыо ставится поиск управляющего воздействия, которое минимизирует среднее значение потерь ([4, 8]).

В настоящей работе исследуются модели, описывающие стохастические управляемые системы и методы достижения оптимума в этих моделях.

Несмотря на то, что термин теория оптимального управления возник в конце 50-х, задачи, имеющие ту же природу, начали исследоваться намного раньше. Вариационное исчисление, которое считается предшественником теории оптимального управления, возникло в XVII в. В 1685 г. Ньютон исследовал задачу движения тела вращения в «редкой среде» с наименьшим сопротивлением (аэродинамическая задача Ньютона). Задача о брахистохроне, которая была поставлена Бернулли в 1696 г., решена Лейбницом, Ньютоном и самим Бернулли. Сам термин вариационное исчисление был введен Эйлером в 1756 г. В дальнейшем исследованием задачи вариационного исчисления занимались такие ученые, как Эйлер, Лагранж, Гамильтон, Якоби, Вейерштрасс, Мейер, Больца. Считается, что к середине XX в. классическая теория вариационного исчисления была завершена [45].

Современная теория оптимального управления возникла после Второй мировой войны. В это время две независимые группы исследователей в США и СССР во главе с Р. Беллманом и Л.С. Понтрягином начали интенсивные исследования в области дифференциальных игр и теории управления. В результате были получены два метода решения задач оптимального управления: метод динамического программирования Беллмаиа [5] и принцип максимума Понтриягина [27].

Задачи, содержащие вероятностные составляющие, начали исследоваться еще на ранних стадиях развития современной теории оптимального управления. Возможно, первой работой, посвященной задаче стохастического управ-

ления, является статья Беллмана [32]. Позже принцип динамического программирования был перенесен на задачи со стохастическими дифференциальными уравнениями (в дальнейшем просто СДУ) Ито [57].

Долгое время динамическое программирование оставалось доминирующим инструментом в исследовании задач оптимального управления стохастическими дифференциальными уравнениями. К ранним результатам по переносу принципа максимума на стохастические задачи относятся работы В.И. Аркина, И.В. Евстигнеева [2], В.И. Аркина, М.Т. Саксонова [3], H.J. Kushner [56], A. Bensoussan [33], U.G. Haussmann [47]. Одним из недостатков указанных работ было то, что они были применимы только для невырож-дающихся коэффициентов диффузии. В 1991 г. в работе S. Peng [64] удалось получить принцип максимума для задач с вырождающейся управляемой диффузией. Результат Peng был дополнен и улучшен в работах X.Y. Zhou [78], A. Cadenillas, I. Karatzas [38].

Оба представленных подхода содержат задачи, которые часто оказываются довольно сложными для разрешения. В методе динамического программирования таковым является уравнение Гамильтона-Якоби-Беллмана, которое зачастую не имеет классического гладкого решения. Более того, функция выигрыша может оказаться недифференцируемой функцией. В принципе максимума сложность вызывает система прямых и обратных стохастических дифференциальных уравнений.

Однако, существует еще один, к настоящему моменту мало изученный, подход к решению задач стохастического оптимального управления. Основной идеей этого подхода является сведение стохастической задачи к детерминированной задаче оптимального управления. По всей видимости впервые данный подход был представлен в работе R. J.B. Wets [75], в которой исследовалась взаимосвязь детерминированной и стохастической задачами оптимизации. В работе R.Т. Rockafellar, R. J.B. Wets [67] уделено особое внима-

пие основной сложности при применении детерминированного подхода, которая заключается в необходимости обеспечения неупреждаемости решений стохастической задачи. Предложен метод, позволяющий при помощи множителей Лагранжа строить неупреждающие решения. Позже исследования в этом направлении были продолжены в работе М.Н.А. Davis [42], в которой исследованы линейные задачи с квадратичным функционалом качества. В работе М.Н.А. Davis, G. Bnrstein [41] эти результаты были распространены на случай нелинейных уравнений и общего вида функционала качества, а в М.Н.А. Davis, I. Karatzas [40] рассмотрены задачи оптимальной остановки. Несмотря на все достоинства метода, изложенного в работе [41], применение этого метода вызывает некоторые сложности. Связано это в основном с тем, что для перехода в задаче управления к дифференциальному ограничению в виде обыкновенного дифференциального уравнения (в дальнейшем ОДУ), используется предложенное в [62] разложение решения СДУ. Для анализа детерминированной оптимизационной задачи используется метод динамического программирования, и в ходе доказательства основных утверждений авторам приходится сталкиваться с уравнением Гамильтона-Якоби-Беллмана, для решения которого, приходится пользоваться результатами работ [76] и [72] по приближению решений СДУ решениями ОДУ, а также стохастический метод характеристик [55], которые приводят к довольно сложным вычислениям и сильным ограничениям.

В настоящее время существуют формулы для явного представления решения СДУ [26, 25], которые позволяют провести более простое разложение, чем упомянутое выше. При этом явная формула позволяет проделывать это и в тех задачах, в которых управляющая функция оказывает воздействие и па коэффициент диффузии. Кроме того, накладываемые на коэффициенты уравнения ограничения оказываются существенно ослабленными.

Другим преимуществом разложения решения при помощи указанных вы-

iue формул является относительная простота моделирования решении СДУ, которая обусловлена отсутствием необходимости численного решения стохастических дифференциальных уравнений.

Проблемам численного интегрирования стохастичеких дифференциальных уравнений и задачам моделирования решений стохастических дифференциальных уравнений посвящены работы Т.А. Авериной, С.С. Артемьева [1], Д.Ф. Кузнецова [22], Г.Н. Мильштейна [24], P.E. Kloeden, Е. Platen [54] и других ученых.

Как известно из [22], при численном интегрировании стохастических дифференциальных уравнений часто возникает проблема аппроксимации систем повторных стохастических интегралов Ито, разрешение которой является сложной задачей как с теоретической, так и с вычислительной точки зрения.

Таким образом, приведенные выше доводы позволяют судить о необходимости и возможности разработки новых методов исследования стохастических моделей управляемых процессов и решения задач стохастического оптимального управления.

Степень ее разработанности

Потраекторно-детерминированный подход к исследованию моделей стохастических управляемых систем был проработан в некоторой степени только для моделей с управляемым сносом. Применение разработанных ранее методов на практике вызывало определенные сложности. В данной работе рассмотрены потраекторпо-детерминированные методы исследования моделей, которые имеют управляемый снос и управляемую диффузию.

Цель работы

Целью настоящей работы является разработка методов моделирования и исследования оптимальных траекторий стохастических управляемых систем, динамика которых описываются одномерными стохастическими дифферен-

циальпыми уравнениями.

Поставленная цель достигается в результате решения следующих задач:

1. Выявление структуры решения для одномерных стохастических дифференциальных уравнений с управлением, воздействующим только па коэффициент сноса, и разработка нового аналитического потраекторио-детерминированного метода исследования стохастических моделей управления динамическими системами, основанного на этом разложении.

2. Разработка метода, позволяющего свести нелинейные стохастические модели к линейным и выявление класса управляемых моделей, для которых такое сведение осуществимо.

3. Выявление структуры решения для одномерных стохастических дифференциальных уравнений с управлением, которое, кроме коэффициента сноса, также оказывает линейное воздействие на диффузию. Разработка нового аналитического потраекторно-детерминированного метода исследования стохастических моделей управления динамическими системами, основанного на этом разложении.

4. Разработка численно-аналитического способа построения оптимальных траекторий и моделирования в стохастических моделях управления системами, которые описываются одномерными стохастическими дифференциальными уравнениями.

Научная новизна

1. Разработан новый аналитический метод исследования одномерных стохастических моделей с управляемым коэффициентом сноса, основанный на построении эквивалентной потраекторио-детерминированной модели. Представлен метод модификации потраекторио-детерминированной модели, который гарантирует неупреждаемость оптимальных траекторий.

2. Представлен новый аналитический метод, позволяющий свести нелинейные стохастические модели к линейным моделям в некотором классе од-

номерных стохастических управляемых систем.

3. Разработан новый аналитический метод исследования одномерных стохастических моделей систем с управляемым сносом и диффузией, основанный на построении эквивалентной потраекторно-детерминированной модели импульсной системы. Предложен метод модификации потраекторно-детерминированной модели, который гарантирует неуиреждаемость оптимальных траекторий.

4. Представлен новый численно-аналитический способ построения решений и моделирования процессов оптимального управления, в которых динамика процесса описывается одномерным стохастическим дифференциальным уравнением.

Теоретическая и практическая значимость

Представленная в работе структура решений фазовых траекторий стохастических моделей управляемых систем позволяет избавиться от необходимости вычислять стохастические интегралы и строить численные решения стохастических дифференциальных уравнений, тем самым упростить моделирование.

Возможность исследования детерминированных моделей управляемых систем вместо стохастических моделей существенно упрощает задачу оптимизации в моделируемых системах, так как детерминированные модели имеют более развитый набор методов построения оптимальных траекторий.

Возможность сведения нелинейных стохастических моделей к линейным или, как частный случай, к линейно-квадратичным, а также выделение класса управляемых моделей, для которых это осуществимо, позволяет упростить исследование таких моделей.

Методология и методы исследования

Аналитические исследования проводились с использованием методов теории случайных процессов, обыкновенных дифференциальных уравнений, тео-

рий стохастического и детерминированного оптимального управления, теории функций действительной переменной, функционального анализа и вычислительной математики. Для реализации программного комплекса, производящего численный расчет траекторий моделируемых процессов, использовался пакет Ма^аЬ.

Положения, выносимые на защиту

1. Новый аналитический потраекторно-детерминироваиный метод исследования стохастических моделей одномерных динамических управляемых систем, основанный па выявленной структуре решения стохастических дифференциальных уравнений, в которых управление воздействует только на коэффициент сноса.

2. Новый аналитический метод, позволяющий свести нелинейные модели к линейным в некотором классе стохастических моделей управляемых систем.

3. Новый аналитический гютраекторно-детерминированный метод исследования стохастических моделей одномерных динамических управляемых систем, основанный па выявленной структуре решения стохастических дифференциальных уравнений с управлением, которое, кроме коэффициента сноса, также оказывает линейное воздействие на коэффициент диффузии.

4. Численно-аналитический способ моделирования и построения оптимальных траекторий в стохастических моделях, которые описываются одномерными стохастическими дифференциальными уравнениями с управляемым сносом и линейно управляемой диффузией.

Степ�