автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Оптимизация управления стохастических систем с запаздыванием

На правах рукописи

АЮКАСОВ Рустам Анатольевич

ОПТИМИЗАЦИЯ УПРАВЛЕНИЯ СТОХАСТИЧЕСКИХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ

Специальность: 05.13.01 - системный анализ, управление и обработка информации (механика)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

- 6 ОКТ 2011

Казань 2011

4856743

Работа выполнена в Казанском национальном исследовательском техническом университете им. А.Н. Туполева - КАИ

Научный руководитель доктор технических наук, доцент

Роднищев Николай Егорович

Официальные оппоненты доктор техн наук, профессор

Балоев Арнольд Андреевич

доктор физ.-мат. наук, профессор Лазарев Александр Алексеевич

Ведущая организация ФГБОУ ВПО «Казанский

национальный исследовательский технологический университет»

Защита диссертации состоится «2?» р^Т^В ^ 2011 года в I ^ часов на заседании диссертационного совета Д 212.079.01 в «Казанском национальном исследовательском техническом университете им. А.Н. Туполева-КАИ» по адресу: 420111, г. Казань, ул. К. Маркса, д. 10, зал заседаний Учёного совета. Автореферат диссертации размещен на сайте «Казанского национального исследовательского технического университета им. А.Н.Туполева-КАИ» www.kai.ru и направлен для размещения в сети Интернет Министерством образования и науки Российской Федерации по адресу referat_vak@mon.gov.ru.

С диссертацией можно ознакомиться в библиотеке «Казанского национального исследовательского технического университета им. А.Н.Туполева-КАИ» по адресу: 420111, г. Казань, ул. К.Маркса, д. Ю.

Автореферат разослан «2."5» Сею^ра. 2011 года.

Ученый секретарь диссертационного совета,

доктор физ.-мат. наук, профессор ^ Данилаев П.Г.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Системы, описываемые стохастическими дифференциально-разностными уравнениями, играют значительную роль в исследовании многих прикладных задач. Такие уравнения появляются там, где свойства объекта определяются эффектом последействия, и служат математическими моделями различных процессов: автоматического регулирования и управления техническими и механическими системами, развития экономических и социальных систем; генерации сигналов, горения в жидкостно-реактивных двигателях, замедления нейтронов, влияния излучений, линий задержки; радиолокации и радионавигации, процессов в авиационных силовых установках и т.д.

Запаздывание в системах приводит к новым эффектам, например самовозбуждению колебаний, увеличению перерегулирования и неустойчивости объектов управления и др.

Существующие в настоящее время условия оптимальности управления формулировались в основном на использовании принципа максимума Понтрягина. Данному вопросу посвящены работы X. Турецкого, A.C. Шаламова, Р.Т. Янушевского, В.Б. Колмановского, JI.E. Шайхета, N. El-Karoui, S. Hamadene, В. Oksendal, А. Sulem, Ch.A. Agayeva и других авторов. Использование такого подхода требует численного решения стохастических дифференциальных уравнений с запаздыванием для всего множества возможных реализаций компонент фазового вектора, что в общем случае является практически неразрешимой задачей ввиду бесконечного множества возможных реализаций компонент фазового вектора. Также следует отметить, что практическое использование принципа максимума Понтрягина, ввиду большой сложности, трудно применимо к задачам большой размерности (больше 3) для нелинейных стохастических систем.

Все вышесказанное позволяет сделать вывод об актуальности развития методов оптимизации управления систем, описываемых стохастическими дифференциальными уравнениями с запаздыванием.

Цель работы. Целью данной работы является получение необходимых условий оптимальности управления стохастических систем с запаздыванием на основе теории диффузионных Марковских процессов и разработка численных методов поиска оптимального управления со сходимостью алгоритмов решения к необходимым условиям оптимальности.

Предметом исследования является необходимые условия оптимальности управления нелинейных стохастических систем с запаздыванием и численные методы их поиска.

Объектами исследования являются математические модели

процессов и систем, текущее состояние которых зависит как от предыстории, так и от случайных составляющих.

Задачи работы.

Исследование условий оптимальности управления нелинейными стохастическими системами с запаздыванием;

разработка численных и приближенных методов решения задач оптимизации нелинейных стохастических систем с запаздыванием.

Методы исследования. В качестве методов исследования в работе применяются современный аппарат функционального анализа, общая теория экстремальных задач, теория оптимального управления, вариационное исчисление, математическое программирование, теория вероятностей и математическая статистика, теории случайных процессов, теории стохастических дифференциальных уравнений, методов вычислений, численных методов оптимизации и т.д.

Научная новизна. Формулирование необходимых условий оптимальности управления стохастических систем с запаздыванием относительно плотности распределения компонент фазового вектора управляемой системы. Использование полученных условий оптимальности для построения численных алгоритмов поиска оптимального управления стохастических систем с запаздыванием.

Положения, выносимые на защиту. В диссертации выносятся на защиту следующие основные положения:

Условия существования управления непрерывных стохастических систем с запаздыванием.

Необходимые условия слабого и сильного экстремума непрерывных стохастических систем с запаздыванием.

Численные и приближенные методы поиска оптимального управления непрерывных стохастических систем с запаздыванием.

Практическая ценность работы определяется тем, что задачи оптимизации нелинейных стохастических систем с запаздыванием представлены на единой методологической основе, которая позволяет, например, решать большинство конкретных задач управления летательными аппаратами и оптимизации их систем.

Основное внимание в работе уделяется исследованию условий экстремума, позволяющих определить не только необходимые условия оптимальности систем, но и строить на их основе численные методы поиска оптимального управления.

Апробация работы. Основные положения, выводы и результаты работы докладывались на международных и всероссийских конференциях: на всероссийском семинаре, посвященном 100-летию Кузьмина П.А. в г.

Казань в 2008 году, международном семинаре ШАС в г. Самара в 2009 г, Российской школе-конференции «Математика, информатика, их приложения и роль в образовании» с международным участием 14-18 декабря 2009 года.

Публикации. По материалам диссертации опубликовано 5 научных работ, в том числе 2 статьи в журналах из перечня ВАК и 3 тезиса докладов, два из которых представлены на международном семинаре и конференции.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Материал изложен на 92 страницах, список литературы состоит из 110 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении дается краткий обзор причин появления звеньев с запаздыванием при моделировании объектов и систем, и научной литературы, посвященный данной проблеме. Рассматриваются основные подходы к решению задач оптимизации стохастических систем с запаздыванием.

В первой главе в первом разделе дается общая постановка задачи оптимизации управления нелинейной стохастической системы с запаздыванием в виде:

п

(IX, =<р#,Х{1\ХЦ-т),и)А + ^а9(иХШг1,(!) (1)

■>=1

Х«) = ф(0, (е[(0-т,10].

Второй раздел первой главы посвящен сведению исходной стохастической задачи к детерминированной задаче. Известно, что процесс, описываемый уравнениями (1), в общем случае не является Марковским и к нему не применим аппарат уравнений Колмогорова-Фоккера-Планка (КФП - уравнений). Поэтому для сведения процесса (1) к Марковскому и применения к нему аппарата КФП - уравнений, в работе рассматривается стохастический аналог классического метода шагов к определению

управления и = и{{), которое обеспечивает минимум функционалу (1).

Для этого рассматриваемый отрезок времени покрывается

счетной сеткой с шагом равным величине запаздывания т и узлами и -к д = 1,.../V, где д номер интервала N - количество

интервалов, 1к =/0 + 7^X1.

Обозначая через £е[0,т] текущее время на интервале [/„_,,Л,]>

ч * ч

запаздывание исключается посредством расширения фазового пространства образующего цепочку стохастических дифференциальных уравнений по последовательно примыкающим интервалам ,д = 1,...,Лг.

Так, на первом интервале при значении q = 1 вектор состояния

системы Xх (.у) = (X,1 (/„ + л1), Х\ ((0 + $•),..., Х'п((0 + 5)) описывается уравнениями:

п

]-л (2)

X) ((о ) = Х10 (5) = ф,(Г„ -^ + 5). * = 1 — 5 6 [О, Т]. В уравнении (2) верхний индекс (и далее в уравнениях на последующих интервалах) указывает на номер интервала, а нижний на номер компоненты вектора состояний на этом интервале. На первом

интервале компоненты фазового вектора Х1(я) удовлетворяют системе дифференциальных уравнений с начальными условиями (2) без запаздывания.

На втором интервале при значении <? = 2 вектор состояния

системы X2 (5) = (¿1 +я),ЛГ2 +5),... + .?)) описывается

уравнениями относительно расширенного вектора состояний:

п

6Х' = % (*0 + 5, X1, и1) & + X сти (*0 + Л, X1) йг\),

Далее, на последнем интервале для расширенного вектора

состояний ^(5)= (^(/дг., +4^(^-1 + 4......1 +'у))' система

описывается стохастическими дифференциальными уравнениями:

сК) =ф,(ь+*,Х\«х) Л + + йг\),

с1Х? =ф,(1]+*,Х\Х\и2) + *,Х2) *ц),

сК] = ф,(г2 + *,Х\Х\иъ)с1з + ¿<ху (г2 + ) йц),

j=l

dXf=фl(tN_,+s,X\XN-\uN)ds + YJcУij(tN.^s,XN)dr1NJ■

7=1

X) Оо) = ХЮ = <р, (*0-х + *),Х} (/, + 0) = X) (*0 + г),

Х- + 0) = ^Г + г), / = 1,..л, * 6 [0,г].

Таким образом, на любом интервале , рассматриваемого

отрезка времени состояние системы определяется стохастическими

дифференциальными уравнениями, которые описывают диффузионный Марковский процесс вида:

<1Х:=ф1((тА+8,Хт,Х"-\ит) сЬ+^а^ ¿г?;-

м

Х}{10) = х4*) = <р,{(о-т + з),Х?{1т_1+0) = хГ{{т_2+т), Х° = 0,(1 = 1,...,п),(т = 1,...,д),(д = 1,...^),5е[0,т].

где ииИ = «(С1 = +з\т = Ш

Такой подход позволяет свести исходную задачу оптимизации (1) к детерминированной задаче с распределенными параметрами относительно плотности распределения вероятностей вектора состояний системы, удовлетворяющего уравнению Колмогорова-Фоккера-Планка.

«V

= 0, .У е [о, т] (4)

ОУ

р(0,х1) = 3(х1-ф)

р(0,хт)=р(х,хт-х){т = \,...,ъЧ = 2,...,Н). (5)

Здесь % = {и1 (и2 (5),..иы (.у)).

В третьем разделе первой главы формулируются и доказываются условия управляемости системы в форме леммы 1:

Лемма 1 (условия невырожденности). Задача (3) - (5) не вырожденная, если совокупность касательных вариаций (8р,8им )е К к множеству

■6 = 1 Р'иь

др 5,у

-1{5,Х1Я,иИ)р = 0, р10 =

Ро

в точке

(р, им) есть подпространство дЪр

К =

8р,8и>

дя

■ — х д,, м дг —

-(А,Д5,хы,иы)рриы =0,б^|5=0 =ор0

Здесь Хиу(^,д:ЛГ,мЛГХ-) линейный оператор, выражением:

определяемый

И " д А, Д«. %.%)(•)=Е

?=1 /=1 ох,

дич и

Вторая глава работы посвящена установлению необходимых условий существования оптимального управления. В первом разделе главы сформулированы необходимые условия оптимальности управляемой стохастической системы с запаздыванием в форме принципа минимума:

Теорема 1 (слабый принцип минимума). Пусть {р*,иИ) -оптимальное решение задачи (3) - (5). Тогда существует не равная тождественно нулю функция б С1,2 такая, что

а) хИ ] удовлетворяет решению задачи Коши

- + Я = 0, 5 е[т,0],

д8

б) для почти всех 5 е [0, т] и всех иы 6 Ь2

М

да

м

'Ж.

дии

Здесь Ь - линейный оператор, сопряженный к оператору

т.е.:

ы (а*™) 1 -1

Д = 1* А.

Следствие. Оптимальное управление удовлетворяет соотношению:

' ад4

м

уди

= 0.

Во втором разделе формулируются и доказываются необходимые условия существования сильного экстремума задачи оптимизации (3)-(5).

Теорема 2 (сильный локальный минимум). Пусть [р*,и*ы) -

оптимальное решение задачи (3)-(5), тогда существует не равная

тождественно нулю функция А,^, хЛ,) такая, что

хл,) удовлетворяет решению краевой задачи (6);

при почти всех 5 е [0, т] оптимальному управлению иИ соответствует

минимум М[11(ц,Хи,иы,Х)] по переменной им, где

К =

Третий раздел второй главы посвящен установлению необходимых условий оптимальности управления с обратной связью. Здесь оптимальное

управление иы — иы (я, хы) определяется как локальное управление,

связанное в каждый момент времени 5 и соответствующим ему состоянием

хы = Хы (я) с программным управлением иы (г) = им (л-, хы, /), ^ е т]

относительно фиксированной начальной точки (у,ху ) соотношением: =

В качестве оценки эффективности управления рассматривается критерий

Io{s,xN)^minMSXN(0o[xN{x% (7)

представляющий собой функцию точки xN - XN (л) фазового пространства системы в момент временив, который характеризует эффективность управления uN{t) на отрезке времени [у,т], при условии, что в момент времени s изображающая точка в фазовом пространстве находилась в состоянии XN (s) = xN. Функционал (7) относительно точки (i, xN) рассматривается при этом как условное математическое ожидание в момент времени т при условии, что в момент времени s система находилась в состоянии XN (s) - xN.

Необходимые условия оптимальности управления uN(s) = uN(s,xN) устанавливает теорема 3.

Теорема 3. Пусть uN{s) = u*u(s,xN) - оптимальное управление,

доставляющее при каждом {s,xN) минимум критерию (7). Тогда

существует такая, не равная тождественно нулю функция А,(у, С1,2, что

функция xN ) удовлетворяет уравнению Беллмана

+ minZ*(s,xN,uN) Л(s,xN) = 0, s е[0,г] л(т,*у) = Фс(*А')

оптимальное управление u*u(s) = u*N(s,xN) при всех s е [0,т] удовлетворяет условию

£ (s, xN, uN ) A(s, xN ) = min Г (5, хы, uN ) Я (s, xN ).

Четвертый раздел второй главы посвящен синтезу оптимального управления линейных стохастических систем с запаздыванием вида:

^0=ф(0лг(0+ц(/)лг(/-х)н(0+е(гМ0+а(/)п(0 (8)

В качестве критерия оптимальности управления системы (8) рассматривается минимум квадратичного функционала вида:

1(и)=л/|р (О с(<) *(0+(/) я(0 и (/)] Л(О е (9)

Используя подход, рассмотренный в первой главе, исходная задача поиска оптимального управления сводится к задаче в расширенном фазовом пространстве, описывающей марковский процесс. Для поиска оптимального управления используются результаты теоремы 3.

Оптимальное управление определяется из уравнения Беллмана и имеет вид:

(Ю)

В выражении (10) матрицы Я'" (5) = ||#Д/т_, и

в* (*)= ||ва (С-1 + 5)Ц^., где ^ = + # = 1,..., N. х„) представляет собой квадратичную форму по фазовым переменным вида:

(*'Г г,? (*) х'+2±(Г! (,))Г У + Г° (,),

1.7=1 1=1

где Г^(>у) - некоторая симметричная матрица порядка пхи, Г)1 (.у) -

вектор-столбец «-го порядка, .Г0(у) - некоторая функция времени, которые удовлетворяют следующим дифференциальным уравнениям:

ц (')={Ы мТ ^ (-) (я- (,))- (в> (*))г (*)

ш=1

ш=1

граничные условия для которых имеют вид: /:2(т)=0;Г/(т) = 0;Г°(х)=0;

Третья глава работы посвящена рассмотрению численного метода решения задачи оптимизации управления стохастической системы с запаздыванием. Этот метод представляет собой естественное обобщение градиентного метода.

Суть вычислительного алгоритма заключается в варьировании управления ии в направлении подходящих вариаций Ъин, обеспечивающих убывание целевого функционала задачи (3):

«у

на невырожденном конусе касательных вариаций, определенного уравнением в вариациях:

^- £>*аг>ин) 8Р ~(кЛ®ха"и»)Р) 5ик = 0; 6Р<> = 0 •

Алгоритм численного решения задачи (3)-(5) представляет собой следующую последовательность операций:

С исходным приближением управления и'^, п = 1,2,... решается задачи Коши для уравнения Колмогорова-Фоккера-Планка (4) и определяется исходное приближение р"(з,х?/) и значение целевого функционала /0(р,иы).

Решается задача Коши для уравнения (6) с целью определения К и дЯ

градиента -

диы

Вычисляется направление 8иА, = М

Вычисляются значения нового приближения к оптимальному

'Ы

управлению: иы —иы — п оил

Осуществляется проверка приближения к оптимальному управлению.

Если |<5и£| < е , то решение задачи (3)-(5) с точностью £ > 0 прекращается.

В противном случае решение продолжается исходя из нового приближения.

Для численного метода оптимизации, приведенного выше, в рамках второго раздела третьей главы сформулирована и доказана теорема сходимости и показано, что полученное управление удовлетворяет необходимым условиям оптимальности, сформулированным во второй главе.

Теорема 4, Если целевой функционал задачи (1) ограничен снизу по им и его производная Г0{р,ии) удовлетворяет условию Липшица по им на

всяком ограниченном по иы множестве, т.е.

В четвертой главе рассмотрен приближенный метод решения задач оптимизации управления нелинейных стохастических систем с запаздыванием, базирующийся на разложении плотности вероятности р{$,хы) в функциональный ряд по семиинвариантам случайного процесса

на основании гауссова распределения с точностью до совпадения плотности вероятности компонент вектора состояний, смешанных центральных моментов до второго порядка и семиинвариантов компонент вектора состояний выше второго порядка. Определение плотности вероятности Х„) сводится, таким образом, к нахождению семиинвариантов, которые определяются решением укороченной системы бесконечной цепочки обыкновенных дифференциальных уравнений относительно семиинвариантов, которые определяются из уравнения Колмогорова-Фоккера-Планка с использованием логарифма характеристической функции и имеют вид

(р> иы)1~ Г0 (р, иы - гШиы ]| < М0гк"|би

линейно ограничен

..л+1 ..л 5 л

то для последовательности иы = ик, — п оиы справедливы утверждения:

Ol

xi?" = м\х[ -xf )^"0+(x; - xf ко! 4k*muj* j

4 = -(■)] + 1) x

4 \ty-2

xM

J L

Здесь Xi '%{ >l'n >■■• " семиинварианты (верхние индексы указывают номера компонент вектора состояний, а нижние - порядок семиинвариантов), А]к (•), А'" (•) - коэффициенты сноса, £*(•)

коэффициенты диффузии; - число сочетаний из iV,. по qt.

При представлении плотности распределения /3(5, вектора состояний xN через семиинварианты, исходная задача оптимизации (3)-(5) с точностью до определения плотности распределения p{s,xN) сводится к задаче

'о(«) = [ Ф.о-> min

, Vk Фтиj ф j

жГ =м'

¿г =м[(х< - х{ )а; (•)+(*; - xf )4 (•) 4 = N,M [(xf - / f'1 4 (•)] + (N, -1)

xM

qt= 1

(г = 1,..и; j = 1,.. .,п; к = \,...N;m = \,...,N)

№)

с дифференциальными связями для обыкновенных

дифференциальных уравнений порядка 2г + + 0 + 2-2 относительно

семиинвариантов случайного процесса Хп. Здесь z = nxN,.a 2-2 -количество семиинвариантов выше второго порядка.

Данная задача представляет собой задачу теории оптимальных процессов со смешанными ограничениями типа неравенств. Для ее решения можно использовать сочетание численных методов проекций градиента и обобщенного дифференциально-градиентного метода Эрроу-Гурвица.

Четвертый раздел четвертой главы содержит решение конкретной задачи оптимального управления. Рассматривается задача поиска оптимального управления высотой полета легкого самолета, совершающего

полет на высоте # = 11 ООО метров со скоростью У0 = 265,68-^/ (М = 0.87) .

Уравнения движения самолета имеют вид1:

+ + ааАа + а3АЗ^арАдруд,

_ (11)

Л Л

^=У0(АЗ-Аа),

динамические коэффициенты которой имеют вид:

ау =0.0063 с'1; аа = 7.691 мс'2; а3 =9.81 мсг\ Ъу =0.000396 лГ1; Ъа = 0.6316 с-1; Ьл=0.

Здесь А V - изменение воздушной скорости полета самолета размерности м/с, АЗ и Аа - изменение углов тангажа и атаки соответственно (измеряются в радианах), а АН - изменение высоты полета самолета.

Считая, что самолет мгновенно балансируется относительно поперечной оси (АЗ = А9т)) закон управления высотой полета берется в виде:

1 Боднер В.А. Системы управления летательными аппаратами. - М.: Машиностроение, 1973.-504 с.

Д 0 = {АН - АНзад)~ ¡й ^ - Ян\{АН- АНмд

где &Н:и„ = 10 м. Считая, что скорость полета стабилизирована за счет работы автомата тяги по закону А8РУД = -1у{А¥-А¥зад), в первом уравнении системы (11)

коэффициент ау можно увеличить до значения ау = 0.03 с~1, а правую часть уравнения (11) положить равной нулю.

В законе управления (12) передаточные числа получены из условия минимума критерия качества вида:

И

ш

+ Т

Удя й?

у

Л;ДЯаа = 10 м,

где для желаемого времени регулирования по высоте = 18 с с перерегулированием не превышающим 5% от АНзад, т, = 0 с, г2 = 6 с.

Оптимальные коэффициенты закона управления (12) имеют следующие значения:

¡н =0.00393 —; ^ =0.0129—; =0.000444—.

м м мс

Решая эту задачу, будем считать, что скорость полета летательного аппарата постоянна, вследствие стабилизации воздушной скорости с помощью астатического автомата тяги, а управление продольным движением происходит посредством руля высоты.

В этом случае уравнения продольного движения будут иметь вид:

й1 АЗ <1АЭ _ с/Да _ д _ . г ■ + СЛ——+ С——+ СаДа = -Св А8е\

' ' Л

dAЭ ЛАа

Л

Л Л

л

= ¥0 (Д.9-Да).

(13)

Закон управления продольным движением (уравнение автопилота) удовлетворяет выражению:

Ад^г9(АЗ-А9зад) + 1^-

где ДЯ(/) = АЯ(г-т). Здесь г = 0.1 с - постоянное запаздывание, обусловленное запаздыванием в ПВД. „ . а АН

Сигнал 1Й —-— можно заменить сигналом с датчика перегрузки: ш

. dAH i

i

dt

где q4f =g-iit; g = 9.81 у/г.

Для самолета-истребителя, совершающего полет на высоте

Я = 11000л< со скоростью V0 =265.68 (М = 0.87), динамические

коэффициенты уравнений продольного движения имеют следующие значения:

С, =0.645)/; Сй =0.105)/; С, =3.393 J/2;

b„ =0.6316 У\ С =2.632

/с а /с

Оптимальные коэффициенты автопилота без учета запаздывания (г = 0.0 с) для углового движения со временем переходного процесса tP3 =4.8 с и движение по высоте со временем затухания tPH =21 с имеют следующие значения:

/,=2.188; = 1.5с; iH =0.003167 V ;

' / ./ /Л' (15)

^=0.0119^/; qH = 0.000308-)/с.

Рассмотрим движение самолета с учетом влияния турбулентности атмосферы («болтанки»). Учет влияния ветровых возмущений на динамику летательного аппарата осуществляется путем введения дополнительных

ветровых составляющих в угол атаки Лс^ = Да + aw.

Ветровые составляющие угла атаки aw, обусловленные вертикальными порывами ветра, описываются стохастическим дифференциальным уравнением

dt К "ЧАг.

Gaw ~ = 0.52сж.,

"о

где масштаб турбулентности LWy — 0,5// — 5 500 м, <jw = 0.4-^/ -интенсивность турбулентности, iV(i) - стандартный белый шум с

математическим ожиданием MN = 0 и интенсивностью GN = 1. Рассмотрим уравнения (13) с учетом ветровых возмущений: й?2А5 „ dA& „ dAa

+ — + Cd — + Са (Да + а„) = = ba(Acc + aw)\

dt2 5 dt- а dt

d Ai9 с/Да

dt dt dAH

= V0(A,9-Aa); (17)

dt

da V \2V

Оптимальность закона управления движением (17) определим из условия минимумом квадратичного функционала:

за

/ = |(Д#-Д#зад)2сй->тт. (18)

о

Задача (17), (18) представляет собой задачу оптимального управления. Для удобства дальнейших исследований приведем ее к каноническому виду путем замены переменных, представленных в таблице

Переменная (выражение) Обозначение Переменная (выражение) Обозначение

dAQ

АН

dt

A3 х2 \qH(AH-AH,ad)ds 0 х $

Окончание

Переменная (выражение) Обозначение Переменная (выражение) Обозначение

Да Х3 \{АН-Шыд)гЖ 0

Ла^ X7

Тогда задача (17)-(18) с учетом закона управления (14) приводится к терминальному виду:

/ = М[Х6(30)]->тт, (19)

~Св [», ((х2 + ¡н (х4(г-г)- АНзад) + !НГ0 (х2-х,) + х5) + ¡эх,];

_ у .

^Ь- = Х,-Ьа{Хъ+Х1У, (20)

Ж Же Ж

= {Х<-АНзаа)2-,

с!Х V ¡IV

£!±1 = - 11-Х, + 0.52^ р-ЭД)-

Используя в задаче (19), (20) подход исключения запаздывания, в результате сведения решения полученной стохастической задачи поиска оптимального закона управления к детерминированной задаче относительно математических ожиданий и корреляционных моментов компонент фазового вектора, в соответствие с подходами, изложенными в параграфах 1.2, 4.2 и 4.3 были определены следующие оптимальные коэффициенты автопилота, описываемого выражениями (14):

¡э = 2.188133; ^ =1.499905 с; /„ =0.019429 V \ гй = 0.026658 с/ .

" / м " / м

Математические ожидания переходных процессов представлены рисунках 1,2 и 3

М[ДН]

12

О

4

8

О .2 4 6 8 10 12 14 16 18 20 22 24 26 28

Рис. 1

Математическое ожидание изменения высоты полета

М[йи]

-0.03

0,07

0,02 -I

12 14 16 18 . 20 22 24 26 28

г

-0,08

Рис. 2

Математическое ожидание изменения угла тангажа

М[йа]

0,06

0.03

о

14 16 18 20 22 24 26 28

-0,03

-0,06

Рис. 3

Математическое ожидание изменения угла атаки

На рисунках 1-3 цифрой 1 обозначены графики характеристик компонент фазового вектора, соответствующих оптимальным параметрам автопилота, полученным для детерминированной модели без учета запаздывания. Цифрой 2 обозначены графики характеристик компонент фазового вектора, соответствующие оптимальным параметрам автопилота, полученным для стохастической системы с запаздыванием.

Представленные на рисунках 1-3 графики показывают, что запаздывание характеризуется эффектом отрицательного демпфирования, приводящему к колебательному переходному процессу по всем характеристикам продольного движения. Максимальное стандартное отклонение по высоте составляет 20 метров.

Представленные результаты подтверждают работоспособность предложенного автором метода поиска оптимального управления стохастических системы с запаздыванием.

1. Сформулирована задача оптимального управления непрерывных стохастических систем с постоянным запаздыванием относительно компонент вектора состояний.

2. Показано, что решение данной задачи может быть получено на основе теории диффузионных марковских процессов, позволяющей свести решение исходной стохастической задачи оптимизации с запаздыванием к детерминированной задаче с распределенными параметрами относительно плотности распределения компонент расширенного вектора состояния системы, удовлетворяющей решению уравнения Колмогорова-Фоккера-Планка. Исследованы условия

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

существования управления непрерывных стохастических систем с запаздыванием.

3. На основе общей теории экстремальных задач Дубовицкого-Милютина получены необходимые условия слабого и сильного экстремума непрерывных стохастических систем с запаздыванием.

4. Для случая полного и точного наблюдения вектора состояний системы сформулированы необходимые условия оптимальности стохастических систем с запаздыванием для управления с обратной связью.

5. Описана процедура синтеза управления линейной стохастической системы с запаздыванием в смысле минимума квадратичного функционала качества.

6. Предложены численные методы поиска оптимального управления стохастических систем с запаздыванием. Доказана сходимость численных методов поиска оптимального управления к управлению, удовлетворяющему необходимым условиям оптимальности.

7. Разработаны приближенные методы решения задач оптимизации управления нелинейных стохастических систем с запаздыванием с точностью до аппроксимации плотности распределения компонент вектора состояний.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК России:

1. Аюкасов Р.А. «Синтез алгоритма оптимального управления стохастическими динамическими системами с запаздыванием. // Мехатроника, автоматизация, управление. 2009. № 5, С.8-11.

2. Роднищев Н.Е., Аюкасов Р.А. Условия оптимальности управления нелинейных стохастических систем с запаздыванием. // Вестник КГТУ им. А.Н. Туполева, 2010. №1, С. 87-93.

В других журналах и материалах научных конференций:

1. Аюкасов Р.А. Использование уравнения Колмогорова-Фоккера-Планка в решении задач оптимизации управления стохастических систем с запаздыванием. Тезисы докладов всероссийского семинара, посвященного 100-летию П.А. Кузьмина. Казань. КГТУ им. А.Н. Туполева, 2008 г., С. 18-19

2. R.A. Aukasov, N.E. Rodnishev, N.S. Chernov, "Optimizing Control of Nonlinear Stochastic Systems with Delay: Application for Flying Vehicle," Proc. IF AC Workshop AEROSPACE GUIDANCE, NAVIGATION AND FLIGHT CONTROL SYSTEMS June 30 - July 2,

2009, Samara, RUSSIA \\ available from IP ACS Electronic Library at http://lib.physcon.ru/ (item 1861).

3. Аюкасов P.A., Роднищев H.E., Чернов H.C. К необходимым условиям оптимальности управления нелинейных стохастических систем с запаздыванием. Тезисы докладов Российской школы конференции «Математика, информатика, их приложения и роль в образовании». -М: РУДН, 2009 г., С. 133-136.

АЮКАСОВ Рустам Анатольевич

ОПТИМИЗАЦИЯ УПРАВЛЕНИЯ СТОХАСТИЧЕСКИХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ

Специальность: 05.13.01 — системный анализ, управление и обработка информации (механика)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,25. Усл. печ. л. 1,16. Уч. изд. л. 1,0. Тираж 100. Заказ 0109.

Типография Казанского государственного технического университета 420111, Казань, К. Маркса, 10

ВВЕДЕНИЕ.

1. ЗАДАЧА ОПТИМАЛЬНОГО УПРАВЛЕНИЯ СТОХАСТИЧЕСКИХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ.

1.1 Постановка задачи.

1.2. Сведение задачи поиска оптимального управления стохастической системы к детерминированной задаче оптимального управления.

1.3 Управляемость нелинейных стохастических систем с запаздыванием.

1.4 Выводы.

2. УСЛОВИЯ ОПТИМАЛЬНОСТИ УПРАВЛЕНИЯ.

2.1. Необходимые условия оптимальности.

2.2 Необходимые условия сильного экстремума.

2.3 Необходимые условия оптимальности управления с обратной связью

2.4 Оптимальное управление линейных стохастических систем с запаздыванием.

2.5 Примеры построения оптимального управления.

2.6 Выводы.

3. ЧИСЛЕННОЕ РЕШЕНИЕ ЗАДАЧ ОПТИМИЗАЦИИ СТОХАСТИЧЕСКИХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ.

3.1 Введение.

3.2 Численный метод поиска оптимального управления.

3.3 Пример численного решения.

3.4 Выводы.

4. ПРИБЛИЖЕННЫЙ МЕТОД РЕШЕНИЯ ЗАДАЧ ОПТИМИЗАЦИИ

СТОХАСТИЧЕСКИХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ.

4.1 Введение.

4.2 Задача оптимизации стохастических систем с запаздыванием.

4.3 Оптимизация управления линейных стохастических систем с запаздыванием.

4.4. Пример.

Актуальность работы

Системы, описываемые стохастическими дифференциально-разностными уравнениями, играют значительную роль в исследовании многих прикладных задач. Такие уравнения появляются там, где свойства объекта определяются эффектом последействия, и служат математическими моделями различных процессов: автоматического регулирования и управления техническими системами, развития, экономических и социальных систем; генерации сигналов, горения в жидкостно-реактивных двигателях, замедления нейтронов, влияния излучений, линий задержки; радиолокации и радионавигации, процессов в авиационных силовых установках и т.д

Звенья с запаздыванием могут появляться при моделировании объектов в механике наследственных сред, радиотехнике и радиофизике; в теории циклов в судостроительной промышленности, электронике и теоретической^ физике; теплопередаче, описании гистерезисных систем и влиянии гидравлического удара на устойчивость работы турбин; следящих приводов, напряженно-деформированного состояния ряда материалов (бетона, полимеров и пластмассы, древесины, льда, горных пород и др.), аэроавтоупругости, при изучении движения тел с учетом их взаимодействия с окружающей средой, действия лекарств, в робототехнике; замене систем с распределенными параметрами (гидропривод, акустическая линия и т.п.) эквивалентными звеньями.

К причинам возникновения таких явлений можно отнести транспортное, информационное и инерционное запаздывания (при передаче вещества, энергии, сигнала, информацию на расстояние), конечность скорости движения носителей электрических зарядов, запаздывание реакции в системах с человеком оператором.

Запаздывание в системах приводит к новым эффектам, например самовозбуждению колебаний, увеличению перерегулирования и неустойчивости объектов.

Также учет последействия в математических моделях позволяет получить результаты, хорошо согласующиеся с изучаемыми явлениями. В качестве примера можно привести работы [1,2,3,4] посвященные теории и приложениям дифференциальных уравнений, которые содержат наряду с искомой функцией ее значения в различные моменты времени. Так, например, учет запаздывания в цепи обратной связи в математической модели локатора (уравнение Минорского) позволил обнаружить устойчивые колебания в МХ-контуре на частоте, сильно отличающейся от частоты контура [4,5,6,7,8], ранее этот факт был обнаружен экспериментально. Введение запаздывания в математическую модель процесса обработки детали на токарном станке [9] позволило объяснить возникновение нежелательных вибраций резца. Эффект «галлопирования», наблюдаемый многими исследователями при движении самолета по грунтовому аэродрому, стал очевидным фактом после учета запаздывания в линейном уравнении движения, вызванное временем прохождения самолетом расстояния между передними и задними колесами шасси [10].

Все вышесказанное позволяет сделать вывод об актуальности развития методов оптимизации управления систем, описываемых дифференциальными уравнениями, содержащими, значения неизвестных функций в различные моменты времени.

Степень разработанности проблемы

Впервые детерминированные системы с запаздыванием появились в литературе XVIII в. в связи с решением задачи Эйлера о разыскании общего вида линии, подобной своей эволюте. Однако их изучение началось только в 50-х годах XX века, в рамках развития теории автоматического регулирования, когда выяснилось, что для описания практических систем необходимо привлекать такой параметр, как время реакции системы. Постановка основной начальной задачи была выполнена А.Д. Мышкисом в 1949 году [11].

Впервые принцип максимума для детерминированных систем с запаздываниями был получен в [12]. В настоящее время существует множество работ, относящихся к теории принципа максимума для детерминированных систем с запаздываниями, в частности стоит отметить абстрактную схему вывода необходимых условий оптимальности детерминированных систем с запаздыванием [13]. Наиболее полно в упомянутой теории разработан случай, когда запаздывания в управлениях соизмеримы.

Однако в ряде случаев рассмотрение детерминированной модели не дает удовлетворительного результата, поскольку например, случайные возмущения параметров могут не только количественно, но и качественно отражаться на результатах анализа динамики систем [14, 15].

Следует отметить, что в известных работах [2, 16, 17, 18] рассматриваются в основном задачи поиска оптимального управления для линейных стохастических систем с запаздыванием. В этих работах условия оптимальности исследуются на основе принципа максимума Понтрягина. Для нелинейных стохастических систем с запаздыванием более полно рассмотрены только задачи анализа [19, 23].

Задачи поиска оптимального управления стохастических систем с запаздыванием, представленные в иностранной литературе [82,83,84,86,86,87] также исследованы на основе принципа максимума Понтрягин.

Однако стоит отметить, что и здесь условия оптимальности управления записывались с использованием принципа максимума. Использование данного подхода предполагает решение стохастических дифференциальных уравнений с запаздыванием для всех реализаций компонент фазового вектора, что в общем случае является практически неразрешимой задачей ввиду бесконечного множества возможных реализаций компонент фазового вектора. Поэтому использовать принцип максимума Понтрягина для нелинейных задач большой размерности (больше 3) практически невозможно.

Анализ решения задач поиска оптимального управления стохастических систем с запаздыванием показывает, что более конструктивные результаты можно получить, рассматривая стохастические системы с точки зрения теории диффузионных Марковских процессов [20, 21, 81], позволяющей свести решение исходной стохастической задачи к детерминированной задаче с распределенными параметрами относительно плотности распределений фазового вектора состояний системы, удовлетворяющей уравнению Колмогорова-Фоккера-Планка (КФП).

Используя в качестве дифференциальной связи уравнение КФП можно рассматривать целое семейство (пучок) траекторий, описываемых исходными стохастическими дифференциальными уравнениями, определенных плотностью распределения* вероятности начального состояния* системы, управляющими параметрами и функциями управления. Такой подход позволяет, использовать для решения задач оптимального управления? со случайными свойствами те конструктивные бесконечномерные аналоги теории экстремальных задач, математического программирования и вариационного исчисления, которые к настоящему времени разработаны.

Как известно [22] процесс, описываемый стохастическими дифференциальными уравнениями с запаздыванием в общем случае не является Марковским процессом, и следовательно * к нему не применим аппарат уравнения КФП. Одним из способов преодоления данной трудности является»1 операция разбиения исходного временного интервала решения* задачи на отрезки, равные значению запаздывания; Используя расширение фазового' пространства [23], можно представить исходную систему стохастических дифференциальных уравнений с запаздыванием в виде последовательности стохастических дифференциальных уравнений без последействия, описывающих диффузионный Марковский процесс на каждом из последовательно примыкающих интервалов, равных значению запаздывания [22 ,23].

Цель и задачи работы

Целью данной работы является получение необходимых условий оптимальности управления стохастических систем с запаздыванием на основе теории диффузионных Марковских процессов и разработка численных методов поиска оптимального управления со сходимостью алгоритмов решения к необходимым условиям оптимальности.

Предметом исследования является необходимые условия оптимальности управления нелинейных стохастических систем с запаздыванием и численные методы их поиска.

Объектами исследования являются математические модели процессов и систем, текущее состояние которых зависит как от предыстории, так и от случайных составляющих.

Теоретическая и методологическая основа исследования

В качестве методов исследования в работе применяются современный аппарат функционального анализа, общая теория экстремальных задач, теория оптимального управления, вариационное исчисление, математическое программирование, теория вероятностей и математическая статистика, теории случайных процессов, теории стохастических дифференциальных уравнений, методов вычислений, численных методов оптимизации и т.д.

Теоретическая и практическая значимость работы заключается в предоставлении единого подхода к решению задач оптимизации управления стохастических систем с запаздыванием. Основное внимание в работе уделяется исследованию критериев оптимальности, позволяющих не только устанавливать необходимые условия-оптимальности систем, но и строить на их основе численные методы поиска оптимального управления.

Апробация работы

Основные положения, выводы и результаты работы докладывались на международных и всероссийских конференциях: на всероссийском семинаре, посвященном 100-летию Кузьмина П. А. в г. Казань в 2008 году, международном семинаре ШАС в г. Самара в 2009 г., на российской школе-конференции с международным участием «Математика, информатика, их приложения и роль в образовании» в г. Москва в 2009 году.

Основные положения и выводы диссертации опубликованы в журналах «Мехатроника, Автоматизация, Управление», «Вестник КГТУ им. А.Н. Туполева», входящих в перечень ведущих рецензируемых научных журналов и изданий.

Объем, структура и содержание работы

Диссертация состоит из введения, 4 глав, заключения и списка литературы.

ЗАКЛЮЧЕНИЕ.

1. Сформулирована задача оптимального управления непрерывных стохастических систем с постоянным запаздыванием относительно компонент вектора состояний.

2. Показано, что решение данной задачи может быть получено на основе теории диффузионных Марковских процессов^ позволяющей, свести решение исходной стохастической'задачи оптимизации с запаздыванием к детерминированной, задаче с распределенными параметрами, относительно уравнения Колмогорова-Фоккера-Планка, а в случае линейности системы, к детерминированной задаче оптимизации относительно обыкновенных дифференциальных уравнений.

3. Исследованы условия существования управления непрерывных стохастических систем с запаздыванием.

4. На основе общей теории экстремальных задач«. Дубовицкого-Милютина получены необходимые условия слабого и сильного экстремума непрерывных стохастических систем ^запаздыванием.

5. Для г случая полного и точного наблюдения вектора состояний системы сформулированы необходимые условия оптимальности стохастических систем с запаздыванием для управлениях обратной связью.

6. Решена задача синтеза управления линейной стохастической системы с запаздыванием в смысле минимума квадратичного функционала качества.

7. Предложен < численный метод поиска оптимального управления, стохастических систем с запаздыванием- на основе обобщения метода градиента.

8. Разработан приближенный метод решения задачи поиска оптимального управления нелинейных стохастических систем с запаздыванием с точностью до аппроксимации плотности распределения компонент вектора состояний на основе семиинвариантов управляемого процесса.

1. Вольтерра В. Математическая теория борьбы за существование. М.: Наука, 1976

2. Турецкий X. Анализ и синтез управления с запаздыванием. М.: Машиностроение, 1974.

3. Коваль Б.Е., Царьков Е.Ф. Необходимые и достаточные условия абсолютной и, асимптотической устойчивости линейных систем дифференциальных уравнений с постоянным'запаздыванием // ДАН УССР Сер. А. 1972. №6. 506-509

4. Колесов Ю.С., Швитра Д.И. Автоколебания в системах с запаздыванием. Вильнюс: Мокслас. 1979

5. Буйкис М.А., Садовяк Л.М., Царьков Е.Ф. О непрерывности по параметру решений стохастических уравнений // Латв. Мат. Ежегодник. 1973. №12. 39-49

6. Букатарь М.И., Царьков Е.Ф. Об, автоколебаниях в ламповом* генераторе с запаздывающей обратной связью // Изв. Вузов. Сер. Радиофизика. 1970. №8. 1117-1125

7. Пинни Э. Обыкновенные дифференциально-разностные уравнения. М.: Изд-во иностр. лит. 1961

8. Хейл Дж. Теория функционально-дифференциальных уравнений. М.: Мир. 1984

9. Заре В.В. Моделирование автоколебаний металлорежущих станков // Вопросы динамики и прочности. 1969. №1. 157-173

10. Гоздек B.C. О галопировании тележек шасси при движении самолета по грунтовому аэродрому // Инж. Журнал Т. 5. №4. 173-177

11. Мышкис А. Д. Общая теория дифференциальных уравнений с запаздывающим аргументом. //Успехи мат. наук. 1949. Т.4, № 5.

12. Харатишвили Г. Л. Принцип максимума в теории оптимальных процессов с запаздыванием//Докл. АН СССР. 1961. Т. 136. 39-42.

13. Гамкрелидзе Р. В., Харатишвили Г. Л. Экстремальные задачи в линейныхтопологических пространствах//Изв. АН СССР. Сер. матем. 1969. Т. 33. С. 781—839.

14. Вахания H.H., Тариеладзе В.И., Чобанян С. А. Вероятностные распределения в банаховых пространствах. М.: Наука. 1985.

15. Хосьминский Р.З. Устойчивость систем дифференциальных уравнений-при случайных возмущениях их параметров. М.: Наука. 1969

16. Шаламов А.С. Оптимальное управление в, дифференциально-разностных системах со случайным квантованием- во времени. // Автоматика и, телемеханика: 1990: №2. 75-80'

17. Альсевич В.В., Кириллова Ф.М: Задачи оптимального управления и наблюдения для неопределенных динамических систем с последействием // Автоматика и телемеханика. 1996. №2. 50-63'

18. Янушевский Р.Т. Управление объектами с запаздыванием. М.: Наука. 1978.

19. Frank T.D. Multivariate Markov processes for stochastic systems with delays: Application to* the stochastic Gompertz model with delay // PHYSICAL REVIEW E 66. 011914. 2002

20. Роднищев H.E. Оптимизация управления нелинейных, стохастических систем с ограничениями // Автоматика и телемеханика. 2001. №2. 87-100'

21. Роднищев Н.Е. Необходимые условия оптимальности, управления разрывных нелинейных стохастических систем с ограничениями: // Известия АН «Теория и системы управления». 2001. №6. 38-50

22. Царьков Е.Ф. Системы стохастических дифференциальных уравнений* с запаздыванием // Известия АН* Латвийской ССР. 1968. - №1. - С. 57-64

23. Полосков И.Е. Расширение фазового пространства в задачах анализа дифференциально-разностных систем со случайным входом // Автоматика и телемеханика. 2002. №9. 58-73

24. Роднищев Н.Е. Приближенный анализ точности дискретного оптимального управления нелинейных стохастических систем методом семиинвариантов. //Изв. вузов. Авационнаятехника. 1987. №1.25