автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Оптимальные стратегии управляемых в слабом смысле стохастических систем с полной информацией

Введение.

Глава 1. Необходимые сведения из функционального анализа, теории вероятностей и теории случайных процессов.

§ 1 Обозначения, соглашения и некоторые сведения из функционального анализа.

§2 Сведения из теории вероятностей.

§3 Некоторые сведения из общей теории случайных процессов.

Глава 2. Интегральное представление нелинейных функционалов, заданных на траекториях квазинепрерывных слева семимартингалов.

§ 1 Решение семимартингальной проблемы. Сходимость по распределению последовательности семимартингалов к семимартингалу.

§ 2 Функциональная формула Ито.

§ 3 Интегральное представление гладких нелинейных функционалов, заданных на траекториях локально безгранично делимых случайных процессов.

§4 Обобщенные стохастические производные.

§ 5 Обобщенная функциональная формула Ито с сильными обобщенными стохастическими производными.

§ 6 Обратное уравнение Колмогорова.

§ 7 Оператор Зг и его свойства. Теорема об интегральном представлении.

§ 8 Пространства W2"'rj (Р) .Общая теорема об интегральном представлении мартингалов.

Теория управляемых случайных процессов имеет уже более полувековую историю и возникла в связи с потребностями в управлении динамическими и экономическими системами, на эволюцию которых влияют случайные факторы. Первыми работами в этом направлении принято считать работы Вальда [40,41] Карлина

117], Беллмана [100,101], Ховарда [86]. Достаточно полное представление о современном состоянии этой теории можно получить из монографий [1-5,16,20,29,31,37,43,46,48,50,56,63,64,66,67,68,69,70,72,77,86,87,97,99,

101,102,105,108,116,122,123,124,128,134] и обзоров [34,92,111].

К настоящему времени в теории управляемых случайных процессов сформировалось два подхода. Кратко опишем каждый из них.

Первый подход. На некотором (фиксированном) фильтрованном вероятностном пространстве (£l,F,(F,)i>0,р) задан двухкомпонентный случайный процесс (£,а,);>0 принимающий значения в (ЕхА,£В(ЕхА)), соответственно, причем первая компонента называемая управляемым случайным процессом, а вторая - стратегией а. (процесс управления), с помощью которой осуществляется управление траекторией процесса(£,);>о.На траектории процесса (£,,«,) задается измеримый функционал F{%.,a,), с помощью которого определяет цель управления, состоящую в выборе такой стратегии, которая максимизировала бы среднее(по мере Р) значение функционала F{g„a.).

Второй подход. Пусть на фильтрованном измеримом пространстве (Q,F,(^)(>0) задан случайный процесс (<£>-Ю(20 00 значениями в (Е,£). Для него строится фильтрованное вероятностное пространство |o,F,(f;)r>03(pa-) ^j, где |р°-| ^-семейство вероятностных мер на (q,F,(^)(>0), зависящее от а.,причем

Л.-множество стратегий а.На траекториях процесса (£)/>0 задается функционал, зависящий от стратегии а,- F(g„a,). Целью управления является максимизация среднего(по мере Р°-) значения этого функционала по всем а.еА.

Первому подходу в теории управляемых случайных процессов следует отнести работы Флеминга У. и Ришела Р. [72],Крылова Н.В.

29], Стратоновича Р.Л. [69], Черкоусько Ф.Л. и Колмановский В.Б.

87], посвященные управляемым процессам диффузионного типа,

Прагараускаса Г.В. [62]- для управляемым процессам диффузионного типа со скачками и др. В этих работах рассматривалась задача оптимального управления стохастическими уравнениями(являющиеся, при фиксированном управлении, марковскими процессами) с аддитивным критерием конечным горизонтом и полной информацией. В рамках этого подхода было разработано три метода решения этой задачи.

Первый, назовем его методом Крылова Н.В., состоит в следующем: /) устанавливаются условия, при которых управляемый процесс, описываемый стохастическими уравнениями, коэффициенты которого зависят от управлений а., имеет сильное единственное решение, дифференцируем по начальным данным; //) вводится понятие функций Беллмана (цены) и устанавливается принцип Беллмана;

77) устанавливаются условия при которых функция Беллмана дифференцируема (в определенном смысле, например в смысле Соболева) необходимое число раз; iv) основываясь на свойствах гладкости функции Беллмана выводится уравнение Беллмана; v)используя априорные оценки пункта iv), устанавливаются условия разрешимости уравнения Беллмана; vi) исходя из уравнения Беллмана находятся условия существования оптимальных и (или) е- оптимальных стратегий.

Второй метод , назовем его методом Флеминга-Ришела, состоит в следующем:/) эвристическим образом выписывается уравнение

Беллмана (соответствующее данной постановке задачи оптимального управления); и) устанавливаются условия, при выполнении которых уравнение Беллмана имеет (в определенном смысле) единственное решение(отсюда, кстати, следует, что решение уравнения Беллмана является функцией Беллмана для исходной задачи оптимального уравнения ); из уравнения Беллмана извлекаются условия существования оптимальных и (или) е- оптимальных управлений.

Третий метод, условно назовем его методом Бисмута Ж.-М. [97], является обобщением принципа максимума Понтрягина JI.C. на случай стохастических дифференциальных уравнений.

Практическое использование результатов, связанных с данным подходом, довольно сложно из-за трудностей, связанных с построением явного решения уравнения Беллмана, соответствующего данному управляемому процессу и критерию.Однако необходимо отметить, что в связи с работой Маслова В.П. и Колокольцова В.Н. [48], посвященной идемпотентному анализу, появилась надежда и возможность построения явных обобщенных решений уравнения Беллмана.

Теперь перейдем ко второму подходу. Здесь, как правило, существенным является построение фильтрованного стохастического базиса и основной проблемой является доказательство существования оптимальных стратегий. Этот подход реализует, как правило, следующую методику поиска оптимальных стратегий: /) по заданному случайному процессу строится управляемый случайный процесс, например, с помощью абсолютно непрерывной замены мер, либо, когда управляемый случайный процесс описывается стохастическим уравнением, устанавливаются условия существования и единственности слабого решения [23,41,34]; вводится функция Беллмана, для которой доказывается принцип

Беллмана, а также мартингальный критерий существования оптимальных стратегии; устанавливаются условия при которых любой измеримый ограниченный нелинейный функционал допускает интегральное представление, т.е. допускает представление в виде стохастических интегралов; v) основываясь на теоремах о представлении нелинейных функционалов устанавливаются необходимые и достаточные условия существования оптимальных и s- оптимальных стратегий. Заметим, что последние существенным образом основываются на условиях Роксина либо полунепрерывности сверху.

В работе [34] Крыловым Н.В. предложен новый метод, в рамках второго подхода, построения оптимальных стратегий опирающийся на свойства мер Грина.

Отметим, что для дискретного времени два выше описанных подхода в теории управляемых случайных процессов приводят к одному и тому же результату. В этом смысле интересна работа [l], в которой для управляемых марковских последовательностей построен аналог принципа максимума Понтрягина, а также установлена его связь с принципом Беллмана.

Следует отметить, что результаты, полученные к настоящему времени в рамках второго подхода, имеют ряд особенностей и недостатков. Эта теория существенным образом опирается на теорему о представлении мартингалов в виде стохастических интегралов, которая устанавливает существование и единственность предсказуемых интегрантов. Однако, это утверждение не устанавливает явный вид этих интегрантов а также не дает способа их построения. Кроме того, из этой теоремы не следует: а) структура этих интегрантов, б) связь интегрантов с естественной фильтрацией и мартингалами, для которых это представление строится. Как следует из [16,95,106,108], эти интегранты фигурируют в необходимых и достаточных условиях существования оптимальных стратегий, поэтому возникает потребность в разработке методики их нахождения или способа построения.

Настоящая диссертационная работа посвящена теории оптимального управления случайными процессами с полной информацией скалярным критериям в рамках второго подхода. Целью работы является: l) разработка новой методики построения представления мартингалов в виде стохастических интегралов, интегранты, которых могут быть найдены явно либо предъявлен способ их нахождения, 2) получение необходимых и достаточных условий существования оптимальных стратегий для управляемых случайных процессов, являющихся семимартингалами; з)вывод уравнения Беллмана соответствующего выше указанной оптимизационной задаче, а также нахождение условий его разрешимости; 4)разработка асимптотических методов построения е - оптимальных стратегий.

Указанным выше вопросам посвящены работы автора [36,55,57-61,76-85,118-121 ]. Основные результаты диссертации докладывались и обсуждались на научных семинарах МГИЭМ, МГУ, ЦЭМИ, МИР АН, ИПМРАН, а также на Всесоюзной Конференции по теории и приложениям функционально-дифференциальным уравнениям (Душанбе), XI Всесоюзном совещании "Проблемы управления 89" (Ташкент), XVIII и XIX школах- коллоквиумах по теории вероятностей и математической статистике, Всесоюзном совещании- семинаре "Проблемы оптимизации и управления динамическими системами" (Владивосток), IV и V Международных Вильнюских конференциях по теории вероятностей и математической статистике (Вильнюс), Всесоюзном совещании "Проблемы управления"(Алма-Ата), Всесоюзном совещании по дифференциальной геометрии (Абрау-Дюрсо), 2-ом симпозиуме IF АС (Вильнюс), Третьем Международном семинаре по теории телетрафика (Москва).

Перейдем к краткому описанию диссертационной работы. Она состоит из введения, шести глав и списка литературы.

ЗАКЛЮЧЕНИЕ.

Основными результатами главы б являются:

1)для управляемого марковского процесса диффузионного типа со скачками, описываемого стохастическими уравнениями с малыми случайными возмущениями зависящими от управлений с конечным горизонтом и аддитивным критерием условия существования о(е)-оптимальной марковской стратегии;

2) для управляемых в слабом смысле процессов Ито с последействием и малыми возмущениями зависящими от управления (как с запаздыванием, так и без него) и нелинейным целевым терминальным функционалом, заданным на траектории выше указанного процесса, получены достаточные условия существования "естественной" о(е) - оптимальной стратегии. общее заключение.

Сформулируем основные результаты полученные в диссертации.

1. Получено обобщение известной формулы Ито на случай гладких нелинейных функционалов, заданных на траектории семимартингалов.

2. Для нелинейных функционалов, заданных на траекториях квазинепрерывных слева семимартингалов определены и обоснованы понятия сильной и слабой обобщенной стохастической производной а также сильной и слабой обобщенной стохастической разностной производной, для них установлено: а) связь между этими определениями, б) условия существования и единственности этих обобщенных стохастических производных, в) свойства этих объектов, г) описаны пространства элементами, которых являются эти обобщенные стохастические производные.

3 .Построено обобщение формулы Ито на случай негладких нелинейных прогрессивно измеримых функционалов, заданных на траекториях квазинепрерывных слева семимартингалов, имеющих сильные обобщенные стохастические производные.

4. Введено уравнение, являющееся аналогом известного обратного уравнения Колмогорова, для условных математических ожиданий от нелинейных функционалов, заданных на траекториях квазинепрерывных слева семимартингалов, относительно потока сг-алгебр порожденного этим семимартингалом.Для этого уравнения получены достаточные условия существования и единственности обобщенного решения.

5.Построен новый критерий существования интегрального представления в виде стохастических интегралов для нелинейных квадратично интегрируемых функционалов, заданных на траекториях квазинепрерывных слева семимартингалов, в терминах слабых обобщенных стохастических производных.

6. Установлены условия существования управляемых в слабом смысле семимартингалов. Для управляемых в слабом смысле семимартингалов соответствующих системам с полной информацией и конечным горизонтом и критерием, являющимся, вообще говоря, нелинейным функционалом (от управляемого в слабом смысле семимартингала) доказан принцип Беллмана.

7. Для управляемых в слабом смысле квазинепрерывных слева семимартингалов с неаддитивным критерием полной информацией и конечным горизонтом найдены необходимые и достаточные условия существования оптимальных естественных стратегий.

8. Выведено уравнение оптимальности (Беллмана), соответствующее управляемым в слабом смысле квазинепрерывным слева семимартингалам при полной информации с конечным горизонтом, для которого получены достаточные условия существования и единственности обобщенного решения.

9. Для управляемых в слабом смысле ( однородных) марковских моделей дискретным временем, с полной информацией , борелевскими пространствами состоянии и управлений,аддитивным или мультипликативным (дисконтированными) критериями,конечным (бесконечным) горизонтом получены: а) достаточное условие разрешимости соответствующего уравнения Беллмана в классе неограниченных .//-функций, б) достаточное условие существования марковских оптимальных и s-оптимальных сД ^-стационарных селекторов (стратегий).

Для выше описанной марковской модели, с запаздывающим управлением и аддитивным критерием получено достаточное условие существования оптимального марковского селектора.

10. Для управляемых случайных последовательностей со счетно компактными пространствами состояний и управлений и конечным горизонтом с неаддитивным критерием при наличии ограничений на множество стратегий получены достаточные условия существования оптимальных стратегий в классе стратегических мер, показано, что выше указанная задача эквивалентна бесконечно мерной задаче линейного программирования, для которой найдены условия разрешимости.

11. Построен новый критерий существования неупреждающего аффинного (мартингального) преобразования, связывающего две мартингальные последовательности, согласованные с некоторой фильтрацией при фиксированной вероятностной мере.

12 Для управляемых в слабом смысле (однородных) марковских скачкообразных процессов в конечном (бесконечным) горизонтом с кусочно-постоянными траекториями, борелевскими пространствами в состоянии и управлений,полной информации, аддитивным (дисконтированным )критерием получены новые достаточные условия обеспечивающие: а) разрешимость соответствующего уравнения Беллмана в классе неограниченных ^/-функций; б) существование марковских оптимальных, в-оптимальных Д стационарных) селекторов (стратегий).

Для этой модели но уже с запаздывающим управлением найдены условия существования оптимальной марковской стратегии, а также показано, что нельзя получить больший доход при оптимальном управлении с запаздыванием по сравнению со случаем отсутствия запаздывания.

13. Разработана методика построения о(е)-оптимальных марковских стратегий для управляемого марковского процесса со скачками, описываемого стохастическими интегральными уравнениями с малыми случайными возмущениями, которые зависят от управления, с конечным горизонтом и аддитивным критерием.

14. Для управляемых в слабом смысле непрерывных случайных процессов, описываемых стохастическими уравнениями Ито с последействием, с малыми возмущениями, зависящими от управления (с запаздыванием) конечным горизонтом,полной информацией, гладким терминальным функционалом (заданным на траекториях выше указанного процесса) разработана методика построения достаточных условий существования о(£)-оптимальных естественных стратегий.

1. Аркин В.И., Евстигнеев И.В. Вероятностные модели управления и экономической динамики. М., Наука, 1979, 176 с.

2. Афанасьев В.Н., Колмановский В.Б., Носов В.Р. Математическая теория конструирования систем управления. М., Высшая школа, 1998, 574 с.

3. Андреева Е.А., Колмановский В.Б., Шайхет Л.Е. Управление системами с последействием. М., Наука, 1992, 336 с.

4. Бенсусан А., Лионе Ж.-Л. Импульсное управление и квазивариационные неравенства. М., Наука, 1987, 597 с.

5. Бертекас Д., Шрив С. Стохастическое оптимальное управление. М., Наука, 1985, 280 с.

6. Блекуэлл Д. Положительное динамическое программирование. Сб."Математика" , 1969, т. 13, № 5 , с. 103-106.

7. Баклан В.В. Об оптимальном управлении некоторыми диффузионными процессами. Киев, Наукова думка. Сб. "Теория случайных процессов", 1976,вып. 4, с. 13-18.

8. Баклан В.В. Зуев Л.А. Управление диффузионными процессами с малой диффузией. Киев, Наукова думка, Сб. "Теория случайных процессов", 1976, вып.4, с. 18-21

9. Боровков А.А. Математическая статистика. М., Наука, 1984, 427 с.

10. Вентцель А.Д. Инфинитезимальные характеристики марковских процессов в функциональном пространстве , описывающих прошлое.Теория вероятностей и ее применение, 1985, т. XXX, № 4, с. 625-639.

11. Вентцель А. Д. Предельные теоремы о больших уклонениях для марковских случайных процессов, М., Наука, 1986, 175 с.

12. Вентцель А.Д., Фрейдлин М.И. Флуктуации в динамических системах под действием малых случайных возмущений. М., Наука, 1979, 424 с.

13. Ватанбе С. Икэда Н. Стохастические дифференциальные уравнения и диффузионные процессы. М., Наука, 1986, 445 с.

14. Вентцель А.Д. Уточнение функциональной центральной предельной теоремы для стационарных процессов. Теория вероятностей и ее приложения , 1989, т. XXXIV, № 3, с. 451-464.

15. Власюк Б.А., Штейнберг А.А. Структурные свойства оптимальных линейных стохастических систем с запаздыванием в управлениях.Автоматика и телемеханика, 1983, № 3, с. 65-75.

16. Гихман И.И., Скороход А.В. Управляемые случайные процессы. Киев, Наукова думка, 1977, 251 с.

17. Гихман И.И., Скороход А.В. Стохастические дифференциальные уравнения и их приложения, Киев, Наукова думка, 1982, 611 с.

18. Григелионис Б.И. О представлении стохастическими интегралами мартингалов интегрируемых с квадратом. Лит. Матем. Сб., 1974, XIV, №4 с. 45-61.

19. Гальчук Л.И. Структура некоторых мартингалов. Труды школы-семинара по теории случайных процессов. (Друскининкай, 25-30 ноября, 1974 г.), часть I, Вильнюс, 1975, 338 с.

20. Дынкин Е.Б., Юшкевич А.А. Управляемые марковские процессы и их приложения. М., Наука, 1975, 338 с.

21. Данфорд Н., Шварц. Линейные операторы. М., ИЛ, 1962, 895 с.

22. Дынкин Е.Б., Евстигнеев И.В. Регулярные условные математические ожидания соответствий. Теория вероятностей и ее применения, 1976, т. XXI, № 2 , с. 334-346.

23. Жакод Ж., Ширяев А.Н. Предельные теоремы для случайных процессов т. 1, т.2, М."Физмат.лит." 1994

24. Звонкин А.К. О последовательно управляемых марковских процессах. Мат. Сборник, 1971, т.86, с. 611-621.

25. Иосида К. Функциональный анализ. М., Мир, 1967, 624 с.

26. Кабанов Ю.М., Липцер Р.Ш., Ширяев А.Н. Абсолютная непрерывность и сингулярность локально абсолютно непрерывных вероятностных распределений I, II, Мат.сб., 1978, т. 107,№ 3, с. 364415; 1979, т. 108, №1, с.32-61.

27. Кабанов Ю.М. О существовании решения в одной задаче управления считающим процессом. Матем. Сб. 1982, т. 119, № 3.

28. Каштанов В.А., Хаметов В.М. Исследование операций. М. МИЭМ, 1990, 124 с.

29. Крылов Н.В. Управляемые процессы диффузионного типа.М., Наука, 1978, 399 с.

30. Кабанов Ю.М. Интегральные представления функционалов от процессов с независимыми приращениями.Теория вероятностей и ее применения, 1974, t.XXIX, № 4, с. 889-893.31 .Кибзун А.И. Стохастическое управление динамическими системами.М.МАИ, 1991, 60 с.

31. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М. Наука, 1976.

32. Колосов Т.Е. Синтез оптимальных автоматических систем при случайных возмущениях. М. Наука, 1976, с.257.

33. Крылов Н.В. Об одном подходе к управляемым диффузионным процессам. Теория вероятностей и ее применение. 1986, t.XXXI, №4, с. 685-709.

34. Конюхова Т.А., Ротарь В.И. Управления, асимптотически оптимальные по вероятности и почти наверное в задаче о линейном регулятор е. Автоматика и телемеханика, 1992 , № 6, с. 65-78.

35. Кульман Н.К., Хаметов В.М. Нелинейная фильтрация случайных процессов. М. МГИЭМ, 1982, 80 с.

36. Куржанский А.Б. Наблюдение и управление в условиях неопределенности. М. Наука, 1977.

37. Коротков В.В. Интегральные операторы. М. Наука, 1983.

38. Колокольцев В.Н., Маслов В.П. Идемпотентный анализ как аппарат теории управления и оптимального синтеза I .Функциональный анализ и его приложения, 1989, т.23, вып., с. 1-14.

39. Колмановский В.Б., Шейхет J1.E. О приближенном синтезе оптимального управления стохастическими квазилинейными системами с последействием.Прикладная математика и механика. 1978, т.42, № 6, с. 978-988.

40. Кудрявцев Д.И. Управление марковскими процессами в задаче с ограничениями. Укр.матем.журнал. 1989, т.41, № 9, с. 1226-1230.

41. Лебедев В.А. Уравнения динамического программирования для одного класса управляемых случайных процессов. В сб. Вероятностные процессы и управление. М., Наука, 1978, с.126-153.

42. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов, М., Наука, 1974, 696 с.

43. Липцер Р.Ш., Ширяев А.Н. Теория мартингалов., М., Наука, 1986, 512 с.

44. Липцер Р.Ш. О представлении локальных мартингалов.Теория вероятностей и ее применениям. 1975, т. XXI, № 4, с. 718-726.

45. Левин В.Л. Выпуклый анализ. М., Наука, 1985, 352 с.

46. Мазья В.Г. Пространства С.Л. Соболева. Л., ЛГУ, 1985, 415 с.

47. Маслов В.П., Колокольцов В.Н. Идемпотентный анализ и его применение в оптимальном управлении М. Наука, 1994, 142 с.

48. Маслов В.П. Асимптотические методы решения псевдодифференциальных уравнений. М., Наука, 1987, 408 с.

49. Мельников А.В. Финансовые рынки.Стохастический анализ и расчет производных денных бумаг.М., ТВП, 1997, 126 с.

50. Мейер А.А. Вероятность и потенциалы.М.,Мир, 1979, 324 с.

51. Неве Ж. Математические основы теории вероятностей. М.,Мир, 1969.

52. Пиуновский А.Б., Хаметов В.М. Оптимальное управление случайными последовательностями при ограничениях. Математические заметки, 1991, т. 49, № 6 с. 143-145.

53. Пиуновский А.Б. Оптимальное управление случайными последовательностями в задачах с ограничениями. РФФИ,М., 1996, 304 с.

54. Пиуновский А.Б., Хаметов В.М. Новые точно решаемые примеры для управляемых цепей Маркова с дискретным временем Кибернетика, 1991, № 3, с. 82-90.

55. Пиуновский А.Б., Хаметов В.М. Примеры синтеза оптимальных управлений в марковсих скачкообразных моделях. В сб. Исследования по вероятностным проблемам управления экономическими процессами.М., ЦЭМИ, 1985,55-76 с.

56. Пиуновский А.Б., Хаметов В.М. Об оптимальном управлении непрерывно-дискретными скачкообразными процессами. Техническая кибернетика, 1983, № 3, 56-61 с.

57. Пиуновский А.Б., Хаметов В.М. Оптимальное управление случайными последовательностями при наличии ограничений.Х1 Всесоюзное совещание."Проблемы управления 89", Ташкент, 1989, с 105-106.

58. Прагараускас Г. В.Об уравнении Беллмана в структуре мер для общих управляемых случайных процессов.1,И.Литов. матем. сб., 1981, т. 21, № 4,с. 169-184, 1982,т.22,№ 1,с. 138-145.

59. Пресман Э.Л., Сонин И.М. Последовательное управление по неполным данным.М., Наука, 1982 256 с.

60. Рождественский Б.М., Яненко Н.Н. Система квазилинейных уравнений.М. Наука., 1978, 687 с.

61. Ротарь В.И. Бенинг В.Е. Введение в математическую теорию страхования.Обозрение прикладной и промышленной математики.М. ТВП т.1 № 5 с. 698-779.

62. Рыков В.В. Управляемые случайные процессы и системы (дискретное время) М. Моск. Ин-т. нефтехимии и газовой промыш-ти им. Губкина 1977.

63. Срагович В.Г. Адаптивное управление.М., Наука, 1981 г. 384 с.

64. Скороход А.В. Случайные процессы с независимыми приращениями.М.,Наука., 1964 ,278 с.

65. Стратонович P.JI. Условные марковские процессы и их применение к теории оптимального управления.М.,МГУ ,1966 ,с.319.

66. Тер-Крикоров A.M. Оптимальное управление и математическая экономика. М.,Наука, 1977.

67. Треногин В.А. Функциональный анализ.М.,Наука ,1980.

68. Флеминг У. Ришел Р. Оптимальное управление детерминированными и стохастическими системами.М.,Мир, 1978, 316 с.

69. Фридман А. Уравнения с частными производными параболического типа, М.Мир, 1968, 427 с.

70. Фрид Е.Б. Об оптимальных стратегиях в задачах управления с ограничениями.Теория вероятностей и ее применения. 1972, т.ХУИ, вып. I, с. 194-195.

71. Файнберг Е.А. Нерандомизированные марковские и полумарковские стратегии в динамическом программировании. Теория вероятностей и ее применения. 1982,XXVII, №1, с. 109-119.

72. Хаметов В.М., Пиуновский А.Б. Оптимальное управление скачкообразными случайными процессами.М., МГИЭМ, 1987, с.80.

73. Хаметов В.М. o(s)~ оптимальное управление стохастическими уравнениями с малым параметром. Тезисы докладов IV

74. Международной Вильнюской конф. По теор. вер. и матем. статистике, Вильнюс, 1985 г., т. 3, с.258-259.

75. Хаметов В.М. Новая теорема о представлении мартингалов (Дискретное время). Матем. заметки, 2001 г. (в печати).

76. Хаметов В.М. , Яшин А.И. Скачкообразные случайные процессы(описание, свойства реализаций, представления)М., МИЭМ, 1984 ,с.80.

77. Хаметов В.М. о(е)~оптимальное управление случайнымипроцессами диффузионного типа.Сб.Вероятностные процессы в дискретной математике, М.,МИЭМ, 1987, с. 138-145.

78. Хаметов В.М. Оптимальное управление с запаздыванием. XI Всесоюзное совещание."Проблемы управления Алма-Ата, 1989, 193-194 с.

79. Хаметов В.М. Управление с запаздыванием скачкообразными случайными процессами.Автоматика и телемеханика. 1990, №2, с. 148-155.

80. Хорвард Р. Динамическое программирование и марковские процессы.М., Сов.Радио,1964, 231 с.

81. Черноусько Ф.Л., Колмановский В.Б. Оптимальное управление при случайных возмущениях, М., Наука, 1978, 476 с.

82. Шевляков А.Ю. Расширенный стохастический интеграл по пуассоновскому процессу.ДАН УССР, сер.А, 1976, №4, с. 315-317.

83. Ширяев А.Н. Некоторые новые результаты в теории управляемых случайных процессов. Traurs. 3-rd Prague Conf. On Inform. Theory etc. 1965, p. 131-203.

84. Ширяев А.Н. Вероятность.М., Наука, 1989, 575 с.

85. Ширяев А.Н. Основы стохастической финансовой математики т.2 Теория. М., Фазис, 1998, 523 с.

86. Юшкевич А.А., Читашвили Р.Я. Управляемые случайные последовательности и цепи Маркова, УМН, 1982,т.37,№6, с. 213242.

87. Юшкевич А.А. О полумарковских управляемых процессах с критерием среднего дохода. Теория вероятностей и ее применение, 1981, т.26, №4, с.808-814.

88. Alisenko O.V.,Khametov V.M. , Pinkovski A.B. The optimal control of stochastie sequences with delay.Problems of Control and Information theory,1986,vol 15(1) p. 3-17.

89. Boel R., Varaiya P. Optimal control of jump processes. SIAM j.Contr., 1977,v.l5,p.92-l 19.

90. Benes V.E. Using Hopf-Cole and Girsanov transformation to reduse stochastic control problems to Gaussian integration.Theory and applications of nonlinear control systems. North.Holland, 1986,p.535-553.

91. Bismit J.-M. Mecanique Aleatoire. Lecture Notes in Math. v. 866,p.563.

92. Bismit J.-M. Martingales, the Malliavin calculus and hypoellipticity under general Hormander's conditions,Z.Wahrsch.,1981,v. 56,468-505.

93. Bremand P. Point Processes and Quenes.Martingale Dynamics. Springer-Varlag New-York Inc.,1981,p.354.

94. Bellman R.A. A Markovian dession process.L.Math. and Mech., 1957,v.6,№ 5,p. 679-684.

95. Bellman R.A. Dynamic Prjgramming. Princeton.Univ.Press,New Jersey, 1957.

96. Borcer V.S. Topics in Controlled Markov Chains.-Longman Scientic and Technical,England,1991,v.240.

97. Chitashvili R.J. Martingale ideology in the theory of controlled stochastic processes. Lecture Notes in Math., 1983,v. 1021,Springer-Verlag,p.73-92.

98. Clarck J.M.C. The representation of functional of Brownian motion by stochastic integrals.Ann.Math.Ststist., 1979,v. 18,№2,p. 1282-1285.

99. Davis M.H.A. Линейное оценивание и стохастическое управление. М. Наука, 1984.

100. Davis М.Н.А., Varaiya P. Dynamic programming condition for partially observable stochastic systems,SIAM J.Control, 1973,v. 11, №2 p.226-251.

101. Derman C. Finite state Marcovian Decision processes,Academic Press .New-York, 1970.

102. Elliott R.J. Stochastic calculus and Applications. Springer-Verlag, 1982,p.3 50.

103. FIeming W.H., Wendell H. Logarithmic transformation with application in probability and stochastic control.Lecture Notes in Control and Information Sciences,1988,v.121, p.309-311.

104. Fleming W.H Optimal control of diffusion processes. Proc.Symp.Appl.Math.New-York,1972,v. 16,p.163-171.

105. Jacod J.Calcul stochastique et problems de martingales,Lecture Notes in Math., 1979,v.714,535p.

106. Haussman U. On the integral representation of functional of Ito processes. Stochastics, 1979,v.3,p. 17-27.

107. Kolosov G.E. Optimal design of control systems.New-York-Basel-Marsel ВеккегДпс., 1999, p. 424.

108. Karlin S. The structure of dynamic programming models. Nav.Res.Log.Quart.,1955,v.2,№ 4,p.285-294.

109. Khametov V.M. ,Piunowski A.B. On optimal control of information transmission.Fundamentals of Teletraffic Theory .Moscow, 1984,p.57-61.

110. Khametov V.M. ,Piunowski A.B. The optimal control of discounted Markov processes with infinite horizon Second IFAC Symposium on Stochastic control,Vilnius,USSR, 19-23 May 1986.Preprints,Part I, Moscow, 1986,p.326-329.

111. Khametov V.M. ,Piunowski A.B. New effective solutions of optimality's equations for the controlled Markov chains with continuous parameter (the unbounded price function)Problems of Control and Information Theory, 1985,v.14, №4,p.303-318.

112. Khametov V.M. Asymptotic solutions of inverse Kolmogorov equation for diffusion processes with small diffusion. Probability Theory and Mathematical Statistics (Proceeedings of the Fifth Vilnius Conference),1990, v.l,p. 590-601.

113. Kolmanovski V.B.,Shaiket L.E. Control of Systems with Aftereffect, 1996,p.359.

114. Matasov A.I. Estimators for Wncertain Dynamic System.-Kluwer Academic Publishers: Dorrecht-Boston-London, 1998,MIA,v.458.

115. Malliarin P. Stochastics calculs of variation and hypoelliptic operations.Proc. Int,Symp of Stochastics Different. Equat. Kyoto. 1976/Tokyo, Kinokumya. 1978, p. 195-214.

116. Puterman M. Markov Decision Processes.-John Wiley and Sons:New-York, 1994.

117. Rishel R.A minimum principle for controlled jump processes.Lecture Notes in Economics and Math.Systems,1975,v.l07.

118. Robinson D.R. Markov decision chains with unbounded costs and applications to the control of queues. Adv. Appl.Probab.,1976,v.8,№ l,p.l 59176.

119. Rykov V.Y.,Kitaev M.J, Controlled Queneing Systems.CRC Press:Boca Raton-N.Y.-London-Tokyo, 1995.

120. Sethi S.P. Optimal Consumption and Investment with Baneruptey. Kluwer Academic Publisher,Boston/Dordrecht/London,1997. 130.Shigekawa I. Derivations of Wiener fimctionals and absolute continuity of included measures. J.Math.Kyoto Univ. 1990,20

121. Striebel Ch.Martingale conditions of the optimal control of continuous-time stochastics systems.Depertament of Mathematics,University of Minnesota, 1974(preprint).

122. Stroock D.W. Some applications of stochastics calculus to partal differential equations.Lecture Notes and Math.l983,v.976,p.267-382.

123. Varaiya P. Optimal and suboptimal stationary controls for Markov chains.IEEE Trans, on Autom. Control, 1978, v. AC-23,№ 3,p.388-394.

124. Van der Wal. Stochastics dynamic programming, successive approximations and nearly optimal strategies for Markov decision processes and Markov games.MCT,Amsterdam,Netherlands, 1980,251 p.

125. Van Nunen J.A.E.E.,Wessels J.Markov decision processes with unbounded rewards.Proc.Adv.Sem. on Markov Decision Theory, Amsterdam,Nether lands,МТС, 1977, p. 1 -24.

126. Watanabe S. Analysis of Wiener functionals(Malliavin Calculus) and it's applications to heat Kernel.Ann.Probab. 1987,v. 15,№ 1,p.1-39.

127. Wonham W.M. Random differential equations in control theory. Probabalistic Methods in Appl.Math. New-York, 1970, v.2, p.131-212.

128. Wessels J.Markov programming by successive approximations with respect to weighted supremum norms.J.of Optim.Theory and Appl., 1988, v.56, № 1, p.1-29.

129. Wald A. Sequential Analis-J.Wiley:N.J.,1947.

130. Wald A. Statiatical Decision Functions.-J. Wiley, 1950.

131. Zakai M. The Malliavian calculus.Act.Appl. Math.l985,№ 3,p.l75-207.

132. Lecture Notes in Math. 1999, v.l 173.

133. Рокафеллар P. Выпуклый анализ.М.Мир,1973,469 с.