автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Развитие методов детерминированного эквивалента и бутстрепа для решения задач стохастического программирования с функциями вероятности и квантили

На правах рукописи

Вишняков Борис Ваисович

РАЗВИТИЕ МЕТОДОВ ДЕТЕРМИНИРОВАННОГО ЭКВИВАЛЕНТА И БУТСТРЕПА ДЛЯ РЕШЕНИЯ ЗАДАЧ СТОХАСТИЧЕСКОГО ПРОГРАММИРОВАНИЯ С ФУНКЦИЯМИ ВЕРОЯТНОСТИ И КВАНТИЛИ

Специальность 05.13.01 Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

003464268

Работа выполнена на кафедре Теории вероятностей Московского авиационного института (государственного технического университета).

Научный руководитель:

доктор физико-математических наук, профессор Кибзун Андрей Иванович

Официальные оппоненты:

доктор физико-математических наук, профессор Пантелеев Андрей Владимирович

кандидат физико-математических наук, доцент Горяинов Владимир Борисович

Ведущая организация:

Институт проблем информатики РАН

Защита состоится "20" марта 2009 г. в 14 ч. 00 мин. на заседании Диссертационного совета Д212.125.04 Московского авиационного института по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское ш., 4, Ученый совет МАИ.

С диссертацией можно ознакомиться в библиотеке Московского авиационного института (государственного технического университета).

Отзыв на автореферат, заверенный гербовой печатью организации, просьба направлять по указанному адресу в двух экземплярах.

Ученый секретарь Диссертационного совета Д 212.125.04, кандидат физико-математических наук

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Объект исследования. В диссертационной работе изучаются задачи стохастического программирования с вероятностными критериями, имеющими как явное аналитическое выражение, так и получаемыми численно или экспериментально.

Актуальность темы. В технике и экономике существует множество задач, относящихся к классу задач стохастического программирования. Стохастические модели, как правило, более адекватны реальным явлениям и процессам, чем детерминированные. Поэтому стратегии, полученные на основе решения задач стохастического программирования, являются более практически значимыми, чем стратегии, полученные в детерминированных постановках. Задачам стохастического программирования посвящены работы Дж. Бёржа, Р. Ветса, С. Волласа, Ю.М. Ермольева, П. Калла, Ю.С. Кана, А.И. Кибзуна, В. Купера, Р. Леппа, К. Марти, A.B. Назина, Н.М. Новиковой, В.Т. Поляка, А. Прекопы, Э. Райка, С.П. Урясьева, А. Чарнса, Д.Б. Юдина и многих других авторов. Для вычисления статистических характеристик при стохастической оптимизации часто используется метод статистических испытаний, развиваемый, например, в работах С.М. Ермакова, Г.А. Михайлова.

Так, к прикладным задачам линейного стохастического программирования относятся, например, задача планирования добычи угля, транспортная задача в стохастической постановке и многие другие. Наиболее распространенными на практике являются задачи нелинейного стохастического программирования. К этому классу принадлежат экономические задачи в области распределения инвестиционных вложений при управлении банковскими капиталами, рассмотренные В.В. Дом-бровским, Ю.С. Каном, Дж. Келли, А.И. Кибузном, Е.А. Кузнецовым, Г. Марковицем, А.Р. Панковым, Дж. Тобиным, С.П. Урясьевым; организационно-технические задачи планирования добычи, обработки и хранения нефти, прогноза скорости ветра, а также задачи управления воздушным движением и планированием полетов с учетом погодных условий и многие другие задачи. В настоящее время при синтезе и анализе алгоритмов управления беспилотными летательными аппаратами, в том числе управляемыми ракетами различных классов, широкое распространение получили задачи стохастического управления, которые иногда удается свести к задачам стохастического программирования. Задачам стохастического управления посвящены, например, работы Б.И. Ананьева, Б.Ц. Бахшияна, Р. Беллмана, А. Брайсона, Р. Калмана, И.Я. Каца, В.Б. Колмановского, М.Н. Красилыцикова, H.H. Красов-

-

ского, А.П. Крищенко, В.В. Малышева, А.И. Матасова, Б.М. Миллера, П.В. Пакшина, А.В. Пантелеева, Ю.С. Попкова, Ю.П. Пытьева, Г.А. Тимофеевой, В.М. Хаметова, Ф.Л. Черноусько, Хо Ю-Ши.

Задачи стохастического программирования, особенно при оптимизации по вероятностному критерию или с вероятностными ограничениями, являются достаточно сложными. Это объясняется в основном сложностью нахождения аналитического вида вероятностного или квантильного критериев, а также при отсутствии аналитического вида критерия сложностью построения конструктивных численных методов решения подобных задач. Также стоит отметить, что несмотря на актуальность вероятностного и квантильного критериев, они, в отличие от математического ожидания, не обладают линейным свойством, а поэтому оказываются более сложными для исследования.

Одним из наиболее эффективных путей аналитического решения задач стохастического программирования является построение детерминированных эквивалентов - детерминированных задач математического программирования, решения которых совпадают с решениями соответствующих задач стохастического программирования. Данные эквиваленты не зависят от случайных величин, что позволяет свести исходную задачу стохастического программирования к эквивалентной ей, но детерминированной, которую можно решать обычными методами нелинейного программирования.

К сожалению, явные аналитические выражения для вероятностных критериев во многих практических задачах, как правило, получить не удается. Поэтому для проведения оптимизации по квантильному критерию приходится использовать аппроксимации, основанные на статистических оценках функции квантили. Здесь могут возникнуть две проблемы. Первая - это уменьшение количества испытаний при неизменной статистической точности оценки квантили, что важно, когда имитационное моделирование сложных систем на ЭВМ занимает много времени. Вторая - увеличение статистической точности при фиксированном количестве испытаний. Это наиболее часто встречающийся случай, когда имеется лишь ограниченный объем данных, например, статистическая подборка за рассматриваемый отрезок времени. Как правило, для решения задач стохастического программирования с критерием в виде функции квантили используются стохастические квазиградиентные алгоритмы. Некоторые из этих алгоритмов сходятся крайне медленно, в частности потому, что объем выборки возрастает при приближении к экстремуму. Поэтому актуальна проблема сокращения числа испытаний,

а, следовательно, и повышения быстродействия подобных алгоритмов. Вот почему возникает идея использования метода бутстрепа в квазиградиентных алгоритмах, который позволит при условии сохранения статистической точности вычисления квантили критериальной функции уменьшить объем выборки. Метод бутстрепа отличается от традиционного выборочного тем, что он предполагает многократную обработку одних и тех же данных.

Таким образом, обобщая изложенное, очевидно, что проблема разработки эффективных методов поиска оптимальных стратегий в задачах стохастического программирования с использованием вероятностного и квантильного критериев является актуальной.

Цель работы. Целью работы является развитие метода детерминированного эквивалента и разработка алгоритмов бутстрепирования выборочной квантили в задачах стохастического программирования с критериями в виде функций вероятности и квантили.

Методы исследования. Для исследования теоретических проблем использовались современные методы стохастического программирования, теории вероятностей, математической статистики, математического нелинейного программирования, выпуклого анализа и стохастической оптимизации. Для исследования прикладных задач использовались методы компьютерного моделирования.

Достоверность результатов. Достоверность результатов обеспечивается:

1) строгостью постановок и доказательств утверждений;

2) подтверждением аналитических результатов результатами численного моделирования при решении ряда тестовых примеров.

Научная новизна. В работе получены новые результаты для эффективного решения задач вероятностной оптимизации, среди которых можно выделить следующие.

1) Построены детерминированные эквиваленты для широкого круга задач с вероятностными критериями, имеющие явное аналитическое выражение. Установлены свойства выпуклости полученных детерминированных эквивалентов.

2) Для численного решения задач вероятностной оптимизации установлена точность выборочной оценки квантили для основных законов распределения случайных величин. Предложены несглаженная и сглаженная бутстреп-процедуры оценки квантили с доказательством сходимости. Приведено сравнение точности выборочной оценки квантили с

предложенными бутстреп-оценками для различных распределений.

3) Найдено решение задачи оптимизации портфельного инвестирования капитала в различных постановках с помощью разработанного математического аппарата, произведен сравнительный анализ полученных результатов и предложены практические рекомендации по выбору параметров алгоритмов оптимизации.

Практическая значимость. Диссертация обладает практической значимостью, поскольку полученные результаты позволяют быстро и эффективно решить прикладные задачи вероятностной оптимизации, в частности из области экономики при построении рациональной стратегии инвестирования и управлении портфелем ценных бумаг.

Апробация работы. Результаты работы докладывались на следующих научных конференциях и симпозиумах: международные конференции "Моделирование и анализ безопасности и риска в сложных системах" (Санкт-Петербург, 2004, 2005гг.), конференция "Новые информационные технологии в научных исследованиях и образовании" (Рязань, 2005г.), международные конференции "Системный анализ, управление и навигация" (Евпатория, 2006, 2007, 2008гг.), а также на научных семинарах в МАИ и ИПУ РАН.

Диссертация была поддержана грантом РФФИ N05-08-17963.

Публикации. Основные результаты диссертации опубликованы в пяти статьях [1-5] в журналах, входящих в Перечень ВАК, в сборниках трудов [6-8] и в трудах научных конференций [9-12].

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы (85 источников). Объем диссертации включает 125 машинописных страниц, включая 18 рисунков, 3 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследуемой проблемы, сформулированы цель и задачи диссертационной работы, описана структура диссертации, перечислены полученные в диссертации новые результаты.

В первой главе приводятся основные понятия и определения, относящиеся к стохастическому программированию, а также к математическому и выпуклому анализу, рассматриваются различные варианты постановок задач с вероятностными критериями, дается обзор работ по стохастическому программированию и результатов, полученных ранее. Оригинальным результатом является доказательство теоремы эквива-

лентности задач с вероятностным и квантильным критериями.

Пусть дана функция Ф(и, X), имеющая смысл функции потерь, которую необходимо минимизировать. Вектор и размерности т имеет смысл управления, а X - вектор случайных параметров размерности N. В силу случайности вектора X оптимизация непосредственно целевой функции Ф(и, X) невозможна, можно говорить лишь о вероятности некоторого события, связанного с Ф(и, X). Поэтому необходимо сформулировать постановку задачи, в которой решение будет находиться при оптимизации некоторого критерия, содержащего данную функцию.

Функции вероятности и квантили имеют вид:

РМ ~ < V}. ¥><»(«) ~ min{Y>: W >

где 'ip € R1, а € (0,1). Функция вероятности характеризует вероятность того, что потери при выбранной стратегии и не превысят заданный порог <р. Функция квантили показывает, что потери при выбранной стратегии и с вероятностью не меньше а не превысят значения <ра(и).

Усредненной логарифмической функцией называется функция вида

од^миф^Д))].

Функцией интегральной квантили называется функция вида

Фа{и) d= —[ <pp(u)df3.

I ol Jq

Замечание 1.1. Аналогично можно сформулировать определения функций вероятности и квантили и для функции дохода F(u,X). Функции вероятности и квантили примут вид

Ру(и) V{F(u, X) > <р}, <ра{и) =' : Pv{u) > а},

Существует много задач стохастического программирования, найти решение которых в квантильной постановке не представляется возможным в силу, например, отсутствия явного аналитического вида функции квантили. Однако при этом решение в вероятностной постановке существует. Поэтому в силу схожести вероятностной и квантильной постановок возникает вопрос об условиях их эквивалентности. В диссертации доказана теорема эквивалентности задач вероятностной и квантильной оптимизации, а также следствие, которое дает возможность установить эквивалентность вероятностных постановок лишь на том подынтервале,

на котором условия эквивалентности выполняются. Пример практического использования эквивалентности вероятностной и квантильной постановок лишь на подынтервалах а 6 (р*,р*) С (0,1) и <р <Е (<р*,<р*) С IR1 приводится в главе 4 при решении задачи квантильной оптимизации функции дохода для двухшаговой модели изменения капитала.

Во второй главе получены детерминированные эквиваленты для широкого спектра целевых функций в различных постановках задач стохастического программирования. Устанавливаются выпуклые свойства построенных детерминированных эквивалентов и исходных вероятностных критериев, которыми можно воспользоваться при реализации известных методов выпуклого программирования.

Пусть целевая функция Ф(и,Х) - функция потерь. При этом и £ U, где U - множество допустимых стратегий.

Рассматриваются три классические постановки задач стохастического программирования.

A. Максимизация функции вероятности: Pv{u) —» maxu6y .

B. Минимизация функции квантили: <ра(и) -1' niinuGt;.

C. Задача с вероятностным ограничением:

Фо(и) -> min, PJu) ^ а, иеи

где Фо(и) - некая детерминированная функция.

При исследовании выпуклых свойств детерминированных эквивалентов и исходных критериев полагается, что множество возможных стратегий U является выпуклым.

1 случай. Пусть целевая функция имеет билинейную структуру

Ф(и,Х)=г(ит{АХ + с)), (1)

где А - некоторая матрица m х п, с - фиксированный вектор размерности то, r(t) : 1R1 —> И1 - строго возрастающая по t, непрерывная слева функция. Пусть распределение случайного вектора X сферически симметрично, то есть его плотность можно представить в виде Рх(х) d— /(1М|2) = f(xTx), где функция f(t) определена для t е [0, оо), неотрицательна и интегрируема по Лебегу.

Показано, что если функция распределения Fi(t) : Н1 —> IR1 первой компоненты случайного вектора X (в силу сферической симметричности одномерные функции всех компонент случайного вектора совпадают) -строго возрастающая по t, то есть не имеющая площадок, то задача

максимизации функции вероятности (А) будет эквивалента следующей:

. . def r~l(ip) - итс G\u) = —и яТ m--> max;

задача минимизации функции квантили (В) будет эквивалентна Н(и) =' |Ити||2:1а + итс min;

JJE II

задача с вероятностным ограничением (С) примет вид

Фо(и) min, r~l(<p) - итс ^ ||Лггг||2;1 , иеи

где х\а = min{a; : F\ (х) ^ а} - квантиль первой компоненты вектора X уровня а. Здесь и далее рассматривается обобщенная обратная функция r~l{t) такая, что r-1(r(£)) = t и r(r~l{t)) ^ i для всех t 6 R1.

Лемма 2.2. Если G(u) ^ 0 для любых и € U, то функции G(u) и Рр(и) квазивогнуты на U. Если х\а ^ 0, то функция Н(и) - выпукла на U, а ¡ра(и) - квазивыпукла на U.

Из леммы следует, что если G(u) ^ 0 для любых u&U, то функции G(u) и Pv{u) квазивогнуты на U. Если Х]а Jä 0, то функция Я(и) -выпукла на U, а <ра(и) - квазивыпукла на ¡7.

5 случай. Пусть целевая функция возрастает относительно стратегии

Ф(«,а;) = г(з(и),Х), (2)

где s(u) : Rm —» IR1 - некоторая функция, r(s, х) : R1xRn —> IR1 - строго возрастающая, непрерывная слева по s G R1 для любых х G R".

Показано, что задачи (А) и (В) будут эквиваленты задаче s(u) —+ minuet/, где rf'^x) - обобщенная обратная функция к r(s,x) по переменной 5 для каждого а:.

Задача с вероятностным ограничением (С) примет вид

Ф0(и) min, ra(ip) «S -s(u), ■uef/

где rafo>) min{^ : Т{-г-\<р, X) < V)} > а}.

Очевидно, что выпуклость детерминированного эквивалента задач (А) и (В) полностью зависит от свойств функции s(u).

Теорема 2.2. Пусть функция s(u) квазивыпукла по u&U. Тогда функция вероятности Pv{u) квазивогнута на U, а <ра(и) -квазивыпукла на U.

Детерминированные эквиваленты в данном случае значительно упрощают решаемые вероятностные задачи (А), (В), (С). Более того, даже в случае выпуклости s(u) гарантируется лишь квазивогнутость Pv{u) и квазивыпуклость <ра{и). При этом задача s(u) —» minuSu, эквивалентная исходным стохастическим задачам (А), (В), оказывается задачей выпуклого программирования.

3 случай. Пусть целевая функция возрастает относительно случайного вектора

ФКх) = г(МР0), (3)

где t(x) : R™ —> R1 - некоторая измеримая функция, r(u,t) : Rm х К1 —> 1R1 - строго возрастающая и непрерывная слева по t е R1 для любых и 6 Rm.

def

Если функция распределения Fx{х) случайной величины Т = t(X) строго возрастает по х, то задача максимизации функции вероятности (А) будет эквивалентна задаче

rt_1(u,v5) max, u6 и

где гг-1(и, <р) - обратная функция к г (и, t) по t для каждого и. Задача минимизации функции квантили (В) эквивалентна задаче

r(u, ta) —► min,

ueu

где ta d= min{s : V{t{X) s} > а}.

Задача с вероятностным ограничением (С) примет вид

Фо(и) -> min, r(u, ta) < <р. ueU

Если r(u, t) квазивыпукла на U, то г{_1(и, ip) квазивогнута на U. Кроме того, функция Pv(u) в данном случае будет также квазивогнутой на U При этом функция квантили <ра(и) будет квазивыпуклой на U. Если г (и, t(x)) выпукла на U для всех х 6 R", то функция квантили <ра(и) будет выпуклой на U. При этом функция вероятности Pv(u) является лишь квазивогнутой на U. Если же теперь r(u, t) выпукла совместно по и € U и t £ И1, то функция rt-1(u,<p) будет вогнутой.

4 случай. Пусть целевая функция имеет квадратичную структуру

X) = г{итАХг ■ Х%Вти), (4)

где случайные векторы Х\ и Хг независимы, А и В - матрицы m х п, r(t) : R1 —> R1 - строго возрастающая по t непрерывная слева функция, а распределения случайных векторов сферически симметричны.

Теорема 2.5. Пусть ЦАти||||Вт и|| > 0 для всех и & U. Тогда каждое решение задачи ||Лги||||Вти|| —> minu£[/ будет являться и решением задач (А), (В).

5 случай. Пусть целевая функция имеет аддитивную структуру

Ф(и,Х)=т#(Х) + 5(и)|), (5)

где r(t) : R+ —> R1, - строго возрастающая по t, непрерывная слева функция, t(x) : R" —> R1 - измеримая функция, a s(u) : Rm —> R1 -некоторая функция. При этом пусть плотность случайной величины Т = t(X) унимодальна и в точке тпт достигается ее максимум.

Теорема 2.6. Пусть плотность распределения случайной величины Т = t(X) симметрична и унимодальна относительно точки тт. Тогда каждое решение задачи |mx+s(u)| —> minuey будет являться и решением задач (А), (В).

Если s(w) - выпукла на U и s(u) ^ —ту для всех и € U, то детерминированный эквивалент оказывается выпуклым При этом легко проверить, что функция вероятности в этом случае оказывается лишь квазивогнутой, а функция квантили - квазивыпуклой.

6 случай. Пусть целевая функция имеет сепарабельную структуру

Ф(и, х) = max{rj(si(u) + X,)}, (6)

i=l,n

где ri{t): R1 —» R1, г = l,n - строго возрастающие, непрерывные слева функции, Sj(ix) : Rm —* R1, i = 1, n - некоторые функции, X{ - независимые случайные величины, при этом плотность р(х) случайного вектора X логарифмически вогнута.

Теорема 2.7. Пусть функции Si(u), i = l,n выпуклы на U, плотность случайного вектора X логарифмически вогнута и его компоненты Xi независимы. Тогда функция вероятности будет равна Р<р(и) = П"=1 Fi (ri"1(1/') — Si(u)), где Fi(x) : R" —> R1 - функции распределения случайных величин Xi, i = l,n, и она будет логарифмически вогнута, а функция квантили <ра{и) - квазивыпукла.

Задача (А) будет эквивалентна

п

J2 In {Ъ (гГЧр) - *(«)) } - max, (7)

>=i

Задача с вероятностным ограничением (С) примет вид

п

Ф0(и) - гшп, Y,ln {Я {гТЧч>) - *(«))} > На), " ¿=1

Функция вероятности Р^и) логарифмически вогнута на ¡7- Но если Рр(и) > О для всех и € II, то, согласно определению логарифмической вогнутости, 1п(Р«Ди)) будет вогнутой функцией на {/. Поэтому полученный детерминированный эквивалент задачи (А) будет выпуклым. Ограничение будет также выпуклым, а задача (С) будет задачей выпуклого программирования, если функция Фо(^) выпукла на и.

Третья глава посвящена развитию и применению метода бутстрепа для численного решения задач стохастического программирования. В ней исследована точность выборочной оценки квантили для равномерного, экспоненциального и нормального распределений, распределения Коши. Также в данной главе предлагаются две бутстреп-процедуры для оценивания функции квантили: процедуры несглаженного и сглаженного бутстрепа. В этих процедурах из имеющегося выборочного распределения многократно генерируется новая бутстреп-выборка и по ней вычисляется бутстреп-оценка квантили. Доказывается утверждение о сходимости сглаженной оценки квантили к истинному значению почти наверное, несглаженной оценки - по вероятности.

Пусть имеется априорная выборка {Хг,Х2,...,Хп} случайной величины X ^ Рх(х). Выборочная оценка квантили уровня а €(0,1) по выборке г = 1 ,п, определяется как

Ха(п) Х((п[1|+1), (8)

т.е. данная операция - выбор элемента вариационного ряда выборки Хщ с номером г = [ггск] + 1, где [па] - целая часть числа п • а.

В качестве погрешности выборочной оценки квантили рассматривается асимптотическая оценка среднеквадратического отклонения. Выборочная оценка квантили (8) случайной величины X с непрерывной плотностью распределения р(х) в окрестности точки ха, в которой р(ха) > 0, по теореме Мостеллера асимптотически нормальна:

(9)

где ха - точное значение квантили, аа - асимптотическое значение среднеквадратического отклонения оценки Ха(п), которое равно

Величину (Та/т/п, имеющую скорость сходимости п-1/2, можно интерпретировать как точность выборочной оценки квантили. Данная величина получена и исследована в работе для различных распределений.

1. Пусть случайная величина X имеет равномерное распределение на отрезке [a, b]: X ~ R(a, 6). Асимптотическая оценка погрешности выборочной оценки квантили равна

иа = \/а( 1 - а)(6 - а)2.

2. Пусть теперь случайная величина X имеет экспоненциальное распределение: X ~ Е(Л), где Л > 0. Асимптотическая оценка погрешности выборочной оценки квантили равна

1 [~сГ~

3. Пусть случайная величина X имеет распределение Коши: X ~ К(0). Асимптотическая оценка погрешности выборочной оценки квантили равна

<ra = тгт/а(1 - a) (l + [tg (тг(а - 1/2))]2) .

4. Пусть случайная величина X имеет стандартное нормальное распределение: X~N(0,1). Асимптотическая оценка погрешности выборочной оценки квантили будет равна

у/5

%/п(— 1п(27г(1 — а)2))(1 — а)

При получении результатов для нормального распределения найдена аппроксимация для гауссовской квантили:

где W(t): R1 —> R1 - функция Ламберта: t = W(t) exp{W(£)}.

Т е о рема 3.1. Для нормального распределения N(0,1) при а —> 1 имеет место

ха-ха = 0(х~3), (12)

где ха - квантиль N(0,1), а ха - ее аппроксимация (11).

Для уточнения выборочной оценки квантили предлагается использовать метод бутстрепа. Рассматриваются два алгоритма - несглаженного и сглаженного бутстрепа.

Пусть имеется наблюдаемая реализация {xi,... ,хп} случайной выборки {Xi,..., Хп}. Здесь Xi, i = 1, п, - независимые, одинаково распределенные случайные величины с функцией распределения Fx(x).

Процедура несглаженного бутстрепа для оценки квантили:

1) построить реализацию F*(x) выборочной функции распределения;

2) сформировать бутстреп-выборку Х- ~ F*(x), г =

3) оценить квантиль по формуле: х*а —

4) провести шаги 2)-3) т раз;

def т

5) бутстреп-оценки квантили усреднить: s*(m) = ^

!=1

Итак, несглаженная бутстреп-оценка квантили по тп бутстреп-выборкам будет выглядеть следующим образом:

1 m

= С")

j=i

где - выборочная оценка квантили (8) по г-той бутстреп-выборке.

Теорема. 3.2. Для предложенной несглаженной бутстреп-оценки квантили вида (13) справедливо

\S*a(m)-xa |Ао,

Для построения процедуры сглаженного бутстрепа необходимо выбрать ядро сглаживания - функцию K(t) : 1R1 —» R1, производная которой k(t): R1 —► JR1 обладает свойствами

00 оо

J k(t)dt =1, J t- k(t)dt = 0. (14)

—00 —00

Процедура сглаженного бутстрепа для оценки квантили:

1) построить реализацию F*(x) сглаженной выборочной функции

~ п

распределения Fn(x): F*(x) = К{{х - Xi)/hn);

i=1 _

2) сформировать бутстреп-выборку X* ~ F*(x), i = 1,п;

3) построить сглаженную оценку F*(x) функции Fn(x);

4) оценить квантиль по формуле х*а = F*~1(x)-1

5) провести шаги 2)-4) т раз;

def 171

6) бутстреп-оценки квантили усреднить: f*(m) = ^

¿=1

Сглаженная бутстреп-оценка квантили по т бутстреп-выборкам будет выглядеть следующим образом:

1 т

где - обратная функция к сглаженной функции г-того бутстреп-распределения вероятностей.

Теорема 3.5. Вели К(Ь) - дважды непрерывно дифференцируемая функция, производная которой к(£) ограничена, а также обладает свойствами нормировки (Ц), /)■„ —► 0 при п —+ оо, а также существует плотность р{х) такая, что р{ха) > 0 и р'{х) < оо для любых хбЕ1, то

|Я*а{т) - ха\ 0.

Сравнение результатов оценивания квантили при использовании выборочной оценки (8) и бутстреп-оценок для различных распределений с помощью численного компьютерного моделирования показало, что обе бутстреп-оценки дают возможность получить более высокую точность, чем выборочная оценка квантили (от 15% до 40% в зависимости от закона распределения).

Четвертая глава посвящена сравнению на численном примере значений квантильного, интегрального квантильного, логарифмического критериев, а также обобщению постановки Марковича для одной конкретной модели инвестирования капитала. Рассматривается задача максимизации функции дохода при двухшаговом вложении капитала в безрисковую ценную бумагу и рисковую с равномерным законом распределения ее доходности. Находится оптимальное значение каждого из критериев в зависимости от уровня вероятности. Предлагается способ выбора допустимого уровня доверительной вероятности, исследуются зависимости критериев от этого уровня при подстановке в критерии своих оптимальных стратегий и стратегий, оптимальных для других критериев. Также рассматривается процедура численной квантильной оптимизации функции дохода с использованием как выборочной, так и бутстреп оценок квантили. Полученные результаты сравниваются с оптимальным аналитическим значением квантили.

Рассматривается функция дохода:

X) (1 + иф + щХ!)(1 + щЬ + щХ2), (16)

где щ и щ - оптимизируемые переменные, а X] и Х^ - случайные величины, имеющие равномерный закон распределения с носителем А = {Хх,Х2 : — 1 ^ Хг ^ а\, —1 < Хч < аг}, множество допустимых стратегий II {ио, щ : % + гц < 1, щ ^ 0, щ ^ 0}.

Исследуются четыре постановки задачи оптимизации для выбора оптимальной стратегии вложения капитала.

i. Квантильная постановка: иа = arg тахи£(/<£„(«).

ii. Логарифмическая постановка: Ul = argmaxu6f/Z/(ii).

iii. Доверительная постановка: üa = arg maxue[/ minj^ F(u,x).

iv. Интегральная квантильная постановка: va = argma

Решения задач (i), (iii), (iv) существенным образом зависят от выбора доверительного уровня вероятности а, поэтому его определение играет важную роль. При определении величины а предлагается руководствоваться одним из следующих способов.

Фиксируется допустимый уровень риска оказаться в убытке:

P(ua)=fV{F(ua,X)<l}^p (17)

и решается уравнение относительно а: а* = max{a : Р(иа) ^ р} Фиксируются допустимые средние убытки:

Я(иа) =' 1 - M[F(«aiX)|F(uai X) < 1] < m (18)

и решается уравнение относительно а: а* = тах {а : R(ua) ^ т}

Введение дополнительных условий (17) или (18) в постановке задач (i), (iii), (iv) необходимо для получения значения а из условных средних потерь (18) или же риска оказаться в убытке (17).

Находится решение при оптимизации функции дохода в вышеперечисленных постановках.

1. При оптимизации по квантильному критерию используется следствие теоремы эквивалентности из главы 1 при замене множеств а G (0,1) и ip £ Н на множества а € (р*,р*) и ¡р € Hi d= (у*, <£*), где

p/=f PAl-«i,ui), р*=' max Pv(u), ip/=f(b+1)2

ip6N(u),u£Ui

Здесь

, 1 (26 +1 — тт(а1, аг)) „ , , ,

(6-ттКа2)) ' «о"1"«!' ^ = К = °>.

* дРф(1—щ.иЛ | л

а значение ц> определяется из решения уравнения — ди1 и^и*— 0.

К теореме эквивалентности приходится прибегнуть, поскольку в силу сложной структуры функции вероятности не удается найти аналитический вид функции квантили, а следовательно и напрямую найти решение задачи квантильной оптимизации. Получен вид функции вероятности, доказаны ее свойства возрастания по переменной щ, выпуклости

по «1. Решение задачи оптимизации вероятностного критерия производится численным методом выпуклой оптимизации. Далее из условия = а находится оптимальное значение ц>а критерия

2. Найдено значение логарифмического критерия, равное

2 1

где д(и, у) (1 + и0Ь + щу) 1п(1 + + щу).

Доказано возрастание логарифмического критерия по щ, выпуклость по щ. Решение задачи оптимизации логарифмического критерия получено методом выпуклой оптимизации.

3. При оптимизации функции дохода на доверительном множестве получены значения критерия, установлены свойства его возрастания по ио> выпуклости по щ. В явном виде найдено аналитическое решение как пара стратегий («о,«1)-

4. Из-за отсутствия аналитического выражения для функции квантили, аналитический поиск оптимальных стратегий по критерию интегральной квантили невозможен. Поэтому задача решена с помощью метода статистических испытаний, учитывая доказанное утверждение о возрастании функции интегральной квантили по переменной щ.

На численном примере сравниваются все рассмотренные постановки. Кроме того, применен метод бутстрепа для сравнения результатов численного компьютерного моделирования с аналитическим значением квантили. Оптимизация функции квантили проводилась двумя различными методами - методом дихотомии, представляющий собой наиболее робастную процедуру оптимизации, и методом стохастических квазиградиентов. Оба метода дали примерно одинаковый результат. Значения стратегий и соответствующих им критериев сравниваются с полученными аналитически оптимальными значениями стратегий и критерия. Для определенности размер выборки п принят равным 100, а параметр бутстреп-процедур т - равным 200.

На рис. 1 изображены оптимальная стратегия и", стратегия й", полученная при оптимизации выборочной функции квантили, стратегии й^ и й^, полученные при оптимизации с использованием несглаженной и сглаженной бутстреп-оценок квантили соответственно.

Из рис. 1 видно, что стратегии, полученные при использовании бутстреп-процедур, значительно ближе к истинному значению квантили. При этом стратегия практически совпадает с истинным значением

Рис. 1. Оптимальные стратегии.

стратегии и". Стратегия же й", полученная при оптимизации выборочной функции квантили не только проигрывает по точности обеим стратегиям, полученным при оптимизации с использованием бутстреп-оценок, но также наблюдается довольно сильное ее "биение". Стратегии й^01 и значительно глаже.

Рис. 2. Оптимальное значение критерия.

На рис. 2 показаны соответствующие стратегиям на рис. 1 значения критериев. Если из рис. 1 еще рано было делать выводы об улучшениях, связанных с использованием бутстреп-оценки квантили вместо выборочной оценки при оптимизации, так как большое разброс в значениях стратегии может практически не отразиться на значении критерия. Но

из рис. 2 видно, что значение критерия, полученное при оптимизации выборочной функции квантили, гораздо меньше оптимального значения и значений критериев, полученных при оптимизации с использованием бутстреп-оценки функции квантили.

Использование бутстрепирования при решении задач численной оптимизации статистических критериев, выглядит очень перспективно, особенно при небольших экспериментальных объемах данных. Полученные бутстреп-стратегии гораздо глаже выборочных и гораздо ближе к истинным, чем выборочные. При этом значение бутстреп-критерия получается ближе к оптимальному.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1) построены детерминированные эквиваленты вероятностных задач для различных случаев целевых функций, исследованы свойства выпуклости как функций вероятности и квантили, так и соответствующих им детерминированных эквивалентов [2,10];

2) получены аналитические оценки асимптотической точности выборочной оценки квантили для равномерного, экспоненциального, нормального распределений, распределения Коши[3,11];

3) разработаны несглаженная и сглаженная бутстреп-процедуры для оценки квантили, доказана их сходимость по вероятности и почти наверное[3,11,12];

4) получена аналитическая аппроксимация квантили гауссовского распределениями];

5) решена задача оптимизации двухшаговой модели портфельного инвестирования капитала по различным вероятностным критериям, произведено сравнение выборочной и бутстреп оценок квантили с истинным значением квантили[1,6,8,9].

Публикации в журналах из перечня ВАК

1) Вишняков Б.В., Кибзун А.И. Оптимизация двухшаговой модели изменения капитала по различным статистическим критериям // Автоматика и Телемеханика, 2005, N0. 7. С. 126 - 143.

2) Вишняков Б.В., Кибзун А.И. Детерминированные эквиваленты для задач стохастического программирования с вероятностными критериями // Автоматика и Телемеханика, 2006, N0. 6. С. 126 - 143.

3) Вишняков Б.В., Кибзун А.И. Применение метода бутстрепа для оценивания функции квантили // Автоматика и Телемеханика, 2007, N0. И. С. 46 - 60.

4) Вишняков Б.В., Визильтер Ю.В. Исследование поведения авторегрессионных фильтров в задаче выделения и анализа движения на цифровых видеопоследовательностях // Вестник компьютерных и информ. технологий, 2008, N0. 8. С. 2 - 8.

5) Панарин С.И., Вишняков Б.В., Кибзун А.И. Оболочка системы дистанционного обучения по математическим курсам // Вестник компьютерных и информ. технологий, 2008, N0. 10. С. 43 - 48.

Публикации в других изданиях

6) Вишняков Б.В. Оптимизация двухшаговой модели изменения капитала // Проектирование, конструирование и производство авиационной техники. М: изд-во МАИ, 2005, С. 140 - 145.

7) Вишняков Б.В., Кибзун А.И. Задача квантильной оптимизации билинейной функции // труды межд. конф. "Моделирование и анализ безопасности и риска в сложных системах", Санкт-Петербург, 2004, С. 74 - 79.

8) Вишняков Б.В., Кибзун А.И. Меры риска в двухшаговой модели изменения капитала // труды межд. конф. "Моделирование и анализ безопасности и риска в сложных системах", Санкт-Петербург, 2005, С. 93 - 98.

9) Вишняков Б.В. Оптимизация двухшаговой модели изменения капитала // тезисы конференции "Новые информационные технологии в научных исследованиях и образовании", Рязань, 2005, С. 137 - 138.

10) Вишняков Б.В., Кибзун А.И. Детерминированные эквиваленты для вероятностных задач оптимизации // тезисы межд. конф. "Системный анализ, управление и навигация", Евпатория, 2006, С. 175.

11) Вишняков Б.В., Кибзун А.И. Применение метода бутстрепа для оценивания терминальной точности движущегося объекта // тезисы межд. конф. "Системный анализ, управление и навигация", 2007, Евпатория, С. 132 - 133.

12) Вишняков Б.В., Кибзун А.И. Применение и сравнение методов несглаженного и сглаженного бутстрепа для оценивания квантили // тезисы межд. конф. "Системный анализ, управление и навигация", 2008, Евпатория, С. 257 - 259.

Подписано в печать 09 февраля 2009г.

Тираж 80 экз. Отпечатано с готовых оригинал-макетов ФГУП ГосНИИАС, 125319, Москва, ул. Викторенко, 7.

Введение

1 Задачи вероятностной оптимизации

1.1. Введение.

1.2. Основные понятия и определения.

1.3. Постановка задач вероятностной оптимизации.

1.3.1. Вероятностная постановка.

1.3.2. Квантильная постановка.

1.3.3. Постановка с вероятностным ограничением.

1.3.4. Обзор существующих методов решения задач вероятностной оптимизации.

1.4. Эквивалентность вероятностной и квантилыюй постановок.

2 Детерминированные эквиваленты вероятностных задач

2.1. Введение.

2.2. Виды рассматриваемых постановок задач.

2.3. Случай билинейной целевой функции и сферически симметричного распределения.

2.3.1. Определение целевой функции.

2.3.2. Вид функций вероятности и квантили.

2.3.3. Детерминированные эквиваленты вероятностных постановок

2.3.4. Выпуклые свойства вероятности и квантили.

2.3.5. Пример использования.

2.4. Случай возрастающей целевой функции относительно стратегии . . 47 2.4.1. Определение целевой функции.

2.4.2. Вид функций вероятности и квантили.

2.4.3. Детерминированные эквиваленты вероятностных постановок

2.4.4. Выпуклые свойства функций вероятности и квантили

2.4.5. Пример.

2.5. Случай возрастающей целевой функции относительно случайного вектора.

2.5.1. Определение целевой функции.

2.5.2. Вид функций вероятности и квантили.

2.5.3. Детерминированные эквиваленты вероятностных постановок

2.5.4. Выпуклые свойства функций вероятности и квантили

2.5.5. Пример.

2.6. Случай квадратичной целевой функции и сферически симметричного распределения.

2.6.1. Определение целевой функции.

2.6.2. Детерминированные эквиваленты вероятностной и квантильной постановок.

2.7. Случай аддитивной структуры целевой функции и унимодальной плотности.

2.7.1. Определение целевой функции.

2.7.2. Вид функции вероятности.

2.7.3. Детерминированные эквиваленты вероятностной и квантильной постановок.

2.8. Случай сепарабельной структуры целевой функции и логарифмически вогнутой меры.

2.8.1. Определение целевой функции.

2.8.2. Вид функции вероятности.

2.8.3. Детерминированные эквиваленты вероятностных постановок

3 Свойства выборочной оценки квантили и методы ее вычисления

3.1. Введение.

3.2. Выборочная оценка квантили

3.3. Асимптотическая оценка среднеквадратического отклонения

3.4. Свойства выборочной оценки квантили для различных распределений

3.4.1. Случай равномерного распределения.

3.4.2. Случай экспоненциального распределения.

3.4.3. Случай распределения Коши.

3.4.4. Аналитическая аппроксимация квантили нормального распределения.

3.4.5. Случай нормального распределения.

3.4.6. Сравнение точности оценивания для различных распределений

3.5. Применение метода бутстрепа к вычислению квантили.

3.5.1. Идея метода бустрепа.

3.5.2. Применение метода несглаженного бутстрепа к вычислению квантили.

3.5.3. Сглаженная оценка квантили

3.5.4. Применение метода сглаженного бутстрепа к вычислению квантили.

3.6. Примеры вычисления бутстреп-квантилей.

3.6.1. Представление погрешности оценки квантили.

3.6.2. Вычисление квантили для равномерного распределения

3.6.3. Вычисление квантили для нормального распределения

3.6.4. Вычисление квантили для распределения Коши.

4 Оптимизация двухшаговой модели изменения капитала

4.1. Введение.

4.2. Постановка задачи оптимизации функции дохода.

4.2.1. Двухшаговая модель изменения капитала.

4.2.2. Анализ классической постановки Марковица

4.2.3. Виды критериев принятия решений и обобщение постановки Марковица.

4.3. Оптимизация функции дохода по квантильному критерию

4.3.1. Построение функции вероятности.

4.3.2. Условие эквивалентности задач оптимизации по кваитилыюму и вероятностному критериям.

4.3.3. Свойства функции вероятности.

4.4. Оптимизация функции дохода по логарифмическому критерию

4.5. Оптимизация функции дохода на доверительном множестве.

4.6. Оптимизация функции дохода по критерию интегральной квантили

4.7. Численный пример

4.7.1. Постановка задачи.

4.7.2. Сравнение оптимальных стратегий и соответствующих им значений критериев.

4.7.3. Применение метода бутстрепа для решения задачи квантильной оптимизации.

Объектом исследования в диссертационной работе являются задачи стохастического программирования с вероятностными критериями, имеющими как явное аналитическое выражение, так и получаемыми численно или экспериментально.

В технике и экономике существует множество задач, относящихся к классу задач стохастического программирования [19, 48, 51, 54, 57, 69, 72, 75, 76]. Стохастические модели, как правило, более адекватны реальным явлениям и процессам, чем детерминированные. Поэтому стратегии (управления), полученные на основе решения задач стохастического программирования, являются более практически значимыми, чем стратегии, полученные в детерминированных постановках.

Поиск решения в практических задачах часто приходится вести в случае, когда некоторые исходные данные не являются детерминированными, известны лишь их законы распределения вероятностей. Естественный, на первый взгляд, путь анализа стохастических задач - замена случайных . параметров их средними значениями и нахождение оптимальных управлений полученных таким образом детерминированных задач - не всегда оправдан и может нарушить адекватность модели изучаемого явления. Решение детерминированной задачи с усредненными параметрами может не удовлетворять условиям задачи при различных реализациях случайных факторов. Жесткая же постановка задачи в условиях неполной или неопределенной информации, когда ограничения задачи должны удовлетворяться при всех реализациях случайных параметров, либо приводит к чрезвычайно перетяжеленным решениям, неуместным в практическом применении, либо и вовсе множество допустимых решений оказывается пустым. Таким образом, простейшие пути учета случайного характера условий задачи замена случайных переменных их средними значениями или переход к жесткой постановке - не всегда приводит к осмысленному решению задачи стохастического программирования.

Так, во многих прикладных экономических задачах, описанных в терминах линейного программирования, коэффициенты целевой функции, элементы матрицы условий или ограничений - случайные величины. К таким задачам относятся, например, задача планирования добычи угля [54], транспортная задача в стохастической постановке [54], где спрос в пунктах потребления принимается случайной величиной, и многие другие. Наиболее распространенными на практике являются задачи, описанные в терминах нелинейного стохастического программирования. К этому классу принадлежат экономические задачи в области распределения инвестиционных вложений при управлении банковскими капиталами [16,33,74], организационно-технические задачи планирования добычи, обработки и хранения нефти [54], прогноза скорости ветра [72], а также задачи управления воздушным движением и планированием полетов с учетом погодных условий и многие другие прикладные задачи. В настоящее время при синтезе и анализе алгоритмов управления беспилотными летательными аппаратами, в том числе управляемыми ракетами различных классов, широкое распространение получили задачи стохастического управления. Pix решению посвящены, например, работы [1,2,21,35,44,54].

Задачи стохастического программирования, особенно при оптимизации по вероятностному критерию или с вероятностными ограничениями, являются достаточно сложными [35]. Это объясняется в основном сложностью нахождения аналитического вида вероятностного критерия (вероятности того, что потери не превысят допустимого значения) или квантильного критерия (значения потерь, которое не будет превышено с некоторой вероятностью), а также при отсутствии аналитического вида критерия сложностью построения конструктивных численных методов решения подобных задач. Тем пе менее, актуальной тенденцией последнего времени является все более широкое применение вероятностных или квантильных критериев при постановке задач стохастического программирования, так как данные критерии дают возможность получения практически ценных решений и устраняют существенный недостаток критерия в виде среднестатистического значения (математического ожидания), позволяющего получить решение оптимальное лишь в среднем, т.е. по совокупности всех реализаций, которое не гарантирует выполнение требуемых условий с заданной вероятностью, особенно когда эта вероятность оказывается весьма близкой к единице [35, 72]. Последнее весьма характерно для задач высокоточного управления ракетной техникой, задач создания высоконадежной техники, например, самолетов гражданской авиации, инвестирования капитала на рынке ценных бумаг и др. Но также стоит отметить, что несмотря на актуальность вероятностного и квантильного критериев, они, в отличие от математического ожидания, не обладают линейным свойством, а поэтому оказываются более сложными для исследования.

В качестве примера, иллюстрирующего целесообразность рассмотрения вероятностного и квантильного критериев, рассмотрим задачу, связанную с инвестированием средств в ценные бумаги. На финансовые показатели наряду со стратегией поведения на рынке ценных бумаг влияют также факторы, неконтролируемые лицом, принимающим решение. Эти факторы наиболее часто рассматриваются как случайные величины с известным распределением или с распределением из некоторого оговоренного класса. В этом случае финансовые показатели операции также являются случайными величинами. Для их сравнения, а также для выбора оптимальной стратегии поведения на рынке ценных бумаг применяются различные статистические характеристики этих показателей [46]. Например, в классической постановке Марковица [74] средний доход фиксируется и минимизируется дисперсия дохода как мера риска получить доход, отличный от среднего. Во многих случаях такая постановка не оправдана, так как слабо учитывает субъективные желания игрока. Более того, при тяжелых "хвостах" распределения постановка Марковица может быть и вовсе лишена смысла. Отметим также, что при использовании в качестве критерия среднего дохода возникает даже удивительный эффект, называемый эффектом "биржевого парадокса" [83]. Вот почему при формировании портфеля ценных бумаг в последнее время традиционным становится рассмотрение вероятностного критерия [72], квантильного критерия (или УаГ1-критерия) [16, 32], а также интегрального квантильного критерия (или СУаЯ-критерия) [33].

Важно также отметить, что явные аналитические выражения для вероятностных критериев во многих практических задачах, как правило, получить не удается. Поэтому для проведения оптимизации по квантильному критерию приходится использовать аппроксимации, основанные на статистических оценках функции квантили. Здесь могут возникнуть две проблемы. Первая - это уменьшение количества испытаний при неизменной статистической точности оценки квантили. Иногда имитационное моделирование сложных систем на ЭВМ занимает много времени, отсюда возникает проблема сокращения числа испытаний для оценки квантили. Вторая - увеличение статистической точности при фиксированном количестве испытаний. Это наиболее часто встречающийся случай, когда имеется лишь ограниченный объем данных, например, статистическая подборка за рассматриваемый отрезок времени. Как правило, для решения задач стохастического программирования с критерием в виде функции квантили используются стохастические квазиградиентные алгоритмы [22, 23, 72]. Некоторые из этих алгоритмов [72] сходятся крайне медленно, в частности потому, что объем выборки возрастает при приближении к экстремуму. Поэтому актуальна проблема сокращения числа испытаний, а следовательно, и повышения быстродействия подобных алгоритмов. Вот почему возникает идея использования метода бутстрепа в квазиградиентных алгоритмах, который позволит при условии сохранения статистической точности вычисления квантили целевой функции уменьшить объем выборки. Метод бутстрепа отличается от традиционного выборочного тем, что он предполагает многократную обработку одних и тех же данных, заменяя выборочную оценку бутстреп-оценкой. На основе метода бутстрепа строится статистическая процедура, основными этапами которой является построение из имеющейся выборки выборочного распределения вероятностей, генерация из него новых выборок и использование полученных данных для оценивания желаемых параметров.

Таким образом, обобщая изложенное, очевидно, что проблема разработки ч эффективных методов поиска оптимальных стратегий в задачах стохастического программирования с использованием вероятностного и квантильного критериев является актуальной.

Целью работы является развитие метода детерминированного эквивалента и разработка алгоритмов бутстрепирования выборочной квантили в задачах стохастического программированш1 с вероятностными критериями. Для достижения поставленной цели предлагается:

1) построение детерминированных эквивалентов для ряда частных задач стохастического программирования с вероятностными критериями;

2) оценка асимптотической погрешности выборочной оценки функции квантили для различных распределений;

3) использование метода бутстрепа для сокращения объема выборки при статистическом вычислении функции квантили;

4) решение в качестве иллюстративного примера задачи портфельного инвестирования капитала в двухшаговой постановке.

Диссертация была поддержана грантом РФФИ N05-08-17963. Основные результаты диссертации опубликованы в 5 статьях [4-7, 42] в журналах, входящих в Перечень ВАК, в сборниках трудов [8-10] и тезисах научных конференций [11-14].

Диссертация состоит из четырех глав, заключения и списка литературы (85 источников). Объем диссертации включает 125 машинописных страниц, включая 18 рисунков, 3 таблицы.

Краткое содержание основных результатов работы по главам состоит в следующем.

В первой главе приводятся основные понятия и определения, относящиеся к стохастическому программированию, а также к математическому "и выпуклому анализу, рассматриваются различные варианты постановок задач с вероятностным и квантильным критериями, дается обзор работ по стохастическому программированию и результатов, полученных ранее. Оригинальным результатом является доказательство теоремы эквивалентности задач с вероятностным и квантильным критериями.

В диссертации доказана теорема эквивалентности задач вероятностной и квантильной оптимизации, а также следствие, которое дает возможность установить эквивалентность вероятностных постановок лишь на том подынтервале,' на котором условия эквивалентности выполняются. Пример практического использования эквивалентности вероятностной и квантильной постановок лишь на подынтервалах а € (р*,р*) С (0,1) и (р Е ((р*,<р*) С К1 приводится в главе 4 при решении задачи квантильной оптимизации функции дохода для двухшаговой модели изменения капитала.

Во второй главе получены детерминированные эквиваленты для различных задач стохастического программирования. Детерминированные эквиваленты - детерминированные задачи математического программирования, решения которых совпадают с решениями соответствующих задач стохастического программирования с вероятностными критериями. Получение детерминированных эквивалентов значительно упрощает решение вероятностных задач, поскольку для решения детерминированных задач, эквивалентных исходным стохастическим, можно использовать стандартные методы математического программирования [45,47]. Устанавливаются выпуклые свойства приведенных детерминированных эквивалентов и исходных вероятностных критериев, которыми можно воспользоваться при реализации известных методов выпуклого программирования [47].

Рассматривается целевая функция Ф(и,Х) - функция потерь, которую необходимо минимизировать. Вектор и размерности т имеет смысл управления, и £ II, а X - вектор случайных параметров размерности п.

Функцией вероятности при постановке задачи минимизации будем называть функцию [72] ад Ф(и,х)^<р}, где </? 6 Н1 - некоторое допустимое значение Ф(и, X). Функция вероятности характеризует вероятность такого события, что значение целевой функции при выбранном и будет не больше заданного порога ср.

Функцией квантили при постановке задачи минимизации будем называть функцию [72]

Ра(и) = тш{(/? : Р^{и) ^ а}, где а - заданный уровень вероятности, а € (0,1). Функция квантили показывает, что значение целевой функции Ф(и, X) при выбранной стратегии и с вероятностью не меньше а будет не превосходить порог ipa(u).

Рассмотрим три классические задачи стохастического программирования. Максимизация функции вероятности:

PJu) —> max. (1)

Y ueu 4 '

Минимизация функции квантили: tpa(u) -> min. (2) ueu

Задача с вероятностным ограничением:

Ф0(и) min, (3) ueu v '

Pv(u) ^ а, где Фо(и) - некая детерминированная функция.

В главе 2 рассмотрены различные случаи целевых функций. Для них строятся детерминированные эквиваленты, исследуются их свойства выпуклости, а также свойства выпуклости функций вероятности и квантили. При исследовании выпуклых свойств полагается, что множество возможных стратегий U является выпуклым.

1. Целевая функция имеет билинейную структуру

Ф (и,Х) = г(ит(АХ + с)), (4) где А - некоторая матрица m х п, с - фиксированный вектор размерности тп, r(t) : IR1 —»К,1 - строго возрастающая по t, непрерывная слева функция, определенная на всей числовой оси. Пусть распределение случайного вектора X сферически симметрично, то есть его плотность можно представить в виде рх{х) f{\\x\\2) = f(xTx), где функция f(t) определена для t G [0,оо), неотрицательна и интегрируема по Лебегу.

При условии, что функция распределения -Fi(i) -: R1 —> 1R1 первой компоненты случайного вектора X (в силу сферической симметричности одномерные функции всех компонент случайного вектора совпадают) - строго возрастающая по t, то есть не имеющая площадок, в диссертации для задач (1), (2), (3) получены детерминированные эквиваленты, которые при некоторых предположениях оказываются задачами выпуклого программирования.

2. Целевая функция возрастает относительно стратегии

Ф(и,а:) = ф(и),Х), (5) где в(и) : Е1т —> И1 - некоторая функция, г(я, х) : В/хИ™ —» В,1 - строго возрастающая, непрерывная слева по в 6 Е1 для любых х £ Ж".

Пусть га(р) ^ 1ШП{ф : < ф)} ^ а}.

При условии, что функция Р*ф{<р) "Р{ —^((р, X) < ф} строго возрастает по ф, функция фа(ф) гшп{</? : га((р) ^ ф} строго возрастает по ф, в диссертации для задач (1), (2), (3) получены детерминированные эквиваленты, которые при некоторых предположениях оказываются задачами выпуклого программирования.

3. Целевая функция возрастает относительно случайного вектора

Ф(и,а:) =г(и,ЦХ)), (6) где ¿(ж) : К" —> И1 - некоторая измеримая функция, : Ш7П х К1 —> И1 строго возрастающая и непрерывная слева по £ 6 И1 для любых и 6 Нт.

При условии, что функция распределения Рт(х) случайной величины Г £(-Х") строго возрастает по х, для задач (1), (2), (3) получены детерминированные эквиваленты, которые при некоторых предположениях оказываются задачами выпуклого программирования.

4. Целевая функция имеет квадратичную структуру, а случайные векторы имеют сферически симметричное распределение

Ф(и, X) г(итАХг ■ Х%Вти), (7) где случайные векторы Х\ и X2 независимы, А и В - матрицы т х п, г(£) : К1 —» К1 - строго возрастающая по £ непрерывная слева функция, а распределения случайных векторов сферически симметричны, то есть их плотности можно представить в виде

Р1Ы = М\Ы\2), р2(х2) = МЫ2).

В диссертации получены детерминированные эквиваленты для задач (1), (2).

5. Целевая функция имеет аддитивную схруктуру, а функция случайного вектора имеет унимодальную плотность

Ф(и,Х)=г(|«рО+ *(«)!), (8) где г(£) : —» М1 - строго возрастающая по £, непрерывная слева функция, Ь(х) И" —> И1 - измеримая функция, а з(и) • Иш —> Ж1 - некоторая функция. При этом пусть плотность случайной величины Т = Ь{Х) унимодальна и симметрична относительно точки тт - то есть в точке гпт достигается максимум плотности вероятности.

Для задач (1), (2) получены детерминированные эквиваленты, которые при некоторых предположениях оказываются задачами выпуклого программирования.

6. Целевая функция имеет сепарабельную структуру, а плотность распределения случайного вектора логарифмически вогнута

Ф(и, х) = шах{гг(5г(и) + Хг)}, (9)

1=1,Т1 \ где гг(Ь) Ш1 —> И1, г = 1,п - строго возрастающие, непрерывные слева функции, зг(и) : Ит —> И1, г = 1,п - некоторые функции, Хг - независимые случайные величины, при этом плотность р(х) случайного вектора X логарифмически вогнута.

Для задач (1), (3) получены детерминированные эквиваленты, которые при некоторых предположениях оказываются задачами выпуклого программирования.

Третья глава посвящена развитию и применению метода бутстрепа для численного решения задач стохастического программирования. В ней исследована точность выборочной оценки квантили для равномерного, экспоненциального и нормального распределений, распределения Коши. Также в данной главе предлагаются две бутстреп-процедуры для оценивания функции квантили: процедура несглаженного и сглаженного бутстрепа. В этих процедурах из имеющегося выборочного распределения многократно генерируется новая бутстреп-выборка и по ней вычисляется бутстреи-оценка квантили. Процедура несглаженного бутстрепа основана на извлечении бутстреп-выборки из выборочной функции распределения имеющейся выборки. Процедура сглаженного бутстрепа основана на извлечении бутстреп-выборки из сглаженной выборочной функции распределения. Оценка квантили, полученная в результате применения несглаженного или сглаженного бутстрепа, считается как среднее значение выборочной квантили по т бутстреп-выборкам. Доказывается утверждение о сходимости сглаженной оценки квантили к истинному значению почти наверное, несглаженпой оценки - по вероятности.

Пусть имеется априорная выборка {Х1} Х2, ■ ■., Хп} случайной величины X ~ Рх(х). Известно [20], что выборочная оценка квантили уровня а Е (0,1) по выборке Хг, г = 1,п, определяется как:

Ха(п) = Х([„а]+1), (10) где [па] - целая часть числа п ■ а, т.е. смысл данной операции состоит в выборе элемента вариационного ряда выборки Х(г) с номером г = \па\ + 1.

В качестве погрешности выборочной оценки квантили рассмотрим асимптотическую оценку среднеквадратического отклонения. Выборочная оценка квантили (10) случайной величины X с непрерывной плотностью распределения р{х) в окрестности точки ха, в которой р(ха) > 0, по теореме Мостеллера [20] асимптотически нормальна:

МХа{п) N(0,иЦ (11) где ха - точное значение квантили, оа - асимптотическое значение среднеквадратического отклонения оценки Ха(п), которое равно (12> у р (х<*)

Величину сга/л/п, имеющую скорость сходимости п~1/2, можно интерпретировать как точность выборочной оценки квантили. Данная величина рассматривается для различных распределений.

1. Пусть случайная величина X имеет равномерное распределение на отрезке [а, £>]: (а, £>). В этом случае асимптотическая оценка погрешности выборочной оценки квантили будет равна га = \/а(1 — а)(Ь — а)2.

2. Пусть теперь случайная величина X имеет экспоненциальное распределение: X ~ Е(А), где Л > 0. Тогда асимптотическая оценка погрешности выборочной оценки квантили равна 1 а = А V

3. Пусть случайная величина X имеет распределение Коши: X ~ К(0). Здесь асимптотическая оценка погрешности выборочной оценки квантили равна пу/а(1 - а) (1 + [tg (тг(а - 1/2))]2) .

4. Пусть случайная величина X имеет стандартное нормальное распределение: X~N(0,1). В этом случае асимптотическая оценка погрешности выборочной оценки квантили будет равна v4~ 1п(2тг(1 - а)2))(1 Щ'

Для нормального распределения найдена также аппроксимация для гауссовской квантили, представимая в виде где W(t) : R1 —> 1R1 - функция Ламберта. Доказано, что при а —» 1 имеет место ха ха — 0(ха ), где ха - квантиль N(0,1), а ха - ее аппроксимация (13).

Для уточнения выборочной оценки квантили предлагается использовать метод бутстрепа. Рассмотрены два алгоритма - несглаженного и сглаженного бутстрепа. В первом новые выборки извлекаются из выборочного распределения, во втором - из сглаженного распределения вероятностей. Несглаженная бутстреп-оценка квантили по тп бутстреп-выборкам будет выглядеть следующим образом:

1 m 777,

1=1 где Х*г - выборочная оценка квантили (10) по г-той бутстреп-выборке.

Сглаженная бутстреп-оденка квантили по т бухсхреп-выборкам будет выглядеть следующим образом: где Х*г - обратная функция к сглаженной функции ¿-того бутстреп-распределения вероятностей. Доказано, что

Сравнение результатов оценивания квантили при использовании выборочной оценки (10) и бутстреп-оценок (14), (15) для различных распределений с помощью численного компьютерного моделирования показало, что обе бутстреп-оценки дают возможность получить более высокую точность, чем выборочная оценка квантили.

Четвертая глава посвящена сравнению на численном примере 'квантильного, интегрального квантильного, логарифмического критериев, а также обобщению постановки Марковица для одной конкретной модели формирования портфеля ценных бумаг. Рассматривается задача максимизации функции дохода при двухшаговом вложении капитала в безрисковую ценную бумагу и рисковую с равномерным законом распределения ее доходности. Проводится анализ и сравнение решений задач с использованием квантильного критерия, критерия 1 интегральной квантили, логарифмического и минимаксного критериев. Находится оптимальное значение каждого из критериев в зависимости от уровня вероятности. Предлагается способ выбора допустимого уровня доверительной вероятности, исследуются'зависимости критериев от этого уровня при подстановке в критерии своих оптимальных стратегий и стратегий, оптимальных для других критериев.

На численном примере сравниваются все рассмотренные постановки. Кроме того, применен метод бутстрепа для сравнения результатов численного компьютерного моделирования с аналитическим значением квантили. Показано, что использование бутстрепирования при решении задач численной оптимизации стохастических критериев выглядит очень перспективно, особенно при небольших

15) ггО-а^До,

RKrn) - ха\ "А1" 0. п ii. экспериментальных объемах данных. Полученные бутстреп-стратегии гораздо глаже выборочных и гораздо ближе к истинным, чем выборочные. При этом значения бутстреп-критериев также ближе к оптимальному значению квантильного критерия.

Основные результаты, выносимые на защиту:

1) построены детерминированные эквиваленты вероятностных задач для различных случаев целевых функций, исследованы свойства выпуклости как функций вероятности и квантили, так и соответствующих им детерминированных эквивалентов;

2) получены аналитические оценки асимптотической точности выборочной оценки квантили для равномерного, экспоненциального, нормального распределений, распределения Коши;

3) разработаны несглаженная и сглаженная бутстреп-процедуры для оценки квантили, доказана их сходимость по вероятности и почти наверное;

4) получена аналитическая аппроксимация квантили гауссовского распределения;

5) решена задача оптимизации двухшаговой модели портфельного инвестирования капитала по различным вероятностным критериям, произведено сравнение выборочной и бутстреп оценок квантили с истинным значением квантили.

Заключение

В диссертации исследуются задачи стохастического программирования с функциями вероятности и квантили. В частности, в первой главе диссертации доказана теорема эквивалентности задач в вероятностной н квантильной постановке, область применения данной теоремы расширена за счет приведенного следствия. Во второй главе построены детерминированные эквиваленты для различных постановок задач стохастического программирования с вероятностным, квантильным критериями, а также для задачи с вероятностным ограничением. Исследованы свойства выпуклости полученных детерминированных эквивалентов, а также самих функций вероятности и квантили. Указаны преимущества построенных детерминированных эквивалентов по сравнению с исходными задачами оптимизации. В третьей главе проведен анализ асимптотической погрешности выборочной оценки функции квантили для различных распределений, а также предложена и доказана процедура бутстрепирования выборочной оценки квантили, которая за счет дополнительной обработки данных позволяет сократить объем используемой выборки или увеличить точность оценивания квантили при неизменном объеме выборки. В четвертой главе решена задача оптимизации двухшаговой модели вложения капитала по различным вероятностным критериям. Также рассмотрен пример применения метода бутстрепа при численной оптимизации функции квантили для данной задачи. Показано преимущество использования бутстреп-процедуры оценки квантили вместо классического выборочного оценивания.

Основным итогом диссертации является развитие метода детерминированного эквивалента и построение алгоритмов бутстрепирования квантили, которые позволяют решать задачи стохастического программирования с вероятностными критериями как аналитически, так и численно.

1. Беллман Р. Динамическое программирование. М.: Ин.Лит., 1960.

2. Брайсон А., Хо Ю-Ши Прикладная теория оптимального управления. М.: Мир, 1972.

3. Вазан М. Стохастическая аппроксимация. М.: Мир, 1972.

4. Вишняков Б.В., Кибзун А.И. Оптимизация двухшаговой модели изменения капитала по различным статистическим критериям // Автоматика и Телемеханика, 2005, N0. 7. С. 126 143.

5. Вишняков Б.В., Кибзун А.И. Детерминированные эквиваленты для задач стохастического программирования с вероятностными критериями / / Автоматика и Телемеханика, 2006, N0. 6. С. 126 143.

6. Вишняков Б.В., Кибзун А.И. Применение метода бутстрепа для оценивания функции квантили // Автоматика и Телемеханика, 2007, N0. 11. С. 46 60.

7. Вишняков Б.В., Визильтер Ю.В. Исследование поведения авторегрессионных фильтров в задаче выделения и анализа движения на цифровых видеопоследовательностях // Вестник компьютерных и информационных технологий, 2008, N0. 8. С. 2 8.

8. Вишняков Б.В. Оптимизация двухшаговой модели изменения капитала // Проектирование, конструирование и производство авиационной техники. М: изд-во МАИ, 2005, С. 140 145.

9. Вишняков Б.В., Кибзун А.И. Задача квантильной оптимизации билинейной функции // труды межд. конф. "Моделирование и анализ безопасности и риска в сложных системах", Санкт-Петербург, 2004, С. 74 79.

10. Вишняков Б.В., Кибзун А.И. Меры риска в двухшаговой модели изменения капитала // труды межд. конф. "Моделирование и анализ безопасности и риска в сложных системах", Санкт-Петербург, 2005, С. 93 98.

11. Вишняков Б.В. Оптимизация двухшаговой модели изменения капитала // тезисы конференции "Новые информационные технологии в научных исследованиях и образовании", Рязань, 2005, С. 137 138.

12. Вишняков Б.В., Кибзун А.И. Детерминированные эквиваленты для вероятностных задач оптимизации // тезисы межд. конф. "Системный анализ, управление и навигация", Евпатория, 2006, С. 175.

13. Вишняков Б.В., Кибзун А.И. Применение метода бутстрепа для оценивания терминальной точности движущегося объекта // тезисы межд. конф. "Системный анализ, управление и навигация", Евпатория, 2007, С. 132 133.

14. Вишняков Б.В., Кибзун А.И. Применение и сравнение методов несглаженного и сглаженного бутстрепа для оценивания квантили // тезисы межд. конф. "Системный анализ, управление и навигация", Евпатория, 2008, С. 257 259.

15. Галамбош Я. Асимптотическая теория экстремальных порядковых статистик. М.: Наука, 1984.

16. Григорьев П.В., Кан Ю.С. Оптимальное управление но квантильному критерию портфелем ценных бумаг // АиТ, 2004. N0. 2. С. 179-197.

17. Двайт Г.Б. Таблицы интегралов и другие математические формулы. М.: Наука, 1978.

18. Дейвид Г. Порядковые статистики. М.: Наука, 1979.

19. Ермольев Ю.М. Методы стохастического программирования. М.: Наука, 1976.

20. Ивченко Г.И., Медведев Ю.И. Математическая статистика. М.: Высшая школа, 1984.

21. Калман Р., Фалб П., Арбиб М. Очерки по математической теории систем. М.: Мир, 1971.

22. Кан Ю.С. Квазиградиентный алгоритм минимизации функции квантили // Известия РАН. Теория и системы управления, 1996. No.2, С. 81 86.

23. Кан Ю.С. О сходимости одного стохастического квазиградиентного алгоритма оптимизации // АиТ, 2003. No.2, С. 100-116.

24. Кан Ю.С. Оптимизация управления по квантильному критерию // АиТ, 2001. No.5, С. 77 88.

25. Кан Ю.С., Кибзун А.И. Свойства выпуклости функций вероятности и квантили в задачах оптимизации // АиТ, 1996. No.3, С. 82 102.

26. Кан Ю.С., Тузов Н.В. Минимизация квантили нормального распределения билинейной функции потерь // АиТ, 1998. No.ll. С. 82 92.

27. Кан Ю. С. О сходимости одного стохастического квазиградиентного алгоритма квантильной оптимизации // АиТ, 2003. No 1. С 100 117.

28. Кан Ю.С., Сысуев A.B. Сравнение квантильного и гарантирующего подходов при анализе систем // АиТ, 2007. No 1. С. 57 67.

29. Кан Ю.С. Оптимизация портфелей ценных бумаг с учетом риска. М.: МАИ, 2008.

30. Кенуй М.Г. Быстрые статические вычисления. М.: Статистика, 1979.

31. Кибзун А.И. О наихудшем распределении в задачах стохастической оптимизации с функцией вероятности // АиТ, 1998. No.ll. С. 104 116.

32. Кибзун А.И., Кузнецов Е.А. Оптимальное управление портфелем ценных бумаг // АиТ, 2001. No.9. С. 101 ИЗ.

33. Кибзун А.И., Кузнецов Е.А. Сравнение критериев VaR и CVaR // АиТ, 2003. No.7. С. 153 165.

34. Кибзун А.И., Кузнецов Е.А. Выпуклые свойства функции квантили в задачах стохастического программирования // АиТ, 2004. No.2. С. 33 42.

35. Кибзун А.И., Малышев В.В. Анализ и синтез высокоточного управления летательными аппаратами. М.: Машиностроение, 1987.

36. Кибзун А.И., Матвеев Е.Л. Оптимизация функции квантили на основе ядерных оценок // АиТ, 2007. No.l. С 187 189.

37. Киреев В.И., Пантелеев A.B. Численные методы в примерах и задачах. М., Высшая школа, 2008.

38. Колмогоров А.Н. Интерполирование и экстраполирование случайных последовательностей. // Изв. АН СССР, 1941, Т.5. No 1. С. 3 14.

39. Лепп Р. Детерминистические эквиваленты задач стохастического программирования с эллиптически симметричными распределениями // Изв. АН ЭССР. Физ.-мат., 1979. No.2(28). С. 158 160.

40. Лепп Р. Исследования эстонских ученых по стохастическому программированию // Изв. АН ЭССР. Физ.-мат., 1982. No.8. С. 57 -64.

41. Невелъсон М.Б., Хасъминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. М.: Наука, 1972.

42. Панарин С.И., Вишняков Б.В., Кибзун А.И. Оболочка системы дистанционного обучения по математическим курсам / / Вестник компьютерных и информационных технологий, 2008, No. 10. С. 43. -48.

43. Панков А.Р., Семенихин К.В. О минимаксном оценивании по вероятностному критерию // АиТ, 2007. No. 3. С. 66 82.

44. Пантелеев A.B. Оптимальные нелинейные системы управления: синтез при неполной информации. М.: Вузовская книга, 2008.

45. Пантелеев A.B., Летова Т.А. Методы оптимизации в примерах и задачах. М., Высшая школа, 2002.

46. Первозванский A.A., Первозванская Т.М. Финансовый рынок: расчет и риск. М.: Инфра-М, 1994.

47. Поляк Б. Т. Введение в оптимизацию. М.: Наука, 1983.

48. Райк Э. О функции квантили в задачах стохастического нелинейного программирования // Изв. АН ЭССР. Физ.-мат., 1971. 24. No. 1. С. 3 8.

49. Растригин Л.А. Теория статистических методов поиска. М.: Наука, 1968.

50. Тамм Э. О квазивыпуклости функций вероятности и квантиля // Изв. АН ЭССР Физ.-мат., 1976. Т.25. No.2. С.141 143.

51. Урясъев С. П. Адаптивные алгоритмы стохастической оптимизации и теории игр. М.: Наука, 1990.

52. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. М.: Финансы и статистика, 1988.

53. Юдин Д.Б. Задачи и методы стохастического программирования. М.: Советское радио, 1979.

54. Юдин Д.Б. Математические методы управления в условиях неполной информации // М.: Советское радио, 1974.

55. Bahadur R.R. A note on quantiles in large samples // Ann. Math. Statist., 1966, No. 37. P. 577 580.

56. Beran R., Ducharme G.R. Asymptotic Theory for Bootstrap Methods in Statistic. Les Publications CRM, Centre de rechereches mathématiques, 1991.

57. Birge J., Louveaux F. Introduction to Stochastic Programming. Springer Verlag, New York, 1997.

58. Corless R.M., Gonnet G.H., Hare D.E.G., Jeffrey D.J., and Knuth D.E. On The Lambert W Function // Advances in Computational Mathematics, 1996. Vol. 5. P. 329 359.

59. Davison A.C., Hinkley D.V. Bootstrap Methods and Their Application. U.K.: Cambridge University Press., 1997.

60. Efron B. Bootstrap methods: Another look at jacknife // Ann. Statist., 1979. Vol. 7, No.l. P. 1 25.

61. Falk M., Kaufmann E. Coverage probabilities of bootstrap-confidence intervals for quantiles // The Annals of Statistics, 1991. Vol. 19, No. 1. P. 485 495.

62. Falk M. Reiss R.-D. Weak convergence of smoothed and nonsmoothed bootstrap quantile estimates // The Annals of Probability, Vol. 17, No. 1, P. 362 371.

63. Hall P. Methodology and theory for the bootstrap, in Engle R.F. and McFadden D.F., eds. Handbook of Econometrics, 1986. Ch. 39. P. 2341 2381.

64. Hall P. The Bootstrap and Edgeworth Expansion. N.Y.: Springier-Verlag, 1992.

65. Hall P., Horowitz J.L., Jing B.-Y. On blocking rules for the bootstrap with depended data // Biometrika, 1995. No. 85. P. 561 574.

66. Harold Ruben A New Asymptotic Expansion for the Normal Probability Integral and Mill's Ratio // Journal of the Royal Statistical Society. Series B (Methodological), 1962. Vol. 24, No. 1. P. 177 179.

67. Horowitz J.L. Bootstrap methods in econometrics: theory and numerical performance //in Kreps D.M. Wallis K.F., eds. Advance in Economics and Econometrics: Theory and Applications. Seventh World Congress, 1997. Vol. 3. Ch. 7. P. 188 -222.

68. Horowitz J.L. The Bootstrap. // J.J. Heckman & E.E. Learner (ed.) Handbook of Econometrics , Ch. 52, P. 3159 3228, 2001.

69. Kali P., Wallace S. W. Stochastic Programming // Chichester: John Wiley & Sons, 1994.

70. Kan Yu. S., Mistrukov A. A. On the equivalence in stochastic programming with probability and quantile objectives // Lect. Notes Econom. Math. Syst. V. 458. / Eds. K. Marti and P. Kail. Berlin: Springer, 1998. P. 145 153.

71. Kelly J. A new Interpretation of Information Rate // Bell Syst. Tec. J. 1956. No. 35. P. 917 926.

72. Kibzun A.I., Kan Yu.S. Stochastic Programming Problems with Probability and Quantile Functions // Chichester: John Wiley & Sons, 1996.

73. Lepp R., Olman V. An Inequality for Integrals with Spherically Symmetric Functions And Its Application to Optimization // Acad, of Sciences of the ESSR, 1980. No.2. P. 133 139. .

74. Markowitz H.M. Portfolio Selection // J. Finance. 1952. No.7(l). P. 77 91.

75. Marti K. Stochastic Optimization Methods. 2nd ed. Springer, 2008.

76. Prekopa A. Stochastic Programming. Dordrecht: Kluwer Academic Publishers, 1995.v

77. Prekopa A. Logarithmic Concave Measures and Related Topics // Stochastic Programming. Acad. Press., 1980. P. 63 82.

78. Prekopa A. On Logarithmic Concave Measures and Functions// Acta Sci. Math. V.34. P. 325 343.

79. Quenouille M.H. Approximate tests of correlation in time series //J. Roy. Statist. Soc. Ser. B., 1949. P. 68 84.

80. Rockafellar R.T., Uryasev S. Optimization of conditional value-at-risk. // The Journal of Risk, 2000. Vol. 2, No. 3, P. 21-41.

81. Rockafellar, R.T, Uryasev S. Conditional value-at-risk for general loss distribution // J. Banking k Finance, 2002. No.26. P. 1443 1471.

82. Symonds G.H. Deterministic solution for a class of chance-constrained programming problems // Operation research, 1967. V. 15. No.3. P. 495 512.

83. Szekey, G.J. Paradoxes in Probability Theory and Mathematical Statistics // Budapest: Akademiai Kiado, 1986.

84. Wiener N. Extrapolation, interpolation and smoothing of stationary time series. New-York, 1949.

85. Yvonne H.S. Ho, Stephen M.S. Lee Iterated smoothed bootstrap confidence intervals for population quantiles // The Annals of Statistics, 2005, Vol. 33, No. 1. P. 437 462.