автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Синтез оптимального управления в математических моделях химиотерапии опухоли, растущей по закону Гомперца и логистическому закону

(

На правах рукописи

Чумерина Екатерина Сергеевна

Синтез оптимального управления в математических моделях химиотерапии опухоли, растущей по закону Гомперца и логистическому закону

Специальность 05.13.18— Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва - 2009

003489464

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Московский государственный университет путей сообщения» (МИИТ) на кафедре «Прикладная математика - 1».

Научный руководитель: доктор физико-математических наук,

профессор Братусь Александр Сергеевич

Официальные оппоненты: доктор физико-математических наук,

профессор Хаметов Владимир Минирович

доктор физико-математических наук Овсеевич Александр Иосифович

Ведущая организация: Институт математики и механики

Уральского отделения РАН.

Защита состоится 10 декабря 2009 года в 15 часов на заседании диссертационного совета Д 218.005.10 в Московском государственном университете путей сообщения (МИИТ) по адресу: 127994, Москва, ул. Образцова, д. 9, стр. 9, ауд. 1235.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета путей сообщения.

Автореферат разослан « 09 » ноября 2009 г.

Ученый секретарь

диссертационного совета

кандидат технических наук, профессор

Общая характеристика работы

Актуальность темы. Диссертация посвящена задачам построения синтеза оптимального управления в математических моделях химиотерапии однородной твердой нссосудистой опухоли, растущей по нелинейным законам. Анализ оптимальных стратегий терапии, полученных на основе принятых математических моделей, при соответствующей проверке может быть использован в практических целях.

Цель работы заключается в построении синтеза оптимального управления в математических моделях химиотерапии злокачественных клеток, растущих по закону Гомперца или обобщенному логистическому закону, при различных видах функции терапии, описывающей степень эффективности воздействия химиотерапевтического средства на клетки. Для достижения поставленной цели решены следующие задачи:

1. Предложен метод построения классического решения уравнения Гамильтона— Якоби—Беллмана, основанный на отыскании локальных решений, в четырёх типичных случаях.

2. Методом динамического программирования решена задача синтеза оптимального управления в математических моделях химиотерапии опухоли, растущей по закону Гомперца и обобщенному логистическому закону, с ограничением на возможную величину количества химиотерапевтического средства, вводимого в опухоль в единицу времени, при различных видах функции терапии. Получено явное выражение для функции цены.

3. Методом динамического программирования решена задача синтеза оптимального управления в математических моделях химиотерапии опухоли, растущей по закону Гомперца и обобщенному логистическому закону, с интегральным ограничением на величину допустимого запаса химиотерапевтического средства и монотонной функцией терапии. Получена оценка для функции цены.

Научная новизна работы. Полученные результаты являются новыми. В работе впервые рассмотрены задачи синтеза оптимального управления в математических моделях химиотерапии опухоли при наличии одного из двух видов ограничений на управляющее воздействие. В случае ограничения на количество химиотерапевтического средства, вводимого в опухоль в каждый момент времени, найдено классическое решение уравнения Гамильтона—Якоби—Беллмана, в случае интегрального ограничения на управление — получена оценка для функции цены, указана разрешающая стратегия терапии.

В диссертации рассмотрены два типа функции терапии: всюду монотонно возрастающая и немонотонная, имеющая единственный максимум. Доказано, что стратегия терапии существенно зависит от вида функции терапии.

Теоретическая и практическая ценность работы.

В качестве основного метода решения был выбран метод динамического программирования, разработанный Р. Беллманом (Динамическое программирование. М.: ИЛ, 19G0). Функция цены находится как решение уравнения в частных производных, называемого уравнением Гамильтона—Якоби—Беллмана (ГЯБ), а синтезирующая стратегия — как множество управлений, на которых достигается экстремум в этом уравнении. Известно, что если функция цены не является всюду гладкой, то используются различные понятия обобщенного решения уравнения Беллмана такие как, вязкостные решения, введенные М.Г. Крэндаллом и П.Л. Лионсом (Crandall M. G., Lions P. L. Viscosity solutions of Hamilton Jacobi equations // Transactions of American Mathematical Society. 1983. V. 277. P. 1-41), или минимаксные решения, определенные А. И. Субботиным (Обобщенные решения уравнений в частных производных первого порядка. Перспективы динамической оптимизации. М.,И: Институт компьютерных исследований, 2003).

Классические решения уравнения ГЯБ удается найти лишь для некоторых классов задач (например, линейно-квадратичная задача оптимального управления). Основные трудности связаны с тем, что необходимо искать решение задачи Коши для нелинейного уравнения в частных производных во всем пространстве фазовых переменных. В работах (Овсеевич А. И. Локальный принцип Беллмана в задачах оптимального управления //' Известия АН СССР. Техническая кибернетика. 1981. № 4. С. 3-9; Братусь А. С., Волосов К. А. Точные решения уравнения Гамильтона-Якоби-Беллмана для задач оптимальной коррекции с ограниченным суммарным ресурсом управления // ПММ. 2004. Т. 68. Вып. 4. С. 819-832) были найдены, так называемые, локальные решения уравнения ГЯБ (то есть решения внутри некоторой подобласти пространства) и доказано, что эти решения аппроксимируют оптимальное значение функционала. В диссертации предложен и реализован метод локальных решений для отыскания классического решения уравнения Гамильтона—Якоби—Беллмана. В зависимости от поведения характеристик уравнения найдены и исследованы четыре возможных случая построения решения.

Полученные на основе принятой математической модели выводы могут быть использованы для построения более сложных математических моделей терапии (в том числе распределенных), а также в практических целях при условии необходимой экспериментальной проверки.

Методы исследования. Решение рассматриваемых в диссертации задач было получено методом динамического программирования. Решения линейных уравнений в частных производных первого порядка были найдены с помощью метода характеристик. При отыскании режимов особого управления использовался принцип максимума Л. С. Понтрягина.

Апробация работы. Результаты работы докладывались на семинарах и конференциях

- конференция «Ломоносовские чтения», Москва, МГУ имени М.В. Ломоносова, апрель 2006;

- международная конференция «Тихонов и современная математика», Москва, МГУ имени М.В. Ломоносова, июнь 2006;

- международная конференция «Дифференциальные уравнения и топология», Москва, МГУ имени М.В. Ломоносова, июнь 2008;

- семинар под руководством профессора A.C. Шамаева, механико - математический факультет МГУ имени М.В. Ломоносова, апрель 2009;

- семинар под руководством профессора В.Н. Афанасьева, факультет прикладной математики МИЭМ, май 2009;

- семинар под руководством академика РАН А.Б. Куржанского, факультет ВМиК МГУ имени М.В. Ломоносова, июнь 2009;

- международная конференция «Актуальные проблемы теории устойчивости и управления», Екатеринбург, сентябрь 2009.

Публикации. По теме диссертации опубликованы 4 работы.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключении, списка использованной литературы, восьми приложений. Общий объем диссертации 148 страниц. Список литературы включает 50 наименований.

Краткое содержание работы

Во введении содержится обоснование выбора математических моделей для описания процесса химиотерапии пространственно-однородной твердой несосудистой опухоли и необходимости решения задачи синтеза оптимального управления путем воздействия химиотерапевтического средства на клетки опухоли. Сформулированы цели и кратко описаны основные результаты, полученные в диссертации.

Основной задачей работы является построение синтеза оптимального управления в математических моделях химиотерапии опухоли, в кото-

рой рост клеток происходит по закону Гомперца или логистическому закону (Araujo R. P., McElwain D. L. A history of the study of solid tumour growth: The contribution of mathematical modelling // Bull. Math. Biol. 2004. 66. P. 1039-1091). Характер взаимодействия клеток опухоли и химиотера-певтического средства описывается соотношениями, аналогичными принятых в уравнении хищник—жертва Лотка-Вольтерры. Количество химиоте-раиевтического средства в опухоли регулируется с помощью управляющей функции. Обозначаем через m(t) — число злокачественных клеток в момент времени t, h(t) — количество химиотерапевтического средства, способного убивать клетки опухоли, /(h) — функцию терапии, описывающую степень воздействия средства на клетки опухоли, u{t) — количество химиотерапевтического средства, вводимого в опухоль в единицу времени. Рассматриваются два варианта функции терапии: монотонно возрастающая всюду при h > 0, далее называемая монотонной, и возрастающая до некоторого значения h, а затем убывающая, обозначаемая как немонотонная. В первом случае увеличение количества химиотерапевтического средства приводит лишь к повышению эффективности терапии. Второй случай соответствует ситуации, когда действенность препарата уменьшается при достижении некоторой пороговой величины h. Процесс взаимодействия клеток опухоли и химиотерапевтического средства задается уравнениями

= д(т) - 7m/(ft), 7 - const >0, m(0) = то, (1)

at

— — -ah + и, a - const > 0, /i(0) = ho, (2)

где g(m) ~ гт—вт\пт (г, в — const > 0), если рост числа клеток описыва-

'т\р 1

ется законом Гомперца, и д{т) — гт

(г, в, /3 — const > 0), если

логистическим законом. Время изменяется в пределах t € [0, Т], параметр 7 определяет эффективность принимаемой терапии, а — коэффициент диссипации, /(И) —заданная функция терапии, принимающая неотрицательные значения при Л ^ 0, и(Ь) — неотрицательная функция из пространства £оо([0,Т]) существенно ограниченных измеримых на [0, Т] функций. Ста-

вится ограничение либо на величину количества химиотерапевтического средства, вводимого в опухоль в единицу времени

о ^ и (0 < <5, (3)

либо на его суммарное количество, используемое за промежуток времени [О, Г]

г

(4)

о

Здесь величины 6}, (¿ц п п > 1 заданы. Требуется решить задачу синтеза оптимального управления с целью минимизации квадрата числа клеток к фиксированному моменту времени Т

J(u) = m'l(T)-*Ы. (5)

и

Оптимальное управление в задачах (1)-(3),(5) и (1),(2),(4),(5) ищется в классе функций, зависящих от времени Ь и фазовых координат тп, к и имеет вид и = и(т, к, ¿), то есть ищется С-управление (управление по принципу обратной связи или синтез управления).

Задачи решаются методом динамического программирования. В случае ограничения на управление в виде (3) вводится функция цены 5(т, к, £), равная точной нижней грани заданного функционала, которая может быть достигнута в задаче оптимального управления при начальных условиях ¿о = Ь, гщ = т, ко — к. Предполагается, что она непрерывно дифференцируема по своим переменным т, к, ¿. Тогда функция 5 удовлетворяет уравнению ГЯБ и условию Коши

дБ г / \ дБ 05 дЯ

— = \д(т) — 7тт(к)\ —--ак— + тг и—, (6)

5(т,А,г) |т=0 = т2. (7)

Здесь была произведена замена переменной г = Т — имеющая смысл обратного времени.

Вычисляя точную нижнюю грань в (6), находим, что она достигается на управлении

и(тп, к, т) —

<2. ж < о.

о, Ц > о, (8)

Подставляя его в (б), получаем уравнение ГЯБ и начальное условие в виде

От где

= Ь(-) - тт/(Л)1 ^ - «Л^ + Ф (I) 5(т, Л, 0) = го>, (9)

^ ' I о, М ^

Решение уравнения ищется в пространстве переменных го, /г, г О = {т > 0, /г, 0 < г < Т}.

- 0, (11)

171=0

Дополнительно предполагается выполненным краевое условие вида

дпг

поскольку уравнение ГЯБ и условие Коши инвариантны относительно замены переменной го на —го, и функция 5, по предположению, удовлетворяет условиям гладкости.

Для отыскания классического решения уравнения ГЯБ применяется аналитическая процедура построения решения, основанная на методе локальных решений.

В первой главе излагаются модельные примеры, отличающиеся от основной задачи терапии злокачественных клеток (1)~(3),(5) отсутствием некоторых слагаемых в уравнениях динамики го и /г. Это позволило описать метод локальных решений и процедуру построения решения во всем пространстве на более простых примерах.

В разделе 1.1 содержится постановка в общем виде задачи оптимального управления, которая рассматривается в следующих разделах данной главы.

Задается система дифференциальных уравнений, описывающая динамику переменных шиА

^ = -т/(Л), т(0) = то, (12)

^ = —аН + и, Л(0) = йо, (13)

аЬ

где время изменяется в пределах £ 6 [О, Т], управление и(£) — неотрицательная функция ИЗ КЛ8.СС8. 17(х ([О»^1])) /(Л) — известная функция, принимающая неотрицательные значения при к ^ 0, параметр а ^ 0 — произвольная постоянная. Ограничение на управление имеет вид

О < «(О ^ <2, (14)

где С? — заданное значение. Требуется минимизировать функционал

Л«) = т2(Г)-» (15)

Задача решается методом динамического программирования. В предположении непрерывной дифференцируемости функции цены 5(т, к, 4) по своим переменным т, /г, I уравнение ГЯБ и условие Коши имеют вид

дБ дБ ,05 . . дБ

—— — —тт(п)—--сшт—• + 1П1 и-^-, (16)

дт К 'дтп 1 оЭЛ' ^ '

5(т,/1,г)и0 = ш2. (17)

Здесь г = Г -

Точная нижняя грань в (16) достигается на управлении (8). Подставляя его в (16), получаем уравнение ГЯБ и начальное условие в виде

дБ ....дБ с, . 2 ,1а.

а7 = ~т1Щ* ~акЖ + ф [ж) Ж 5(то'0) = т • (18)

где Ф (§£) определяется (10). Решение уравнения ищется в пространстве Г2 переменных т, /г, т

Г2 = {т > 0, Л, 0 < т < Т} 10

и предполагается выполненным краевое условие (11).

В пространстве П рассматриваем три множества

Г я? 1

Д,= |т>0,М<т<Т: — <0|,

Ир = |т > 0, к, 0 < г < Т : > 01,

{95 1

т>0,М<т*;Т:— = 0|,

соответствующие активному режиму управления (и = (£), неуправляемому движению (и = 0) и режиму с неопределенным управлением.

В разделе 1.2 изложена суть метода локальных решений для нахождения классического решения уравнения ГЯБ, применяемого к модельным задачам (12)—(15) и задачам терапии опухоли (1)-(5). Уравнение ГЯБ является нелинейным уравнением в частных производных первого порядка. Сначала отыскивают точные решения псевдоуравнений ГЯБ, удовлетворяющие условию Коши (17), вида

95 ,.,.95' ,95 , ~95 , /,п\

= + = (19)

и

^ = - аН^, 5(т, К0) = т2, (20)

которые совпадают с уравнением ГЯБ (18), первое, когда Ф = а. второе —при условии Ф (||) = 0. Уравнение (19) далее называем псевдоуравнением ГЯБ, соответствующим режиму активного управления (и = <Э), псевдоуравнение (20) — соответствующим режиму неуправляемого движения (и = 0). Они являются однородными линейными уравнениями в частных производных первого порядка. Обозначаем решения (19) и (20) через 5„ и и находим их с помощью метода характеристик. Этот метод сводит решение уравнения с частными производными к интегрированию характеристической системы обыкновенных дифференциальных уравнений. Функции Б!а и являются локальными решениями уравнения ГЯБ (18), поскольку удовлетворяют уравнению лишь в некоторой подобласти пространства.

Множество, на котором является локальным решением уравнения ГЯБ, задается в виде

функция является локальным решением уравнения ГЯБ на множестве

( дБ1 1

= ^ т > 0,/г,0 < г < Т: > 0

Через 7ц и 7р обозначаем границы этих множеств, исключая г == О,

т£= |т>0,М<г<Т:|| = 0|,

, \ 1 — Л, 0<г^Т: ~ ^ > .

С помощью найденных локальных решений Б1а и Б1р, определенных на множествах Ога и соответственно, удается построить классическое решение уравнения ГЯБ во всем пространстве Г2 в рассматриваемых задачах.

Если 7„ = 'Ур = 7, Б1а и £^7 = Г2 и на 7 склеиваются сами функции и 5р и их производные, то функция, равная

5(ш, к, т) =

&а, (т,Л,г)е£)1 и 7, (т,Л,г)е^,

является гладким решением уравнения ГЯБ во всем пространстве П, 7 — множество переключения управления с и = <5 на и — 0, и синтез управления имеет вид

(тЛг)е^,

и{тп, Л, г) = <

( 0, (ш,Л,г)

Если множество (или £)£) оказывается пустым, а Б1а и 7^ (или и 7^), напротив, совпадает со всем П, то 5 = (соответственно »? = 5^) — функция цены, и управление равно и = ф (и = 0) в П. Данный пример изложен в разделе 1.3 и соответствует общей постановке задачи (12)-(15), в

которой функция терапии /(/г) = Л./(1 + Л) — монотонно возрастающая на области определения, а = 0. Функция цены здесь полностью определяется локальным решением 81а. В утверждении 1.1 найдены точные решения Б1а псевдоуравнения ГЯБ, соответствующего и = С}, и псевдоуравнения с и — 0, удовлетворяющие условию Коши при г = 0. При этом оказалось, что множество В1а и совпадает со всем пространством П, множество И1р пусто. Поэтому функция, всюду в П равная является функцией цены в задаче, а управление имеет вид и — ф при всех (т, Л, г) £ П.

В противном случае, если ^ Ф -ур и 01аи Ори-у1аи^1р ^ ищут новые локальные решения уравнения ГЯБ в той части пространства, где решение не известно, но удовлетворяющие уже другому условию вместо (17). Выбор границы, на которой необходимо задавать условие, зависит от поведения характеристик уравнения ГЯБ, уходящих из г = 0, на множествах В1а и Лр и обеспечивает гладкое склеивание найденных локальных решений во всем пространстве переменных.

Раздел 1.4 посвящен рассмотрению обнаруженных трех типичных ситуаций, когда такой границей оказывается либо -ур, либо 7ц или отличное от них множество. Поступают следующим образом. Рассматривают множество, определяемое начмьным условием, которому удовлетворяет функция Беллмана. В нашем случае оно представляет собой гиперповерхность т — 0. Это множество является граничным для множеств В1а и Пр. Из него выпускают характеристики псевдоуравнений ГЯБ (19) и (20) на множества П1а и Вр. Далее характеристики псевдоуравнения ГЯБ, соответствующего и = <5, будем называть активными, а характеристики псевдоуравнения ГЯБ, соответствующего и = 0, пассивными. В зависимости от поведения характеристик возможны следующие случаи.

Первый случай описывается в пункте 1.4.1. Он характеризуется тем, что пассивные характеристики, уходящие с т = 0, заполняют все множество £)р, а активные характеристики — не все И1а. В этом случае отыскивают решение Б1 псевдоуравнения ГЯБ, соответствующего активному управле-

нию, удовлетворяющее условию S1— где 7 = *у1р. Данная ситуация наблюдается в задаче (12)—(15), в которой функция терапии f(h) = he~h немонотонна, коэффициент диссипации а — 0. В утверждении 1.2 найдены точные решения Sla и Sp псевдоуравнений ГЯБ, удовлетворяющие начальному условию (17). На рис. 1 построены множества Dla и Dlp, на которых Sla и Sp являются локальными решениями уравнения ГЯБ, и их границы у1а и 7р, на которых возможно переключение управления (для произвольного m > 0). При этом 7„ ^ 7^ и в области, ограниченной jla и jp; решение уравнения ГЯБ пока не известно. В утверждении 1.3 вычисляют еще одно локальное решение S1, решая псевдоуравнение ГЯБ, соответствующее и = Q,

удовлетворяющее условию , — S'il ,. Доказывается (следствия 1.1-1.6),

'р 1 ~i'p

что функция, определяемая локальными решениями Sla, Sp и S1, является классическим решением уравнения ГЯБ, -ур — множество переключения управления с и = Q на и = 0. Функции Sla и S1 и их соответствующие производные по переменным m, h, т совпадают на множестве 71, представляющем собой активную граничную характеристику, выходящую из h = 1. Функции Sj, и S1 гладко склеиваются на множестве 72 = 7р. На рис. 2 построены множества D[ a, Dl2 a, Dlp> на которых функция цены соответственно равна Sla, S1, S[„ и проведены характеристики к(т) уравнения ГЯБ (18).

Второй случай рассмотрен в пункте 1.4.2. Если активные характеристики, уходящие с т = 0, покрывают все множество Dla, а пассивные характеристики — напротив, не все Dlp, то отыскивают решение S1 псевдоуравнения ГЯБ, соответствующего пассивному управлению, с условием S'|7 = где теперь 7 = 7^. Такая ситуация возникла в задаче (12)- (15), в которой f(h) = h(2 — h) — немонотонная функция терапии, а Ф 0, Q < а. В утверждении 1.4 найдены точные решения Sla и Slp псевдоуравнений ГЯБ, удовлетворяющие начальному условию (17), в утверждении 1.5 —решение S1 псевдоуравнения ГЯБ, соответствующего и = 0, удовлетворяющее условию , = ,. Установлено, что функция, построенная с помощью ло-

Рис. 1: Множества П1а, Б1р, 7„, 7р. Характеристики уравнения ГЯБ (18) на множествах активного и пассивного управлений В1а и уходящие с т = 0. Проекция на плоскость (/гОт).

Рис. 2: Множества активного и пассивного управлений Д,, Бр. Характеристики уравнения ГЯБ (18), уходящие с т = 0 и 72. Проекция на плоскость (И 0 т).

кальных решений Sla, £'р и S1, является классическим решением уравнения ГЯБ, 7^ — множество переключения управления си = §наи = 0 (следствия 1.7-1.11). Функции Slp и S1 и их первые производные совпадают на множестве 72, представляющем собой граничную пассивную характеристику, выходящую из h = 1, a Sla и S1 вместе с производными — на множестве 7i = 7ц. На рис. 3 построены множества Dla и Dlpl на которых S'a и ¿>р являются локальными решениями уравнения ГЯБ, и их границы у1а и ур для случая Q < а. На рис. 4 построены множества Dla, D[p, Dl2p, на которых функция цены соответственно равна Sla, Sl, Sp) и проведены характеристики h(r) уравнения ГЯБ (18) для случая Q < а.

И, наконец, рассматривается последний случай, когда и активные, и пассивные характеристики, уходящие с т — 0, заполняют соответствующие множества Dla и Dlp не полностью. Он разобран в пункте 1.4.2 и наблюдается в задаче (12)—(15), в которой f(h) — h(2 - h), а ф 0 и Q > а. Тогда отыскивают решения S{ и Sl2 псевдоуравнений ГЯБ, отвечающих активному и пассивному управлениям, задавая условие на некотором множестве 70,

Рис. 3: Множества В1а, В1р, у1п, Рис. 4: Множества активного и пас-7'. Характеристики уравнения ГЯБ сивного управлений Оа, Бр. Ха-

(18) на множествах активного и пассивного управлений Б1а и Б1р, уходящие с т = 0. Случай С) < а. Проекция на плоскость (НОт).

рактеристики уравнения ГЯБ (18), уходящие с г = 0 и 71. Случай < а. Проекция на плоскость (к О т).

не совпадающем ни с ни с 7^, как это было в предыдущих двух случаях, вида = 5д, ¿2 |7о = Здесь — значения функции цены 5 на 70. При этом в качестве 70 выбирается множество, не пересекающееся с Б1а, Б1р и их границами, на котором функция цены известна или её можно найти, проведя дополнительный анализ (например, рассмотрев уравнения динамики переменных или отыскав особое управление). В данном модельном примере при к — 1 достигается максимум функции /(к) = Н(2 — к) и, как видно из уравнения динамики (12), обеспечивается наименьшее значение функции 7п(£). Чтобы оставаться на множестве 70 (при /г = 1) и тем самым держать минимальное тп(Ь), необходимо положить ^ = —ак + и = 0. Откуда управление равно и = ак\ь,=\ = а < (¡) (допустимое). Тогда уравнение (12) для функции т(£) принимает вид

^Г = ~тк(2 - Л)|л=1 = -т, т(£0) = т0, аъ

интегрируя которое, находим

т(Т) = те0е'°"т. 16

Следовательно, функция цены на 70 (при /г = 1) равна

5(т,М)|70 = т2е2е-т>

или в обратном времени г = Т — £

5(т, 1,г) = тп2е~2т.

В утверждении 1.6 найдены решения и ¿"о псевдоуравнений ГЯБ, отвечающих активному и пассивному управлениям, удовлетворяющие условию £(т, 1, г) = т2е~2г. Доказано (следствия 1.12-1.16), что функция, построенная с помощью локальных решений 5(', и является гладким решением уравнения ГЯЕ1, 70 — множество переключения управления с и — С} на и = 0. Функции и 5{ гладко склеиваются на множестве 71 (граничная активная характеристика, выходящая из /г = 1), функции Б1р и —на множестве 72 (граничная пассивная характеристика, выходящая из /г = 1), 5' и 5г — на 70. На рис.5 построены множества Б1а и на которых Б1а и 5р являются локальными решениями уравнения ГЯБ, и их границы 7^ и 71р. На рис. 6 построены множества В[ а, 0!2 а, 0[ р, 012 р, на которых функция цены соответственно равна Б1а. и проведены характеристики Л(т) уравнения ГЯБ (18) для случая ф > а.

Таким образом, были найдены три разных варианта построения классического решения уравнения ГЯБ в О с помощью локальных решений, если В'а и Бр и 7', и ~(1р ^ и 7^ ф у1р. В первом из них множеством переключения управления является 7^, во втором —7„ и, наконец, в третьем — множество, не совпадающее ни с 7^, ни с 7^. Какой вариант реализуется в конкретной ситуации, зависит от поведения характеристик уравнения ГЯБ, выходящих из г = 0.

Данный метод был также применен к решению задач синтеза оптимального управления в математических моделях терапии опухоли.

Вторая глава посвящена решению задачи синтеза оптимального управления в математической модели химиотерапии опухоли, растущей по

Рис. • 5: Множества Dla, Dlp, fla, 7p. Характеристики уравнения ГЯБ (18) на множествах активного и пассивного управлений Dla и Dlp, уходящие с т — 0. Случай Q > а. Проекция на плоскость (ЛОт).

Рис. 6: Множества активного и пассивного управлений Ц,, И,,. Характеристики уравнения ГЯБ (18) на множествах Па и Бр, уходящие с т = 0 и 7о- Проекция на плоскость (Л 0 г).

закону Гомперца

diTTi

— = rm — втпЫтп — 7т/(Л), т|'0) = то, dt

— = -ah + и, h( 0) = ho, at

0 ^ u(t) < Q,

т

Jun(t)dt^Qs,

о

J(w) = m?(T) inf,

(21) (22)

(23)

(24)

(25)

где ограничение на управление задается либо в виде (23), либо (24).

Раздел 2.1 содержит постановку задачи. Исследуется вопрос выбора параметра <2 — интенсивности управления в зависимости от максимально возможного количества химиотерапевтического средства в опухоли. Проводится анализ динамики системы (21), (22) в области тп > 0, к ^ 0 в предположении, что управление и является параметром 0 и ^ <3- Найдено единственное положение равновесия, которое является устойчивым узлом.

Содержится вывод уравнения ГЯБ для задачи с ограничением (23), классическое решение которого находится в следующих разделах с помощью метода локальных решений.

В разделах 2.2-2-4 рассматриваемое ограничение на управление имеет1 вид (23), в разделе 2.5— (24).

В разделе 2.2 решена задача синтеза оптимального управления в случае монотонной функции терапии f(h) (утверждение 2.1). Доказано, что и — Q при любых 0 ^ t < Т и положениях системы (т, Л), то есть стратегия управления состоит в постоянном применении максимально возможного количества химиотерапии.

Раздел 2.3 посвящен решению задачи синтеза оптимального управления, когда функция терапии f(h) немонотонна и имеет пороговый эффект. В этом случае оптимальная стратегия терапии иная: постоянное применение максимально возможного количества химиотерапевтического средства не требуется. Найдены области активного (и = Q) и пассивного (и = 0)

управлений. Если h, < Q/a, где h = arg max f(h) — единственная точка

h _ _

максимума функции терапии, то и = Q при h < h, и = 0 при h > h и и = ah при h — h. Для .случая h > Q/a найдено множество переключения управления с и = 0 на и — Q. Соответствующие доказательства приведены в утверждениях 2.2-2.6.

Режим особого управления (Габасов Р., Кириллова Ф. М. Особые оптимальные управления. М.: Наука, 1973) найден в разделе 2.4. Под особым управлением понимают оптимальное управление, при отыскании которого с помощью различных условий экстремума, например на основании принципа максимума Понтрягина, решение системы уравнений принципа максимума не определяет однозначно управление на траектории. Данный режим реализуется в случае немонотонной функции терапии и ограничении на управление в виде (23), когда h. < Q/a. С помощью него было найдено значение функции цены при h — h.

В разделе 2.5 рассматривается задача синтеза оптимального управления с ограничением на суммарный ресурс управления в виде (24), когда функция терапии /(к) является монотонно возрастающей. С учетом интегрального ограничения вводится новая фазовая переменная

о

имеющая смысл убывания химиотерапевтического средства, для которой уравнение динамики имеет вид

Задача также решена методом динамического программирования. Уравнение ГЯБ имеет вид

Применен метод локальных решений для отыскания функции цены как решения уравнения ГЯБ. В этом случае не удалось найти точное решение в1а псевдоуравнения ГЯБ, соответствующего активному управлению (и > 0). Однако, было построено приближенное решение уравнения ГЯБ и получена оценка по функционалу (утверждение 2.7). В качестве такого решения берется локальное решение являющееся решением псевдоуравнения ГЯБ, соответствующего неуправляемому движению (оно совпадает с Б1р для задачи с ограничением (23)), в котором вместо переменной к подставлена автомодельная переменная вида ии(к, ц, £) = к + цп (Т — £)1~". Синтез оптимального управления равен и = {С2з/Т)11п при всех 0 < £ < Т и значениях фазовых переменных.

В третьей главе решена задача синтеза оптимального управления в математической модели химиотерапии опухоли, растущей по обобщенному

^ = -«"(<), д(0) = С2„ д(Т) > 0.

— \гт — вт\п\т\ — ут/(к)] — ак~ + М дт от дк и>о

дт

логистическому закону

1 - (у)"] -7mf(h), т(0) = т0, (26)

^ = -ah + и, h{ 0) = Ло, (27)

0 < u{t) s: g, (28)

J(u) = m2m-Mnf. (29)

u

Раздел 3.1 начинается с постановки задачи. Проводится анализ динамики системы (26), (27) в области m ^ 0, /i > 0 в предположении, что управление к является параметром 0 ^ u ^ Q. Найдено единственное положение равновесия. Доказано, что оно является предельной точкой системы. Задача синтеза решается методом динамического программирования. Получено уравнение ГЯБ, классическое решение которого находится методом локальных решений в следующих разделах данной главы.

В разделе 3.2 рассматривается задача синтеза оптимального управления для монотонной функции терапии f(h). Доказано (утверждение 3.1), что и = Q при любых 0 < t < Т и положениях системы (m, h).

Раздел 3.3 посвящен решению задачи синтеза оптимального управления в модели с немонотонной функцией терапии /(Л), имеющей единственный максимум h — arg таxf(h). В этом случае постоянное применение

h

максимально возможного количества химиотерапевтического средства не является оптимальным. Найдены области активного (и = Q) и пассивного (и = 0) управлений. Если h < Q/a, то синтез оптимального управления повторяет случай математической модели, в которой рост клеток происходит по закону Гомперца. Если h > Q/a, то также найдено множество переключения управления с и = 0 на и = Q. Соответствующие доказательства проведены в утверждениях 3.2-3.6.

В заключении сформулированы основные результаты, полученные в диссертации.

В конце приводятся приложения, в которых подробно выполнены математические расчеты, используемые в доказательствах утверждений третьей и четвертой глав.

Основные результаты работы

В диссертации решена задача синтеза оптимального управления в математических моделях химиотерапии опухоли. Предполагается, что клетки опухоли растут по закону Гомперца или по обобщенному логистическому закону. Задается ограничение либо на величину количества химиотерапев-тического средства, вводимого в опухоль в единицу времени, либо на его суммарное количество, используемое за указанный промежуток времени. Доказано, что вид закона роста клеток качественно не влияет на стратегию терапии. Синтез оптимального управления существенно зависит от типа функции терапии, описывающей степень воздействия средства на клетки опухоли (монотонно возрастающая или возрастающая до некоторого значения, а затем убывающая). В случае ограничения на количество вводимого в единицу времени химиотерапевтического средства получено явное выражение для функции цены. Для интегрального ограничения на управляющее воздействие найдена оценка для функции цены.

Если функции терапии является монотонно возрастающей, то есть оказываемое воздействие на опухоль тем сильнее, чем больше химиотерапевтического средства, то оптимальная стратегия терапии тривиальна и состоит в постоянном применении максимально возможного количества средства.

Для немонотонной функции терапии, когда оказываемое на опухоль химиотерапевтическое воздействие уменьшается при достижении его количеством некоторого порогового значения Л, стратегия терапии иная. Построен синтез оптимального управления. В случае ограничения Л < <Э/а на параметры задачи, необходимо сначала довести количество химиотерапевтического средства в опухоли до предельного значения Н и затем поддерживать его на этом уровне с помощью управления и — аН до конца

процесса. Если же h > Q/a, то найдено множество точек переключения управления с и = Q на и — 0, представляющее собой поверхность в фазовом пространстве, разделяющую его на две области, в одной из которых необходимо управлять с и =■ Q, а в другой — положить и = 0. Таким образом, по заданному состоянию фазовых переменных в каждый момент времени, зная положение поверхности переключения в пространстве, можно указать оптимальную стратегию терапии.

Сформулирован метод локальных решений для нахождения классического решения уравнения Гамильтона—Якоби—Беллмана. Обнаружены четыре различные ситуации, возникающие при склеивании локальных решений, которые разобраны на примерах модельных задач.

Публикации по теме диссертации

1. Чумерина Е. С. Выбор оптимальной стратегии химиотерапии в модели Гомперца // Известия РАН. Теория и системы управления. 2009. № 2. С. 170-176.

2. Братусь А. С.,Чумерина Е. С. Синтез оптимального управления в задаче выбора лекарственного воздействия на растущую опухоль // ЖВММФ. 2008. Т. 48. Вып. 6. С. 946-966.

3. Bratus A. S., Chumerina K.S. Optimal control synthesis in the problem of drug therapy of vascular tumour growth // Abstracts international conference «Differential equations and topology», Moscow. 2008. P.230-231.

4. Братусь А. С., Чумерина E. С., Антипов А. В. Задачи оптимальной терапии в биологических моделях // Тезисы докладов Международной конференции «Актуальные проблемы теории устойчивости и управления», Екатеринбург. 2009. С. 37-38.

Чумерина Екатерина Сергеевна

Синтез оптимального управления в математических моделях химиотерапии опухоли, растущей по закону Гомперца и логистическому закону

Специальность 05.13.18— Математическое моделирование, численные методы и комплексы программ

Подписано в печать 21.10.09 Формат 60x84 1/16.

Усл. печ. л. - 1.5 Тираж 80 экз.

Заказ №641

127994, Москва, ул. Образцова, 9, стр. 9 Типография МИИТ

Введение

1 Построение классических решений уравнения Гамильтона— Якоби—Беллмана для модельных задач синтеза оптимального управления методом локальных решений

1.1 Постановка задачи. Уравнение Гамильтона—Якоби—Беллмана

1.2 Описание метода локальных решений.

1.3 Модель 1 (монотонная функция терапии).

1.4 Модель 2 (немонотонная функция терапии).

1.4.1 Случай а = 0.

1.4.2 Случай аф 0.

2 Синтез оптимального управления в математической модели химиотерапии опухоли, растущей по закону Гомперца

2.1 Постановка задачи. Уравнение Гамильтона—Якоби—Беллмана для случая ограничения на управление в виде 0 ^ и < Q

2.2 Монотонная функция терапии.

2.3 Немонотонная функция терапии.

2.4 Особое управление.

2.5 Ограничение на суммарный ресурс управления.

3 Синтез оптимального управления в математической модели химиотерапии опухоли, растущей по обобщенному логистическому закону

3.1 Постановка задачи. Уравнение Гамильтона—Якоби—Беллмана

3.2 Монотонная функция терапии.

3.3 Немонотонная функция терапии.

Диссертация посвящена вопросам построения синтеза оптимального управления в математических моделях химиотерапии опухоли при различных законах роста числа злокачественных клеток (закон Гомперца и обобщенный логистический закон).

Злокачественная опухоль вызывает неконтролируемый или слабокон-тролируемый рост огромного числа клеток, которые способны проникать в прилежащие ткани и повреждать их, а также перемещаться с током крови и лимфы в другие органы и порождать там новые очаги опухолевого роста. Все опухоли можно разделить на две большие группы. К первой относят твердые опухоли (solid tumor), такие как рак груди, легких, печени, предстательной железы, поджелудочной железы, толстой кишки. Больные клетки формируются в некотором месте организма человека. Раковая опухоль разрастается неконтролируемым образом и дает метастазы в другие органы. Ко второй группе относят рассредоточенные или рассеянные раковые опухоли (dispersed or disseminated tumor), такие как лейкоз, миелома и др. В этом случае злокачественные клетки могут возникать из кроветворных клеток костного мозга, разрастаться и занимать место здоровых клеток в мозге, периферической крови и других органах кровеносной системы. В диссертации исследуются математические модели роста опухолей, относящиеся к первой группе.

В настоящее время разработаны многочисленные математические модели роста твердой опухоли: модель роста некровоснабжаемой (несосудистой) опухоли (avascular tumor) [24, 25, 45], модель ангиогенеза (развития сосудов) [29, 37, 46], модель роста кровоснабжаемой опухоли (vascular tumor) [31].

В работе рассматриваются пространственно-однородные математические модели роста твердой некровоснабжаемой опухоли. Описание пространственно - неоднородных моделей некровоснабжаемой опухоли можно найти в [27], обзор математических моделей рассеянной опухоли содержится в [23, 49].

В пространственно-однородных моделях твердой несосудистой опухоли, как правило, рассматривают полный объем опухоли или общее число клеток. Для описания роста, в основном, используются обыкновенные дифференциальные уравнения, либо уравнения в частных производных, хотя имеется и достаточно большое количество моделей, основанных на вероятностном подходе и методах имитационного моделирования [35, 41]. Для оценки параметров используются реальные эксперименты как in vitro, так и in vivo. Таким же опытным путем оценивается эффективность стратегии терапии (постоянное использование лекарств или периодическое вливание).

В настоящее время имеется большое число математических моделей, описывающих рост многоклеточного опухолевого сфероида [24]. Опытные наблюдения свидетельствуют, что увеличение опухоли в размере сопровождается процессами, ограничивающими ее рост. Это связано с тем, что возникает конкуренция за питательное вещество и другие жизненные источники, например, пространство. Процесс роста протекает в три фазы: экспоненциальный рост, линейный и, наконец, выход на плато. В [38] был проведен сравнительный анализ данных развития опухоли in vitro и in vivo с моделью «universal law». При выводе модели были обезразмерены переменные массы опухоли и время роста t ([50]) и для новых переменных гит закон «universal law» представляется уравнением г = 1 — е~т. Для анализа использовались данные литературы, содержащие результаты роста опухоли in vitro и in vivo для животных и человека. Полученные результаты подтвердили предположение о том, что разрастание опухоли подчиняется описанному закону. На рис. 1, 2 приведены кривые роста опухолей, построенные по экспериментальным данным.

A breast ♦ prostate -iniversal law

10

12

Рис. 1: Кривые роста опухолей in vivo (опухоли груди и предстательной железы больных) в сравнении с законом «universal law».

Диссертация посвящена моделям, в которых для описания роста опухолевого сфероида используются закон Гомперца и обобщенный логистический закон [30, 40, 45]. Обозначаем через m(t) — количество клеток опухоли в момент времени t. Тогда без учета внешних воздействий динамика роста числа клеток опухоли определяется уравнением Гомперца din = rm{t) — Omit) In m(t), m(0) = m0 > 0, r, 9 — const > 0 (1)

Jib или частным случаем обобщенного логистического уравнения dm ~dt rm(t)

1 m(0) = m0 > 0, r, 9, /3 - const > 0. (2)

Закон Гомперца (1) выражает следующие связи между параметрами г, 9 и особенностями кривой роста [42]:

Постоянные г > 0 и 9 > 0 характеризуют скорости роста клеток и его замедления соответственно.

Решение задачи Коши (1) представляется в виде m(t) = mf'e^-*-").

Рис. 2: Кривые роста сфероидов in vitro (gliosarkoma (9L), glioblastoma (U118), другая glioblastoma (SNB19)) в сравнении с законом «universal law».

Решение имеет предельное значение при t —> сю, равное rrioo = еК

Точка перегиба графика означает, что рост опухоли замедляется, когда достигнута его максимальная скорость, что с биологической точки зрения всегда происходит вследствие внешних факторов и возможного внутреннего контроля роста. Находим точку перегиба т из условия d2m , Л. dm Л . . (г - вЫт — в) —— = 0 (3) dt2 v .' dt и, поскольку > 0 для конечного то г Л 1

In 771 = - — 1, t = - In в ' в

-lnmo], (4) где t — время, когда данная точка перегиба достигается. Если выполняется неравенство г/9 — In mo < 1, то, очевидно, точки перегиба нет, что означает уменьшение т при t > 0 и т < то.

Опухоль может максимально вырасти до размера точки перегиба, умноженной на е. Действительно, из (4) вытекает, что ж = е^-1, 777оо = ет.

При t > t выполняется неравенство m(t) > rh и, следовательно, тоо < em(t).

Закон Гомперца можно применять для описания роста как твердых, так и рассеянных видов опухолей [43].

Приведем свойства обобщенного логистического закона (2):

Постоянная г > 0 характеризует темп роста клеток, 9 > О интерпретируется как предельное значение числа клеток. Семейство кривых закона зависит от параметра /?, который определяет большую или меньшую скорость насыщения по сравнению с логистическим законом роста, соответствующего /3 = 1 в модели (2). Это дает большую гибкость при написании модели на основе экспериментальных данных.

Решение задачи Коши (2) представляется равенством Решение имеет предельное значение при t —> оо, равное = в, что соответствует фазе выхода на плато.

На рис. 3 представлены графики решений уравнения (1) (обозначен Gompertz) и уравнения (2) (Logistic) при разных значениях /?.

Достоинством данных моделей является довольно точное качественное описание характера роста: в начале процесса происходит экспоненциальный рост числа клеток, который сменяется на рост близкий к линейному, и затем происходит выход на плато предельного числа клеток в опухоли. Чаще других используется модель Гомперца, поскольку в большинстве случаев она описывает кривую роста лучше. К недостаткам моделей (1) и (2) следует отнести пренебрежение внутренней структурой опухоли (наличие некротического ядра), а также отсутствие многих других внешних факторов (доступность питательного вещества, разнотипность клеток опухоли, трудность соотнесения параметров моделей с поведением самих клеток). т

12 ю 4 8 6 2 0 0 5

10

15

20

25

30

Рис. 3: Графики решения уравнения Гомперца (1) и обобщенного логистического уравнения (2) при (3 = 0.5, 1, 2.

Одним из эффективных способов борьбы с опухолью является химиотерапия. Для изучения проблемы проводятся клинические исследования in vitro и in vivo, имеющие как успешные, так и неудачные результаты. Ясно, что исследование математических моделей важно с точки зрения того, что они могут дать для диагностики и лечения болезни. Следует отметить, что в работе такой сложный процесс, как рост и подавление злокачественных клеток исследуется в достаточно идеализированном и упрощенном виде, как математические модели, поэтому полученные результаты нуждаются в экспериментальной проверке. Предполагается, что химиотерапевтическое средство способно убивать клетки, причем их взаимодействие описывается с помощью соотношений, аналогичных принятым в уравнении хищник-жертва Лотка-Вольтерры. Аналогия следующая: хищником выступает средство, жертвой — клетка. Целью диссертации является исследование вопроса оптимальной химиотерапии злокачественных клеток в принятой математической модели.

В диссертации исследуется математическая модель воздействия хи-миотерапевтического средства на клетки опухоли с возможностью управления этим процессом. Количество химиотерапевтического средства в опухоли регулируется с помощью управляющей функции. Обозначаем через h(t) — количество химиотерапевтического средства в момент времени t, способного убивать клетки опухоли, f(h) — функцию терапии, описывающую степень воздействия средства на клетки опухоли, u(t) — количество химиотерапевтического средства, вводимого в опухоль в единицу времени. Рассматриваются два варианта функции терапии: монотонно возрастающая всюду при h > О, называемая далее монотонной, и возрастающая до некоторого значения h, а затем убывающая, обозначаемая как немонотонная. Первый случай означает, что увеличение количества химиотерапевтического средства приводит лишь к повышению эффективности терапии. Второй случай соответствует ситуации, когда действенность препарата уменьшается при достижении некоторой пороговой величины h. Процесс взаимодействия клеток опухоли и химиотерапевтического средства задается уравнениями d/m = д{т)-'ymf^h), 7 - const > 0, ra(0) = ra0, (5) = —ah + и, а — const > 0, h{0) — ho, (6)

Hi U где <7 (га) = г га — 9 т In га в случае роста числа злокачественных клеток

- (f У] ском законе. Время изменяется в пределах t € [0, Г], параметр 7 определяет эффективность принимаемой терапии, а — коэффициент диссипации, u(t) — неотрицательная функция из пространства Loo([0,T]) существенно ограниченных измеримых на [0, Т] функций. Ставится ограничение либо на величину количества химиотерапевтического средства, вводимого в опухоль в единицу времени

0 < u(t) < Q, (7) либо на его суммарное количество, используемое за промежуток времени [0, Г] т

J un(t) dt < Qs. (8) о по закону Гомперца и д(т) = гт при обобщенном логистиче

Здесь величины Q, Qs и п > 1 заданы. Требуется решить задачу синтеза оптимального управления с целью минимизации квадрата числа клеток к фиксированному моменту времени Т

J {и) — m2(T) —> inf. (9) и

Некоторые подходы взаимодействия теории оптимального управления с химиотерапией опухоли излагаются в [47, 48], где исследуются динамика раковых клеток х, а также управляющее воздействие u(t) на них противоопухолевым лекарством, которое предполагается постоянно доставляемым. Отметим, что не рассматривается уравнение динамики для лекарства.

Решена задача оптимального управления в случае минимизации функциот т налов J и(т) dr, f [u;(rr) + /ж2(т)] dr. о о

Оптимальные стратегии терапии неоднородной опухоли изучались в [32, 33]. Доказано, что оптимальная стратегия управления заключается в применении постоянного управления и = и0 > 0, где и0 — максимально возможная концентрация лекарства, в случае модели, содержащей два типа клеток: подверженных терапии и не поддающихся терапевтическому воздействию, если рост клеток опухоли происходит по линейному закону (закон Мальтуса) и функция терапии f(h) также является линейной.

При лечении опухолей возможно осуществлять непрерывный контроль за текущим состоянием больного, и, следовательно, в каждый момент времени t фазовый вектор (m(t),h(t)) может быть измерен с достаточно большой степенью точности. Более того, так как реакция на химиотера-певтическое средство может протекать по-разному, то стратегия терапии в каждый момент времени должна учитывать текущее состояние больного. Поэтому оптимальное управление в задаче (5) - (9) ищется в классе функций, зависящих от времени и фазовых координат и имеет вид и = u(m, /г, t), то есть ищется С-управление (управление по принципу обратной связи или синтез управления), указывающее, какие управляющие воздействия должны выбираться в каждом из возможных положений системы.

В диссертации впервые рассмотрена задача построения синтеза оптимального управления при одном из двух видов ограничений (7) или (8) и двух типах функции терапии.

Поскольку задача состоит в нахождении синтеза управления, то в качестве основного метода решения был выбран метод динамического программирования, разработанный Р. Беллманом [5, 6]. Он заключается в том, что конкретная задача с фиксированными значениями параметров погружается в семейство задач, в которых эти параметры представляют собой области. Затем выводятся соотношения, связывающие различные элементы этого семейства задач. Оптимальные значения минимизируемого функционала, вычисленные для каждого сочетания параметров, образуют функцию цены. При этом набор параметров должен быть достаточным, чтобы можно было сформулировать принцип оптимальности. Тогда функция цены является решением дифференциального уравнения в частных производных, называемого уравнением Гамильтона—Якоби—Беллмана (далее уравнение ГЯБ). Синтез управления находится как множество управлений, на котором достигается экстремум в этом уравнении. При этом трудности связаны с тем, что решать задачу Коши для уравнения ГЯБ нужно во всем фазовом пространстве переменных. В частности, при применении численных процедур отыскания решения неизвестна асимптотика этих решений, а ее поиск представляет самостоятельную и не менее трудную задачу [1].

Часто функция цены бывает не всюду гладкой, тогда используются различные понятия обобщенного решения уравнения Беллмана такие как, вязкостные решения, введенные М. Г. Крэндаллом и П. J1. Лионсом [34], или минимаксные решения, определенные А. И. Субботиным [19, 20]. В диссертации построены классические решения уравнения ГЯБ для рассматриваемых задач.

Классические решения уравнения ГЯБ удается найти лишь в ограниченном числе задач (например, линейно-квадратичная задача оптимального управления) [36, 4]. Однако в ряде случаев полученное в них оптимальное управление невозможно применить на практике, потому что управляющая функция допускает бесконечно большие значения.

В [16, 7] решены задачи синтеза оптимального управления стохастическими системами для случая интегрального ограничения на управление. Доказано, что локальные решения уравнения Беллмана (то есть решения внутри некоторой подобласти пространства переменных) аппроксимируют оптимальное значение функционала.

Целью данной работы является решение задач синтеза оптимального управления в математических моделях химиотерапии опухоли и нахождение классических решений уравнений ГЯБ.

Для достижения поставленной цели применялся метод локальных решений, с помощью которого был разработан аналитический способ гладкого склеивания локальных решений, соответствующих активному и неуправляемому движениям и тем самым найдены классические решения уравнения ГЯБ в рассмотренных задачах.

В первой главе диссертации излагаются модельные примеры, описывающие разные случаи построения классического решения уравнения Гамильтона—Якоби—Беллмана с помощью метода локальных решений. Они отличаются от основной задачи терапии злокачественных клеток (5)—(7),(9) отсутствием некоторых слагаемых в уравнениях динамики га и h. Это позволило продемонстрировать метод локальных решений и процедуру построения решения во всем пространстве на более простых примерах.

В разделе 1.1 содержится постановка в общем виде задачи оптимального управления, которая рассматривается в следующих разделах данной главы.

Задается система дифференциальных уравнений, описывающая динамику переменных т и h

10) = -ah + и, h( 0) — ho, dt

И) где /(/i)—заданная функция терапии, управление u(t) — неотрицательная функция из класса Loo([0,T]), а ^ 0 — произвольная постоянная. Ограничение на управление имеет вид

О < u{t) ^ Q, (12) где Q — заданное значение. Требуется минимизировать функционал

J (и) — т2(Т) inf. (13)

Вводится функция цены S(rn, h, t) — точная нижняя грань заданного функционала, которая может быть достигнута в задаче оптимального управления при начальных условиях Ц = t, tuq = m, Iiq = h. Предполагается, что она непрерывно дифференцируема по своим переменным га, h, t. Тогда функция S удовлетворяет уравнению ГЯБ и условию Коши [36], которые для задачи (10)—(13) имеют вид ds as hds ds = —mf(h)—--ah—- + mf u— (14) от dm oh o^u^q oh

S(m,h,r)\T=0 = m2. (15)

Здесь была произведена замена переменной т = Т — t, которая имеет смысл обратного времени.

Вычисляя точную нижнюю грань в (14), находим, что она достигается на управлении

Q, Ш < о, u(m, h,r) — <

0, Щ > 0,

Подставляя его в (14), получаем уравнение ГЯБ и начальное условие в виде dS *fu\dS udS ,^fdS\dS or I. ns 2 MCV где

Ф = /Q' Ц <

Решение уравнения ищется в пространстве переменных га, h, т

Q = {т > 0, h, 0 < г ^ Т}.

Дополнительно предполагается выполненным краевое условие вида

95 =о,

771=0 dm поскольку уравнение ГЯБ и условие Коши инвариантны относительно замены переменной га на —га, и функция S, по предположению, удовлетворяет условиям гладкости. В пространстве Q рассматриваем три множества

Da = {га > 0, h, 0 < т ^ Т : Sh < 0}, Dp = {m>0,h,0<T^T:Sh>0}, Dn = {га > 0, h, 0 < т ^ Т : Sh = 0}, соответствующие активному режиму управления (и = Q), неуправляемому движению (и = 0) и режиму с неопределенным управлением.

В разделе 1.2 изложена суть метода локальных решений для нахождения классического решения уравнения ГЯБ, применяемого к модельным задачам (10)—(13) с различными f(h) и параметрами системы и задачам терапии опухоли (5)-(9). Уравнение ГЯБ является нелинейным уравнением в частных производных первого порядка. Сначала отыскивают точные решения псевдоуравнений ГЯБ, удовлетворяющие условию Коши (15), вида и

ВЧ = Жт.М) = ">2, (18) первое из которых совпадает с уравнением ГЯБ (16) при Ф {jjji} = Q, & второе —при условии Ф (щ") — 0. Уравнение (17) далее называем псевдо-уравпением ГЯБ, соответствующим режиму активного управления (и = Q), псевдоуравнение (18)—соответствующим режиму неуправляемого движения (и = 0). Они являются однородными линейными уравнениями в частных производных первого порядка. Обозначаем решения (17) и (18) через Sla и Sp и находим их с помощью метода характеристик [12, 14, 15, 17, 18]. Этот метод сводит решение уравнения с частными производными к интегрированию характеристической системы обыкновенных дифференциальных уравнений. Функции Sla и Slp являются локальными решениями уравнения ГЯБ (16), поскольку удовлетворяют уравнению лишь в некоторой области. Множество, на котором Sla является локальным решением уравнения ГЯБ, задается в виде функция Si является локальным решением уравнения ГЯБ на множестве

Dlp= {т> h,0<r^T:О dsl dh

Через и ^у1р обозначаем границы этих множеств, исключая т = О,

Г ЗЧ1 Л yla = lm>0,h,Q<T ^Т : —- = О L dh dS,

7;= <jm> 0, М <т^Т: ^ = 0}.

С помощью локальных решений Sla и Slp, определенных на множествах Dla и Dlp соответственно, оказывается, можно построить классическое решение уравнения ГЯБ во всем пространстве Q.

В разделе 1.3 содержится первый пример построения классического решения уравнения ГЯБ. В нем функция цены полностью определяется локальным решением Sla. Данный пример соответствует общей постановке задачи (10)—(13), в которой функция терапии f(h) = h/( 1 + h) — монотонно возрастающая на области определения, коэффициент диссипации а = 0. Были найдены точное решение Sla псевдоуравнения ГЯБ, соответствующего u = Q, и точное решение Sp псевдоуравнения с и = 0, удовлетворяющие условию Коши при т = 0. При этом оказалось, что множество Dla U -yla совпадает со всем пространством переменных, множество Dlp пусто. Поэтому функция, всюду в равная Sla, является функцией цены в задаче, а управление имеет вид и = Q при всех (m, h, т) 6Е П.

Если границы jla и jlp совпадают — 7р — 7) Функции Sla и Sp, заданные на множествах Dla и Dlp соответственно, склеиваются на 7 вместе со своими производными по переменным m, h, г, а DlaU DlpU j образует все то функция, совпадающая с локальным решением Sla на Dla и с Sp на множестве Dlp, является классическим решением уравнения ГЯБ, и синтез оптимального управления равен и = Q в области Dla и и = 0 в Dlp. В противном случае, если 7^ ф 7^ и Dla U Dlp U 7^ U 7^ ф Г2, ищут новые локальные решения уравнения ГЯБ в той части пространства, где решение не известно, но удовлетворяющие уже другому условию вместо (15). Выбор границы, на которой необходимо задавать условие, зависит от поведения характеристик уравнения ГЯБ, уходящих из т = 0, на множествах Dla и Dlp и обеспечивает гладкое склеивание найденных локальных решений во всем пространстве переменных.

Заключение

Приведем основные результаты работы.

В диссертации решена задача синтеза оптимального управления в математических моделях химиотерапии опухоли. Предполагается, что клетки опухоли растут по закону Гомперца или по обобщенному логистическому закону. Задается ограничение либо на величину количества химиотерапев-тического средства, вводимого в опухоль в единицу времени, либо на его суммарное количество, используемое за указанный промежуток времени. Доказано, что вид закона роста клеток качественно не влияет на стратегию терапии. Синтез оптимального управления существенно зависит от типа функции терапии, описывающей степень воздействия средства на клетки опухоли (монотонно возрастающая или возрастающая до некоторого значения, а затем убывающая). В случае ограничения на количество вводимого в единицу времени химиотерапевтического средства получено явное выражение для функции цены. Для интегрального ограничения на управляющее воздействие найдена оценка для функции цены.

Если функции терапии является монотонно возрастающей, то есть оказываемое воздействие на опухоль тем сильнее, чем больше химиотерапевтического средства, то оптимальная стратегия терапии тривиальна и состоит в постоянном применении максимально возможного количества средства.

Для немонотонной функции терапии, когда оказываемое на опухоль химиотерапевтическое воздействие уменьшается при достижении его количеством некоторого порогового значения h, стратегия терапии иная. Построен синтез оптимального управления. Когда параметры задачи удовлетворяют условию h ^ Q/a, необходимо сначала довести количество химиотерапевтического средства в опухоли до предельного значения h и затем поддерживать его на этом уровне с помощью управления и = ah до конца процесса. Если же h > Q/a, то найдено множество точек переключения управления с и = Q на и — 0, представляющее собой поверхность в фазовом пространстве, разделяющую его на две области, в одной из которых необходимо управлять с и = Q, а в другой — положить и = 0. Таким образом, по заданному состоянию фазовых переменных в каждый момент времени, зная положение поверхности переключения в пространстве, можно указать оптимальную стратегию терапии.

Сформулирован метод локальных решений для нахождения классического решения уравнения Гамильтона—Якоби—Беллмана. Обнаружены четыре различные ситуации, возникающие при склеивании локальных решений, которые разобраны на примерах модельных задач.

1. Акуленко J1. Д. Асимптотические методы оптимального управления. М.: Наука, 1987. 368 с.

2. Арнольд В. И. Обыкновенные дифференциальные уравнения. Ижевск:

3. Ижевская республиканская типография, 2000. 368 с.t

4. Афанасьев В.Н., Колмановский В. Б., Носов В. Р. Математическая теория конструирования систем управления. М.: Высшая школа, 2003. 614 с.

5. Бабич О. А. Новая форма решения линейно-квадратичной задачи из теории оптимального управления // Известия АН СССР. Техническая кибернетика. 1990. № 2. С. 33-48.

6. Беллман Р. Динамическое программирование. М.: ИЛ, 1960. 400 с.

7. Беллман Р., Энджел Э. Динамическое программирование и уравнения в частных производных. М.: Мир, 1974. 207 с.

8. Братусь А. С., Волосов К. А. Точные решения уравнения Гамильтона-Якоби-Беллмана для задач оптимальной коррекции с ограниченным суммарным ресурсом управления // ПММ. 2004. Т. 68. Вып. 4. С. 819— 832.

9. Братусь А. С., Чумерина Е. С. Синтез оптимального управления в задаче выбора лекарственного воздействия на растущую опухоль // ЖВММФ. 2008. Т. 48. Вып. 6. С. 946-966.

10. Братусь А. С., Чумерина Е. С., Антипов А. В. Задачи оптимальной терапии в биологических моделях // Тезисы докладов Международной конференции «Актуальные проблемы теории устойчивости и управления», Екатеринбург. 2009. С. 37-38.

11. Габасов Р., Кириллова Ф.М. Особые оптимальные управления. М.: Наука, 1973. 256 с.

12. Годунов С. К. Уравнения математической физики. М.: Наука, 1971. 416 с.

13. Камке Э. Справочник по дифференциальным уравнениям в частных производных первого порядка. М.: Наука, 1966. 260 с.

14. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. М.: Физматлит, 2006. 572 с.

15. Кошляков Н. С., Глинер Э. В., Смирнов М. М. Уравнения в частных производных математической физики. М.: Высшая школа, 1970. 712 с.

16. Курант Р., Гильберт Д. Методы математической физики. Т.2. M.-JL: Гостехиздат, 1951. 544 с.

17. Овсеевич А. И. Локальный принцип Беллмана в задачах оптимального управления // Известия АН СССР. Техническая кибернетика. 1981. № 4. С. 3-9.

18. Понтрягин J1. С. Обыкновенные дифференциальные уравнения. М.:Наука, 5-е изд., 1982. 331 с.

19. Степанов В. В. Курс дифференциальных уравнений. М.: Физматгиз, 1958. 468 с.

20. Субботин А. И. Минимаксные неравенства и уравнения Гамильтона-Якоби. М.: Наука, 1991. 215 с.

21. Субботин А. И. Обобщенные решения уравнений в частных производных первого порядка. Перспективы динамической оптимизации. М.,И: Институт компьютерных исследований, 2003. 336 с.

22. Черноусько Ф.Л. Автомодельные решения уравнения Беллмана для задач оптимальной коррекции случайных возмущений // ПММ. 1971. Т. 35. Вып. 2. С. 333-342.

23. Чумерина Е. С. Выбор оптимальной стратегии химиотерапии в модели Гомперца // Известия РАН. Теория и системы управления. 2009. № 2. С. 170-176.

24. Afenya Е. К., Calderon С. P. Diverse ideas on the growth kinetics of disseminated cancer cells // Bull. Math. Biol. 2000. 62. P. 527-542.

25. Araujo R. P., McElwain D. L. A history of the study of solid tumour growth: The contribution of mathematical modelling // Bull. Math. Biol. 2004. 66. P. 1039-1091.

26. Bajzer Z., Vuk-Pavlovic S., Huzak M. Mathematical modeling of tumor growth kinetics. In: A survey of models for tumor-immune system dynamics. Adam J.A., Bellomo N. Boston: Birkhauser. 1997. P. 89-133.

27. Bratus A. S., Chumerina K. S. Optimal control synthesis in the problem of drug therapy of vascular tumour growth // Abstracts international conference "Differential equations and topology", Moscow. 2008. P. 230-231.

28. Byrne H. M., Chaplain M.A.J. Mathematical models for tumour angiogenesis: numerical simulations and nonlinear wave solutions // Bull. Math. Biol. 1995. V. 57. № 3. P. 461-486.

29. Byrne H. M. Using mathematics to investigate solid tumour growth // Proc. 9-th General Meetings of European Women in Mathematics, Loccum, Germany. 1999. P. 81-107.

30. Byrne H. M. A weakly nonlinear analysis of a model of avascular solid tumour growth // J. Math. Biol. 1999. 39. P. 151-181.

31. Calderon C. P., Kwembe T. A. Modelling tumor growh // Math. Biosciences. 1991. V. 103. P. 97-114.

32. Chaplain M. A. Avascular growth, angiogenesis and vascular growth in solid tumours: the mathematical modelling of the stages of tumour development // Math. Сотр. Modelling. 1996. V. 23. P. 47-87.

33. Costa M. I., Boldini J. L., Bassanezi R. C. Drug Kinetics and Drug Resistance in Optimal Chemotherapy // Math. Biosciences. 1995. 125. P. 191-209.

34. Costa M.I., Boldini J.L., Bassanezi R. C. Chemotherapeutic Treatments Involving Drug Resistance and Level of Normal Cells as a Criterion of Toxicity // Math. Biosciences. 1995. 125. P. 211-228.

35. Crandall M. G., Lions P. L. Viscosity solutions of Hamilton-Jacobi equations // Transactions of American Mathematical Society. 1983. V. 277. P. 1-41.

36. Dormann S., Deutsch A., Lawniczak A. T. Fourier analysis of Turinglike pattern formation in cellular automaton models // Future computer generation systems. 2001. V. 17. P. 901-909.

37. Fleming W., Rishel R. Deterministic and stochastic optimal control. Berlin: Springer-Verlag. 1975.

38. Folkman J., Hochberg M. Self-regulation of growth in three-dimensions // J. Exp. Med. 1973. 138. P. 745-753.

39. Guiot C., Degiorgis P.G., Delsanto P.P, Gabriele P., Deisboeck T.S. Does tumor growth follow a «universal law»? // Journal of Theoretical Biology. 2003. 225. P. 147-151.

40. Hofbauer J., Sigmund K. The Theory of Evolution and Dynamical Systems. New York: Cambridge University Press, 1988.

41. Kendal W. S. Gompertzian growth and as a consequence of tumor heterogeneity // Math. Biosciences. 1985. V. 73. P. 103-107.

42. Komarova N.L., Wodarz D. Evolutionary dynamics of mutator phenotypes in cancer: implications for chemotherapy // Cancer Research. 2003. V. 63. P. 6635-6642.

43. Kozusko F., Bajzer Z. Combining Gompertzian growth and cell population dynamics // Math. Biosciences. 2003. V. 185. P. 153-167.

44. Laird А. К. Dynamics of tumor growth: Comparison of growth rates and extrapolation of growth curve to one cell // British J. Cancer. 1965. 19. P. 278-291.

45. Murray J. D. Mathematical Biology II: Spatial Models and Biomedical Applications. Springer. 2003. P. 811.

46. Marusic M., Bajzer Z., Preyer J. P., Vuk-Pavlovic S. Analysis of growth of multicellular tumour spheroids by mathematical models // Cell Prolif. 1994. 27. P. 73-94.

47. Sutherland R. M., Durand R. E. Growth and cellular characteristics of multicell spheroids // Recent Results in Cancer Research. 1984. 95. P. 24-49.

48. Swan G. W. Role of optimal control theory in cancer chemotherapy // Math. Biosciences. 1990, V. 101. № 1. P. 237-284.

49. Swan G. W. Cancer chemotherapy: optimal control using the Verhulst-Pearl equation // Bull. Math. Biol. 1986. Vol. 48. № 3/4. P. 381-404.

50. Wai-Yuan Tan, Leonid Hanin. Handbook of cancer models with applications // Series in mathematical biology and medicine. 2008. Vol. 9. P. 173-223.

51. West G.В., Brown J.H., Enquist B.J. A general model for ontogenetic growth // Nature. 2001. V. 413. P. 628-631.