автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование оптимальных планов эксперимента для нелинейных по параметрам регрессионных моделей

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи 00345Б416

Старосельский Юрий Михайлович

ИССЛЕДОВАНИЕ ОПТИМАЛЬНЫХ ПЛАНОВ ЭКСПЕРИМЕНТА ДЛЯ НЕЛИНЕЙНЫХ ПО ПАРАМЕТРАМ РЕГРЕССИОННЫХ МОДЕЛЕЙ

05.13.18 — Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

О и . 1 ^

Сан кт- Петербу р г 2008

003456416

Работа выполнена тико - механического университета

па кафедре факультета

статистического моделирования матема-Санкт-Петербургского государственно!«

Научный руководитель:

Официальные оппоненты:

Ведущая организации:

доктор физико-математических наук, профессор Мелас Вячеслав Борисович

доктор физико-математических наук, профессор Седунов Евгений Витальевич (Санкт-Петербургский государственный университет технологии и дизайна)

кандидат физико-математических наук, доцент Буре Владимир Мансурович (Санкт-Петербургский государственный университет)

Санкт-Петербургский государственный политехнический университет

.защита, состоится часов на заседании

диссертационного совета Д 212.232.51 но защите докторских и кандидатских диссертаций при Санкт-Петербургском государственном университете но адресу: 198504, Санкт-Петербург, Старый Петергоф, Университетский пр., д. 28, математико-механичеекий факультет, ауд. 405.

С диссертацией можно ознакомиться в Научной библиотеке имени М. Горького Санкт-Петербургского государственного университета но адресу: 199034, Санкт-Петербург, Университетская набережная, дом 7/9.

Автореферат разослан "

/3 " (ШЪ-Л 200А Г.

Ученый секретарь диссертационного совета

(^Лс^ИКйИЯД

Б.К. Мартыненко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Одной из важнейших методологий исследования объектов и систем различной природы является построение и анализ регрессионных моделей на основе экспериментальных данных. При этом организация эксперимента играет существенную роль для повышения точности результатов при ограниченных ресурсах. Оптимальная организация эксперимента изучается теорией планирования регрессионных экспериментов, которая интенсивно развивается с середины 60-х годов 20-го века.

Эта теория была инициирована работами Дж. Элвинга, Г.Чернова, Дж. Кифера и Дж. Вольфовица, а в ее развитие значительный вклад внесли российские ученые В.В.Налимов, Г.К.Круг, В.В.Федоров, С.М. Ермаков, М.Б.Малютов, В.П.Козлов, Е.В.Седунов и многие другие. В рамках этой теории весьма полно изучены линейные по параметрам регрессионные модели. Однако во многих экспериментальных исследованиях существенную роль играют нелинейные по параметрам модели. Трудность исследования этих моделей заключается в зависимости асимптотической ковариационной матрицы оценок от истинных значений параметров. Для преодоления этой трудности используются известные в статистике подходы: локально оптимальный, минимаксный и байесовский. Возникающие в этих подходах задачи построения оптимальных планов являются весьма сложными экстремальными задачами. До недавнего времени аналитическое решение таких задач оказывалось возможным лишь для простейших моделей с одним или двумя параметрами.

В работах В.Б.Меласа [2], [4] был предложен подход, который открывает перспективы значительно более полного исследования таких задач. Этот подход назван функциональным подходом. Его основная идея со-

стоит в исследовании опорных точек оптимальных планов как неявно заданных функций вспомогательных величин. В работах В.Б.Меласа и А.Н.Пепелышева (см. монографию [5]) функциональный подход был развит для построения локально оптимальных и максиминно эффективных планов. Настоящая работа посвящена развитию функционального подхода для байесовских планов и сравнительному исследованию всех основных типов планов (локально оптимальных, максиминно эффективных, байесовских и планов в равноотстоящих точках).

Цель работы. Целью работы является разработка методологии построения и исследования байесовских оптимальных планов для ряда нелинейных по параметрам моделей дробно-рационального и экспоненциального вида, а также сравнение этих планов с альтернативными планами.

Общая методика работы. В работе применяются методы функционального анализа (теорема о неявном отображении), линейной алгебры, теории планирования регрессионных экспериментов (теоремы эквивалентности, рекуррентные формулы для вычисления разложений точек и весов плана), используются математические пакеты символьной обработки данных (Maple, Matlab) для построения графиков и для вычисления коэффициентов разложений неявно заданных функций в ряды Тейлора.

Научная новизна. В данной работе впервые разработана методология построения и исследования байесовских планов эксперимента на основе функционального подхода. Для наиболее распространенных критериев оптимальности впервые дано строгое математическое обоснование применимости подхода для нелинейных моделей с несколькими неизвестными параметрами. Впервые для ряда нелинейных моделей, представляющих интерес в микробиологии и химии, проведено параллельное исследование всех основных типов оптимальных планов. Показано, что байесовские планы

являются менее чувствительными к изменению параметров и позволяют значительно уменьшить количество наблюдений, необходимое для достижения заданной точности, по сравнению с планами в равноотстоящих точках.

Теоретическая и практическая ценность. Теоретическая ценность предложенной в диссертации методологии заключается в том, что она предоставляет новый аппарат построения и исследования оптимальных планов эксперимента для нелинейных по параметрам регрессионных моделей. Кроме того, модели, изученные в диссертации, часто используются При решении различных задач микробиологии и аналитической химии. Поэтому планы, построенные в диссертации, имеют практическую ценность.

Апробация работы. Основные результаты диссертации докладывались и обсуждались па семинаре кафедры статистического моделирования математико-механического факультета СПбГУ, а также на ХХ-ой Международной научной конференции по прикладной математике (ММТТ-20) (Ярославль, 28 мая - 1 июня 2007 г.) и па XVI Международной конференции по междисциплинарным математическим и статистическим методам (Мемфис, США, 16 - 18 мая 2008 г.).

Публикации. По теме диссертации опубликовано три работы, перечисленные в конце автореферата. Статья [7] опубликована в журнале, входящем в перечень ВАК по специальности 05.13.18. В статье [8] автору диссертации принадлежат численные результаты, а в статье [9] - все результаты, за исключением теоремы о том, что опорные точки ¿^-оптимальных планов являются аналитическими функциями.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав и заключения. Библиография содержит 37 наименований. Общий объем работы 109 страниц.

СОДЕРЖАНИЕ РАБОТЫ Диссертация посвящена построению и исследованию оптимальных планов эксперимента для нелинейных по параметрам регрессионных моделей.

Планом эксперимента называется дискретная вероятностная мера которая определяется таблицей

fti ... t„\ £ = , U € х, г = 1,2,..., п.

\wi ... ш„/

Носитель плана состоит из точек, принадлежащих множеству планирования х> а весовые коэффициенты щ удовлетворяют условиям ш; >

о, ЕГ=1«* = 1-

Задача построения оптимального плана состоит в нахождении экстремума (минимума или максимума) величины

Ф (М(0), (1)

где Ф - некоторая заданная функция (критерий оптимальности), М(£) -информационная матрица плана Для нелинейной по параметрам функции регрессии г](х, в), информационная матрица имеет вид

in \т

\«=1 / ¿¿=1

где

fi(x, 9) = —ф, в), i = 1,..., ш, в =(&!,..., 0т)Т, в*- истинное значение вектора параметров (см. [1]).

В общем случае - решение задачи (1) - зависит от 0*, которое априорно не известно. Чтобы преодолеть это противоречие, существует несколько подходов: локально оптимальный, байесовский и максимштый.

План называется локально оптимальным относительно вектора параметров 0', если он является решением задачи Ф(М(£, О')) —> sup (см. [3]).

€

Однако часто локально оптимальный подход оказывается неудовлетворительным, так как оптимальный план для в может быть неудачным для О". Для характеристики качества плана вводится понятие эффективности

е/яе в) = ( )

Чтобы в результате получить план, который не зависел бы от фиксированных значений параметров и обеспечивал хорошие результаты планирования при любом в из некоторого заданного множества, исходную задачу заменяют на максиминный или байесовский аналог (см. [6], [5]).

Максиминный:

Байесовский:

тах €

'й(Д|) <2)

тт

'я2»)™

где О. - некоторый компакт в Ч1т, априорно задано распределение РЩ, ~ локально оптимальный план.

Во введении приведен обзор современного состояния предметной области, сформулированы цели исследования и кратко изложены результаты.

В первой главе дается краткий обзор основных понятий и методов теории оптимального планирования регрессионных экспериментов, описываются модели, рассмотренные в диссертации, проводится обзор литературы.

В первом параграфе этой главы формулируются базовые определения и описываются основные методы построения оптимальных планов.

Во втором параграфе формулируются теоремы эквивалентности для байесовских и максиминных планов, которые являются основным аппаратом проверки оптимальности планов.

В третьем параграфе описываются модели, которые рассмотрены в диссертации:

• Модель Михаэлиса - Ментеиа:

9л х

ф, в) = ——, а; € [0, 02 > 0. а 2 + х

На практике такая модель используется, в частности, для описания скорости протекания реакции: 9\ - максимальная скорость протекания реакции, х - концентрация вещества.

• Модель кинетики второго порядка.

Более сложная модель, применяемая в экспериментальной химии -модель кинетики второго порядка:

Ф,е) = + х{, х е [ом, о*, вз > о.

"2 + 93х + х-

• Модель в виде алгебраической суммы двух экспонент:

ф, в) = 0ге-взХ + в2е~в'х, х е [0, оо), > в3 > 0.

• Модель экспоненциального роста:

ф, в) = вх + 02е~взх, х е [0, оо), 03 > 0.

Вторая глава посвящена описанию методологии функционального подхода и его обоснованию для /^-критерия.

В первом параграфе даются основные определения и предположения метода.

Во втором параграфе описывается функциональный подход. Основной идеей является изучение вектора опорных точек и весов т оптимального плана £т как неявной функции некоторого вспомогательного параметра

г, которая задается уравнением д(т, г) = 0, где д(т, г) - вектор функция состоящая из частных производных <р(т, г)'т., (р(т, г) - критерий оптимальности. Это уравнение называется основным уравнением.

Для произвольной (скалярной, векторной или матричной) вещественно аналитической функции Ф(г) обозначим

1 <Р

' Ф(0) = ФЫ, Ф(п) = = 1,2,...

П

Ф<п>(г) = +

к=\

Следующая теорема является инструментом обоснования функционального подхода:

Теорема 1 Пусть II открытое множество 5.т ~1. т € II, г € [21,22], г1 < 22 произвольные вещественные числа, а <р(т,г) вещественная аналитическая функция на множестве Их [¿1, 22]. Введем обозначения:

¿=1 т-1

Ч / ¿¿=1

Пру этих условиях если для некоторой точки (т(0), го) 6 Н х [21, г2] еы-' полняется равенство

я(т{о), го) = 0

и det К(т(о), 20) ф 0, то:

I В окрестности го существует единственная непрерывная функция т(г) такая, что г (го) = То и д(т(г), г) = 0. Эта функция является вещественной аналитической в окрестности го.

II Имеют место следующие рекуррентные формулы:

Т(„+ц = -[V ^(г.^г), *))(„+!), п = 0,1,.

где V = У(т(„), г0).

Первая часть этой теоремы есть известная в функциональном анализе теорема о неявном отображении, вторая часть доказана в работе ([5]). Формулы (4) называются основными рекуррентными формулами, они лежат в основе вычисления коэффициентов разложения опорных точек и весов оптимальных планов в ряд Тейлора.

Методология построения оптимальных планов включает в себя выбор класса планов, в котором ищется оптимальный план, выбор семейства априорных вероятностных мер и применение теоремы 1.

Обоснование использования этой теоремы проводится для наиболее важных И- и ¿-критериев оптимальности. Первым рассмотрен 1)- критерий, который требует максимизации величины сЫ; М(£,0).

Решение задач оптимизации (2) и (3) ищется в классе планов с тп опорными точками, одна из которых совпадает с границей множества а весовые коэффициенты равны между собой

где (1 - граничная точка х- Такие планы называются насыщенными планами. Они представляют интерес, поскольку для многих моделей локально ¿^-оптимальные планы имеют такой вид (см. [5]).

Одна из трудностей байесовского подхода состоит в выборе априорной меры. Мы исходим из того, что этот выбор можно рассматривать как эвристический прием, позволяющий построить планы, эффективные для оце-

П ■■■ тт^г д. 1/т ... 1/тп 1 /тп

нивания векторов 9, истинное значение которых принадлежит некоторому множеству.

Рассмотрим множество П следующего вида:

П = = Пг{с) = {0 = (¿?!..., 9т)т : (1-г)а <0{< <к/(1-г), : = 1,..., тп}.

Здесь точка с = (су,..., Ст)т может рассматриваться как приближение вектора 9*, а г — как относительная погрешность. В качестве априорного распределения рассмотрим равномерное распределение на Так как П(0) —- {с}, в качестве начального приближения то при построении разложения используется локально оптимальный план, который находится численно.

В третьем параграфе изучается невырожденность матрицы Якоби основной системы и приводятся условия выполнения теоремы 1:

• Функция т}(х, 9) является аналитической на \й], с?2] х II, где II окрестность точки в — с.

• В окрестности точки с существует локально оптимальный план вида

/ П ... ^ с* \ у 1/гп ... 1/пг 1 /тп }

• Функции /¡(ж, 9), г = 1,..., тп при любом фиксированном 9 е П образуют обобщенную систему Чебышева второго порядка на интервале

х-

В главе 3 исследуются оптимальные планы эксперимента для О-критерия.

В первом параграфе рассматривается модель Михаэлиса - Ментена. Доказано, что эта модель удовлетворяет условиям теоремы 1. Локально оптимальные и максиминные планы для данной модели найдены в явном виде,

поэтому разложения в ряд Тейлора опорных точек строятся для байесовского плана. Далее изучается эффективность построенных планов с помощью численных расчетов. Зависимость эффективности от в2 представлена па рисунке 1. Как видно из этого рисунка байесовские плапы являются более предпочтительными, чем максиминные планы и планы в равноотстоящих точках (рисунок соответствует значению 2 = 0.8).

Рис. 1: Модель Михаэлиса - Ментена. Зависимость эффективности байесовского (1), максиминного (2) и плана в равноотстоящих узлах (3) от параметра в2

Во втором параграфе исследуются О-оптимальные планы для модели кинетики второго порядка. Доказывается, что опорные точки байесовских оптимальных планов являются аналитическими функциями параметра 2, и строятся разложения этих функций в ряд Тейлора.

В третьем и четвертом параграфах исследуются аналитические свойства байесовских оптимальных планов для моделей экспоненциального вида. Эффективность методологии демонстрируется сравнением найденных планов с планами в равноотстоящих узлах и планами, численно найденными в литературе. Оказывается, что байесовские планы требуют приблизительно в два раза меньше наблюдений для достижения заданной точности, чем планы в равноотстоящих узлах.

'2

В главе 4 па основе функционального подхода исследуются оптимальные планы для ¿-критерия, требующего минимизации величины ЬгЬМ~1(£,в), п для ¿-критерия, требующего максимизации минимального собственного числа информационной матрицы. Эти критерии часто более предпочтительны на практике, чем £)-критерий. Планы, построенные на основе различных критериев, сравниваются по величине дисперсии оценок индивидуальных параметров.

В первом параграфе формулируется теорема эквивалентности, изучается невырожденность матрицы Якоби основного уравнения, формулируются достаточные условия для применения теоремы 1 к изучению Ь~ оптимальных планов.

Во втором и третьем параграфах рассматриваются модель Михаэлиса - Ментена и модель экспоненциального роста. Проверяются условия выполнения теоремы 1. Обосновывается выбор весовой матрицы Ь. Строятся разложения опорных точек и весов локально оптимальных, байесовских и максиминных планов в ряд Тейлора. Показывается, что байесовские планы менее чувствительны к изменению г и более эффективны, чем планы в равноотстоящих узлах. Численно оценивается максимальное значение 2, при котором насыщенный план, построенный на основе разложения, является оптимальным в классе планов с произвольным числом точек.

В четвертом параграфе изучены ¿-оптимальные планы для модели Михаэлиса - Ментена. Доказана аналитичность опорных точек и весов оптимальных планов как функций величины 2 и построено их разложение в ряд Тейлора

В заключении перечислены основные результаты диссертации.

1. Разработана методология построения и исследования байесовских оптимальных планов для нелинейных по параметрам регрессионных экспе-

римеитов на основе функционального подхода.

2. Для случая D- и ¿-критериев оптимальности дано строгое математическое обоснование применения методологии для ряда нелинейных по параметрам моделей дробно-рационального и экспоненциального вида. Для этих моделей впервые построены разложения опорных точек и весов байесовских оптимальных планов в ряд Тейлора по величине относительной ошибки в задании параметров.

3. Для модели экспоненциального роста и модели кинетики второго порядка впервые изучены аналитические свойства опорных точек и весов максиминно эффективных планов.

4. Впервые проведено сравнительное исследование эффективности всех основных типов планов для нелинейных по параметрам моделей. Показано, что байесовские планы являются менее чувствительными к изменению параметров и позволяют значительно уменьшить количество экспериментов, необходимое для достижения заданной точности, по сравнению с планами в равноотстоящих точках.

Список литературы

[1] Ермаков С.М., Жиглявский A.A. Математическая теория оптимального эксперимента. М., Изд-во Наука, 1987.

[2] Мелас В. Б. Общая теория функционального подхода к оптимальному планированию эксперимента. Изд-во СПбГУ, 1999.

[3] Chernoff Н. Locally optimal designs for estimating parameters. Ann. Math. Statist., 1953. Vol. 24. P. 586-602.

[4] Melas V.D. Optimal designs for exponential regression. Math. Operations forsh. Statist. Scr. Statisics, 1978. Vol. 9. P. 45-59.

[5j Melas V.D. Functional approach to experimental optimal design. Lecture Notes in Statistics, vol. 184. Heidelber. Springer, 200G.

|G] Muller, C.H. Maximin efficient designs for estimating nonlinear aspects in linear models. J. Statist. Plann. Inf., 1994. Vol. 44. P. 117-132.

Список публикаций автора

]7j Старосельский Ю.М. Исследование байесовских /^-оптимальных планов для дробно-рациональных моделей. Вести. С.-Петербург, ун-та. СПб., Изд-во СПбГУ, серии 10, вып. 3, с. 98-105, 2008.

|8] Мелас В.Б. Старосельский Ю.М. О методологии построения и исследования оптимальных планов экспериментов. В сб.трудов XX Между-нар. науч. коиф, В 10 т. Т. 1. Секция 1 / под общ. ред. B.C. Балакирева. - Ярославль: Изд-во Яросл. гос. техн. ун-та, 2007, с. 66-69.

[9] Мелас В.Б. Сгпароселъский Ю.М. Исследование макс-.иминно-эффективных планов для модели Михазлиса - Меитена. Всстн. С.-Петербург, ун-та, СПб., Изд-во СПбГУ, серия 1, вып. 2, с. 41-50, 2007.

Отпечатано копировально-множительным участком отдела обслуживания учебного процесса физического факультета СПбГУ. Приказ № 571/1 от 14.05.03. Подписано в печать 07.11.08 с оригинал-макета заказчика. Ф-т 30x42/4, Усл. печ. л.1. Тираж 100 экз., Заказ № 889/с 198504, СПб, Ст. Петергоф, ул. Ульяновская, д. 3, тел. 929-43-00.

Введение 2

1 Основные определения, модели, постановка задачи 12

1.1 Основные определения.12

1.2 Основные критерии и методы построения оптимальных планов.15

1.3 Теоремы эквивалентности.19

1.4 Исследуемые модели.20

1.4.1 Дробно-рациональные модели.20

1.4.2 Экспоненциальные модели.22

2 Методология функционального подхода 25

2.1 Предпосылки. Общая идея.25

2.2 Ограничения на решение и модель.28

2.3 Выбор априорного распределения и параметризация П .29

2.4 Основная система, исследование аналитичности ее решения .30

2.5 Численная реализация подхода.32

2.5.1 Поиск локально оптимального плана . 32

2.5.2 Вычисление </?(т, г).33

2.5.3 Оценка коэффициентов ряда.34

2.6 Доказательство теоремы 2.4.1.34

3 1)-оптимальные планы 43

3.1 Модель Михаэлиса - Ментена.43

3.2 Модель кинетики второго порядка.54

3.3 Модель в виде алгебраической суммы двух экспонент .62

3.4 Модель экспоненциального роста.69

4 Ь- и ^-оптимальные планы 78

4.1 ^-оптимальные планы.78

4.1.1 Модель Михаэлиса - Ментена.81

4.1.2 Модель экспоненциального роста.86

4.2 Исследование байесовских ^-оптимальных планов 93

4.3 Сравнение оптимальных планов по критерию е^ для модели Михаэлиса - Ментена.98

Одной из важнейших методологий исследования объектов и систем различной природы является построение и анализ регрессионных моделей на основе экспериментальных данных. При этом организация эксперимента играет существенную роль для повышения точности результатов при ограниченных ресурсах. Оптимальная организация эксперимента изучается теорией планирования регрессионных экспериментов, которая интенсивно развивается с середины 60-х годов 20-го века.

Эта теория была инициирована работами Дж. Элвинга, Г.Чернова, Дж. Кифера и Дж. Вольфовица, а в ее развитие значительный вклад внесли российские ученые В.В.Налимов, Г.К.Круг, В.В.Федоров, С.М. Ермаков, М.Б.Малютов, В.П.Козлов, Е.В.Седунов и многие другие. В рамках этой теории весьма полно изучены линейные по параметрам регрессионные модели. Однако во многих экспериментальных исследованиях существенную роль играют нелинейные по параметрам модели. Трудность исследования этих моделей заключается в зависимости асимптотической ковариационной матрицы оценок от истинных значений параметров. Для преодоления этой трудности используются известные в статистике подходы: локально оптимальный, минимаксный и байесовский. Возникающие в этих подходах задали построения оптимальных планов являются весьма сложными экстремальными задачами. До недавнего времени аналитическое решение таких задач оказывалось возможным лишь для простейших моделей с одним или двумя параметрами.

В работах В.Б.Меласа ([29], [5]) был предложен подход, который открывает перспективы значительно более полного исследования таких задач. Этот подход назван функциональным подходом. Его основная идея состоит в исследовании опорных точек оптимальных планов как неявно заданных функций вспомогательных величин. В работах В.Б.Меласа и А.Н.Пепелышева (см. монографию [30]) функциональный подход был развит для построения локально оптимальных и максиминно эффективных планов. Настоящая работа посвящена развитию функционального подхода для байесовских планов и сравнительному исследованию всех основных типов планов (локально оптимальных, максиминно эффективных, байесовских и планов в равноотстоящих точках).

Диссертация посвящена построению и исследованию оптимальных планов эксперимента для нелинейных по параметрам регрессионных моделей.

Планом эксперимента называется дискретная вероятностная мера которая определяется таблицей

Носитель плана состоит из точек, принадлежащих множеству планирования X) а весовые коэффициенты удовлетворяют условиям > 3 о, Ег.ю>.-=1.

Задача, построения оптимального плана состоит в нахождении экстремума (минимума или максимума) величины ф(м®), (1) где Ф— некоторая заданная функция (критерий оптимальности), М(£) — информационная матрица плана Для нелинейной по параметрам функции регрессии г]{х)в)1 информационная матрица имеет вид то где д

М) = —/ = 1,. 0 = (01,.30т)г, '

О*- истинное значение вектора параметров (см. [2]).

В общем случае £* - решение задачи (1) - зависит от которое априорно не известно. Чтобы преодолеть это противоречие существует несколько подходов: локально-оптимальный, байесовский и максиминный.

План называется локалыю-оптимальным относительно вектора параметров в', если он является решением задачи Ф(М(£, в')) —» эир (см. [3]).

Однако часто локально оптимальный подход оказывается неудовлетворительным, так как оптимальный план для в' может быть неудачным для в*. Для характеристики качества плана вводится понятие эффективности гГт оу( *№Ш \ \Ф(М(£*(9),0))]'

Чтобы в результате получить план, который не зависел бы от фиксированных значений параметров и обеспечивал хорошие результаты планироЕ вания при любом в из некоторого заданного множества, исходную задачу заменяют на максиминный или байесовский аналог (см. [32], [30]).

• Максиминный: где О, - некоторый компакт в Кт, априорно задано распределение Р(40), £*(#) - локально-оптимальный план.

Во введении приведен обзор современного состояния предметной области, сформулированы цели исследования и кратко изложены результаты.

В первой главе дается краткий обзор основных понятий и методов теории оптимального планирования регрессионных экспериментов, описываются модели, рассмотренные в диссертации, проводится обзор литературы.

В первом параграфе этой главы формулируются базовые определения и описываются основные методы построения оптимальных планов.

Во втором параграфе формулируются теоремы эквивалентности для байесовских и максиминных планов, которые являются основным аппаратом проверки оптимальности планов.

В третьем параграфе описываются модели, которые рассмотрены в диссертации:

• Модель Михаэлиса - Ментена:

• Байесовский:

3)

0, х ф,в) = , ^ е [0,с/2], 02 > 0.

На практике такая модель используется, в частности, для описания скорости протекания реакции: в\ - максимальная скорость протекания реакции, х - концентрация вещества.

• Модель кинетики второго порядка.

Более сложная модель, применяемая в экспериментальной химии -модель кинотики второго порядка:

Ф^) = "Т ^ М2]> > 0.

2 + и%Х + Хл

• Модель в виде алгебраической суммы двух экспонент: ф, 0) = 0хе-в*х + 02е~в*х, х е [0, оо), вА > вг > 0.

• Модель экспоненциального роста. ф, 0) = Ох + в2е~взХ, х е [0, оо), в3> 0.

Вторая глава посвящена описанию методологии фукнкционального подхода и его обоснованию для I)-критерия.

В первом параграфе даются основные определения и предположения метода.

Во втором параграфе описывается функциональный подход. Основной идеей является изучение вектора опорных точек и весов г оптимального плана £г как неявной функции некоторого вспомогательного параметра г, которая задается уравнением д(т, г) = 0, где д(т, £) - вектор функция состоящая из частных производных <р(т, г)^, </?(т, г)— критерий оптимальности. Это уравнение называется основным уравнением.

Для произвольной (скалярной, векторной или матричной) вещественно аналитической функции обозначим

Ф(о) = Ф(*ь), = п= 1,2,. п к

Следующая теорема является инструментом обоснования функционального подхода:

Теорема 1 Пусть Н открытое множество Мт1, т £ Н, г Е [2:1,22], ¿1 < 22 произвольные вещественные числа, а <р(т, 2) вещественная аналитическая функция на множестве Н х [21,22]. Введем обозначения: д 4 то"1 1 ъ=\ д2 \го1

При этих условиях если для некоторой точки (т(о),2о) £ Н х [21,22] выполняется равенство д(ц 0),*)) = О и det К(г(о), 2о) ф 0; то:

I В окрестности существует единственная непрерывная функция т(г) такая, что т(го) = То и д(т(г), 2) = 0. Эта функция является вещественной аналитической в окрестности 2о.

II Имеют место следующие рекуррентные формулы:

Т(п+1) = -[У~1](д{т<п>^),г)){п+1), 71 = 0,1,., (4) 7 где V = К(т(0),2ь).

Первая часть этой теоремы есть известная в функциональном анализе теорема о неявном отображении, вторая часть доказана в работе ([30]). Формулы (4) называются основными рекуррентными формулами, они лежат в основе вычисления коэффициентов разложения опорных точек и весов оптимальных планов в ряд Тейлора.

Методология построения оптимальных планов включает в себя выбор класса планов, в котором ищется оптимальный план, выбор семейства априорных вероятностных мер и применение теоремы 1.

Обоснование использования этой теоремы проводится для наиболее важных И- и Ь-критериев оптимальности. Первым рассмотрен И-критерий, который требует максимизации величины

Решение задач оптимизации (2) и (3) ищется в классе планов с т опорными точками, одна из которых совпадает с границей множества х? а весовые коэффициенты равны между собой где с1 - граничная точка Такие планы называются насыщенными планами. Они представляют интерес, поскольку для многих моделей локально 1)-оптимальные планы имеют такой вид (см. [30]).

Одна из трудностей байесовского подхода состоит в выборе априорной меры. Мы исходим из того, что этот выбор можно рассматривать как эвристический прием, позволяющий построить планы, эффективные для оце

П •■■ тт-1 1 /т . 1 /т 1 /т нивания векторов в, истинное значение которых принадлежит некоторому множеству.

Рассмотрим множество Г2 следующего вида:

П = = Пг(с) = {& = (&!. .,9т)т : (1-г)а <вг< а/(1-г), г = 1,. ,ш}.

Здесь точка с= (с\,., стп)т может рассматриваться как приближение вектора 0*, а г как относительная погрешность. В качестве априорного распределения рассмотрим равномерное распределение на Так как Г2(0) = {с}, в качестве начального приближения то при построении разложения используется локально оптимальный план, который находится численно.

В третьем параграфе изучается невырожденность матрицы Якоби основной системы и приводятся условия выполнения теоремы 2.1.1:

• Функция ?/(.т, в) является аналитической на [с/1, <¿2] х Н, где Н окрестность точки в — с.

• В окрестности точки с существует локально оптимальный план вида / П . Тт-1 1 /т . 1 /т 1/гп

• Функции /г-(ж,9), г = 1,. ,т при любом фиксированном 9 £ О, образуют обобщенную систему Чебышева второго порядка на интервале Х

В главе 3 исследуются оптимальные планы эксперимента для 1)-критерия.

В первом параграфе рассматривается модель Михаэлиса - Ментена. Доказано, что эта модель удовлетворяет условиям теоремы 2.1.1. Локально оптимальные и максиминные планы для данной модели найдены в явном виде. Поэтому разложения в ряд Тейлора опорных точек строятся для байесовского плана. Далее изучается эффективность построенных планов с помощью численных расчетов.

Во втором параграфе исследуются 1)-оптимальиые планы для модели кинетики второго порядка. Доказывается, что опорные точки байесовских оптимальных планов являются аналитическими функциями параметра и строятся разложения этих функций в ряд Тейлора.

В третьем и четвертом параграфах исследуются аналитические свойства байесовских оптимальных планов для моделей экспоненциального вида. Эффектиновсть методологии демонстрируется сравнением найденных планов с планами в равноостоящих узлах и планами, численно найденными в литературе. Оказывается, что байесовские планы требуют приблизительно в два раза меньше наблюдений для достижения заданной точности, чем планы в равноотстоящих узлах.

В главе 4 на основе функционального подхода исследуются оптимальные планы для ¿-критерия, требующего минимизации величины ЬлЬМ^1^, в) и для ¿/-критерия, требующего максимизации минимального собственного числа информационной матрицы. Эти критерии часто более предпочтительны на практике, чем /^-критерий. Планы, построенные на основе различных критериев, сравниваются по величине дисперсии оценок индивидуальных параметров.

В первом параграфе формулируется теорема эквивалентности, изучается невырожденность матрицы Якоби основного уравнения, формулируются достаточные условия для применения теоремы 1 к изучению ¿/-оптимальных планов.

Во втором и третьем параграфах рассматриваются модель Михаэлиса - Ментена и модель экспоненциального роста. Проверяются условия выполнения теоремы 1. Обосновывается выбор весовой матрицы Ь. Строятся разложения опорных точек и весов локально-оптимальных, байесовских и максиминных планов в ряд Тейлора. Показывается, что байесовские планы менее чувствительны к изменению г и более эффективны, чем планы в равноотстоящих узлах. Численно оценивается максимальное значение г, при котором насыщенный план, построенный на основе разложения, является оптимальным в классе планов с произвольным числом точек.

В четвертом параграфе изучены Е'-оптимальиые планы для модели Михаэлиса Ментена. Доказана аналитичность опорных точек и весов оптимальных планов как функций величины г и построено их разложение в ряд Тейлора.

В заключении перечислены основные результаты диссертации.

Заключение

Сформулируем основные результаты диссертации.

1. Разработана методология построения и исследования байесовских оптимальных планов для нелинейных по параметрам регрессионных экспериментов на основе функционального подхода.

2. Для случаев П- и Ь- критериев оптимальности дано строгое математическое обоснование применения методологии для ряда нелинейных по параметрам моделей дробно-рационального и экспоненциального вида. Для этих моделей впервые построены разложения опорных точек и весов байесовских оптимальных планов в ряд Тейлора по величине относительной ошибки в задании параметров.

3. Для модели экспоненциального роста и модели кинетики второго порядка впервые изучены аналитические свойства опорных точек и весов максиминно эффективных планов.

4. Впервые проведено сравнительное исследование эффективности всех основных типов планов для нелинейных по параметрам моделей. Показано, что байесовские планы являются менее чувствительными к изменению параметров и позволяют значительно уменьшить количество экспериментов, необходимое для достижения заданной точности, по сравнению с планами в равноотстоящих точках.

1. Ганнинг Р., Росси X. Аналитические функции комплексных переменных. М. 1969. стр. 395.

2. Ермаков С.М., Жиглявский A.A. Математическая теория оптимального эксперимента. М., Из-во Наука, 1987.

3. Ермаков С.М., Михайлов Г.А. Статистическое моделирование. М., Из-во Наука, 1982.

4. Карлин С., Стадден В. Чебышевские системы и их применение в анализе и статистике. М., 1976.

5. Мелас В. Б. Общая теория функционального подхода к оптимальному планированию эксперимента. Изд-во СПбГУ, 1999.

6. Мел,ас В. В., Пепелышев А. Н. Степенные разложения неявных функций и локально оптимальные планы эксперимента. Статистические модели с приложениями в эконометрике. Под ред. С. М. Ермакова, Ю. Н. Каштанова СП6.:НИХИ С.-Петерб. ун-та, 1999. С. 108-117.

7. Мелас В.В., Старосельский Ю.М. О методологии построения и исследования оптимальных планов экспериментов, с. 66-69: сб.трудов XX

8. Междунар. науч. конф. В 10 т. Т. 1. Секция 1 / под общ. ред. B.C. Балакирева. Ярославль: Изд-во Яросл. гос. техн. ун-та, 2007.

9. Мелас В.Б., Старосельский Ю.М. Исследование максиминно-эффективных планов для модели Михаэлиса Ментена. Вестн. С.Петербург. ун-та, СПб., Изд. СПбГУ, 2007, серия 1, вып. 2, с. 41-50.

10. Рао С.Р. Линейные статистические методы и их применения. М., 1968.

11. Ст.аросельский Ю.М. Исследование байесовских D— оптимальных планов для дробно-рациональных моделей. Вестн. С.-Петербург, унта, СПб., Изд. СПбГУ, 2008, серия 10, вып. 3, с. 98-105.

12. Федоров В.В. Теория оптимального эксперимента. М., Из-во Наука, 1971.

13. Atkinson А.С., Doneu A.N., Tobias R.D. Optimal experimental designs, with SAS. New York, Oxford University Press, 2007.

14. Веска M., and Urfer W. Statistical aspects of inhalation toxicokinetics. Environmental and Ecological Statistics, 2006. Vol. 3 P. 51-64.

15. Beverton R. J. H. and Holt S.J. On the Dynamics of Exploited Fish Populations. Her Majesty's Stationary Office, London, 1957.

16. Box G.E.P. and Lucas H.L. Design of experiments in non-linear situations. Biometrika, 1959. Vol. 46. P. 77-90.

17. Chernoff H. Locally optimal designs for estimating parameters. Ann. Math. Statist, 1953. Vol. 24. P. 586-602.

18. Crabbe M.J.C., Jordan R.M., Ting H.H., Hoe S.T. Bovine lens aldehyde dehydtogenase: activity and non-linear steady-state kinetics. Experimental eye research, 1986. Vol. 43. P. 177-184.

19. Duggleby R.G. Experimental designs for estimating the kinetic parameters for enzymecatalysed reactions. J. Theoret. Biology, 1979. Vol. 81. P. 671684.

20. Dette H., Biedermann S. Robust and efficient designs for the MichaelisMenten model. J. Amer. Stat. Assoc, 2003. Vol. 98. P. 679-686.

21. Dette H., Melas V.B., Wong K. Locally D-optimal Designs for Exponential Regression. Statistica Sinica, 2006. Vol. 18 (3) P. 789-804.

22. Dette H., Mela,s V., Pepelyshev A. Standardized E—optimal designs for the Michaelis Menten model. Statistica Sinica, 2003. Vol. 13. P. 1147-1163.

23. Dette H., Neugebauer H.-M. Bayesian optimal designs for exponential regression models. J. Statist. Plann. Inf, 1997. Vol. 60(2) P. 331-349.

24. Dette H., Braess D. On the number of support points of maximin and Bayesian D-optimal designs in nonlinear regression models. Annals of Statistics, 2007. Vol. 35(2). P. 772-792.

25. Dette H., Lopez I.M., Rodgriguez I.M., Pepelyshev A. Maximin efficient design of experiment for exponential regression models. J. Statist. Plann. Inf, 2006. Vol. 136. P. 4397-4418.

26. Jennrich R.I. Asymptotic properties of non-linear least squares estimators. Ann. Math. Statist, 1969. Vol. 40. P. 633-643.

27. Han C. Chaloner K. Bayesian experimental design for non-linear mixed-effect models with applications to HIV dynamics. Biometrics, 2004. Vol. 60. P. 25-33.

28. Kiefer J. C. General equivalence theory for optimum designs (approximate theory). Ann. Statist, 1974. Vol. 2. P. 849-879.

29. Kiefer J., Wolfowitz J., 1960. The equivalence of two extremum problems. Canad. J. Math, 1960. Vol. 14. P. 363-366.

30. Mel as V.B. Optimal designs for exponential regression. Math. Operations forsh. Statist. Ser. Statisics, 1978. Vol .9. P. 45-59.

31. Mel as V.B. Functional approach to experimental optimal design. Lecture Notes in Statistics. Vol. 184. Heidelberg. Springer, 2006.

32. Melas V.B. and Pepelyshev A.N. On representing maximin efficient designs by Taylor series. Journal of Statistical Planning and Inference, 2007. Vol. 137(8). P. 2689-2702.

33. Miiller C.H. Maximin efficient designs for estimating nonlinear aspects in linear models. J. Statist. Plann. Inf, 1995. Vol 44. P. 117-132.

34. Murphy E. F., Gilmor S.G. and Crabbe M.J.C. Efficient and accurate experiment design for enzyme kynetics: Bayesiain studies reveal a systematicapproach. Journal of Biochemical and Biophysical Methods, 2003. Vol. 55. P.155-178.

35. Pukelsheim F., Rieder S. Efficient rounding of approximate designs. Biometrika, 1992. Vol. 79. P. 763-770.

36. Rasch D. Optimum experimental design in nonlinear regression. Comm. Statist. Theory Method, 1990. Vol. 19. P. 4789-4806.

37. Silvey S. Optimal design. Monographs on Applied Probability and Statistics. Chapman and Hall, London, New York, 1980.

38. Seber G.A.F., Wild C.J. Nonlinear regression. Wiley, New York, 1989.