автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование оптимальных планов эксперимента на основе функционального подхода

Введение 2

1 Функциональный подход к исследованию оптимальных планов 11

1.1 Постановка задачи и обзор основных результатов теории оптимального планирования.11

1.1.1 Постановка задачи.11

1.1.2 Критерии оптимальности.15

1.1.3 Критерии эффективности.19

1.1.4 Теоремы эквивалентности.19

1.1.5 Регрессионные модели.22

1.2 Идея и методология функционального подхода.23

1.3 Рекуррентные формулы для вычисления коэффициентов рядов Тейлора неявных функций.25

1.3.1 Постановка задачи.26

1.3.2 Метод Эйлера.27

1.3.3 Рекуррентный алгоритм.29

2 Линейные по параметрам регрессионные модели на произвольном отрезке 35

2.1 Планы для оценивания индивидуальных коэффициентов полиномиальной модели на произвольном отрезке.36

2.1.1 Постановка задачи.36

2.1.2 Типы е^-оптимальных планов.37

2.1.3 Аналитичность е^-оптимального плана .38

2.1.4 Примеры .40

2.1.5 Сравнение В-, Е- и ег;-оптимальных планов.46

2.2 £)-оптимальные планы для тригонометрической модели на произвольном отрезке.49

2.2.1 Постановка задачи.49

2.2.2 Предварительные результаты.49

2.2.3 Аналитичность точек D-оптимального плана.53

2.2.4 Функционально-алгебраический подход.58

2.2.5 Сравнение D- и Е-оптимальных планов.63

3 Нелинейные по параметрам регрессионные модели 65

3.1 Локально оптимальные планы для экспоненциальных моделей.65

3.1.1 Постановка задачи.65

3.1.2 Предварительное исследование.66

3.1.3 Аналитичность Е'-оптимального плана.72

3.1.4 Локально е^-оптимальные планы.75

3.1.5 Примеры .76

3.1.6 Сравнение D-, Е- и е^-оптимальных планов.80

3.2 Локально оптимальные планы для дробно-рациональных моделей.83

3.2.1 Постановка задачи.83

3.2.2 Предварительное исследование.83

3.2.3 Аналитичность .E-оптимального плана.85

3.2.4 Локально е^-оптимальные планы.86

3.2.5 Примеры .87

3.2.6 Сравнение D-, Е- и ej-оптимальных планов.913.3 Локально оптимальные планы для модели Моно.94

3.3.1 Постановка задачи.94

3.3.2 Предварительное исследование. Представление для информационной матрицы.95

3.3.3 Локально D-оптимальные планы.98

3.3.4 Численное исследование локально D-оптимальных и близких к ним планов.101

3.3.5 Локально Е- и е^-оптимальные планы.108

3.3.6 Сравнение D-, Е- и ejfc-оптимальных планов.111

4 Оптимальные планы для оценивания точки экстремума многомерной квадратичной регрессии 113

4.1 Введение.ИЗ

4.2 Постановка задачи. .114

4.3 Задача на отрезке . .116

4.4 Задача на гипершаре.119

4.4.1 Задача на круге.119

4.4.2 Многомерный случай .126

4.5 Задача на гиперкубе.129

4.5.1 Случай, когда точка экстремума лежит внутри гиперкуба129

4.5.2 Случай, когда точка экстремума имеет равные по модулю координаты.133

4.6 Задача на квадрате.135

4.6.1 Разложение в ряд.140

Построение и анализ регрессионных моделей есть одна из важнейших методологий исследования объектов и систем различной природы. При построении моделей на основе экспериментальных данных существенную роль играет оптимальный выбор условий проведения экспериментов. Математическая теория планирования и анализа регрессионных экспериментов была развита во второй половине XX века усилиями многих зарубежных и отечественных ученых (Дж. Элвинг, Г. Чернов, Дж. Кифер, Дж. Вольфовиц, Дж. Бокс, В.В. Налимов, Г.К. Круг, В.В. Федоров, С.М. Ермаков, М.Б. Ма-леотов, В.П. Козлов и др.). В рамках этой теории весьма полно изучены линейные по параметрам модели с фиксированной областью планирования. Во многих случаях для стандартных областей планирования (отрезок, гипершар и гиперкуб) оптимальные планы найдены в явном аналитическом виде. Вместе с тем, задачи оптимального планирования эксперимента для нелинейных по параметрам моделей, моделей с переменной и нестандартной областью планирования, a. также для оценивания экстремума функции регрессии представляют значительный теоретический и практический интерес. До сих пор аналитическое решение таких задач ограничивалось, в основном, простейшими моделями с двумя-тремя параметрами. Однако в работе (Mêlas, 1978) был предложен функциональный подход, который открывает перспективы значительно более полного исследования таких задач.

Идея этого подхода заключается в изучении точек и весов оптимальных планов как неявно заданных функций некоторых вспомогательных величин. Эти функции во многих случаях являются вещественными аналитическими функциями и могут быть представлены в виде степенных рядов. В частности, в работе (Мелас, 1997) такие ряды были построены для ^-оптимальных планов полиномиальной регрессии на симметричном отрезке произвольной длины.

Настоящая работа посвящена применению функционального подхода к исследованию ряда задач оптимального планирования, которые относятся к описанному выше типу и не были до сих пор достаточно полно изучены.

Планом эксперимента называется дискретная вероятностная мера, задаваемая таблицейгде Хг ф (г ф — точки некоторого множества X, иц > О, = 1.

Задача состоит в нахождении плана эксперимента, на котором достигается экстремум (максимум или минимум) величиныцмтгде Ф — некоторая заданная функция (критерий оптимальности), М(£) — информационная матрица плана Для линейной по параметрам функции регрессии (Зт/(х), где /(#) = (/^г)., /т(х))т — вектор заданных базисных функций, р = (¡31,., Дп)Т вектор неизвестных параметров, информационная матрица имеет вид/п \тМ(0= ЕЛМЛМад.

В главе 1 дается краткий обзор основных понятий и методов теории оптимального планирования регрессионных экспериментов, описана методология функционального подхода и вводятся рекуррентные формулы для вычисления коэффициентов разложения в ряд Тейлора неявно заданных функций. В §1.1 вводится уравнение регрессии, формулируются теорема Гаусса-Маркова о наилучших линейных несмещенных оценках, критерии оптимальности и соответствующие им теоремы эквивалентности, вводится понятие локально оптимального плана и вид функций регрессии, которые будут исследованы в диссертации.

Пусть m, к — произвольные натуральные числа,, © = (Oi,., ©w) £ Rm, и = («i,.,uk) e R*, g(Q,u) = (pi(6,«),.,дт{@>и))т — некоторая вещественная аналитическая вектор-функция в некоторой окрестности U точки (@(о), «(о)) такая, что д(В(о),Що)) = 0.

Для нахождения коэффициентов разложения этой вектор-функции в ряд Тейлора, т.е. для вычисления величии 0[s], предлагаются следующие рекуррентные формулы. Пустьпл» = и яt=оТогда при сформулированных выше условияхеМ = -^[О]1 Ы&<1>(чЬ u))[s], S € / = л = 1,2,.

Это утверждение является частным случаем результатов параграфа 1.3.3.

В диссертации дало некоторое обобщение этих формул и описаны соответствующие алгоритмы. Эти алгоритмы используются в дальнейшем для построения разложений точек и весов оптимальных планов для ряда регрессионных моделей.

Для полиномиальной модели изучаются оптимальные планы для оценивания индивидуальных коэффициентов.

Для случая симметричных отрезков а = —Ь такие планы были построены в работе (Б1}11<Меп, 1968). Для несимметричных отрезков задача исследовалась в работе (8аЬт, 2000). Будем называть тройку чисел (щ, П2, щ), где щ — число точек плана, совпадающих с а, щ — число точек плана, совпадающих с 6, П2 — число точек плана внутри отрезка, типом плана. В указанной работе доказано, что оптимальный план для оценивания любого из коэффициентов имеет один из следующих четырех типов(1,т- 1,1), (0,т- 1,1), (1,т- 1,0) и (1, га-2,1).

Планы первых трех типов выражены в этой работе в явном виде через экстремальные точки многочленов Чебышева первого рода, но планы четвертого типа в явном виде найти не удается. В диссертации точки и веса, планов четвертого типа в зависимости от параметра в = (аЧ-Ь)[(Ь—а) представлены в виде степенных рядов по этому параметру. Таким образом, рассматриваемая задача получила полное решение.

Для тригонометрической модели рассматривается задача нахождения П-оптимальных планов, т.е. планов, максимизирующих величину¿еЬМ(£).

Решение этой задачи для стандартного отрезка [а, Ь] = [—7г, 7г] является классическим (Карлин, Стадден, 1966, гл. X). Однако для случая произвольных отрезков эта задача до сих пор не была решена. Ряд предварительных результатов (лемма 2.2) показывает, что задача может быть сведена кслучаюX = [—а, а], 0 < а < тт.

Ключевым результатом, обеспечивающим полное решение задачи является следующая теорема.

В диссертации построены и исследованы разложения вектор-функции г* (а) в ряд Тейлора. Проверка с помощью теорем эквивалентности показывает, что эти разложения позволяют находить оптимальные планы с высокой точностью.

В главе 3 изучены три нелинейные по параметрам регрессионные модели: экспоненциальная модель, дробно-рациональная модель и регрессионная модель, задаваемая обыкновенным дифференциальным уравнением с дробно-рациопальпой правой частью.

В §3.1 изучаются локально ¿^-оптимальные планы, т.е. планы максимизирующие минимальное собственное число информационной матрицы, а также планы, локально оптимальные для оценивания индивидуальных коэффициентов для экспоненциальной функции регрессии вида*¿=1где х € X = [6, +оо), а = (ai,., А = (Ai,., Xk)T — оцениваемые параметры. Эта задача до сих пор не была исследована.

Рассматривается случай таких значений нелинейно входящих параметров Ai,., Afc, для которых информационная матрица любого невырожденного плана имеет минимальное собственное число кратности 1.

Положим без ограничения общности Ai <. < А& и обозначимй = {А; 0 < Ai <. < Afc}.

Будем называть план £ невырожденным, если det М(£) ф 0. Лемма 3.1. Существует окрестность С27 любой точки вида, 7(1,.1) (7 > 0) такая, что при А Е fly ГШ кратность минимального собственного числа информационной матрицы любого невырожденного плана равна 1.

Во второй части этой леммы в явном виде указан предел локально Е-оптимальных планов при А —^ 7(1,., 1)т.

Пусть 7 фиксировано, Q — Q7. Легко проверить, что Q, = II при к = 1. При к = 2,3 численные эксперименты позволяют утверждать, что Q, — Rfc, хотя формальное доказательство этого факта получить не удается. Все дальнейшие исследования ведутся для случая А 6 В следующей лемме (лемма 3.2) установлено, что локально ^-оптимальный план сосредоточен ровно в 2к точках, одна из которых совпадает с левой границей, причем эти точки не зависят от а. В теореме 3.1 установлено, что точки и веса ^-оптимального плана определены однозначно и являются вещественными аналитическими функциями вектора А. Вычислены коэффициенты разложения этих функций в ряд Тейлора в окрестности точки А = (1.5,0.5)т при к — 2. Показано, что при некотором дополнительном условии точки планов, оптимальных для оценивания индивидуальных коэффициентов, совпадают с точками локально.Е-оптималыгого плана.

В §3.2 результаты, аналогичные описанным выше, получены для дробно-рациональной модели видак q.rj(x, а, А) = £ —L-,1-1 ж — а,;где ai, Ai,a2,., — оцениваемые параметры, х € X = [6, +00), At < b,A¿ ф Xj (i i).

В §3.3 рассматривается функция регрессии 77(f) = r¡(t, /?), которая является решением дифференциального уравненияr/(t) = (л(Ы*)>где (i{t) имеет видs{t) = so + {щ - #))/%,(5 — (/3], /?2, оцениваемые параметры, s0 = s(0), щ = r¡{0) — заданные начальные условия. Это уравнение широко используется в микробиологии (Перт, 1978) и носит название уравнения Mono.

В соответствии с физическим смыслом параметров мы имеем следу ющие условия Pi > 0, i = 1,2,3, So? Щ > 0- Величина t имеет смысл времени и находится в интервале [0,Т].

В диссертации изучаются локально D- и -Е-оптимальиые планы, а также планы, локально оптимальные для оценивания индивидуальных коэффициентов.

Эта задача исследовалась во многих работах прикладного характера чисто эмпирически, путем численного нахождения локально оптимальных планов. Однако в работе (Мелас, Пепелышев, Стригуль, 2002) был найден ряд важных теоретических результатов. Показано, что при достаточно малых значениях щ локально D- и ^-оптимальные планы сосредоточены в трех точках, одна, из которых совпадает с правой границей промежутка. Кроме того, показано, что ^-оптимальные планы сосредоточены в точках экстремума линейной комбинации некоторых явно заданных функций. Найдено явное представление для информационной матрицы.

На основе этих результатов в диссертации численными методами осуществлено исследование эффективности локально-оптимальных планов по отношению к обычно используемым на практике планам в равноотстоящих точках. Показано, что как асимптотические, так и выборочные дисперсии наиболее важных параметров для стандартных планов в 2-3 раза больше,чем для локально-оптимальных. Показано, что локально ¿^-оптимальные планы в этом смысле эффективнее локально D-оптимальных приблизительно в 1.2 раза.

Построены разложения точек локально D-оптимальных планов, рассматриваемых как функции некоторых параметров, в ряды Тейлора и исследована их чувствительность к выбору начальных приближений.

Четвертая глава посвящена построению и исследованию локально оптимальных планов для оценивания точки экстремума квадратичной функции регрессии на единичном гипершаре и гиперкубе. Эта задача в одномерном случае была решена, в ра,боте (Fedorov, Muller, 1997), но метод этой работы не пригоден в многомерном случае.

В заключении сформулированы основные результаты диссертации.

1 Функциональный подход к исследованию оптимальных планов1.1 Постановка задачи и обзор основных результатов теории оптимального планированияНа практике мы часто сталкиваемся с ситуациями, когда нам требуется проанализировать функциональную зависимость между одной переменной у (наблюдаемым откликом, измеряемой величиной) и другой переменной х (экспериментальными условиями), принадлежащей некоторой области X планирования эксперимента. Эта функция зависит от неизвестных значений параметров. Мы измеряем значения функции в некоторых точках с тем, чтобы оценить неизвестные параметры. Во многих экспериментах эта функция измеряется только лишь с точностью до аддитивной случайной ошибки. В такта случаях эксперимент называется статистическим (Ермаков, 1983). Переходя от реальных экспериментов к математическому описанию, мы неизбежно приходим к математическим моделям эксперимента. Наука, занимающаяся проблемами, описанными выше, называется теорией оптимального планирования эксперимента.

1.1.1 Постановка задачиПрежде всего приведем ряд основных понятий и результатов необходимых для строгой постановки задачи оптимального планирования.

Пусть результаты эксперимента уи., ум € К описываются уравнениему} = ф^ (3) + еу, з = 1,., ДГ, (1.1.1)где #1,., хх £ X — условия проведения эксперимента — точки некоторого множества планирования X, ц(х,/3) — вещественная функция, /3 = (/?!,., р.т)т £ О, — вектор неизвестных параметров, N — общее число экспериментов, £1,., £д7- — случайные ошибки — некоррелированные случайные величины такие, что = 0, Ее| = а2. Далее везде будем предполагать, что выполнены эти стандартные предположения относительно ошибок измерений. Также будем считать, что г}(х,0) — известная функция.

Цель эксперимента — оценка истинного значения (5* вектора параметровДФункцию г](х1 (3) часто называют регрессионной моделью (Ермаков, 1983). Модель (1.1.1) называется линейной по параметрам, если функцию регрессии т](х, ¡3) можно представить в виде /Зт/г(ж), где к(х) = (/г-х(ж),., кт{х))т — вектор функций, независящих от Обычно предполагают, что функции Ь,\(х), -., Ь,т(х) являются непрерывными и линейно независимыми функциями. Модели, для которых такое представление невозможно, называются нелинейными по параметрам. Таблица«*=(? - Т] (1-1.2)V N " • N )называется дискретным (нормированным) планом эксперимента (точки плана могут совпадать). Дж. Кифером это понятие было обобщено. Под непрерывным (приближенным) планом эксперимента понимается дискретная вероятностная мера•" *"), (1.1.3). юп;где Х{ ф х^ = 1, и)] > 0, гг — число различных точек в плане,хз условия проведения эксперимента, т,- — весовые коэффициенты. При практическом использовании непрерывных планов следует проводить приблизительно ш^И измерений в точке ж?, э — 1,Методы округления чисел ш^И до целых можно найти в работах (Федоров, 1971; РикеКяЬенп, 1993).

Параметр ¡3 оценивается с помощью некоторой статистики■Л, АР = • • •, Уъ-'-1 Ум)' Выбор статистики ¡3 составляет предмет отдельной теории. Пусть оценива,-ние производится по методу наименьших квадратов. По определению МНК/чоценки (3 является решением экстремальной задачиNтаЭта оценка обеспечивает наиболее точное в определенном смысле оценивание вектора параметров при любом фиксированном плане эксперимента и обладает замечательным асимптотическим свойством.

Теорема 1.1 (теорема Гаусса-Маркова)Пусть X,Q — замкнутые ограниченные множества, функции hi(x)¡., hmlx) являются непрерывными и линейно независимыми na X, det ХТХ ф0. где X = (Л(Ж1):. :h(xN))T, Y = (yh., yNf.

Тогда для линейной по параметрам модели r¡(x, (3) — (3Th(x) оценки метода наименьших квадратов определены однозначно, имеют вид/3 = (ХТХ)1ХТУ (1.1.4)и являются наилучшими линейными несмещенными оценками, причемT)j3 = <72{ХтХ)\Доказательство этой теоремы можно найти в (Pao, 1968; Pukelsheim, 1993). Справедливо следующее обобщение теоремы 1.1 на случай нелинейных по параметрам моделей.

Теорема 1.2 Пусть выполнены предположения:1. Множества X € Hk, О е Rm являются замкнутыми, и ограниченными.

2. Функция Т](х,/3) непрерывна na X X Q.

3. Последовательность планов слабо сходится к плану £ при N оо; где — N-точечный дискретный нормированный план.

5. Производные ЩЩ' = 1,• • • существуют и непрерывны.

6. Истинное значение 0* вектора параметров является внутренней точкой О,.

7. МатрицаМ(0 = М(£,/3) - fxf(x,p)f(x,№<**)> (1.1-5)где№ = ДМ) = (щ(*>0)> • • •. щ(*> Я)*> (i-1-б)является невырожденной при (3 = 0*.

Пусть — МНК- оценка параметров согласно плану £дг. Тогда последовательность оценок Ду сильно состоятельна. Кроме того, последовательность распределений случайных векторов л/ТУ(Ду — /3*) сходится к нормальному распределению с нулевым вектором средних и дисперсионной матрицей а2М-1 (£, /3*).

Доказательство этой теоремы можно найти в (ДепппсЪ, 1969). Матрица М(£) называется информационной матрицей, а вектор f(x) — вектором регрессии. Вектор /(х) совпадает с вектором }г(х) для линейной по параметрам модели вида ¡3Т1г(х). Отметим, что некоторые условия в теореме 1.2 могут быть ослаблены.

Как видно из теорем 1.1 и 1.2 одним из способов повышения точности оценок является путь оптимального выбора условий проведения эксперимента. Это и составляет предмет теории оптимального планирования.

Сформулируем некоторые результаты, касающиеся исследования информационных матриц.

Пусть Еп — множество непрерывных планов, сосредоточенных в п точках с ненулевыми весовыми коэффициентами, Н = и^Нп — множество всех непрерывных планов,М = {М : М = С € 5}есть множество всех информационных матриц. Основные свойства информационных матриц даны в теореме 1.3.

Теорема 1.31. Любая информационная матрица является неотрицательно определенной.

2. Если п <т, то с!^ М(£) = 0 для всех £ £ Еп.

3. Множество М. является выпуклым.

4- При выполнении условий 1, 2 и 5 теоремы 1.2 множество Л4, рассматриваемое как множество векторов, состоящих из диагональных и над-диагональных элементов, является ограниченным и замкнутым, множеством Г^, 5 = га(га+ 1)/2.

5. Для любого плана £ € £ найдется план £ £ Еп, где п < т(т + 1)/2 + 1. такой; что М(£) = М(£).

Отметим, что для нелинейных по параметрам моделей вектор /(ж) = f(x,¡3) зависит от ¡3 и, следовательно, информационная матрица М(£) = М(£, 0) также зависит от ¡3. Поэтому мы в теореме 1.3 подразумеваем, что вектор /3 фиксирован.

Доказательство теоремы 1.3 можно найти в книге (Карлин, Стадден, 1976).

В силу пункта 5 теоремы 1.3 мы можем ограничить свое внимание непрерывными планами с конечным носителем. Полезным оказывается следующее представление информационной матрицы плана £ £ ЕпМ(0 = FWFT, W = diag{wi,. F = (f(Xl):. i/(*„)).

В силу формулы Бине-Коши мы имеемdetМ(0= Е шк • • • Щ,т(detF(xhxin)f,l<il<.<im<nF{xk,., xim) = {f{xk)\. :/(0)-Как правило, не существует такого плана для которогом\о < м\одля любого плана £ € S. Поэтому в качестве критериев оптимальности используются некоторые вогнутые функции, заданные на множестве информационных матриц, или выпуклые функции, заданные на множестве дисперсионных матриц, и имеющие строгий статистический смысл.

1.1.2 Критерии оптимальностиМы рассмотрим ряд критериев, наиболее часто используемых в литературе. D-критерий. Критерий D-оптимальности имеет вид(detM(£))1/m->supили(detAT1(0)1/m-+nif.

Этот критерий соответствует требованию минимизации объема доверительного эллипсоида, который имеет видгде 7 — некоторая постоянная (зависящая только от доверительного уровня).с-критерий. Критерий с-оптимальности имеет видc?M-(Qc-> inf,сгде Ес = {£ € Н : Зи £ Rm, с = М (£)«}, М — обобщенно обратная матрица к М. Этот критерий означает требование минимизации дисперсии линейной комбинации оценок параметров (?¡3.е^критерий. Критерий е,:-оптимальности имеет видefM-ifyi inf где С{ = (0,., 0,1,0,., Of — i-Vi орт евклидова пространства Нта, и является частным случаем с-критерия. Этот критерий соответствует требованию минимизации дисперсии (М(£))ц оценки параметра Д: (г-й координаты вектора ¡3).

Е-критерий. Критерий ^-оптимальности имеет видАщт(M(f)) -> supилиbfЭтот критерий означает требование минимизации максимальной оси доверительного эллипсоида, а также, минимизацию наихудшей дисперсии линейной комбинации оценок параметров.

В ряде экспериментов нас может интересовать только часть всех пара,-метров, то есть экспериментатор хочет с большей точностью оценить только часть параметров, например, только. /3&, 1 < к < т. В этом случае критерием оптимальности может служить любой из выше рассмотренных критериев, заданных только уже на блоке матрицы М(£), а именно, на блоке, составленном из первых к строк и столбцов матрицы М (£) и который является асимптотической дисперсионной матрицей оценок вектора параметров (Д,., ftk)T- Обозначим этот блок через D* (£). Наиболее часто используемым критерием является усеченный D-критерий. Этот критерий имеет вид(detA(£))1/fc-Mnf. Заметим, что все перечисленные критерии могут быть записаны в видеФ(М"(£)) infилиФ(М(0) sup.iБолее полный список критериев оптимальности молено найти в (Ермаков, 1983; Pukelsheim, 1993).

План эксперимента £* называется оптимальным, если на нем достигается минимум Ф(М(£)).

Для нелинейных по параметрам моделей информационная матрица зависит от параметра ¡3. И следовательно, минимум величины Ф(М(£)) также зависит от ¡3. Поэтому план £*(/3) = arginf "Ф^М" (£,/?)) называется локально оптимальным, поскольку он является оптимальным при одном фиксированном значении параметров (3. Такие планы впервые рассматривались в (Cliernoff, 1953). Такой подход к планированию эксперимента, заключающийся в изучении зависимости £*(/?) от истинных значений параметров, называется локально оптимальным. Трудность этого подхода состоит в том, что при практическом применении мы не знаем истинного значения (3* па,л.раметров, а знаем лишь его некоторую оценку (3 (априорно или из предварительных экспериментов). Если план СФ) является эффективным (в определенном смысле) по отношению к плану £*(/?*), то план СФ) является пригодным для практического использования.

Другой возможностью преодоления указанной трудности является использование последовательного, минимаксного или байесовского подходов.

Последовательный подход заключается в том, что всю совокупность экспериментов разбивают на серии. Первая серия должна быть спланирована таким образом, чтобы на основе ее результатов можно было оценить (хотя бы грубо) все параметры регрессии. Для этого достаточно, чтобы inf^eftdet М (£,/?) > 0. Обозначим оценку, полученную на основе обработкиЛ результатов первой серии, через (Зщ. При планировании второй серии план выбирается на основе одного из известных критериев оптимальности, причем в информационную матрицу подставляется значение /3(1). Аналогично планируются следующие серии. Впервые такой подход без строгого обоснования был разработан в (Box, Hunter, 1965) для критерия D-оптимальности. Асимптотическая оптимальность последовательной процедуры, аналогичной процедуре Бокса-Хантера, была в общем случае доказана в (Федоров,Последовательное планирование может оказаться чересчур громоздким или даже неосуществимым в некоторых практических ситуациях из-за необходимости чередовать эксперимент и вычисления. При наличии априорной информации о параметрах возможно находить оптимальные планы априори, на основе минимаксного или байесовского принципов. К положительным качествам такого априорного планирования следует отнести возможность составления таблиц оптимальных планов и возможность определения необходимого количества экспериментов для достижения заданной точности оценок.

При байесовском подход план называется оптимальным, если он является решением задачигде тг{¿(3) — априорная мера, заданная на множестве П значений параметров.

При минимаксном подходе план называется оптимальным, если он является решением задачигде S — заданная функция, U — априорное подмножество множества Q. В литературе (Мелас, 1981; Dette, 1997) использовались две функции S:19716).шах5(Ф(М-(^/?)))-> inf.ЩМ-&0))S(*(AT({t0))) =Отметим, что задача построения локально оптимального плана является подзадачей во всех этих трех подходах.

1.1.3 Критерии эффективностиПри локально оптимальном подходе нам надо уметь сравнивать планы между собой.

Эффективностью плана по отношению к плану £2 будем называть величинуФ(м-(&)) Ф(М(&))ф (М(6))'где Ф, Ф — выбранный критерий оптимальности.

Эта величина говорит нам во сколько раз мы потеряем в точности оценок при применении плана £1 по сравнению с применением плана £2, если общее число экспериментов одинаково, или во сколько раз больше потребуется экспериментов для достижения той же точности оценок при применении плана по сравнению с использованием плана £2Рассмотрим следующие частные случаи эффективности, являющиеся эф-фективностями по отношению к локально оптимальным планам, ^-эффективностью называется величина(det M(Qfm D{ J suP< (det M(C))1/m ¿"-эффективностью называется величинаг =IE{<) supcAniin(M(C))е,-эффективностью называется величина1.1.4 Теоремы эквивалентностиЦентральными элементами в теории оптимального планирования являются теоремы эквивалентности и двойственные задачи. Теоремы эквивалентности устанавливают необходимые и достаточные условия оптимальности плана. Одновременный анализ пары двойственных задач предоставляет дополнительные методологические возможности.

Приведем ряд теорем, которые нам потребуются в следующих главах. Исторически первой появилась теорема эквивалентности для.D-критерия в работе (Kiefer, Wolfowitz, I960).

Теорема 1.4 План £* является D-оптимальным тогда и только тогда, когда функция d(x, £*) = fT(x)M1(^)f(x) удовлетворяет неравенствуmax d(x, £*) < т.

Кроме того, = m, где х* — точка плана £*.

Для ^-критерия справедлива следующая теорема эквивалентности (Ме-лас, 1997).

Теорема 1.5 План является Е-оптимальным тогда и только тогда, когда существует неотрицательно определенная матрица А*, такая что tvA* = 1 иmaxfT(x)A*f(x) <Кроме того, fT(х*)А* f(x*) — Ajmn(M(£*)), г = 1,. п и матрица А* может быть представлена в видеsА* =¿=1где s — кратность минимального собственного числа, с^ > 0, — 1, {Р(г)} — ортонормированные собственные векторы, отвечающие минимальному собственному числу.

Сформулируем теперь теорему эквивалентности для е^-критерия (Dette, et.al., 2000).

Перед тем как сформулировать теорему эквивалентности для усеченного D-критерия оптимальности, введем некоторые обозначения.

Этот результат для случая к = 1 совпадает с теоремой 1.6. Теорема 1.7 есть переформулировка теоремы двойственности из работы (Silvey, Titterington, 1973).

Теоремы 1.6 и 1.7 дают основание ввести следующее определение. Определение. Функцию ф(х) будем называть экстремальной функцией, а пару (ф,£*)7 где — оптимальный план, а ф — соответствующая этому плану экстремальная функция, будем называть оптимальной парой.

Еще раз подчеркнем, что основным инструментом для нахождения оптимальных планов являются теоремы эквивалентности. Однако в своей обычной формулировке такие теоремы являются скорее средством проверки на оптимальность некоторого плана, чем методом поиска оптимальных планов. Здесь мы ввели формулировки теорем эквивалентности, в известной мере, свободной от этого недостатка В главе 4 мы найдем оптимальные планы с помощью теоремы эквивалентности 1.7.

1.1.5 Регрессионные моделиВ диссертации будут исследованы следующие типы моделей. Полиномиальная модель.=ро + ]31х +. + 13тхт.

Возможность практического применения полиномиальной модели основана на известной теореме Вейерштрасса: любая непрерывная функция может быть сколь угодно точно аппроксимирована многочленом. Тригонометрическая модель.rj(x, ¡3) = Ро + A sin(x) 4- cos (ж) +. 4- jhk-i sm(kx) + fck cos(kx).

Эта модель используется при описании периодических явлений. Отметим, что базис Фурье обладает замечательными апрроксимирующими свойствами. Пример практического использования этой модели можно найти в (Kitsos, et.al., 1988).

Экспоненциальная модель.ф, /3) = Де-А® 4-. 422Такие функции образуют важный класс решений систем линейных алгебраических дифференциальных уравнений и находят самые разнообразные практические приложения. Модель в виде суммы экспонент описывает процессы диффузии химических смесей, временные ряды в медицине, экономике, физике и технологии (Seber, Wild, 1989, Веска, Bolt, Urfer, 1993).

Дробно-рациональная модель.X - 02 '" Х-P'lk' Дробно-рациональные функции образуют важный класс функций, которыйможет быть использован, в частности, для аппроксимации произвольной непрерывной функции. Дробно-рациональная аппроксимация часто предпочтительнее полиномиальной, так как содержит, как правило, значительно меньшее число параметров (Petrashev, Popov, 1987). Примеры использования таких моделей можно найти в (Ratkowsky, 1983).

Дифференциальная модель Моно. Функций регрессии является решением дифференциального уравнениягде функция ${t) определяется соотношением ${t) = $q + {щ — r¡(t))/{3$, so .s(0), щ = r](0) — некоторые начальные условия. Эта модель используется в микробиологии для описания роста микроорганизмов в простой периодической культуре (Перт, 1978). Многомерная квадратичная модель.rj(x, 0) = хТАх + vTx + г.

Многомерная полиномиальная регрессия второго порядка может рассматриваться как аппроксимация гладкой модели общего вида.

1.2 Идея и методология функционального подходаФункциональный подход к исследованию оптимальных планов был разработан В.Б. Меласом. Этот подход был впервые предложен в работе (Мелас, 1981). Дальнейшее развитие он получил с появлением персональных компьютеров (Мелас, 1997; Мелас, 1999, 19996; Мелас, Пепелышев, 1999).

Функциональный подход состоит в исследовании точек и весов локально оптимального плана как функций некоторых вспомогательных величин и — чк)т. Эти величины могут быть истинными значениями параметров и/или метрическими характеристиками множества планирования.

Например, если областью планирования является интервал, то в качестве таких величин могут быть использованы его длина и местоположение его середины.

Функциональный подход опирается на теорему о неявном отображении, позволяющую установить аналитичность. Как известно, аналитическая функция может быть разложена в сходящийся ряд Тейлора и начальный отрезок разложения можно рассматривать как хорошее приближение к самой функции. Коэффициенты разложения в ряд Тейлора могут быть вычислены, например, с помощью пакета символьной обработки Мар1е.

Опишем более подробно методологию функционального подхода.

Во-первых, необходимо составить вектор ©, состоящий из нетривиальных точек и весов оптимального плана и, возможно, еще некоторых вспомогательных функций. Например, вспомогательные функции могут быть элементами двойственной задачи.

Вообще говоря, число точек в локально оптимальном плане может быть различным при разных значениях параметров. Поэтому множество II допустимых значений и следует разбить на подобласти, внутри которых число точек локально оптимального плана не меняется. Если требуется, то множество и следует размельчить еще больше так, чтобы в каждой подобласти не нарушалась бы аналитичность (оптимального плана и его характеристик). Например, это следует сделать в случае ^-критерия, если меняется кратность максимального собственного числа информационной матрицы локально ^-оптимального плана (поскольку в точке смены кратности будет нарушаться аналитичность оптимального плана). В результате мы должны получить, что вектор в = О (и) имеет фиксированную размерность.

Следующий шаг состоит в составлении уравнения #(©, и) — 0 (где д — вектор-функция, размерность которой равна размерности ©), решением которой является вектор ©*(«), соответствующий оптимальному плану. Этоуравнение можно рассматривать как уравнение задающее искомую вектор-функцию О*(и) неявным образом. Это уравнение может отражать необходимые условия экстремума прямой задачи (задачи построения оптимального плана). Оно также может включать уравнения, связывающие элементы прямой и двойственной задачи.

Третий шаг состоит в изучении невырожденности матрицы Якоби введенного уравнения <?(©, и) = 0 в каждой подобласти. Это условие является основным в теореме о неявном отображении. Доказав невырожденность якобиана в некоторой подобласти возможных значений переменной и, мы сразу получаем аналитичность вектор-функции О*(и) в этой подобласти.

Для рекуррентного вычисления коэффициентов разложения функции в ряд Тейлора в некоторой точке необходимо знать значение функции в этой точке. Поэтому на четвертом шаге мы выбираем точку разложения, в которой якобиан является невырожденным, и строим в ней оптимальный план. В ряде случаев удается построить локально оптимальный план в некоторой точке в явном аналитическом виде.

На пятом шаге мы строим разложение в ряд функции О*(и).

Далее нам необходимо провести анализ построенного разложения. Теоретически найти радиус сходимости не удается. Поэтому в следующих главах в примерах мы будем исследовать радиус сходимости численным образом.

1.3 Рекуррентные формулы для вычисления коэффициентов рядов Тейлора неявных функцийНастоящий параграф посвящен построению рекуррентных формул для вычисления коэффициентов разложения точек и весов оптимальных планов, рассматриваемых как неявно заданные функции некоторых вспомогательных величин. Формулы для вычисления коэффициентов рядов Тейлора неявно заданных функции были известны уже Эйлеру. Однако, отсутствие компьютеров в те времена наложило на их вид свой отпечаток. В диссертации разработаны рекуррентные формулы для вычисления в математических пакетах. Практические расчеты в пакете Maple показывают, что чфо- построенные алгоритмы являются эффективными. Кроме того, разработаны рекуррентные формулы в случае, когда якобиан системы уравнений имеет вырожденность некоторого специального типа, которая имеет место в рассматриваемых задачах теории оптимального планирования.

1.3.1 Постановка задачиПусть т,к — произвольные натуральные числа, х = (жх,., хт) € Кт, и = (щ,., щ) 6 И*, д(х, и) = {д\{х, и),., дт(х, и))Т — некоторая вещественная аналитическая вектор-функция, заданная на некотором открытом множестве. Пусть д{хщ, ищ) = 0. Переменные щ,., щ будем называть параметрами. Не уменьшая общности (за счет линейной замены параметров), можно считать, что ищ — 0. Пусть якобиан системы уравненийд(х, и) = 0является невырожденным, т.е. выполняется неравенство: скЛ ф0. Будем говорить, что при выполнении этого предположения имеет место невырожденный случай.

Приравнивая коэффициенты при произвольной степени (¡3 > 0), получимД®<?\<3-а]Ца] = %-1]- (1.3.3)а—1Нам потребуется следующая лемма.

Доказательство. Пусть т — 1. Разложим функцию У (ж, и) в ряд ТейлораТ(х,и) = хоУи*.

Таким образом, на основе (1.3.5) получаем формулу для вычисления коэффициента Хщ= ЛТ1 [вь-iMk - Е Е • • • Е > (1-3.6)\ ii=l.?2=0 jk=о Jгде Аа = (7(ж</>(^),'и))и Ва = w))[a], х<Т>(и) = Ej^jxy^,I =-</Зу (или I D -<{3>). Заметим, что последовательность вычисления коэффициентов при k > 1 является неоднозначной. Отметим, что процесс можно организовать так, чтобы на каждом шаге находить сразу несколько коэффициентов.

1.3.3 Рекуррентный алгоритмВ этом параграфе мы построим рекуррентный алгоритм вычисления коэффициентов разложения функции, неявно заданной уравнением g(x,u) = О,который является более эффективным, чем приведенный выше.

Лемма 1.3 В невыроэюдениом случае для любого {3 (\р\ > 0] выполняется1) зависит только от таких, что а < (3,2) Ср — </[о]£[/з] ке зависит от хщ.

Алгоритмы 1.2 и 1.3 опубликованы в работе (Мелас, Пепелышев, 1999).

Перейдем к обоснованию алгоритма 1.3. ИмеемЕЦ?^ = - и1р(и)д(х,и) =з 8Следовательно+1+с = О'о&з+с—а-\а\=рЗдесь и далее, если в выражении встречается мультииндекс /3 такой, что существует ц и Д;0 < 0, то это означает, что элемент с этим мультииндексом /3 в выражении отсутствует.

Пусть й = 0. В этом случае = а^-Ф^Ь ¿Щ = Отсюдаполучаем справедливость рекуррентной формулы при ¿ = 0 и также при к — 1.

Пусть теперь к = 1 и й > 0. Ради простоты обозначений пусть 1 = 0 (случай 1^0 рассматривается аналогично). По условию мы имеем, чтоВведем множества-<к1 + 1,к2-1У и. и -<кг + с1, к2 - ¿у, -< кь ¿2 К* Ь >-Д{(&1, к2)}.

Из леммы 1.3 следует, что 03ъд.2 зависит от коэффициентов хщ с индексами из -< 5Ь52 Уц- Отсюда и силу того, что {д{х<киь2>{у)>и)\31ф2] = о при (/31,/%) €-<^1, к2У, получаем формулу для вычисления коэффициента%[81,82] = -^[¿¿¡Цвг+ь+р^+ц, где = (д(х<т>{и),и))уиМ (1.3.10)где / =-< 51,52 У[ (или I Э< 51,52 Таким образом на основе (1.3.10) получаем алгоритм 1.3.

При к > 2 рассуждения проводятся аналогично (-< к У = Ц.Я=<2 < k + c-jy).

Если требуется вычислить коэффициентов как можно больше за меньшее число шагов и за меньшее время, то лучшей последовательностью вычисления будет следующая. На каждом шаге вычислять не один, а сразу несколько коэффициентов, при этом на к-ои шаге должны быть известны все коэффициенты, которые находятся с 1-го по (к—1)-ый шаги включительно. Изобразим лучшую последовательность вычисления. В клетке таблицыстоит число — номер шага, на котором должен быть найден коэффициент, отвечающий этой клетке.

Рассматриваемые модели являются хорошо изученным инструментом аппроксимации зависимостей различного рода, подлежащих экспериментальному изучению. Эти модели являются весьма универсальными и имеют широкий спектр практических приложений. Классические результаты по оптимальному планированию для этих моделей изложены в (Федоров, 1971; Ермаков, 1983; РикеЫш1т, 1993). Вместе с тем, не для всех важнейших критериев оптимальности (I), Е, е.,;) построены оптимальные планы. Полностью решенными можно считать задачи построения £)-оптимального плана для тригонометрической регрессии на [—7г, 7г] и задачу построения В-оптимального плана для полиномиальной регрессии на произвольном отрезке [а, Ь]. Наличие простого и исчерпывающего решения для второй задачи обусловлено инвариантностью проблемы по отношению к операциям сдвига и масштаба (точки £)-оптимального плана для полиномиальной модели при этих преобразованиях также сдвигаются и умножаются на те же величины). На стандартном отрезке [—1,1] задача построения /)-оптимального плана сводится к задаче максимизации определителя Вандермонда, а последняя была решена еще Стильтьесом (Карлин, Стадден, 1976).

В настоящем параграфе мы будем исследовать е^-оптимальные планы (планы, оптимальные для оценивания индивидуальных коэффициентов к = 0,. т). Отметим, что в отличие от Р-критерия задача построения е^-оптимал ьных планов не является инвариантной относительно изменения интервала планирования X. Это объясняет тот факт, что так долго не была решена рассматриваемая задача. Недавно существенный прогресс был достигнут в работе (ЗаЬт, 2000). В ней показано, что е^-оптимальный планбывает четырех типов в зависимости от параметра» = i±|. (2.1.2) а — ЪОптимальный план может быть определен явно для планов трех типов. Для четвертого типа найти решение в явной виде не удается. В этом параграфе мы исследуем е&-оптимальные планы четвертого типа с помощью функционального подхода.

Если § € -Вх.у для некоторого то е^-оптимальный план сосредоточен т, точках, включая только левый конец интервала [а, Ь], а именно, в точкаххг = а{уу — со8(г7г/т))/(^ + 1), г = 1,., т.

Если 5 € Ду для некоторого то е^-оптимальный план сосредоточен га точках, включая только правый конец интервала [а, 6], а именно, в точкаххТ — + сов(г7г/т))/(г^ + 1), г = 1,.,т.

Однако, в нашем случае непосредственное дифференцирование не привлекательно, так как информационная матрица является вырожденной. Чтобы обойти это затруднение, мы введем другое уравнение, которое задает не только г*, но и решение двойственной задачи.

Теорема 2.1 Пусть Cj =.s-1 (Су), j = 1,., m — к. Вектор-функция©* : UfjfCj R3m"3является вещественной аналитической функцией. Кроме того, функция ©*(&) является решением уравненияG(Q(b)ib)&(b) = L{e(b)ib)с начальными данными ®(bj) = Q*(bj), гдеть )>ъ) = ^ьщв,ъуДоказательство этой теоремы можно найти в (Dette, et.al., 2000).

Из теоремы следует, что функция О*(Ь) может быть разложена в ряд Тейлора. В следующем параграфе мы построим разложения в некоторых частных случаях. В качестве точки разложения можно взять любую точка. Однако мы знаем решение задачи при некоторых значениях Ь, поэтому естественно в качестве точек разложения выбрать эти значения. Выяснение теоретически радиуса сходимости получаемых рядов является очень трудной задачей. Численные расчеты показывают, что ряд, построенный в точке bj € Cj, сходится для всех значений 6 Е Сj, (j = 1,., m — к).

2.1.4 ПримерыРассмотрим случай m = 4. Построим оптимальные планы для оценивания параметра к = 1,2,3. Фиксируем а = —1. Общий случай может быть сведен к этому.

5 0 1 2 3 4 50.0000 -0.6250 -0.6250 5.4688 0.0000 -87.2500«ад -0.7500 -0.7500 2.5625 0.0000 -8.0000 8.00000.0000 3.5000 0.0000 -18.000 18.0000 314.50000.0000 -4.0000 4.0000 13.000 -30.0000 -217.2000-0.5000 -0.7500 2.0000 -1.0000 -15.5000 23.75000'Г* хт 0.5000 -0.2500 -2.0000 1.0000 15.5000 -23.750000.3333 0.4444 -0.0741 -2.2099 1.4053 26.14850.3333 -0.4444 0.3704 1.9136 -5.0021 -18.6588Ч1 0.1667 -0.4444 0.0741 2.2099 -1.4053 -26.1485С\. Сплошная кривая соответствует х\ и кривая из квадратиков соответствует ж| и кривая из плюсов соответствует0.40.2о -0.2-0.4-0.6.,.

0.8 0.9 1 ь 1.1 1.2Рис. 2.1.1: Точки и веса ез-оптимального плана при Ь €Пусть теперь к = 2. В этом случае мы имеем два интервала четвертого типа.

На рисунке 2,1.2 изображены точки и веса ¿¿-оптимального планы приТаблица 2.1.2: Разложение при к = 2 в точке Ь^.

3 0 1 2 3 4 5<4] -0.6111 -0.0837 0.2284 -0.2006 -0.0144 0.10350.1679 0.6556 -0.3245 -0.1527 -0.0306 0.5245<4] -0.3970 -0.6202 0.4635 -0.0246 -0.0262 -0.30290.0000 0.2550 -0.2492 0.0956 -0.0232 0.0922-0.0801 -0.2936 0.2332 0.0121 -0.1175 -0.0640хкл 1.7596 0.2064 -0.4092 -0.0212 0.3126 0.09440.4550 0.0679 -0.0338 -0.0097 -0.0004 0.02830.2116 -0.1159 0.0804 0.0117 -0.0308 -0.03200.0450 -0.0679 0.0338 0.0097 0.0004 -0.0283Таблица 2.1.3: Разложение при к = 2 в точке.

3 0 1 2 3 4 5-0.0851 -0.3725 1.2528 10.3417 -33.0375 -172.2301-0.0627 1.5888 6.2421 -37.8069 188.1016 2915.9331.0636 -14.7798 7.5615 212.6852 -1336.549 -10635.3850.0000 -13.1439 13.4439 168.2561 -1132.477 -7551.223-0.6567 -1.2064 7.8709 -24.0211 -237.7108 2949.019хт 0.0299 -0.7064 -4.4867 13.6928 75.3346 -1269.9650.2116 0.8321 1.9158 -20.5706 26.1568 1026.1540.4550 -0.4878 -0.4334 9.4172 -57.9234 -266.33710.2884 -0.8321 -1.9158 20.5706 -26.1568 -1026.1537ьесх.

На рисунке 2.1.3 изображены точки и веса е^-оптимального планы приЪеС2.ьРис. 2.1.3: Точки и веса е^-оптимального плана при Ь € Сч-Пусть теперь к = 3. В этом случае мы имеем три интервала четвертого типа.

Таблица 2.1.4: Разложение при к = 3 в точке ¡н.

2.1.5 Сравнение Е- и е,¿-оптимальных плановСравним планы для полиномиальной регрессии четвертого порядка (т.е. в случае к — 4). В таблице 2.1.7 проведено сравнение оптимальных планов по величинам 1е(£) и /¿(£) = Кроме того, интересно сравнитьасимптотические дисперсии параметров, полученных по Б- и Е'-оптимальРис. 2.1.8: Точки и веса ег-оптимального плана, ным планам. Это можно сделать, беря отношение соседних строчек:Пустые ячейки означают вырожденность информационной матрицы в этой точке, поскольку соответствующий е^-оптимальный план содержит четыре точки.

Таблица 2.1.7: Сравнение I)-, Е- и е.;-оптимальных планов.ь -0.5 0 0.5 1 1.5 2 3 5 10ЫЬ) 1.08 1.09 1.12 1.15 1.21 1.27 1.38 1.69 3.08ыи) 1.10 1.09 1.52 2.90 Ые2) 1.08 1.18 1.30 1.96 1.29ыи 1.07 1.09 1.35 1.35 1.16 1.12 1.101.07 1.07 1.07 1.07 1.07 1.07 1.07 1.07 1.07ыи 1.02 ыи) 1.01 1.57 4.54 Ые2) 1.00 1.05 1.04 1.51 1.35ыи 1.00 1.00 1.19 1.21 1.08 1.50 1.75ыи 1.01 1.05 1.06 1.04 1.11 1.21 1.39 1.93 2.15ЫЬ) 1.20 1.22. 1.26 1.35 1.44 1.53 1.64 2.07 2.56мы 1.02 6.00 3.60 3.15 3.11 3.24 3.01 1.81 1.53Шв) 1.22 5.00 4.24 5.00 4.56 4.24 4.54 5.00 4.02НЬ) 1.01 1.41 1.43 2.39 1.81 1.22 1.38 2.31 2.13М0>) 1.21 1.56 2.15 2.14 2.36 2.15 2.09 1.79 2.57ЫАе) 1.00 1.05 1.96 1.03 1.53 2.44 2.33 1.19 1.63Шв) 1.20 1.30 1.74 1.54 1.77 1.74 2.01 1.68 1.40Ше) 1.00 1.00 1.10 2.35 1.59 1.13 1.09 1.39 2.96Шв) 1.20 1.22 1.42 1.60 1.72 1.42 1.30 1.25 1.23и(Ь) 1.01 1.05 1.06 1.04 1.11 1.23 1.46 2.00 4.54Шв) 1.20 1.20 1.20 1.20 1.20 1.20 1.20 1.20 1.20Мы видим, что план по одному критерию, не является почти оптимальным по другому критерию. Только в некоторых случаях.Е-оптимальный план близок сразу ко всем е^-оптимальным планам.

2.2 D-оптимальные планы для тригонометрической модели на произвольном отрезке2.2.1 Постановка задачиРассмотрим тригонометрическую модельФ) = ßo + Е (/Vi Mß) + ß2j cos у*)), ж 6 * = [6, с], (2.2.1) j'=iгде /(ж) = (1, sin(t),., cos(kt))T — вектор регрессии, ß = (Д),. •, Afc)7 вектор неизвестных параметров.

В настоящем параграфе мы изучим D-оптимальные планы на произвольном отрезке. Так как вектор регрессии является функцией с периодом 2тг, то, не уменьшая общности, можно считать, что с — Ь <Задача построения оптимальных планов на произвольном отрезке имеет практический интерес, поскольку встречаются эксперименты, в которых невозможно проводить наблюдения на полном круге (см. Kitsos et.al., 1988). Решение этой задачи для стандартного отрезка [—7г, 7г] является классическим (Карлин, Стадден, 1976). Для случая произвольных отрезков эта заг дача до сих пор не была решена. Ниже мы получим полное решение этой задачи.

Отметим, что Е'-оптимальные планы на [—а, а] были исследованы в работе (Dette, Mêlas, 2001). В ней показано, что кратность минимального собственного числа информационной матрицы равна единице при малых а и может быть любой при больших а. На каждом интервале значений а, на котором кратность не меняется, ^-оптимальный план может быть построен с помощью функционального подхода. В работе (Dette, Mêlas, 20016) получены некоторые результаты, касающиеся построения «¿-оптимальных планов для тригонометрической регрессии.

2.2.2 Предварительные результатыВ первой лемме мы покажем, что достаточно рассмотреть симметричные относительно нуля отрезки. На произвольном отрезке оптимальный план получается сдвигом точек оптимального плана на симметричном отрезкетой же длины на (с — Ь)/2.

Лемма 2.1 Пусть ^ = {¿1 + и>,., + гих,., <шп} — произвольный план эксперимента. Тогда для любого со выполняетсяск*М(&,) = detM(£o).

Лемма 2.2 D-оптимальный план на [—а, о] может быть либо симметричным относительно пуля планом, сосредоточенным в 2&+1 точке, включая концы интервала планирования с равными весами, либо функция d(t, £*) тождественно равна 2k + 1, т.е.

В силу единственности информационной матрицы D-оптимального плана мы получаем, чтоM2(t) = М2(|) = м2(С) = 0.

2.2.3 Аналитичность точек 1)-оптимального планаЛемма 2.2 показывает, что достаточно рассматривать планы вида(2.2.2) В следующей лемме мы найдем явное представление для определителя информационной матрицы плана такого вида.

Лемма 2.3 Пусть £ — произвольный симметричный 2к + 1-точечный план с равными весами (т.е. £ имеет вид $.2,2)) и пусть х\ = соэ(^), г = 0,1,.к, тогда02 к2 к= м ччан! П(1 *?)(! *д2 П О*-®,-)4.

Кроме того, матрица Якоби( д2 \к1положительно определена, и следовательно, функция х*(а) является вещественной аналитической функцией.

Делая подстановку у,; = т?, получим4 4 4- +-Г+ Е -= 0, г = 1.к — 1.

Таким образом, для достаточно малых а D-оптималъный план не может быть элементом множества По лемме 2.2 следует, что D-оптимальный план должен принадлежать множеству Е^. Из рассуждений, приведенных после леммы 2.3, следует, что для достаточно малых а D-оптимальный план является единственным и имеет вид (2.2.5). Пустьа = sup{a € (0,7г] | явл. D-ошг.} = sup{a Е (0, тг] | det M(Q < 22к}(второе равенство следует из непрерывности и леммы 2.2). Покажем, что а = а*. Хорошо известно (см. Федоров, 1971), что равномерное распределение Q является D-оптимальным планом для тригонометрической модели на [—7г, 7г] и также на любом отрезке [—а, а] при а £ [а*, 7г]. Заметим, что — Отсюда получаем, что£* CL Z^1) ПSa* с а* I I ^а*.

Из этого включения следует, что а < а*. Напомним, определитель информационной матрицы является строго вогнутой функцией на множестве SW. Для плана Q*det,M(£**) = 22к и для любого плана £ € Sj^detM(0 < 22к(потому что в противном случае выпуклая комбинация планов £** и £ дала бы информационную матрицу, определитель которой был бы больше чем 22к, что невозможно). Отсюда следует, что а = а*. Таким образом, если а < а*, то D-оптимальный план принадлежит множеству Sj^, и из определения т*(а) и леммы 2.4 следует, что D-оптимальный план имеет вид (2.2.5).

Отметим, что теорема 2.2 дает полное решение задачи построения D-оптимальных планов для тригонометрической регрессии. При а > а* равномерное распределение в точках t* = 2тг^k+ii ¿ = 1, • • •, 2/с+1 является D-оптимальным планом, но такой оптимальный план не является единственным. При а < а* /^-оптимальный план является единственным и определен в (2.2.5), где вектор г*(а) — (т*(а),. 1т%1(а))т может быть получен посредством разложения в ряд Тейлора в точке а = О00т*(а) = Е ща%ос начальным вектором т]0] = т*(0), найденным в лемме 2.4, с помощью рекуррентной процедуры, разработанной в параграфе 1.3.

Однако прямое вычисление коэффициентов разложения в ряд Тейлора приводит к значительным затратам компьютерного времени. Поэтому в следующем подпараграфе мы введем иные уравнения для вычисления коэффициентов разложения точек оптимального плана на основе алгебраического подхода, предложенного в (Мелас, 1999).

Искомая функция А* = А* (а) задана решением уравненияд( А, а) = 0.

Эти модели весьма широко используются на практике. Модель в виде суммы экспонент описывает процессы диффузии химических смесей, временные ряды в медицине, экономике, физике и технологии (Seber, Wild, 1989, Веска, Bolt, Urfer, 1993). Дробно-рациональные функции образуют важный класс функций, который может быть использован, в частности, для аппроксимации произвольной непрерывной функции. Дробно-рациональная аппроксимация часто предпочтительнее полиномиальной, так как содержит, как правило, значительно меньшее число параметров (Petrusliev, Popov, 1987). Примеры использования таких моделей можно найти в (Ratkowsky, 1983). Модель Моно используется в микробиологии для описания роста микроорганизмов в простой периодической культуре (Перт, 1978).

В работе (Мелас, 1981) изучены некоторые свойства D-оптимальных планов, а также исследованы эти планы с позиций минимаксного подхода. В статье (Мелас, Пепелышев, 1999) построены разложения точек D-опти-мальных планов в степенные ряды. В настоящем параграфе мы исследуем Е- и ег-оптимальные планы.

3.1.2 Предварительное исследованиеЕсли план £ сосредоточен не более чем в га — 1 точках, то информационная матрица М(£) является вырожденной, и, следовательно, минимальное собственное число равно нулю. Таким образом, поскольку существует план, для которого матрица М(£) невырожденная, число точек в ^-оптимальном плане больше или равно гл. План £ назовем невырожденным, если det М(£) ф 0.

Далее мы покажем, что точки оптимального плана не зависят от параметров di и веса могут быть вычислены по точкам. Это дает нам основание рассмотреть векторf(x) =., е"**®, хеХкХ)ти соответствующую информационную матрицу М(£) = J2f=i f(xi)fT(xi)wi, полагая щ = —1, г = 1,., к. Таким образом, нам достаточно изучить ^-оптимальные планы только для этого вектора регрессии. Для исходной модели оптимальные планы получаются с помощью простого преобразования.

Из теоремы эквивалентности следует, что.^-оптимальный план существенным образом зависит от кратности минимального собственного числа Amin информационной матрицы. Если кратность равна единице, то Е'-опти-мальный план сосредоточен в экстремальных точках чебышевской функцииpTf(x), где p — собственный вектор, отвечающий минимальному собственному числу, и, следовательно, наша задача сводится к задаче нахождения наименее уклоняющейся от нуля функцииmin тах.\ртf(x)\.

Р£>ТР= 1 х&ХЕсли кратность Aniin больше единицы, то задача построения ^-оптимального плана становится гораздо более сложной. Теоретически не удается доказать, что при всех допустимых значениях параметров кратность Atnm равна единице. Однако, мы установим в лемме 3.1, что когда значения параметров принадлежат некоторому непустому множеству, кратность Amin равна единице.

Без ограничения общности положим Ai < А2 <. < Afc. ОбозначимÜ = {А; 0 < Ai <. < Хк}.

Лемма 3.1 1) Существует окрестность Г27 любой точки вида 7(1,., 1) (7 > 0) такая, что при А € ilyflfi кратность минимального собственного числа информационной матрицы любого невырожденного плана равна 1.

Заключение

Сформулируем основные результаты диссертации.

1. Построены рекуррентные формулы для вычисления коэффициентов разложения в степенные ряды точек и весов оптимальных планов, рассматриваемые как неявно заданные функции некоторых вспомогательных величин.

2. Построены и исследованы разложения точек и весов оптимальных планов для ряда критериев оптимальности и ряда линейных и нелинейных по параметрам функций регрессии (D-, Е- и е^-критерии; полиномиальная, тригонометрическая, экспоненциальная и дробно-рациональная модель, модель, определяемая дифференциальным уравнением Моно).

3. Исследованы аналитические свойства точек и весов оптимальных планов как неявно заданных функций нелинейно входящих параметров или границ отрезка планирования для перечисленных моделей.

4. Численно исследована чувствительность локально D-оптимальных планов от начального приближения вектора параметров и их эффективность по отношению к планам в равномерно отстоящих точках для функции регрессии, задаваемой дифференциальным уравнением Моно.

5. Получены явные аналитические выражения локально оптимальных планов для оценивания точки экстремума квадратичной функции регрессии на гипершаре и гиперкубе.

1. Ганнинг Р., Росси X. Аналитические функции многих комплексных переменных. М., Мир. 1969.

2. Ермаков С.М. Математическая теория планирования эксперимента. М.: Наука, 1983.

3. Ермаков С.М., Жиглявский A.A. Математическая теория оптимального эксперимента. М., 1987.

4. Ковригин A.B. Построение ^-оптимальных планов. Вестник ЛГУ, Деп. в ВИНИТИ, N 3544-79, 1979.

5. Матвеев Н.М. Лекции по аналитической теории дифференциальных уравнений. СПб., Изд-во С.-Петерб. ун-та. 1995.

6. Карлин С., Стадден В. Чебышевские системы и их применение в анализе и статистике. Москва, Наука. 1976. 568 с.

7. Мелас В.Б. Оптимальное планирование эксперимента для экспоненциальной регрессии //Математические методы планирования эксперимента. Новосибирск, Наука, 1981. С. 174-198.

8. Мелас В.Б. ¿"-оптимальные планы эксперимента. Изд-во СПбГУ. 1997.

9. Мелас В.Б. Локально оптимальные планы эксперимента. СПб., Изд-во СПбГТУ. 1999.

10. Мелас В.Б., Пепелышев А.Н., Планы для оценивания точки экстремума многомерной квадратичной функции регрессии.// Проблемы оптимизации дискретных систем / Под ред. М.К.Чиркова. СПб., Изд-во НИИХ СПбГУ, с. 70-86, 2001.

11. Пепелышев А.Н. Локально ^-оптимальные планы для экспоненциальных регрессионных моделей // Вестн. С.-Петербург, ун-та, СПб., Изд. СПбГУ, серия 1, вып. 3, (N 17), с. 36-47, 2002.

12. Пепелышев А.Н. D-оптимальные планы для оценивания экстремумамногомерной квадратичной регрессии на квадрате.//' Проблемы оптимизации дискретных систем / Под ред. М.К.Чиркова. СПб., Изд-во НИИХ СПбГУ, с. 87-96, 2001.

13. Перт Дж. С. Основы культивирования микроорганизмов и клеток. Москва, Мир. 1978.

14. Рао С.Р. Линейные статистические методы и их применение. М., 1968.

15. Сеге Г. Ортогональные многочлены. М., Наука, 1962.

16. Федоров В.В. Теория оптимального эксперимента. М. 1971.

17. Федоров В.В. Планирование при нелинейной зависимости поверхности отклика от оцениваемых параметров, препринт 21, М., Изд-во МГУ, 19716.

18. Веска М., Bolt Н.М., Urfer W. Statistical evaluation of toxicokinetic data, Environmetrics 4, 311-322, 1993.

19. Box G.E.P., Hunter W.G. Sequential design of experiments for nonlinear models // Proc. IBM Scient. Сотр. Simposium in Statistics, p. 113-137, 1965.

20. Chaloner, K. Optimal bayesian experimental design for estimation the turning point of a quadratic regression. Communication os Statistics, Theory and Methods, 18:1385-1400. 1989.

21. Cheng R.C.H., Melas V.B., Pepelyshev A.N., Optimal Design for the Evaluation of an Extremum Point. Optimum Design 2000, Ed. by A. Atkinson, B. Bogacka and A. Zhigljavsky, Kluwer, Dordreht, pp. 15-25, 2000.

22. Chernoff H. Locally optimal design for estimator parameters /7 Ann. Math. Stat., Vol. 24, p. 586-602. 1953.

23. Dette, 1997 Designing experiments with respect to standaxtized optimality criteria. J. Roy. Statist. Soc., Ser. B, 59, No.l, 97-110.

24. Dette H., Mêlas V.B., ¿^-optimal designs in Fourier regression model. 2001.

25. Dette H., Mêlas V.B., Optimal designs for estimating individual coefficients in Fourier regression models. 20016.

26. Dette H., Mêlas V.B., Pepelyshev A. Optimal designs for estimating individual coefficients in polynomial regression a functional approach. Preprint, Ruhr-Universität Bochum, pp. 24, 2000. (принята к публикации в J. Statist. Plann. Inference)

27. Dette H., Mêlas V.B., Pepelyshev A.N. D-optimal designs for trigonometric regression models on a partial circle. Preprint, Ruhr-Universität Bochum, pp. 17, 2001.

28. Fedorov, V.V., Müller, W.C. Another view on optimal design for estimating the point of extremum in quadratic regression. Metrika, 46:147-157. 1997.

29. Ford I., Silvey S.D. A sequentially constructed design for estimating a nonlinear parametric function. Biometrika, 67:381-388. 1980.

30. Heiligers В. E-optimal polynomial regression design. Habilitationssrift, RWTH, Aahen. 1991. 88 p.

31. Hoel P.J., Levine A. Optimal spacing and weighting in polynomial prediction. Ann. Math. Statist. 35, 1553-1560, 1964.

32. Kiefer J., Wolfowitz J. Optimum designs in regression problems. Ann. Math. Statist. 36, 271-294, 1959.

33. Kiefer J., Wolfowitz J. The equivalence of two extremum problems // Canad. J. Math. Vol. 14 p. 363-366, 1960.

34. Kitsos C.P., Titterington D.M., Torsney В. An optimal design problem in rhythmometry. Biometrics 44, 657-671, 1998.

35. Jennrich R.J. Asymptotic properties of non-linear least squares estimators // Ann. Math. Stat., 40. P. 633-643. 1969.

36. Mandal, N.K. and Heiligers, В. Minimax designs for estimating the optimum point in a quadratic response surface. Journal of Statistical Planning and Inference, 31:235-244. 1992.

37. Mandal, N.K. On estimation of the maximal point of single fact,or quadratic response function. Calcutta Statistical Association Bulletin, 27:119-125. 1978.

38. Melas V.B., Optimal designs for exponential regression. Math. Operations forsh. Statist. Ser. Statistics, 9, 1978, p.45-59

39. Müller, W.G. and Pötscher, B.M. Batch sequential design for a nonlinear estimation problem. In Fedorov, V.V., Müller, W.C. and Vuchkov, I., editors, Model-Oriented Data Analysis 2, Heidelberg. Physica. 1992.

40. Müller, Ch.H. Maximin efficient designs for estimating nonlinear aspects in linear models. Journal of Statistical Planning and Inference, 44:117-132. 1995.

41. Pronzato, L., and Walter, E. Experimental design for estimating the optimum point in a response surface. Acta Applicandae Mathematicae, 33; 45-68. 1993.

42. Perelson A.S., Nelson P.W. Mathematical analysis of HIV-1 dynamics in vivo. SIAM Review 41, 1999. P. 3-44.

43. Pepelyshev A.N. Locally optimal designs for the Monod model. // Proc. of the 4th St.Petersburg Workshop on Simulation. СПб, Изд-во НИИ Химии СПбГУ. с. 379-385. 2001.

44. Petrushev P.P., Popov V.A., Rational Approximation of Real Functions. Cambridge Univ. Press, 1987.

45. Pukelsheim F., Studden W. ^-optimal designs for polynomial regression. Ann. Statist., 21, N 1, 1993. p. 402-415.

46. Ratkowsky D.A. Nonlinear regression. Wiley, New York. 1983.

47. Sahm M. Optimal designs for individual coefficients in polynomial regression. 2000. (preliminary accepted in Ann. Statist.)

48. Seber G.A.F., Wild C.J. Nonlinear regression. Wiley, New York. 1989.

49. Silvey, S.D., Titterington, D.M. A geomentic approach to optimal design theory. Biometrica, 60, 21-32. 1973.