автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Развитие операционального подхода в теории оценивания параметров в измерительных экспериментах с неоднородными объектами

'»с;. На правах рукописи

Л-

4 ° V ■

О

с

Ч'

Чебракоа Юрий Владимирович

РАЗВИТИИ ОПЕРАЦИОНАЛЬНОГО ПОДХОДА В ТЕОРИИ

ОЦЕНИВАНИЯ ПАРАМЕТРОВ В ИЗМЕРИТЕЛЬНЫХ ЭКСПЕРИМЕНТАХ С НЕОДНОРОДНЫМИ ОБЪЕКТАМИ

Специальность: 05.13.16 - применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технически* наук

Санкт-Петербург - 1998

Работа выполнена в Санкт-Петербургском государственном техническом университете.

Научный консультант:

доктор физико-математических наук, профессор Ермаков С М

Официальные Оппоненты:

доктор физико-математических наук, профессор Мелас В. Б. доктор технических наук, профессор Немирко А Г1. доктор технических наук, профессор Шепета А. П.

Ведущее предприятие - Физико-технический институт имени А. Ф. Иоффе Российской Академии наук

Защита состоится декабря 1998 г. в и часов на заседании

диссертационного- совета Д 063.36.08 в Санкт-Петербургском государственном электротехническом университете им. В. И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова 5.

С диссертацией можно ознакомиться в библиотеке университета.

Ученый секретарь диссертационного совета

Экало А. В.

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работц. Как показали многочисленные фичико-химиче-скне исследования, проведенные за последние 15-20 лет, значения ряда физических характеристик современных материалов, используемых в микрон наиоэлектронике, нелинейной оптике и др. областях, плохо воспроизводятся несмотря на прецизионный характер синтеза этих материалов. При тщательном физико-химическом исследовании некоторого класса стеклообразных, моно- и поликристаалических веществ (В.Б.Апесковский с сотр., Р.З.Валиев с сотр., Л.П.Страхов, Р.Бнррингер, Г.Глейтер, Е.Хондрос, и др.) было оыяснено, что указанное явление объясняется существованием в исследованных материалах сложной сета дислокаций, меисзеренных, межфазных н поверхностных образований, возникающих на контактах разноориентирован-ных по отношению друг к другу зерен и фаз. Для теоретического описания выявленной экспериме!гтально структурной неоднородности различных поликристаллнческих систем - керамики, металлов, композиционных материалов - в настоящее время используется язык теории иерархических структур, а иерархическая организация указанных материалов объясняется особенностями различных динамических процессов в материалах (Р.П.Брагинский с сотр., В.В.Гусаров, В.Е.Панин с сотр.). Широкое внедрение представлений о сложном иерархическом строении поликристаллических систем в экспериментальные физико-химические исследования затруднено тем, что d поликристаллических материалах доля вклада дислокаций, межзеренных, межфззных и поверхностных образований о исследуемые физические свойства объектов существенно зависит от операциональных условий экспериментов.

Существует несколько возможных подходов к обнаружению и анализу межзеренных, межфазных и поверхностных состояний а перечисленных выше материалах. Одним из подходов является разработка специальных экспериментальных методов исследования. К таким методам относятся, например, сканирующая туннельная и силовая микроскопия, реитгенофотоэлек-тронкая спектроскопия, сканирующая высокоточная электронная микроскопия и др. (Б.С.Бокштейн с сотр., Дж.Гопалакришнан, В.Густ, И.Каур, В.Кингери, Ч.Рао, М.Си, Е.Хондрос, и др.) Недостатками указанного подхода являются малая доступность этих методов, невозможность исследования объектов без предварительной трудоемкой подготовки и структурная селекткв-

ность получаемых результатов. Альтернативным подходом может быть проводимый специальным образом анализ результатов прецизионных экспериментов по исследованию некоторых свойств указанных материалов. На первый взгляд кажется, что при реализации этого подхода достаточно ограничиться хорошо известными методами регрессионного анализа (С.А.Айвазян с сотр., Й.Бард, В.Н.Валник, И Вучков с сотр., Ф.Гилл с сотр. Е.П.Гильбо, В А.Грановский, В С Губанов, Е.ЗДемиденко, Н.Дрейпер, С М Ермаков, А А.Жипшвский, В.А Живописцев, В.А.Иванов, Ю.В.Линник, Ф.Мостеллер, ДжСебер, Т.Н.Сирая, Г.Смит, Дж.Тьюки, Ф.Хампель, Д.Химмельблау, I I Хьюбер, И Б.Челпанов, и др.). Однако, практическое использование этих методов затруднено отсутствием объективных критериев выбора наилучшего результата количественной обработки экспериментальных зависимостей, полученных для структурно неоднородных объектов. Для борьбы с этой "субъективностью" в литературе по статистике имеются различные рекомендации, которые часто взаимно исключают друг друга. Отсюда можно сделать вывод, что причина субъективности результатов регрессионного анализа обсуждаемых экспериментальных зависимостей носит фундаментальный характер и для ее устранения необходимо провести некоторую модификацию существующей теории регрессионного анализа.

Перечисленные выше факты свидетельствуют об актуальности развития второго подхода к изучению физических свойств поликристаллических материалов, и позволяют сформулировать цель работы как создание специальных методов оценивания параметров аппроксимирующих моделей в измерительных экспериментах, позволяющих получать объективные результаты количественной обработки экспериментальных зависимостей, найденных для неоднородных объектов, и основные задачи работы:

- анализ и исследование существующих в теории регрессионного анализа различных постановок задач оценивания параметров линейных и нелинейных аппроксимирующих моделей и методов решения этих задач;

- развитие специальной теории оценивания параметров аппроксимирующих моделей в измерительных экспериментах, направленных на исследование свойств неоднородных объектов;

- разработка специальных методов анализа, позволяющих выявить вид и степень влияния совокупности межэеренных, межфазных и поверхностных состояний на магнитные характеристики поликристаллических и монокристаллических слабомагнитных материалов.

Научная новизна. Предложен, разработан и исследован операциональный (учитывающий особенности измерительных экспериментов) подход в теории анализа данных, в рамках которого можно получать объективные результаты количественной обработки экспериментальных зависимостей, найденных для неоднородных объектов.

Принципиальный вклад в развитие теории анализа данных составляют следующие научные результаты, полученные автором:

- набор тестовых примеров и задач, позволяющий демонстрировать и комплексно исследовать вычислительные парадоксы анализа данных (вычислительные результаты, противоречащие математически строго доказанным положениям как самой теории анализа данных, так и некоторым результатам из других областей математики}, а также система классификации основных причин, вызывающих появление вычислительных парадоксов в анализе данных, и методов их преодоления;

- общий метод преодоления вычислительных парадоксов в теории анализа денных, который базируется на идее внедрения основных понятий теорий аппроксимации и планирования экспериментов в теорию оценивания параметров, и разработанные в его рамках общие процедуры аттестации методов оценивания и планирования измерительного процесса в естественнонаучных экспериментах, система классификации возможных экспериментальных ситуаций, методы идентификации этих ситуаций и методы решения задач оценивания в классифицированных ситуациях;

- постановки основных задач теории оценивания параметров в измерительных экспериментах, направленных на исследование свойств неоднородных объектов, и методы решения этих задач, позволяющие по исследованным экспериментальным зависимостям находить оценки параметров еппроксимпрующшс моделей с наперед заданной степенью точности и определять вид и степень влияния неоднородности объектов на их свойства;

- общий алгоритм создания аналогов робастных оценнвателей, предназначенных для повышения достоверности решения задач нелинейного оценивания в случаях присутствия з экспериментальных массивах данных аномальных выбросов, и методы решения задач о поиске для экспериментальных зависимостей, полученных для неоднородных объектов, наилучшего равномерно аппроксимирующего многочлена минимальной степени н наилучшей разномерно аппроксимирующей линейной многофакторной модели;

- общий алгоритм конструирования и методы аттестации программных систем, предназначенных для анализа результатов измерительных экспериментов по исследованию свойств неоднородных объектов.

Практическая ценность работы.

Разработанные в диссертации методы решения задач оценивания могут быть использованы в различных научных экспериментах, в которых по экспериментальным зависимостям, полученным для неоднородных объектов, требуется найти оценки параметров аппроксимирующих моделей с наперед заданной степенью точности и определить вид и степень влияния неоднородности объектов на их свойства. Основные теоретические положения и результаты доведены до наборов конкретных алгоритмов обработки данных, вычислительных программ и программных комплексов, большинство из которых сданы в государственный фонд алгоритмов и программ, г. Москва.

С помощью разработанных в диссертации методов решено большое количество практических задач анализа данных. В частности, проведен анализ температурных зависимостей магнитной восприимчивости ряда слабомагнитных материалов и продемонстрировано, что физические свойства ках поликристаллов, так и монокристаллов содержат информацию не только об объемных состояниях исследуемых объектов, но и о совокупности существующих в них межзеренных, межфазных и поверхностных состояний.

На защиту выносятся:

- операциональный (учитывающий особенности измерительных экспериментов) подход в теории анализа данных и развитая в его рамках теория оценивания параметров, включающая в себя модифицированную модель анализа данных, процедуры аттестации методов оценивания и планирования измерительного процесса, систему классификации возможных экспериментальных ситуаций, методы идентификации этих ситуаций и методы решения задач оценивания в классифицированных ситуациях;

- набор тестовых примеров и задач, позволяющий демонстрировать и комплексно исследовать вычислительные парадоксы анализа данных; система классификации основных причин, вызывающих появление вычислительных парадоксов в анализе данных, и методов их преодоления, а также общий метод преодоления вычислительных парадоксов в теории анализа данных, базирующийся на идее внедрения основных понятий теорий аппроксимации и планирования экспериментов в теорию оценивания параметров;

- постановки основных задач теории оценивания параметров в измерительных экспериментах, направленных на исследование свойств неоднородных объектов, и методы решения этих задач, позволяющие по исследованным экспериментальным зависимостям находить опенки параметров аппроксимирующих моделей с наперед заданной степенью точности 1: определять вид и степень влияния неоднородности объектов на их свойства;

- общий алгоритм создания аналогов робастных оцеиивателей, предназначенных для повышения достоверности решения задач нелинейного оценивания в случаях присутствия в экспериментальных массивах данных аномальных выбросов, и методы решения задач о поиске для экспериментальных зависимостей, полученных для неоднородных объектов, наилучшего равномерно аппроксимирующего многочлена минимальной степени и наилучшей равномерно аппроксимирующей линейной многофакторной модели;

- общий алгоритм конструирования и методы аттестации программных систем, предназначенных для анализа результатов измерительных экспериментов по исследованию свойств структурно неоднородных объектов;

- методы решения задач количественной обработки экспериментальных данных по измерению температурной зависимости магнитной восприимчивости однородных и неоднородных слабомагнитных систем, а также результаты анализа температурных зависимостей магнитной восприимчивости ряда слабомагнитных систем, доказывающие, что физические свойства поликристаллических и монокристаллических образцов содержат информацию не только об объемных состояниях исследуемых объектов, но и о совокупности существующих в них межзеренных, межфазных и поверхностных состояний.

Апробация работы. Основные результаты диссертации докладывались на следующих конференциях, совещаниях и школах: конф. "Информационно-управл. и вычислит, комплексы на основе новых технологий. Наука и маркетинг" (Санкт-Петербург, 1992); междунар. конф. "Взаимодействие человека с компьютером, Е\УНС1-92" (Санкт-Петербург, 1992); междунар. конф. "Математика в вузе" (Новгород, 1994; Санкт-Петербург, 1998); конф. "Диагностика, информатика и метрология" (Санкт-Петербург, 1994, 1996, 1997); 1Х-я междунар. конф. молодых ученых по химии и химической технологии "МКХТ-95" (Москва, 1995); мегадунар. конф. "Информационные технологии в моделировании и управлении" (Санкт-Петербург, 1996); Школа молодых ученых при Х-й междунар. конф. "Математические методы и химии

и химической технологии" (Тула, 1996); конф. "Наука и техника: вопросы истории и теории" (Санкт-Петербург, 1996,1997, 1998); 1-я междунар. конф. по высокоорганизованным соединениям (Санкт-Петербург, 1996); 11-й Европейский конгресс по математике (Будапешт, 1996); междунар. конф. по аппроксимации и оптимизации (Юиоч-Напока, 1996); 111-я Европейская конф. по современным математическим методам в метрологии (Берлин, 1996); 7-я междунар. конф. по ферритам (Бордо, 1996); 1У-я междунар. конф. по интегральным методам (Оулу, 1996); междунар. конф. по алгебре и дискретной математике (Сан-Фелиу-де-Гишальс, 1997); 3-й семинар по моделированию (Санкт-Петербург, 1998); 1-я междунар. конф. по мягким вычислениям и измерениям (Санкт-Петербург, 1998).

Публикации. Всего по теме диссертации опубликовано 73 печатные работы, из них 5 монографий, 21 статья, 5 программных продуктов и 42 тезиса конференций.

Структура и объем диссертации. Диссертация состоит из введения, десяти глав, заключения, списка литературы, включающего 209 наименований, и двух приложений. Основная часть работы изложена на 330 страницах машинописного текста. Работа содержит 55 рисунков и 41 таблицу.

СОДЕРЖАНИЕ РАБОТЫ

Во введении анализируются различные подходы к задачам обнаружения и анализа совокупности межзеренных, межфазных и поверхностных состояний в поликристаллических материалах. Обосновывается актуальность темы. Формулируются -цели и задачи работы. Указывается, что в данной работе решение сформулированных задач осуществляется в рамках операционального подхода (Ю.И.Алимов, К.Берка, П.Бриджмен, Л.Бриллюэн, М.Бунге, Л.М.Гутнер, Ю.А.Кравцов, В.А.Лекторский, Г.Н.Солопченко, Э.И.Цветков, и др.) к проведению естественнонаучных исследований.

В главе 1 приводятся классические постановки задач линейного регрессионного анализа, описываются стандартные алгоритмы решения этих задач и указываются условия, при которых стандартные решения являются наилучшими. Излагается и исследуется ряд известных альтернативных методов регрессионного анализа, позволяющих решать линейную аппроксимацион-ную задачу в рамках схемы засорения П.Хьюбера - распределение погрешностей результатов наблюдений Ф(х) представимо в виде смеси двух распреде-

лений случайных величин, каждая из которых является нормальным Гауссовым распределением - и/или при наличии плохой обусловленности матрицы регрессоров. На конкретных примерах демонстрируется, что при использовании альтернативных алгоритмов оценивания интерпретация полученных результатов затруднена тем, что на практике эффекты, связанные с мульти-коллинеарностью независимых переменных и наличием аномальных выбросов в массивах данных, могут проявляться одинаковым образом.

На основании проведенных в главе 1 исследований делается вывод, что для найденной экспериментальной зависимости {у„,.V„} (п~ 1, 2, ..., ¿V) и заданной аппроксимирующей функции F(A, X) основными задачами теории регрессионного анализа в измерительных экспериментах являются нахождение оценок А' и у' и дисперсий S/í' и 5 (у-у'), где А' - опенка векторного параметра А функции F{A,X) и {)>„'}-{F(A',X„)). В частности, если F(A, X) = £/'=1<з/Л/(Л') (является линейной по параметрам моделью), где

h¡(X) — некоторые функции от А', то в традиционной теории линейного регрессионного анализа стандартное решение обсуждаемых задач имеет вид

А' = (ЯТЯ)-1 HTY, (S/i')2 = s¡(N-L) diag(ЯТЯ)-1 (1)

5Р(у-у') =У'± 1+я,т(ягяг1я/.

где Я матрица размерности ЬхИ, п-я строка которой имеет вид (Л:(Л'Д /?2(Х„), т

..., И^Хя)); Я - транспонированная матрица Я; У= {>■„}; 5 = ^(Уп-У'п)2 КН-ЬУ, Я,= (*!(*,), Иг{Х), ... , /тх.(Л',)); величина 1р определяется по таблицам распределения <-Стьюдента и в общем случае зависит от выбранного значения уровня надежности р и значения разности N-1. (числа степеней свободы); при выбранном значении уровня надежности р 5р(у -у') имеет смысл доверительного интервала для возможных отклонений экспериментальных значений у от расчетных значений у'= г(А',Х).

С точки зрения традиционной теории регрессионного анализа решения (1) являются наилучшими, если для массива {у„,Х„} выполнены модельные условия схемы Гаусса - Маркова (В.С.Губанов, Е.З.Демиденко, С.М.Ермшсов, С.Рао, В.В.Федоров, и др.). Если же модельные условия схемы Гаусса - Маркова не выполнены {в массивах {у„,Хп} присутствуют аномальные выбросы и/или матрица ЯТЯ является плохо обусловленной (| я'я| » О)}, то для получения решений задач; оценивания в этих случаях предлага-

ется использовать набор так называемых альтернативных методов оценивания При использовании этих методов на практике возникает неопределенность в выборе наилучшего решения, вызванная главным образом отсутствием математических методов, позволяющих по анализируемым массивам [у„. Л',,} вычислять оптимальные значения внутренних параметров альтернативных оценивателей.

В главе 2 исследованы различные методы выявления аномальных выбросов в анализируемых экспериментальных массивах (Д.М.Дайитбегов с сотр., Т.Гегтманспергер, С.Коаклей, П.Рауссеу, С.А.Смоляк, Г.В.Стогов с сотр., Б.П.Т'итаренко, и др.) и предложен комбинаторно-параметрический подход к решению указанной задачи. Суть предложенного подхода заключается в использовании для выявления аномальных выбросов семейства комбинаторно-параметрических процедур и проверке выполнимости для полученных решений известного из теории выбора и принятия решений условия Плопа: вид решений не должен зависеть от путей их получения (Э.И.Вилкас, Е.ЗМайминас, И.М.Макаров с сотр., и др.). Эффективность разработанных комбинаторно-параметрических процедур продемонстрирована на ряде иллюстративных примеров. В выводах к главе 2 отмечается, что недостатком комбинаторно-параметрических процедур является отсутствие объективных критериев, позволяющих выявить в массиве данных полный набор графически невизуализируемых аномальных выбросов. Методы преодоления этого недостатка указываются в последующих главах диссертации.

В главе 3 исследуются стандартная постановка задачи нелинейного регрессионного анализа и универсальные (описание которых не зависит от вида нелинейной функции) методы решения этой задачи. Отмечается, что среди универсальных методов нелинейного оценивания на практике наибольшее распространение получили способы минимизации Я(А) (суммы квадратов остатков), основанные на итерационном методе Ньютона - Гаусса, главная идея которого заключается в линейной аппроксимации нелинейной функции 1'\А,Х) (Й.Бард, Ф.Гилл, Е.З.Демиденко, Д.Химмельблау, и др.). С точки зрения классификации, принятой в теории линейного регрессионного анализа (см. выше), указанные универсальные методы оценивания следует отнести к семейству альтернативных методов по той причине, что все они содержат некоторые внутренние параметры (например, метод оценивания Марквардта содержит два внутренних параметра и по существу является нелинейным аналогом ридж-регрессии). Таким образом, в том случае, когда в

анализируемом массиве данных присутствуют аномальные выбросы и/или соответствующая задача оценивания является плохо обусловленной, к результатам решения задач оценивания, полученным с помощью этих методов, необходимо относиться с той же осторожностью, как и к результатам решения задач оценивания, полученным в линейном регрессионном анализе с помощью альтернативных методов. Эту осторожность следует еще более повысить, если в универсальных оценипателях в качестве начальных опенок параметров используются значения, намного отличающиеся от расчетных.

В главе 3 для повышения достоверности решения задач нелинейного оценивания в случаях присутствия в экспериментальных массивах данных аномальных выбросов предлагается использовать аналоги робастных оцени-вателей, выбранные из совокупности универсальных а/или специальных (разработанных с учетом специфики нелинейной функции Р\А,Х)) методов оценивания, при условии, что они применяются совместно с комбинаторными процедурами, позволяющими генерировать выборки из анализируемого массива данных. Общий алгоритм разработки аналогов робастных методов нелинейного оценивания имеет следующий вид:

а) принятое в существующей теории анализа данных (С.А.Айвазян с сотр., Е.П.Гильбо, Е.З.Демиденко, В.Л.Кушко, В.И.Мудров, П.Рауссеу, С.А.Смоляк, В.Стахель, Б.П.Титаренко, Ф.Хампель, П.Хыобер, И.Б.Челпанов, Д.Эндрюс, и др.) понятие "робастные свойства методов оценивания" модифицируется следующим образом: считается, что метод оценивания обладает робастными свойствами, если при его использовании совместно с осуществляемым по некоторому правилу последовательным усечением анализируемого массива данных удается правильно восстановить порядок следования в этом массиве аномальных отсчетов;

б) для заданного множества нелинейных аппроксимирующих моделей генерируется набор различных прецизионных методов оценивания, включая и их соответствующие робастные модификации;

в) для заданного класса экспериментов моделируется набор наиболее возможных ситуаций распределения в массиве данных аномальных выбросов;

г) для моделированных в п. (в) наборов аномальных выбросов исследуются робастные свойства у совокупности прецизионных методов нелинейного оценивания, генерированных в п. (б);

д) на основе результатов исследования, указанного в п. (г), определяется такой минимальный набор методов нелинейного оценивания, из кото-

poro для любой из моделированных в п. (в) ситуации можно выбрать метод оценивания, обладающий робастными свойствами.

В последующих главах диссертации демонстрируется, что в совокупности с комбинаторными процедурами предложенные аналоги робастных оценивателей можно использовать для ускорения процесса выявления аномальных выбросов в анализируемых массивах данных.

В главе 4 исследуются методы решения задач количественного анализа данных в условиях отсутствия теоретических моделей. При этом считается, чго, если перед исследователем стоит задача проведения количественного анализа массива данных {А'„} в указанных условиях, то основными являются следующие задачи. ■ ^

- получение достоверного доказательства существования (или отсутствия) взаимосвязей между исследуемыми свойствами или явлениями;

- выяснение того (в том случае, когда взаимосвязь заранее очевидна и логически обоснована), насколько сильно проявляется эта взаимосвязь по сравнению с другими факторами, влияющими на исследуемые явления;

- определение наличия (или отсутствия) достоверных различий между выделенными группами изучаемых объектов;

- выявление признаков исследуемого объекта, несущественных для изучаемого свойства или явления;

- построение математической (регрессионной) модели взаимосвязи между исследуемыми свойствами или явлениями.

В выводах к главе 4 отмечается, что с формальной точки зрения перечисленные задачи решаются методами, развитыми в теориях корреляционного (Дж.Бендат, А.Лирсол, Ю.А.Розанов, и др.), дискриминантного (С.А.Айвазян с corp., А.Афифи, И Д.Мандель, Дж.Себер, С.Эйзен, и др.) и регрессионною анализов. Однако в случаях присутствия в экспериментальных массивах данных аномальных выбросов при использовании методов корреляционного, дискриминантного и регрессионного анализа возникают сложности с интерпретацией полученных результатов и/или выбором наилучшего решения из-за зависимости результатов расчетов от вида используемого критерия и метода количественной обработки массивов данных.

В главах 1 - 4 продемонстрировано, что на практике при использовании ряда стандартных программ и/или апробированных методов анализа данных иногда могут получаться парадоксальные результаты {вычислительные парадоксы (Ю.И.Алимов, Ф.Мостеллер, Г.Секей,

В.Н.Тутубалин, Дж.Тьюки, и др.)}, противоречащие математически строго доказанным результатам как самой теории анализа данных, так и некоторым

__Таблица.

Основные причины возникновения вычислительных парадоксов о задачах оценивания и методы их преодоления

Основные причины Методы преодоления

1. Неучет моделью анализа данных конечной точности измерений значений зависимой переменной в Модификация модели анализа данных

2. Фиксированная точность проводимых на ЭВМ вычислений Повышение точности проводимых на ЭВМ вычислений

3. Точечное оценивание параметров Замена точечного оцениаания параметров интервальным

4. Недостаточная точность задания значений зависимой переменной Повышение точности гадания значений зависимой переменной

5. Плохая обусловленность задач оцениаания 0 Использование альтернативных методов оценивания; Повышение точности задания значений зависимой переменной; © Выявление и удаление аномальных выбросов; Специальное планирование экспериментов

в. Присутствие в массивах данных аномальных выбросов в Выявление и удаление аномальных выбросов; © Робастное оценивание параметров

7. Неадекватность аппроксимирующей модели 0 Устранение неадекватности аппроксимирующей модели; © Использование специальных методов оценивания

8. Нахождение только единственного решения задач оценивания для зашумленных массивов данных 0 Нахождение семейстеа решений

результатам из других областей математики. В связи с изложенным в главе 5 разработан набор тестовых примеров и задач, позволяющий демонстрировать вычислительные парадоксы анализа данных, и на основании этого набора проведено комплексное исследование основных причин, вызывающих появ-

ление вычислительных парадоксов в анализе данных, и методов их преодоления. Предложенная в работе система классификации основных причин и методов преодоления вычислительных парадоксов представлена в габл. Символом 0 в табл озмечены те методы преодоления вычислительных парадоксов в задачах оценивания, которые в настоящее время или недостаточно разработаны ¡при их практическом применении может возникнуть некоторая неопределенность}, или отсутствуют в современной теории регрессионного анализа С использованием информации, представленной в табл., в диссертации проведем анализ проблем обработки экспериментальных зависимостей, полученных для неоднородных обьектов. На основании результатов этого анализа утверждается, что в рамках существующей теории регрессионного анашиа невозможно получить достоверного решения задачи количественной обработки экспериментальных зависимостей, найденных для неоднородных объектов.

В выводах к главе 5 отмечается, что недостаточная эффективность методов преодоления вычислительных парадоксов, помеченных в табл. 1 символом ©, связана с тем, что в настоящее время в отличии от теорий аппроксимации и планирования экспериментов (Г.П.Акилов, Н.И.Ахиезер, В.КДзядык, С.М.Ермаков, А.А.Жиглявский, Л.В.Канторович, П.Лоран, А.Ф.Тнман, Р.Эдварде, и др.) в теории регрессионного анализа отсутствуют или недостаточно активно используются такие понятия как

а) погрешность задания значений зависимой переменной;

б) аппроксимирующая функция наилучшего равномерного приближения;

в) задача оценивания параметров неадекватной регрессионной модели;

(■) активный и пассивный регрессионный эксперименты, и др.

На основании изложенного делается вывод, что общим подходом к преодолению вычислительных парадоксов в анализе данных является дальнейшее развитие теории оценивания параметров за счет внедрения в нее ряда методов, понятий и определений теорий аппроксимации и планирования экспериментов. Реализация этого направления развития теории оценивания осу-щесчвляется и главах 6-8 диссертации.

В главе Ь разработаны основные положения, задачи и методы развиваемой теории оценивания параметров в измерительных экспериментах. В частности,

-с учетом особенностей измерительных экспериментов сформулирована основная задача развиваемой теории оценивания {полагается, что значения зависимой переменной задаются с некоторой фиксированной погрешностью и по экспериментально найденному массиву {у„,Х„\ значение векторного параметра А функции 1\АУ X) требуется определить с погрешностью, не превышающей некоторой величины 8Л};

- предложена операциональная модификация схемы Гаусса - Маркова {в основную модель анализа данных, принятую в схеме Гаусса - Маркова, введена измерительная функция позволяющая при решении задач оценивания учесть способ измерения значений зависимой переменной};

-введены некоторые новые для теории оценивания параметров понятия {например, активный (прецизионный, непрецизиониый и локально непрени-зионный) и пассивный измерительные эксперименты, планирование измерительного процесса, оптимальный метод оценивания, эквивалентные аппроксимирующие функции, уровень зашумленности анализируемого массива данных и др.}; с помощью введенных понятий продемонстрировано, что появление вычислительных парадоксов в схеме Гаусса - Маркова вызвано главным образом тем, что эта схема в неявном виде подразумевает использование для решения задач оценивания только методов непрерывной оптимизации;

- разработаны методы, позволяющие упростить решения задач оценивания в рамках модифицированной схемы Гаусса - Маркова: метод виртуального прибора, позволяющий определить уровень зашумленности анализируемого массива данных {в диссертации обращается внимание на связь, существующую между методом виртуального прибора и некоторыми методами, разработанными в рамках так называемого "гарантированного подхода" к решению задач аппроксимации (Б.Ц.Бахшиян с сотр., В.М.Белов с сотр., МЛ.Лидов, А.И.Матасов, В.Н.Соловьев, Л.Песотчннский, Дж.Сакс, П.Е.Эльясберг, Д.Ялвисакер)}; метод эквивалентных формул, позволяющий

' для заданных аппроксимирующих функций построить эквивалентные им аналитические формулы, значения параметров которых непрерывно зависят от значений некоторой переменной £ {в диссертации приводятся конкретные примеры эквивалентных аналитических формул для тех случаев, когда под функцией g понимается функция "округление по дополнению" для виртуального прибора со шкалой деления а/2:

K(v) a [у/и] +а при | у - а [>7а] U а/ 2, иначе = а [у/а] (2)

где запись [ b ] означает целую часть от Ь, и указывается, что метод эквивалентных аналитических формул в этом случае можно воспринимать как аналитическую реализацию графического метода "обведения контуром", предложенного ранее П.В.Цовицким и И.А.Зограф}; метод определения точных границ варьрования значений параметров в аппроксимирующих функциях, и др.;

- продемонстрировано, что предложенная модифицированная модель анализа данных имеет значение не только для развития лишенной вычислительных парадоксов теории оценивания параметров, но и в совокупности с методами регрессионного анализа в некоторых случаях может быть использована для решения ряда сложных аналитических задач, к которым, в частности, относятся некоторые задачи о построении комбинаторных аналитических формул {в диссертации доказывается, например, что, если измерительная функция х является "ближайшим целым к ...", то

i) Л(к) У [ /г/6 ]2 + {3(А: mod 6) - 8 }[ А/6 ] + 2 - 2 ( {(A mod 6) (3) + 5}/6]+ [ (A: mod 6)/5 ] = (ЗА 2 - 16Аг + 18,5)/12),

где через А(к) обозначено общее количество различных магических квадратов • размеров 3x3 из натуральных чисел, в центральных клетках которых находился одно и то же наперед заданное число к к 5;

//) Щк, 1)-1; И(к, 2) -- (к - 1,5)/2 ); /{(*, 3) =g( (к~ 3)2/12 ) ; (4)

при к нечетных: R(k, 4^ =«( ( к - 2) (к-3)2 /144 ), Н(к, 5)-=£((Аг4-3(Н-3+310^ - 1230*+ 1324)/2880 ); при к четных: Щ, 4) = g( ( к - 9) (к 2 - 13 к + 46) /144 ) , Н(к, 5)" £( ( А4 - 30 А ' + 310 - 1320 к + 2024)/2880 ).

где 'lepe s 1((к, I) обозначено общее количество различных (к, /)-разбиений {представлений натурального числа к в виде суммы / различных натуральных чисел (Дж 1'иордан, М.Холл, Г.Эндрюс)}.

В главе 7 формулируются основные задачи теории оценивания параметров в измерительных экспериментах, направленных на исследование

свойств неоднородных объектов, и с использованием результатов, изложенных в главе 6, разрабатываются методы решения этих задач При этом рассматриваются случаи как акпишно.ю {производится планирование измерительного процесса},так и пассивного измерительных экспериментов.

Для активных экспериментов в работе постулируется, что на реализации эксперимента {Л'„}

У* - Х„) + ИГО, X.) + сД (5)

где у„ — п-е значение зависимой переменной; у — функция, описывающая способ измерения зависимой переменной; 1-\А,Х) — известная аппроксимирующая функция; ЩИ, X) — неизвестная аппроксимирующая функция, с помощью которой, в частности, можно моделировать влияние на исследуемые свойства объекта его неоднородности (предполагается, что она может принимать только конечные значения на {А'„}); X — вектор, содержащий детерминированные значения независимых переменных; е„ — случайные ошибки; п =1, 2, ... , N. При указанных предположениях первая основная задача оценивания состоит в том, чтобы по найденным для неоднородных объектов зависимостям {у„, Х„} определить значения векторного параметра /1 функции 1'\А, X) с наперед заданной точностью 5/5. Основным теоретиче-стш результатом главы 7 является доказательство того факта, что, если на реализации {Л"„) активный регрессионный эксперимент является прецизионным или локально непрецизионным, или его возможно привести к прецизионному или локально непрецизионному путем замены или некоторой модификации исходной аппроксимирующей функции, то в рамках развитой теории оценивания для указанного эксперимента всегда существует искомое решение обсуждаемой основной задачи оценивания {активный измерительный эксперимент является прецизионным, если для аШ1Л, полученного методом виртуального прибора {см. (2)} по исходной экспериментальной зависимости {у„, Хп}, выполняется следующее неравенство:

Огшп^ бтах» (6)

где е^ах — наибольшая погрешность задания значений зависимой переменной, для которой с помощью выбранного метода оценивания по массиву {у„,Х„)ещс возможно восстановить значение ЛКС! с погрешностью, не превышающей заданной величины 5Л; локально непргцизиоиньш — если он является прецизионным только на некоторой выборке {Л"«)} из реализации

эксперимента (Л'„): {Х„1} - {X,,} - (А',,2}, и иепрецизиониым — если он не является прецизионным ни на какой выборке {Х„1} из реализации эксперимента {А'„} или объем выборки {Л"„|}, на котором он является прецизионным, меньше некоторого допустимого для данного эксперимента значения}. В частности, в главе 7 отмечается, что для наиболее сложного случая {когда на реализации эксперим та {Л'„} активный измерительный эксперимент не является прецизионным или локально непрецизионным для исходной аппроксимирующей функции ^\А,Х)), но является таковым для аппроксимирующей функции g(íi(B, X))}, основной является задача восстановления параметров неадекватной функции А')) по функции ¿'((/(/Г, А"))}.

Пассивный измерительный эксперимент

для {/„,*■„} а „„< Е

атю < Е 'Лтп

Прецизи- Непреци-

онный эионный в

для (у„, Хп) ат,„ > в

ЦЦ-|.П Ьщдх

Прецизионный

Непрецизионный

т|П 5 £ ГТ.л Д для {/„, Х„

Локально Непреци-

непреци- зионный

зионный

* "ит > Е™

3 в(В, X)

Приводим к прецизионному

3 в(В, X)

Неприводим к прецизионному в

Рис. 1.

В главе 7 для решения указанной задачи предложено использовать интегральные МНК-соотношения (НМНК-соотношения), которые можно подсчитать аналитически или с помощью численных методов. В качестве примера использования ИМНК-соотношений в главе 7 приводится решение задачи оценивания для того случая, когда Р(А,х) является линейной моделью аи + а,х, а (/(В, л) генерируются из полинома РмСкВ, х)

=b0 + \„ bm X m , где Xm = 1 если член hmx™ присутствует в 1\{кВ, .*) и

1,=0в противном случае, и отмечаются следующие преимущества получаемых оценок параметров неадекватной линейной модели:

а) при достаточно представительной выборки они определяют линейную модель, близкую к равномерной аппроксимации;

б) позволяют решать задачу о восстановлении параметров неадекватной линейной модели даже в условиях малой выборки (что, очевидно, приводит к значительному снижению затрат на проведение соответствующих экспериментов).

Для пассивных измерительных экспериментов в главе 7 выделено 6 возможных различных ситуаций, из которых (в отличие от активных экспериментов) только для 4-х обсуждаемая выше первая основная задача оценивания разрешима {случаи, для которых указанная задача неразрешима отмечены на рис. 1 символом ©}. На рис. 1 amj„ — величина, определяемая методом виртуального прибора {см. (2)j; е — погрешность задания значений зависимой переменной; ешц* — наибольшая погрешность задания значений зависимой переменной, при которой еще возможно восстановление значений векторного параметра А функции F(A,X) с погрешностью, не превышающей некоторой наперед заданной величины

В качестве второй основной задачи развиваемой теории оценивания параметров в главе 7 рассматривается задача восстановления вида функции W(D, X) из (5). При этом подробно обсуждаются следующие два простых случая, для которых эта задача разрешима.

1. Когда истинная функция G(B,X) получается из исходной (постулируемой) функции F(A, X) пугем ее модификации и отличается от нее на аддитивную добавку W(D,X) {в качестве конкретного иллюстративного примера, в котором реализуется случай 1, в диссертации рассматривается некоторый класс физико-химических экспериментов (Б.Я.Брач с сотр., Р.П.Вардапетян с сотр., Ю.Н.Веневцев с сотр., Н.П.Гавалешко с сотр., В.С.Горшков с сотр., Л.И.Королева с сотр., М.Д.Котерлин с corp., Б.П.Хрусталев с сотр., В.И.Чечерников с сотр., Т.Миядай с сотр., и др.), в которых исследуется температурная зависимость магнитной восприимчивости х(7) слабомагнитных материалов. Для указанного класса экспериментов доказывается, что

а) наблюдаемые на экспериментальных диаграммах 1/х -Т изломы не имеют отношения к каким-либо физическим явлениям, а инициируются совокупностью операциональных ошибок соответствующих физико-химических экспериментов: неправильным разбиением % на температурно зависимую (ХН'/СГ+О)) и температурно независимую (Х2=Хи) части, неточностью определения значений х и 7', а также дискретностью измерений;

б) ищ л> Ы;

2. Когда вклад от функции И\0,Х) в исследуемые свойства объектов приводит к локальной неадекватности аппроксимирующей функции ¡{А, X) {в качестве конкретного иллюстративного примера, в котором реализуется данный случай, в главе 7 рассматриваются эксперименты по исследованию магнитного поведения поликристаллических систем Ух А1|.хО] 5

(Н.П.Бобрышева, Е.Джонес) и демонстрируется, что для указанных систем ЩГ>, X) = XI ^ 0(7' + 7'с)), где (.', 9, Хо, а и Тс— параметры, а функция Х\ Л (а(Т + 7'с) ) является аналогом "функции включения", которую ранее Б.Н.Ролов и В.Э.Юркевич предложили использовать для описания так называемых "размытых фазовых переходов"}.

В заключительных параграфах главы 7 обсуждается область применения развитой теории оценивания параметров, приводится полный перечень задач анализа данных, которые можно решать в ее рамках, и делается вывод, что разработанные в рамках этой теории методы решения задач оценивания могут быть использованы в различных измерительных экспериментах, в которых по найденным для неоднородны" объектов экспериментальным зависимостям требуется определить, во-первых, значения векторного параметра А аппроксимирующей функции Л") с наперед заданной точностью 5/1 и, во-вторых, вид и степень влияния неоднородности объектов на их свойства.

В главе 8 в рамках развитой в главах 6 и 7 теории оценивания параметров разработаны методы решения задач о поиске для экспериментальных зависимостей, полученных для неоднородных объектов, наилучшей равномерно аппроксимирующей модели среди заданного множества моделей {отметим, что необходимость решения сформулированной задачи в рамках данной работы определяется тем, что в главе 7 результаты ее решения предлагается использовать для восстановления параметров неадекватных аппроксимирующих моделей). В частности, в главе 8

- анализируется классический вариант постановки задачи о поиске наилучшей аппроксимирующей модели и метод ее решения, и указываются причины, из-за которых в общем случае в измерительных экспериментах {для операциональной схемы Гаусса - Маркова) классическое решение обсуждаемой задачи не является наилучшим;

- формулируется операциональный вариант рассматриваемой задачи {требуется найги функцию ^«(У'ир^И, X)), которая наиболее точно аппроксимирует таблично заданную зависимость {.У,„ А,,}, где /<'„,„ (Л, Л') выбирается из семейства {1;Ч{А,Х)}, и для найденного решения ¿гц(/''„р1(/1, Л")) построить соответствующий ему набор эквивалентных формул «»*(/'», (С, У, А',,)),

где 1'т (С/, EJ некоторые полиномы степени т, от переменной 4, а С/ оценки векторного параметра полинома ¡'„^ },

- обсуждается ряд вычислительных проблем, возникающих при решении операциональных задач о поиске наилучшего равномерно аппроксимирующего многочлена (псрная задача) и наилучшей равномерно аппроксимирующей линейной многофакгорной модели {вторая задача), и разрабатываются методы решения этих задач. В частности, при разработке методов решения первой задачи отдельно рассматриваются случаи прецизионного и/или локально непрецизионного {случаи 1) и непрецизионного {случай 2) экспериментов. При этом утверждается, что

а) при решении задач о поиске набора наилучших аппроксимирующих функций к обычно задаваемым условиям необходимо добавлять требование {отсутствующее в существующей теории регрессионного анализа} равномерной аппроксимации наилучшими функциями анализируемого массива данных;

б) решение обсуждаемой задачи можно найти в первом случае с помощью метода виртуального прибора, используемого в совокупности с методов эквивалентных формул {при некоторых указанных условиях найденное с помощью этих методов решение будет являться близким к многочлену наилучшего равномерного приближения} и во втором случае либо с помощью двух разработанных в данной главе методов, позволяющих сравнивать аппроксимирующее качество функций {/•'/Л, Л")} с выбранной в качестве эталона функцией R{B,х) {в первом методе (методетретьей модели) посредством некоторой третьей аппроксимирующей функции и во втором методе путем сравнения дискретных теоретических (определяемых из вида функ-

ций и К (В, х)) и экспериментальных (определяемых методами

регрессионного анализа по массиву {>>„, *„}) отношений, существующих между значениями параметров функций {]-ч(А,Х)\ и Л(В,*)}, либо при некоторых указанных условиях с помощью стандартных методов линейного дискриминантного анализа. При разработке методов решения второй задачи указывается, что хотя формулировки операциональных задач о поиске наилучших равномерно аппроксимирующих многочлена и линейной многофакторной модели похожи друг на друга, вторая задача часто является более сложной главным образом из-за необходимости при проведении расчетов учитывать разнообразное проявление "эффектов мультиколлинеарности" (И.Вучков с сотр., Н.Дрейпер, А.Лерой, П.Рауссеу, Г.Смит, и др.). Особенности использования метода виртуального прибора для получения решений второй задачи демонстрируются в главе 8 на ряде конкретных иллюстративных примеров.

В главе 9 в рамках развитой в главах 6-8 теории оценивания параметров разработаны методы решения задач о выявлении вида и степени влияния совокупности межзеренных, межфазных и поверхностных состояний на магнитные характеристики ряда поликристаллических и монокристаллических слабомагнитных материалов. В частности, в главе 9

- приведены результаты тестирования методом виртуального прибора экспериментальных зависимостей магнитной восприимчивости от температуры {Хл, Т„} ряда поликристаллических и монокристаллических систем с различными концентрациями парамагнитного иона

ЬаМехА1!.х03 (Ме = V, Сг, Бе, Ми), La SrMej.Al1.xO4 (Ме = Сг, Ре), У Са РехА11.^04} (Н.П.Бобрышева, Б.Н.Дудкин, Ю.И.Рябков, и др.) и на основании этих результатов сделан вывод, что для анализированных экспериментальных зависимостей решение рассматриваемой задачи оценивания невозможно получить в рамках существующей теории анализа данных {например, с помощью только одних прецизионных методов дробно-линейного оценивания, разработанных и аттестованных в главе 3};

- с использованием сведений, приведенных ранее в главах 2-7, разработаны и исследованы различные методы решения задач оценивания применительно к тому конкретному случаю, когда аппроксимирующая модель имеет вид дробно-линейной функции (модифицированного закона Кюри -Вейсса) и является устранимо (локально) (первый случай) или неустранимо (глобально) (второй случав) неадекватной {для первого случая в главе 9

помимо метода виртуального прибора и предложенных в главе 3 аналогов робастных дробно-линейных оценивателей, разработан альтернативный метод, в котором оценивания параметров С и 0 закона Кюри - Вейсса производится по аппроксимирующей модели, составленной из модифицированного закона Кюри - Вейсса и добавочного члена Xi th (aOl ¡q))\ при этом отмечается, что по сравнению с ранее известными аппроксимирующими моделями (У.Хинатсу с сотр., В.Гонг с сотр., К.Лии с сотр., М.Мапле с сотр., Л.Неель, М.Парантхаман с сотр., и др.)'предложенная аппроксимирующая модель имеет следующие преимущества: позволяет для ряда слабомагнитных систем

а) объяснить поведение экспериментальных зависимостей х СО как в области, в которой магнитная неоднородность существенно влияет на свойства исследуемых материалов, так и вне ее. (в частности, позволяет определить температурный интервал, в котором магнитная неоднородность оказывает существенное влияние на магнитное поведение исследуемых систем);

б) с единых позиций рассматривать поведение экспериментальных зависимостей х (Т) для близких по свойствам слабомагнитных систем;

для второго случая в качестве основного предложено использовать метод третьей модели, в котором "третьей" моделью является простая линейная функция и "эталонные" значения ее параметров подсчитываются аналитически с помощью соответствующих ИМНК-соотношений};

- рассмотрены некоторые проблемы создания программных систем количественной обработки экспериментальных зависимостей, найденных для неоднородных объектов, и предложен общий алгоритм их конструирования, в котором главным пунктом является разработка н анализ "идеального" алгоритма решения основной задачи создаваемой программной системы; с помощью предложенного алгоритма разработана конкретная программная система, предназначенная для анализа зависимостей х СО однородных и неоднородных слабомагнитных материалов {реализованная в программной системе общая схема решения задачи оценивания параметров дробно-линейной функции F(A, х) = a¡/((i2+jc) + aj по заданной двухфакторной таблице, полученной в различных экспериментальных условиях, представлена на рис. 2: и /4тих — границы варьирования параметров дробно-линейной функции; агаш — параметр метода виртуального прибора {см. (2)}; е — наибольшая погрешность, с которой определены значения (хЛ; у — номер шага в ускоренных методах решения задач оценивания, разработанных в главе 3;

Пор,О и ' / 1'юА'О — наилучшие аппроксимирующие полиномы, с помощью которых восстанавливаются значения параметров дробно-линейной функции в случае ее неадекватно ста {в остальных случаях найденные с помощью многочленов оценки позволяют судить о степени равномерной аппроксимации экспериментальных зависимостей дробно-линейной функцией)};

Входные данные. массив (х„, Т„)

Исследование прецизионности эксперимента

_Г7| 1а~

Определение значений параметров Ат1„ и А^а методом _эквивалентных формул_

Идентификация экстремальных аномальных _выбросов

Удаление экстремальных аномальных выбросов

Определение значений параметров Л„,л и Ат„ ускоренными методами решения задач оценивания

графики Д (д) и емт(д) имеют

ярко выраженное плато

Определение.значений а пи и А' методом виртуального прибора

Поиск многочленов Р*ор(7) и УРичлСП, формирование новых массивов данных и подсчет А'

Рис. 2.

- с использованием разработанных в главе 9 методов получены результаты анализа температурных зависимостей магнитной восприимчивости ряда слабомаппггных систем, доказывающие, что физические свойства поликристаллических и монокрнсталлических образцов содержат информацию не только об объемных состояниях исследуемых объектов, но и о совокупности

существующих в них межзеренных, межфазных и поверхностных состояний {см., например, рис.3, на котором для слабомагнитных систем У Са РехА1|_х(>4 представлены зависимости Лх(7) = -Х*С'/{Т+ 0') + Хи'; очевидно, что приведенные зависимости ДхСО различаются для поликристаллических и монокристаллических образцов (непрерывными линиями на рис.3 представлены аппроксимирующие зависимости Лх= Хо^Х^ №'+71)) )}■

0,5

0,2

-0,1

Дх ея

0,65

0,35

0,05

-0,25

&Х (усл. ед)

69

120

180 Т, К

60

а)

120 б)

180 7 , К

Рис. 3. Зависимости Дх (7) = -% + С'1(7 + 6') + %о для систем У Са РехА1|_х04: а — монокристаплические образцы: х = 0,0027(1), 0,0054(2), 0,0055(3), 0,060(4), 0,060(5), 0,0126(6), 0,0148(7); керамические образцы: х = 0,0037 (1), 0,0039 (2), 0,0062 (3), 0,0066(4), 0,0119(5)

В главе 10 разработаны дополнительные по отношению к задаче оценивания параметров закона Кюри-Вейсса методы количественного анализа температурных зависимостей магнитной восприимчивости неоднородных слабомагнитных материалов. В частности, в главе 10

- разработан аналитический подход к выделению из зависимостей X (7) парамагнитной составляющей магнитной восприимчивости х'ме" (в этом подходе полагается, что парамагнитная составляющая удельной магнитной восприимчивости Хмс'мра = С/(7'о + 0'), где С и 0' — значения оценок параметров модифицированного закона Кюри-Вейсса % (7) = (7(7 + 0) + X о} и продемонстрированы его преимущества по сравнению с используемым на практике графическим подходом {например, с использованием предложенного аналитического подхода в главе 10

а) доказала несостоятельность развитого ¿ГВ.Чежиной с сотр. метода "бесконечно разбавленных твердых растворов", в котором значения

ХЙГ (х ~ 0) получают путем ' экстраполяции изотерм восприимчивости Хме" (х) на х = 0, где х — концентрация ионов парамагнитного металла Ме в исследуемом твердом растворе;

б) продемонстрировано, что для систем У СаРехА11.х04 при расчете значений х ме парв и необходимо учесть магнитную неоднородность

исследуемых образцов (см. рис.4, на котором для указанной системы приведены зависимости Хм^™1* и ХмГ> рассчитанные для 7'= 80 К: кружочки и треугольники — расчетные значения соответственно без удаления (графический подход) и с удалением (аналитический подход) аномальных выбросов, непрерывные линии — аппроксимирующие зависимости};

а) б) Рис. 4.

Рис. 8.

- для решения задачи о построении математической (регрессионной) модели температурн» концентрационных зависимостей ХмУ О', у-) предложено использовать разработанный в главе 6 метод эквивалентных аналитических формул {например, с помощью указанною метода в главе 10 установлено, что для систем У Са РехА11.х04 зависимость Хр^Ч'/', х) хорошо аппроксимируется аналитическим выражением:

ХЙГ(7'. х)= {«,/ (о2+ а,7) + ехр( х)/(«4+ аь1) |/х, (7)

где {а,}.— параметры (график зависимости (7) см. на рис. 5).

- для экспериментального выявления магнитной неоднородности в слабомагнитных материалах предложено исследовать зависимости х = Х(0 при малых значениях величин напряженности магнитного тюля (// ® 1 Кэ) в режиме непрерывного изменения температуры {в качестве примера в диссертации приводятся результаты исследования зависимостей %('1) для железосодержащего образца кремнезема при разных значениях напряженности магнитного поля Н).

В заключительных параграфах главы 10 обсуждается связь, существующая между разработанными в главах 6-8 общими методами количественного анализа зависимостей, найденных для неоднородных объектов, и специальными методами количественного анализа зависимостей х(7) слабомагнитных неоднородных материалов, разработанными в главах 9- 10, и область применения разработанных специальных методов анализа зависимостей %{Т) {в частности, указывается, что так как кроме магнитной восприимчивости закону Кюри - Вейсса подчиняются температурные зависимости многих других физических характеристик твердых тел (например, электропроводность, диэлектрическая проницаемость, коэффициент температурного расширения и др.), область применения разработанных специальных методов анализа зависимостей х.(/) является значительно более широкой, чем это представлено в диссертации).

выводы

Совокупность научных положений, сформулированных и обоснованных в диссертационной работе, составляет новое перспективное направление в области теории анализа данных — развитие теории оценивания параметров в измерительных экспериментах, направленных на исследование свойств неоднородных объектов.

При этом в диссертации получены следующие теоретические и практические результаты:

1. Разработаны набор тестовых примеров и задач, позволяющий демонстрировать и комплексно исследовать вычислительные парадоксы анализа данных, и система классификации основных причин, вызывающих появление вычислительных парадоксов в анализе данных, и методов их преодоления;

2. Предложен общий метод преодоления вычислительных парадоксов в теории анализа данных, который базируется на идее внедрения основных понятий теорий аппроксимации и планирования экспериментов в теорию оценивания параметров, и в рамках этого метода разработаны общие процедуры аттестации методов оценивания и планирования измерительного процесса в естественнонаучных экспериментах, система классификации возможных экспериментальных ситуаций, методы идентификации этих ситуаций и методы решения задач оценивания в классифицированных ситуациях;

3. Сформулированы основные задачи теории оценивания параметров в измерительных экспериментах, направленных на исследование свойств неоднородных объектов, и разработаны методы решения этих задач, позволяющие по исследованным экспериментальным зависимостям находить оценки параметров аппроксимирующих моделей с наперед заданной степенью точности и определять вид и степень влияния неоднородности объектов на их свойства;

4. Предложен общий алгоритм создания аналогов робастных оценива-телей, предназначенных для повышения достоверности решения задач нелинейного оценивания в случаях присутствия в экспериментальных массивах данных аномальных выбросов, и разработаны методы решения задач о поиске для экспериментальных зависимостей, полученных для неоднородных объектов, наилучшего равномерно аппроксимирующего многочлена минимальной степени и наилучшей равномерно аппроксимирующей линейной многофакторной модели.

5. Разработаны различные методы решения задач количественной обработки экспериментальных данных по измерению температурной зависимости магнитной восприимчивости однородных и неоднородных слабомагнитных материалов и предложена аппроксимирующая модель, позволяющая определять температурный интервал, в котором магнитная неоднородность оказывает существенное влияние на магнитное поведение исследуемых систем.

6. Разработаны общий алгоритм конструирования и методы аттестации программных систем, предназначенных для анализа результатов измерительных экспериментов по исследованию свойств неоднородных объектов; с помощью созданных методов выявлены недостатки стандартных программных систем анализа данных и разработан комплекс программ для количественной обработки результатов исследования неоднородных объектов.

7. На примере количественного анализа температурных зависимостей магнитной восприимчивости ряда слабомагнитных материалов, проведенного с использованием разработанных в диссертации методов, продемонстрировано, что физические характеристики как поликрнсталлических, так и монокристаллических образцов содержат информацию не только об объемных состояниях исследуемых объектов, но и о совокупности существующих в них межзеренных, межфазных и поверхностных состояний.

Опубликованные работы по теме диссертации:

1. Артемьев Ю.М., Чебраков Ю.В. Исследование неоднородности железосодержащих кремнеземов магнитными методами // Тез. докл. I межд. конф. по высокоорганизованным соединениям. -СПб., 1996. -4.2, -С.163-165.

2. Перес Г., Шмагин В.В., Чебраков Ю.В. Современный анализ данных: Достижения и неудачи / / Моделирование экономических и социальных процессов. - СПб.: СПб гос. техн. ун-т, 1998. - С.

3. Чебраков Ю.В. Выявление в экспериментальном массиве данных аномальных наблюдений // Алгоритмы и программы: Информационный бюллетень. - М„ 1990. - № 9. - С. 10.

4. - Генерирование семейства наилучших линейных по параметрам регрессий .// Алгоритмы и программы: Информационный бюллетень. - М., 1990. -№ 8. - С.7.

5. - Операциональный подход к количественному анализу результатов прецизионных физических экспериментов // Изв. вузов. Физика. - 1991. -№2,- С. 127.

6. - Системный подход к прецизионным исследованиям. - СПб: СПб. гос. ун-т, 1992.- 168 с.

7. - Операциональный подход к построению алгоритмов проведения качественных физических исследований // Изв. вузов. Физика. - 1992. -№ 10,- С. 127.

8. - Идентификация параметров дробно-линейной модели в условиях ее локальной неадекватности // Изв. вузов. Приборостроение. - 1993. - № 9-10,- С.5-9.

9.- Идентификация параметров неадекватных регрессионных моделей // Изв. вузов. Приборостроение. - 1994. - № 1. - С.12-15,

10. - Проверка на ЭВМ эквивалентности ряда формул и схем анализа данных / / Математика в вузе: Альтернативные системы образования и обучения: Тез. докл. междунар. конф. - Новгород, 1994. - С. 158-159.

11.-Системный анализ задачи о выборе наилучшей аппроксимационной модели / / Информационные технологии в моделировании и управлении: Тез. докл. междунар. конф. - СПб., 1996,- С.43-45.

12.-Системно-операциональный подход к разработке и эксплуатации сложных измерительных систем // Математические методы в химии и химической технологии: Тез. докл. школы молодых ученых при Х-й Мевдунар. конф. - Тула., 1996. - С. 121.

13. - Выбор наилучшей многофакторной модели в условиях малой выборки // Диагностика, информатика, метрология, экология, безопасность: Тез. докл. научн.-техн. конф. - СПб., 1996. - С.134-135.

14. - История двух различных подходов к анализу данных // Наука и техника: вопросы истории и теории: Тез. докл. конф. - Вып.ХЦ, - СПб., 1996. - С.83-84.

• 15.- Системный анализ задачи о выборе наилучшей полиномиальной регрессии // Изв. вузов. Приборостроение. - 1997. - № 1. - С. 16-23.

16. - Выбор наилучшей модели для алпроксщддаш результатов физического эксперимента // Изв. вузов. Физика. - 1997. - № 7. - С. 103-112.

17.- Теория оценивания параметров в прецизионных экспериментах // Диагностика, информатика, метрология, экология, безопасность: Тез. докл. конф. - СПб., 1997. - С. 138-139.

18. - Анаши возможных путей дальнейшего развит)« теории регрессионного анализа // Наука н техника: вопросы истории и теории: Тез. докл. конф. -Вып.ХШ. - СПб., 1997,- С.87.

19. - Методы системного анализа в экспериментальных исследованиях. -СПб.: СПб гос. техи. ун-т, 1997. - 304 с.

20. -Теория оценивания .параметров в измерительных экспериментах. -СПб: СПб гос. ун-т. 1997. - 300 с.

21. - Магические квадраты. Теория чисел, алгебра, комбинаторный анализ. -2-е изд. - СПб: СПб гос. техн. уи-г, 1998. - 368 с.

22. Чсбракоа Ю.В., Гусаров В.В. Магнетохимическое исследование состояния ионов железа в берилле // Геохимия. - 1987. - На 8. - С.1206-1208.

23. - Анализ отклонения экспериментальных данных магнитной восприимчивости от закона Кюри - Вейсса // Изв. вузов. Физика. - 1988. - 1. - С.128.

24. - Магнето химический анализ фаз переменного состава в системах А^СЬ-Ме201 (Ме - V,Сг^е) // Жури, прикл. хим. - 1988. - № 7. - С.4694.

25.- Магнитное состояние 3¿/-элементов а поликрнсталлнческнх системах // У1-й Всесоюзн. симпозиум по изоморфизму: Тез. докл. - М. - 1988. -С.217.

26. - Сравнение различных подходов к анализу данных прецизионного физического эксперимента // Изз. вузов. Физика. - 1990. - № 1. - С.126.

27. Чебраков Ю.В., Савельева З.С. Операциональный подход к созданию систем автоматизированной обработки данных // Технология проектирования программных а аппаратных средств вычислительных систем: Материалы научно-практич. семинара. - Л., 1990. - С.55-58.

28. Чебраков Ю.В., Шыагин В.В. Программные системы для обработки результатов прецизионных физических экспериментов // Изв. вузов. Физика,- 1991,- № 10,- С.128.

29.- Количественный анализ данных в условиях неадекватности ышроксимационных моделей // Информационно-управл. и выч. комплексы на основе новых технологий. Наука и маркетинг: Тез. докл. Всероссийской иаучн.-тсхн. конф.: - СПб., 1992. - С. 70-71.

30.- Дробно-линейная и дробно-квадратичная аппроксимация неоднородных массивов данных. Деп. в РосКЦ ИТО 14.05.93, №073.7210.374,- М., 1993.

31.- Робастныс алгоритмы для идентификации параметров линейной и дробно-линейной моделей // Диагностика, информатика и метрология: Тез. докл. конф. - СПб, 1994. - 4.1. - C.I07-108.

32. - Идентификация параметров неадекватных физических моделей // Нэп вузов Физика. - 1995, - № 5. - С. 40-45.

33. - Теоретические модели и вычислительные алгоритмы маг-нетохимического анализа слабомагннтных систем //IX Междунар. конф. молодых ученых по химии и химической технологии: Тез. докл. - М., 1995 - С.ЗЗ.

34. - Анализ эквивалентности ряда аналитических методов теории систем // Диагностика, информатика, метрология, экология, безопасность: Тез. докл. конф - СПб., 1997. - С. 185.

35. - Примеры вычислительных парадоксов в анализе данных // Математика в вузе: Тез. докл. междунар. конф. - СПб., 1998. С. 245-246.

36. - Влияние компьютерной революции на процессы развития математических теорий // Наука и техника: вопросы истории и теории: Тез. докл. конф. - Bbm.XIV. - СПб., 1998. - С.91.

37. Chebrakov Y.V. Finding the best even-approximating multinomial by regression analysis methods // International Conference on Approximation and Optimization:Abstracts. - Cluj-Napoca, 1996. - P.2I.

38. -Algebraic approach to Magic squares problems solution // Satcllitc-Conference of The European Congress on Mathematics 1996, Analytic end Elementary Number Theory: Abstracts. - Vienna, 1996. - P.5.

39. - Problem of the best approximating model choosing // Illth Euro-Conference Advanced Mathematical Tools in Metrology: Abstracts. - Berlin, 1996. - P.53.

40.- The reconciliation of two conflicting approaches to data analysis // 2nd European Congress on Mathematics: Abstracts. - Budapest, 1996. - P.38.

42. - Different types of formulae for the analytical description of Magic squares constructing methods // Conf. on Analytic end Elementary Number Theory: Proceedings. - Vienna, 1996. - P. 200-203.

43.-Computing the number of different orthogonal generalized Latin squares 4x4 in size // Research Conf. on Algebra and Discr. Math.: Combinatorics — Algebraic, Geometric and Probabilistic Aspects: Abstracts. - San Fcliu da Ouixols, 1997.-P. 20-2!.

44. - Computative paradoxes in regresión analysis of contaminated data mays // 3rd Workshop on Simulation: Proceedings. - St.-Petersburg, 1998. - P. 248253.

45. Chebrakov Y.V.. Gusarov V.V. Magnetic properties of Fe-O-Cl films on the tilica // 7th International Conference on ferrites: Abstracts. - Bordeaux, 1996. - P.222.

46. Chebrakov Y.V., Schmagin V.V. Software packagc relevant for solving problems of multiple linear regression analysis of inadequacy approximating modela // East-West International conference on Human-Computer Interaction: Programme. - St.-Petersburg, 1992 - P. 12.

47. - An operational approach to design, certifícate and exploit the data analysis software systems // East-West International conference on Human-Computer Interaction: Programme. - St.-Petersburg, 1992. - P 12.

4S. Correct solutions of fit problems in different experimental situations // Advanced Mathematical Tools in Metrology III / Ciarlini P., Cox M.J., Pavese F. and Richter D. (eds). - Singapore: World Scientific, 1997. - P.246-249.

49. - Investigating magnetic heterogeneity in systems VxAl|.xOi 5, AA'F«xA1|.x04 (AA' - LaSr, YCa) //7th International Conference on ferrites: Abstracts. - Bordeaux, 1996. - P. 105.

50. - Some nontraditional approaches to solving a few data analysis problems // Integral methods in science and engineering / C.Constanda, J Saianen and S.Seikkala (eds ). - Edinburg: Longman, 1997. - Vol II.- 1997 - P.69-73.

51.- Some new methods for constructing analytical formulae in combinatorics // Research Conf. on Algebra and Discr. Math.: Combinatorics — Algebraic, Geometric and Probabilistic Aspects: Abstracts. - San Feliu de Guixols, 1997. -P.35-36.

52.- Finding the best linear-multiple model in the case of microstatistics // International Conference on Approximation and Optimization: Proceedings. -CU^-Napoca, 1997. - Vol II - P.41-46.

53.- Uncertainty in decisions of regression analysis problems // International Conference on Soft Computing and Measure: Proceedings - St.-Petersburg, 1998. - Vol. 1- P.l 86-189.

54. - Regression data analysis for physicists and chemists. - St.-Petersburg: St. -Petersburg State University Press, 1998. - 196 p.