автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Разработка оптимального по порядку емкости метода измерения и обработки данных

ВВЕДЕНИЕ

0.1. Общая характеристика работы.

0.2. Краткий обзор литературы.

0.3. Краткое содержание работы.

1. МЕТОД ОБРАБОТКИ ДАННЫХ ПРИ НАЛИЧИИ ГРУБЫХ ОШИБОК И СЛУЧАЙНЫХ ПОГРЕШНОСТЕЙ ИЗМЕРЕНИЯ

1.1. Постановка задачи

1.2. Описание предлагаемого метода.

1.3. Корректность метода.

1.4. Точность метода.

1.5. Оптимальность метода

2. РЕЗУЛЬТАТЫ ПРИМЕНЕНИЯ РАЗРАБОТАННОГО МЕТОДА К ЗАДАЧЕ ОПТИМИЗАЦИИ ИЗМЕРЕНИЙ И ОБРАБОТКИ СПЕКТРОВ КАТОДОЛЮ-МИНЕСЦЕНЦИИ

2.1. Постановка задачи оптимизации измерений.

2.2. Случай единичного измерения.

2.3. Случай многократного измерения.

2.4. Конкретный пример.

3. МОДИФИКАЦИЯ МЕТОДА ПРИ НАЛИЧИИ СИСТЕМАТИЧЕСКОЙ ПОГРЕШНОСТИ ИЗМЕРЕНИЙ

3.1. Метод устранения систематической ошибки измерения

3.2. Относительная корректность устранения систематической погрешности измерения.

3.3. Точность устранения систематической погрешности измерения

0.1. Общая характеристика работы

Актуальность темы. Традиционно многие задачи, связанные с обработкой информации, решаются в предположении о существовании достаточной информации как о самих изучаемых объектах, так и о свойствах действующих на них возмущений. Однако в связи с повышающейся сложностью задач все чаще приходится иметь дело с объектами, вероятностные характеристики практически неизвестны. В этом случае представляется обоснованным использовать детерминированные методы обработки информации.

По мере развития таких численных методов на первый план стали выходить вопросы оптимизации применяемых методов. В качестве критериев оптимальности используются различные характеристики: точность, быстродействие, сложность и т.д. Для определенного класса задач в качестве такой характеристики берется емкость алгоритма — количество памяти, необходимой для получения, обработки, хранения и восстановления информации. Использование этого критерия имеет цель уменьшить время и снизить затраты на проведение измерений.

Кроме того, по мере развития алгоритмов обработки данных возникает требование к корректности применяемого метода, то есть предлагаемый алгоритм должен отвечать определенному ряду условий, например, независимости от масштабирования измеряемой функ5 ции, независимость от системы отсчета и т.д.

Эта характеристики важны и при проведении измерений и обработки данных физических измерений. Так, при исследовании спектров электромагнитного излучения полупроводниковых материалов следует ограничить тепловую и радиационную нагрузку на измеряемый образец. Эта задача в сочетании с необходимостью получения максимальной информации об измеряемом объекте также приводит к проблеме оптимизации используемых методов измерений и обработки данных.

0.2. Краткий обзор литературы

Традиционно многие задачи, связанные с обработкой информации, решаются в предположении о существовании достаточной информации как о самих изучаемых объектах, так и о свойствах действующих на них возмущений [38]. Классическими методами для решения в этом случае являются метод наименьших квадратов, метод максимального правдоподобия, метод моментов [48, 60, 62]. Из более новых методов решения подобного рода следует выделить стохастическую аппроксимацию [48].

Однако в связи с повышающейся сложностью задач, все чаще приходится иметь дело с объектами, вероятностные характеристики которых практически неизвестны. "При этом доступная нам априорная информация о распределениях помех носит настолько неопределенный характер, что для построения математической модели явлений 6 нет оснований воспользоваться тем или иным параметрическим семейством распределений. В этом случае говорят о непараметрической априорной неопределенности." [38]

В случае непараметрической априорной неопределенности используются методы непараметрической статистики либо детерминированные методы. "Непараметрическая задача — это статистическая задача, определенная на таких классах распределений, среди которых хотя бы один не сводится к параметрическому семейству функций" [38]. Другими словами, при параметрическом подходе предполагается, что измеряемые данные имеют некоторую заранее известную функциональную зависимость, а при непараметрическом подходе конкретный вид кривой неизвестен (хотя предполагается, что есть какая-то статистика об измеряемом процессе). Описание различных методов непараметрической статистики можно найти в работах [37, 38, 63]. В работах A.B. Антонова, Ю.Ф. Буртаева, В.А.Острейковского [30, 32] приведены способы оценивания непараметрическими методами различных характеристик надежности систтем.

Ядерное сглаживание как наиболее часто используемый метод непараметрической регрессии достаточно полно освещается в работе [61]. В этом случае вводится весовая функция, называемая ядром, которая удовлетворяет некоторым дополнительным условиям. В этой же работе [61] приведены и сравнительные характеристики детерминированных (приближение полиномами и сплайн-аппроксимация) методов сглаживания и непараметрических методов.

Детерминированные методы начали свое развитие с работ Ньютона. Так, в третьей книге "Principia" он описал "метод построения параболической кривой через точки" (известный сейчас как метод Ньютона). В дальнейшем классические методы приближения полиномами развивались в работах Лагранжа, Эрмита, Чебышева, Бир-хоффа, Пеано и других.

Как развитие теории приближения полиномами в 1946 году Шенберг [83] ввел понятие сплайна как кривой, которая является полиномом на каждом из отрезков разбиения. Более корректно

Определение [65] Функция s{x) называется сплайн-функцией (или просто сплайном) степени п с узлами {a?¿}, i = 0,. , га, если —оо < хо < xi < . < жт1 < хгп < оо и

1) для каждого г = 0,., т — 1 на интервале aj¿+i) это полином степени не выше щ

2) функции з(ж), s'(x),., непрерывны на отрезке [я?о, хт].

В 1947 году Карри и Шенберг [67] ввели понятия сплайнов с кратными узлами и В-сплайнов как предельного случая сплайнов, но определенных лишь вблизи аппроксимируемого значения.

Карри и Шенберг [68] доказали лйнейную независимость и другие свойства ^-сплайнов. В.М. Тихомиров [57] доказал замкнутость пространства сплайнов в метрике L2.

В дальнейшем при изучении линейных комбинаций В-сплайнов, начиная с работ де Бора [69] и Шенберга [84], было введено понятие локальных (или естественных, натуральных) сплайнов. 8

Определение [70] Локальным сплайном порядка к с последовательностью узлов {х{} называется любая линейная комбинация 5-сплай-нов порядка к с последовательностью узлов {а^} : к(х) = J2aiBi,k, <*i € Ri

Как оказалось они обладают рядом замечательных свойств. Так, в [84] доказано следующее свойство локальных сплайнов: лучший метод приближения, минимизирующий Z/2-норму остатка линейного функционала -£>(/) ("лучший в смысле Сарда") получается при применении L к однозначно определенному локальному сплайну, который интерполирует / в некоторых узлах ., хп (правда, расположение узлов неизвестно). Н.П. Корнейчуком [41] дан оптимальный выбор коэффициентов для локальных сплайнов и получены оценки точности приближения функции различными методами, в том числе сплайнами и локальными сплайнами. Наиболее полно теория сплайнов изложена в монографиях де Бора [70], С.Б. Стечкина и Ю.Н. Субботина [55], Ю.С. Завьялова, Б.И. Квасова и B.JI. Мирошниченко [39], Н.П. Корнейчука [40], Нюрнбергера [75], Б.Д. Боянова, Х.А. Акопяна, A.A. Саакяна [65]. В работе [70] доказана рекурентная формула для построения jB-сплайнов и получено правило дифференцирования локальных сплайнов. В работе [75] выведено правило интегрирования локальных сплайнов. Это позволяет применять их для численного решения систем интегро-дифференциальных уравнений, например, в задачах теории автоматического управления [43].

С развитием вычислительной техники большое значение получили 9 методы и алгоритмы обработки данных, ориентированные на численное решение на ЭВМ. Многие из них обсуждаются в работах Прэт-та [52], Макса [45], М.С. Нахмансона и В.Г. Фекличева [47], В.Н. Васильева и И.П. Гурова [33].

Наряду с линейными методами появились и нелинейные методы обработки данных, такие как метод "движущегося среднего", рекурсивные фильтры, медианное (трех- и пятиточечное) сглаживание.

Они достаточно подробно рассмотрены в монографии Тьюки [87], обзоре Бикеля [64], статье Мэллоуза [74]. В последние годы для обработки информации обсуждаются методы нечеткой логики [73], анализа всплесков [85], принципиальных кривых [71].

По мере разработки новых численных методов и возрастающей сложности решаемых задач на первый план стали выходить вопросы оптимизации применяемых алгоритмов. Теория оптимальных алгоритмов начала создаваться с работ Сарда [82], С.М.Никольского [49], А.Г. Витушкина [34]. Сард, изучая оптимальные алгоритмы для квадратур с использованием оценок функции в фиксированных точках, распространил свои результаты на аппроксимацию линейных функционалов. Независимо Никольский поставил ту же задачу и нашел оптимальный выбор узлов измерения. С.А.Смоляк [54] доказал "лемму Смоляка" о существовании линейного оптимального по точности алгоритма аппроксимации линейного функционала.

Начиная с работ Трауба, Васильковского, Вожьняковского [58, 59, 86], теория оптимальных алгоритмов стала самостоятельным разде

10 лом. Дальнейшее развитие она получила в работах А.И. Гребенникова [35, 36], Н.П. Корнейчука [72], А.Г. Сухарева [56] и других.

C.B. Лапиным [42] в качестве критерия сложности предложена емкость алгоритма аппроксимации. Им же установлено, что приближение локальными сплайнами оптимально по порядку емкости. В монографии C.B. Лапина и Н.Д. Егупова [43] этот подход применен к задачам автоматического управления.

Цель работы заключалась в разработке детерминированного метода обработки данных, позволяющего получить объективную количественную информацию об измеряемых объектах при наличии в измеряемых данных как грубых ошибок измерения, так и случайных погрешностей измерения. Разработанный метод должен позволить оптимизировать процесс измерения, обработки, хранения и восстановления данных.

Научная новизна работы определяется следующими основными результатами, полученными впервые:

1. Разработан детерминированный метод обработки данных, который позволяет устранять как случайные погрешости, так и, в отличии от традиционных методов, грубые ошибки измерения.

2. Для разработанного метода установлена его корректность и оптимальность по порядку емкости.

3. Получены оценки точности метода и оценки минимального числа узлов, гарантирующих приближение с заданной погрешностью.

11

4. Рассмотрен детерминированный метод устранения систематической погрешности измерения, установлена его корректность и получены оценки точности.

Практическая ценность исследования Разработанный метод применен к задаче оптимизации измерений и обработки спектров ка-тодолюминесценции полупроводниковых материалов, при условии, что измереннные данные могут содержать все типы погрешностей: грубые ошибки измерения, систематические и случайные погрешности. Получены оценки минимального количества длин волн и числа измерений спектра на каждой длине волны, гарантирующих заданную точность восстановления экспериментальных данных.

Разработанный метод может применяться для обработки сигналов и другой физической природы.

На защиту выносится

1. Детерминированный метод обработки экспериментальных данных при наличии как случайных* погрешностей, так и грубых ошибок измрения.

2. Результаты исследования корректности, точности и оптимальности предложенного метода.

3. Результаты применения разработанного метода к задаче оптимизации измерений и обработки спектров катодолюминесценции полупроводниковых материалов.

12

0.3. Краткое содержание работы

Диссертация состоит из введения и 4 глав.

4. ЗАКЛЮЧЕНИЕ

В данной работе предложен новый метод измерения, обработки, хранения и восстановления экспериментальных данных при наличии неполной статистической информации об измеряемом сигнале.

Он позволяет производить автоматическое устранение как случайных погрешностей, так и грубых ошибок измерения.

В работе

1) доказана математическая корректность метода;

2) получены оценки точности;

3) показано, что метод является оптимальным по порядку емкости;

4) рассмотрены приложения данного .метода к задачам оптимизации измерений и обработки спектров электромагнитного излучения полупроводников;

5) получены величины, позволяющие оценить минимально необходимое число измерений как в случае единичного, так и многократного измерения на каждой длине волны;

6) приведены примеры, показывающие эффективность разработанного метода.

103

БЛАГОДАРНОСТИ

Данная работа содержит исследования, проведенные мной с 1991 по 1999 год. С удовольствием поблагодарю всех тех, кто помогал мне.

В первую очередь я благодарен моему научному руководителю, доценту филиала Московского государственного технического университета имени Н.Э. Баумана в Калуге Михаилу Адольфовичу Степо-вичу за его постоянную поддержку и помощь как в организационном, так и в научном плане. В частности, я благодарен ему за многочисленные физические эксперименты и постановку физической части задачи.

Я благодарен кандидату физико-математических наук Сергею Владимировичу Лапину (Dr. Serguey Lapine), который ввел меня в математическую постановку задачи и постоянно обсуждал полученные результаты. М.А. Степович и C.B. Лапин являются соавторами большинства моих публикаций.

Далее, я благодарен профессору Николаю Дмитриевичу Егупову, заместителю директора филиала Московского государственного технического университета имени Н.Э. Баумана в Калуге, как за большую административную поддержку, так и за научный вклад в приложении данных методов к инженерным проблемам.

Я благодарен доктору физико-математических наук доценту Московского государственного университета имени М.В.Ломоносова Виктору Ивановичу Петрову за предоставленную возможность для постановки физических экспериментов, связанных с моей работой.

104

Я глубоко признателен Норвежскому исследовательскому Совету, Норвежскому университету науки и технологий (NTNU), отделению математики, профессору Харальду Крогстаду (Prof. Harald Krogstad) за возможность стажировки и предоставленные условия для завершения диссертации в январе - июне 1999 года в г. Тронхейме.

Я благодарен профессору Карлу Роуэру (Prof. Carl Rohwer) за любезную возможность ознакомиться с его работами и обсуждение методов.

Значительная часть исследований проведена при финансовой поддержке Российского фонда фундаментальных исследований (грант N- 97-01-00550), программы "Университеты России (технические университеты)", грантов Московского государственного технического университета имени Н.Э. Баумана.

Я благодарен сотрудникам кафедры высшей математики филиала Московского государственного технического университета имени Н.Э. Баумана в Калуге доцентам Геннадию Ивановичу Андриянову и Абдулкафару Кехримановичу Рамазанову за плодотворное обсуждение работы.

С удовольствием отмечу помощь студентов филиала Московского государственного технического университета имени Н.Э. Баумана в Калуге Игоря Колпакова, Владимира Масюка, Елены Филимоновой в создании и тестировании программ для предлагаемых методов.

В завершение я бесконечно признателен моей семье, без поддержки которой эта работа не состоялась бы.

105

1. Лапин C.B., Петров В.И., Степанов С.Е., Степович М.А. Оптимизация измерений спектров катодолюминесценции // Известия Академии наук. Серия физическая. 1996. - Т.62, №. 2. -С. 27-31.

2. Лапин C.B., Петров В.И., Степанов С.Е., Степович М.А. Оптимизация методов обработки спектров катодолюминесценции полупроводников с использованием LULU- и сплайн-сглаживания// Известия Академии наук. Серия физическая. 1998. - Т.62, №. 3. - С. 570-577.

3. Степанов С.Е., Степович М.А. Корректность применения детерминированных аппроксимационных методов// Труды МГТУ. -1998. № 571. - С. 60-69.

4. Степанов С.Е., Степович М.А. Оптимизация измерений и обра106ботки зашумленных данных при неполной статистической информации/ / Известия Тульского государственного университета. Серия Математика. Механика. Информатика. 1998. - Т.4, вып. 1. - С. 127-131.

5. Bollig В.(Germany), Kubalek L.(Germany), Lapin S., Stepanov S.,

6. Степанов С.Е. Обработка данных измерений при отсутствиистатистической информации//Прогрессивные технологии, конструкции и системы в приборо- и машиеостроении: Сборник трудов всероссийской научно-технической конференции. Калуга, 1999. - С. 40

7. Айвазян С.А., Енюков И.И., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных. -М.: Финансы и статистика, 1983. 428 с.112

8. Антонов A.B. К вопросу использования разнородной информациипри оценке надежности объектов// Надежность и контроль качества. 1985. - № 3. - С. 8-15.

9. Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы.- М.:Наука, 1987. 600 с.

10. Буртаев Ю.Ф., Острейковский Ю.Ф. Статистический анализ надежности объектов по ограниченной информации. М.: Энер-гоатомиздат, 1995. - 240 с.

11. Васильев В.Н., Гуров И.П. Компьютерная обработка сигналов вприложении к интерферометрическим системам. СПб.: БХВ- Санкт-Петербург, 1998. 240 с.

12. Витушкин А.Г. Оценка сложности задач табулирования. М.:1. Физматгиз, 1959. 342 с.

13. Гребенников А.И. Об оптимальной аппроксимации нелинейныхоператоров// Журнал вычислительной математики и математической физики. 1978. - Т. 18, № 3. - С. 762-766.

14. Гребенников А.И. Метод сплайнов и решение некорректных задач. М.: Изд-во МГУ, 1983. - 208 с.

15. Деврой JL, Дьерфи JL Непараметрическое оценивание плотности.1.-подход. М.: Мир, 1988. - 240 с.

16. Добровидов A.B., Кошкин Г.М. Непараметрическое оцениваниесигналов. М.:Наука. Физматлит, 1997. - 336 с.

17. Завьялов Ю.С., Квасов Б.И., Мирошниченко B.JI. Методы сплайн113функций. М.:Наука, 1980. - 352 с.

18. Корнейчук Н.П. Сплайны в теории приближения. М.гНаука,1984. 352 с.

19. Корнейчук Н.П. Точные константы в теории приближения.1. М.:Наука, 1987. 424 с.

20. Лапин C.B. Оптимизация по емкости проекционных методов аппроксимации систем. М.: Изд-во МГТУ имени Н.Э.Баумана, 1995. - 224 с.

21. Лапин C.B., Егупов Н.Д. Теория матричных операторов и ее приложение к задачам автоматического управления. М.: Изд-во МГТУ имени Н.Э.Баумана, 1997. - 496 с.

22. Лебедева В.В. Экспериментальная оптика. М.: МГУ, 1994.252 с.

23. Макс Ж. Методы и техника обработки измерений. М.: Мир,1983. Т. 1,2. - 619 с.

24. Морозов В.А. Регулярные методы решения некорректных задач.- М.: Наука, 1987 г. 216 с.

25. Нахмансон М.С., Фекличев В.Г. Диагностика состава материалов рентгенодифракционными и спектральными методами. Л.: Машиностроение, Ленинградское отделение, 1990. - 357 с.

26. Невельсон М.Б., Хасьминский В.З. Стохастическая аппроксимация и рекурентное оценивание. М.: Наука, 1972. - 304 с.114

27. Никольский С.М. К вопросу об оценках приближений квадратурными формулами//Успехи математических наук. 1950. - Т. 5, № 2. - С. 165-177.

28. Новицкий П.В., Зограф И.А. Оценка погрешностей результатовизмерений. Л.:Энергоатомиздат, 1991. - 304 с.

29. Панков Ж. Оптические процессы в полупроводниках. М.: Мир,1973. 384 с.

30. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982.1. Т. 1,2. 790 с.

31. Румшинский Л.З. Математическая обработка результатов измерений. М.: Наука, 1971. - 256 с.

32. Смоляк С.А. Об оптимальном восстановлении функций и функционалов от них: Дисс. канд. физ.-мат. наук. М., МГУ, 1965. - 118 с.

33. Стечкин С.Б., Субботин Ю.Н. Сплайны в вычислительной математике. М.: Наука, 1976. - 248 с.

34. Сухарев А.Г. Минимаксные алгоритмы в задачах численного анализа. М.: Наука, 1989. - 304 с.

35. Тихомиров В.М. Некоторые вопросы теории приближений. М.:1. Изд-во МГУ, 1976. 304 с.

36. Трауб Дж., Вожьняковский X. Общая теория оптимальных алгоритмов. М.: Мир, 1983. - 382 с.115

37. Трауб Дж., Васильковский Г., Вожьняковский X. Информация,неопределенность, сложность. М.: Мир, 1988. - 184 с.

38. Фрумкин В.Д., Рубичев Н.А. Теория вероятностей и статистика вметрологии и измерительной технике. М.: Машиностроение, 1987. - 168 с.

39. Хардле В.Прикладная непараметрическая регрессия. М.:Мир,1993 -349 с.

40. Цветков Э.И. Основы теории статистических измерений. JL:1. Энергия, 1979. 286 с.

41. Шапиро Е.И. Непараметрические оценки плотности вероятностив задачах обработки результатов измерений//3арубежная радиоэлектроника. 1976. № 2. - С. 3-36.

42. Bickel P.J. Another look at robustness: a review of reviews and newdevelopments// Scandinavian Jour. Stat. 1976. - No.3 - P. 145168.

43. Bojanov B.D., Hakopian H.A., Sahakian A.A. Spline functions andmultivariable interpolation. Kluwer Academic Publisher, Netherlands, 1993. - 276 p.

44. Buckner, R.B. Surveying measurements and their analyses. Rancho

45. Cordova, Ca, USA: Landmark Enterprises, 1983. 448 p.

46. Curry H.B., Schoenberg I.J. On spline distribution and their limits:the Polya distribution functions// Bulletin American Mathematical Society. 1947. - V. 53, No.53. - P. 109.116

47. Curry H.B., Schoenberg I.J. On Pölya frequency function IV: thefundamental spline functions and their limits// Journal Analyse Mathematics. 1966. - No. 17. - P. 71-107.

48. De Boor C. Best approximation properties of spline functions of odddegree// Jour. Math. Mech. 1963. - No. 12. - P. 747-749.

49. De Boor C. A practical guide to splines. Springer-Verlag, 1978.392 p.

50. Hastie T., Stuetzle W. Principal curves// Jour. Amer. Stat. Ass.1989. V. 84, No. 406. - P. 502-516.

51. Korneichuk N.P. On complexity of'approximation problems// East

52. Journal on Approximations. 1997. - V. 3, No. 3. - P. 251-273.

53. Kosko B. Fuzzy engineering. Prentice-Hall, 1997. - 547 p.

54. Mallows C.L. Some theory of nonlinear smoothers//Annals Statistica.- 1980. V. 8, No. 4. - P. 695-715.

55. Nürnberger G. Approximation by spline functions. Springer-Verlag,1989. 264 p.

56. O'Haver T. An introduction to signal processing in chemical analysiswww.umail.umd.edu, 1989. 21 p.

57. Powell M.J.D. Approximation theory and methods. Cambridge

58. University Press, 1981. 339 p.

59. Rohwer C.H. Fast one-sided approximation with spline functions//

60. Journal of Computatinal and Applied Mathematics. 1987. -No. 18. - P. 93-105117

61. Rohwer C.H. Idempotent one-sided approximation of median smoothers/ /Journal of Approximation Theory. 1989. - No. 58. - P. 161163.

62. Rohwer C.H. Locally monotone robust approximation of sequences//

63. Journal of Computatinal and Applied Mathematics/ 1991. -No. 36. - P. 399-408.

64. Rohwer C.H. One-sided quadratic spline approximation// Rendicontidel circolo matematico di Palermo, Serie II. 1998. - Suppl. 52. -P. 759-764.

65. Sard A. Best approximate integration formulas; Best approximationformulas// Amer. Jour. Math. 1949. - No. 71. - P. 80-91.

66. Schoenberg I.J. Contributions to the problem of approximation ofequidistant data by analytic functions// Quart. Appl. Math. -1946. No. 4. - P. 45-99.

67. Schoenberg I.J. On best approximations of linear operator// Netherl.

68. Akad. Wetensch. Indag. Math. 1967. - No. 67. - P. 155-163.

69. Strang G., Nguen T. Wavelets and filter banks. Wellesley- Cambridge1. Press. 1996. 400 p.

70. Traub J. Computational complexity of iterative processes// SIAM

71. Jour. Comp. 1972. - V. 1. - P.167-179.

72. Tukey J.W. Explorary data analyses. Addison-Wesley Reading,1. Mass., 1977. 648 p.