автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Алгоритмическое и программное обеспечение формирования списка линий из молекулярных спектров атмосферных газов

На правах рукописи

Пшеничников Александр Михайлович

I

АЛГОРИТМИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ

ФОРМИРОВАНИЯ СПИСКА ЛИНИЙ ИЗ МОЛЕКУЛЯРНЫХ СПЕКТРОВ АТМОСФЕРНЫХ ГАЗОВ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Томск-2003

Работа выполнена в Томском государственном университете систем управления и радиоэлектроники (ТУСУР) и Институте оптики атмосферы СО РАН (ИОА СО РАН), г.Томск.

Научный руководитель:

доктор технических наук, профессор Мицель Артур Александрович Соруководитель

кандидат физико-математических наук Щербаков Анатолий Петрович Официальные оппоненты:

доктор технических наук, профессор Светлаков Анатолий Антонович доктор физико-математических наук, профессор Черемисин Александр Алексеевич

Ведущая организация: Томский государственный университет

Защита состоится « 27» ноября 2003 г. в 16 часов на заседании диссертационного совета Д.212.268.02 Томского государственного университета систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Белинского 53, НИЙЯЭМ.

С диссертацией можно ознакомиться в библиотеке Томского государственного университета систем управления и радиоэлектроники по адресу: г. Томск, ул. Вершинина, 74.

Автореферат разослан « 22 » октября 2003 г.

Ученый секретарь диссертационного совета

Д.212.268.02, д.т.н. Клименк0 АЯ'

а=>©з-А

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Молекулярные спектры являются уникальным источником информации о строении окружающих нас веществ и многих процессах, происходящих в природе. Получаемая спектроскопическая информация применяется в самых разнообразных областях науки и техники. Например, спектральные свойства водяного пара ответственны за эффект «зеленого дома». Благодаря тому, что водяной пар (а так же другие парниковые газы -С02> СН4) пропускает солнечное излучение в видимом диапазоне и поглощает большую часть энергии, переизлученной поверхностью Земли в инфракрасном (тепловом) диапазоне, на Земле сохраняется тепло и климат, пригодный для жизни. Следовательно, исследования спектров Н20 имеют важное значение для климатологии. Спектроскопическая информация об атмосферных газах используется при интерпретации результатов зондирования атмосферы Земли и результатов наблюдений в астрофизике. Из спектров молекул определяют фундаментальные характеристики молекул, их геометрию и энергетическую структуру, информацию о внутренних силах и процессах, что представляет интерес для теории строения атомов и молекул.

Последние годы характеризуются все большим возрастанием значения методов молекулярного анализа. Задачи, для решения которых необходимо применение этих методов, возникают в связи с рядом глобальных проблем. К ним относится проблема идентификации соединений, возникающих в результате химических реакции в обычных условиях и в особенности л плазме, при различных энергиях фотохимического воздействия, лазерном синтезе и т.д. Задача анализа молекул и молекулярных ассоциатов выдвигается общей проблемой контроля загрязнений внешней среды - состояние атмосферы, биологических объектов, органических примесей в воде и т. д. В ряде промышленных производств возникает задача автоматического контроля загрязнений основного продукта разного рода побочными продуктами. Решение всех этих проблем на одном из этапов требует достаточно точных и экспрессных анализов. нацеленных на изучение как отдельных молекулярных систем, так и их ассоциатов и смесей. В свою очередь потребности массовых анализов приводят к задаче разработки автоматизированных систем для молекулярного анализа.

На сегодняшний день спектроскопия представляет собой одну из наиболее интенсивно развивающихся областей физики. Применяются все более совершенные системы и методы регистрации спектров поглощения и излучения, изобретаются новые приборы и устройства, способные с высокой точностью проводить измерения. Вводятся методы автоматического управления сбором данных.

В последние годы все большее внимание в физике привлекают обратные задачи. Это задачи, в которых устанавливаются те или иные характеристики молекул на основании измеренных спектров. Типичной задачей такого рода, решению которой посвящено большое число работ, является задача определения силовых постоянных по наблюдлгммм кпюбшмльиым.спектрам.

* Трос национальнаяI

| библиотека I 3

I СПсмМпг /¡д/» • _*>*

Обратные задачи, как правило, принадлежат к классу так называемых некорректно поставленных и обладают той характерной особенностью, что не имеют однозначного решения. Это приводит во многих практически важных случаях к серьезным затруднениям и заметной доле субъективизма, сказывающейся на окончательном результате.

Таким образом, актуальность исследования обусловлена необходимостью получения высокоточных спектроскопических данных для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других. В свою очередь, спектры высокого разрешения, зарегистрированные на современных спектральных приборах, являются очень точными, подробными, и содержат десятки тысяч линий. Поэтому для специалистов во всем мире стало очевидным, что анализ таких спектров, невозможен без создания специальных автоматизированных систем и инструментальных средств, которые обеспечили бы эффективную, быструю и удобную работу со спектрами.

Несмотря на большое число программных средств и то, что почти все они в определенной степени способны решать некорректные задачи, они не лишены недостатков. Например, некоторые привязаны только к определенной аппаратуре; другие используют для подгонки параметров какой-либо один модельный контур, например, Гаусса, либо только узкий круг распределений, предназначенных для конкретной задачи и не подходящий в нашем случае; следующие требуют непосредственного участия оператора при своей работе - для разметки спектра, определения числа линий в группе; некоторые из этих программных средств для начала своей работы (до поиска спектральных линий) требуют проведения большого объема предварительных расчетов - дифференцирования, интегрирования, сглаживания, и т.д. Не последнее место занимает и вопрос цены программного средства, т.к. большая часть из них - коммерческие. В диссертации приведен обзор порядка двух десятков систем, использующихся для обработки спектров. В них на разном уровне присутствует автоматизация, которую чаще можно назвать «механизацией».

Целью данной работы являлась разработка системы, позволяющей в автоматическом режиме проводить начальную обработку молекулярных колебательно-вращательных спектров поглощения и пропускания атмосферных газов. Обработка включает поиск пиков спектральных линий, подгонку модельных контуров и получение списка линий.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Исследовать особенности регистрации колебательно-вращательных спектров молекул атмосферных газов.

2. Провести исследование информативных признаков для распознавания объектов в спектральной кривой - пиков, крыльев и целых групп спектральных линий. Разработать алгоритм распознавания этих объектов.

3. Изучить методы решения обратных задач в спектроскопии. Выбрать, либо предложить метод регуляризации некорректных задач спектроскопии.

4. Разработать программное обеспечение для первичной обработки молекулярных спектров, которое позволило бы при минимальном участии оператора формировать списки спектральных линий.

При решении поставленной задачи использовались следующие методы исследований: методы теории распознавания образов, искусственного интеллекта, кластерного и корреляционного анализа, численные, оптимизационные, методы решения некорректных задач, структурного и объектно-ориентированного программирования.

Основные положения, выносимые на защиту, можно сформулировать следующим образом:

1. Метод потенциальных функций обеспечивает создание устойчивых процедур распознавания пиков нужной формы в спектральной кривой. Такие процедуры обучаемы на примерах и способны имитировать принятие решений экспертом при поиске линий переходов в спектрах.

2. Метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам позволяет задавать коэффициенты регуляризации только для тех параметров модели, которые вносят неустойчивость в общее решение.

3. Разработанное программное обеспечение ASA формирует список линий, пригодный для дальнейшей идентификации и обработки.

Научная новизна состоит в следующем:

1. Впервые на основе метода потенциальных функций разработаны алгоритмы распознавания линий и их групп. Предложены информативные для распознавания признаки.

2. Впервые применен алгоритм локальной регуляризации для решения обратной спектроскопической задачи - подгонки модельных контуров линий.

3. Предложен оригинальный алгоритм локальной регуляризации с привлечением априорной информации о матрице корреляций производных от невязки по параметрам.

4. Разработанная система ASA, в отличие от известных в литературе, использует методы распознавания образов, позволяющие наиболее полно и правильно имитировать действия эксперта - человека, при принятии решений.

Практическая значимость работы. Автоматизированная система ASA позволяет формировать списки линий спектров высокого разрешения, содержащих десятки тысяч линий, практически без участия человека. Получаемые высокоточные спектроскопические данные могут использоваться для

решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других.

Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.

С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D20, HDO, СО, С02. Например, обработанный спектр HDO в области 9500 см"1 - 12500 см"1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На проверенном визуально участке этого спектра не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректной работе системы. Данный спектр обрабатывался в автоматическом режиме примерно 2 часа, включая время на.подготовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см"1 до 2200 см'1, в результате чего получен список из 369 линий. Было проведено сравнение полученных данных с экспериментальными расчетами.

Достоверность результатов обеспечивается строгим применением математических методов, сравнением результатов с реальными научными данными, приведенными в литературе, которые были получены экспериментальным путем. Так же достоверность результатов проверена при моделировании прямой задачи, с последующим решением обратной.

Апробация работы. Результаты работы докладывались и обсуждались на следующих конференциях: Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 25 мая 1999г.), Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 17 мая 2000г.), VII Международный симпозиум «Оптика атмосферы и океана» (Томск, 16-19 июля 2000г.), Региональная научно-техническая конференция студентов и молодых специалистов «Прикладной системный анализ» (Томск, 28-30 ноября 2000г.), Международная конференция «Моделирование, базы данных и информационные системы для атмосферных наук» (Иркутск, 25-29 июня 2001г.), 22 Съезд по спектроскопии (Зеленоград, 8-12 октября 2001г.), Международная конференция «Новые информационные технологии в науке, образовании, экономике» (Владикавказ, 6-10 июня 2002г.), IX Международный симпозиум «Оптика атмосферы и океана» (Томск, 2-5 июля 2002г), X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы» (Томск, 24-28 июня 2003г), Вычислительно-информационные технологии для наук об окружающей среде CITES-2003 (Томск, 1-11 сентября 2003). Также по результатам работы было опубликовано 6 статей. Разработанная система ASA внедрена в лаборатории молекулярной спектроскопии Института оптики атмосферы СО РАН, в учебном процессе - в Томском государственном университете систем управления и радиоэлектроники.

Личный вклад диссертанта. Автором разработаны алгоритмы и программное обеспечение для получения списка спектральных линий, проведено моделирование. Щербаковым А.П. было предложено использовать метод потенциальных функций для распознавания в спектре линий. Автором было проведено исследование отбора признаков для распознавания, реализован алгоритм. Мицелем A.A. было предложено использовать метод локальной регуляризации для устранения некорректности обратной задачи. Совместно с Щербаковым А.П. был разработан метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам. Автором реализованы эти алгоритмы. Щербаковым А.П. был создан интерпретатор на языке Лисп - ИПРА, с использованием которого автором была разработана система ASA.

Структура и объем диссертации. Диссертация состоит из введения, • трех глав, заключения, списка литературы из 97 наименований и приложения. Общий объем диссертации - 111 страниц, включая 7 таблиц и 21 рисунок.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика работы. Представлена предметная область, обоснована актуальность исследования, а затем его цели и задачи. На основании целей выведены методы исследования проблемы и приведены элементы научной новизны работы. Сформулированы практическая и теоретическая ценность работы, основные защищаемые положения, обоснована их достоверность. Затем говорится о внедрении результатов диссертации и рекомендациях по их дальнейшему использованию, апробации работы и опубликованных материалах по теме исследования.

Первая глава посвяшена решению первых двух подзадач первичной обработки спектров - поиску линий и их группировке.

Недостаточное качество созданных ранее программных средств объясняется тем, что они не используют специальных методов, применяемых для автоматизации. Поэтому большую часть первичной обработки спектров (получение списка линий) проводилось вручную. Поскольку при разработке автоматизированных систем всегда приходится в той или иной степени решать задачу распознавания образов, то и для автоматизации первичной обработки колебательно-вращательных спектров молекул были применены хорошо разработанные методы теории распознавания образов.

Задача распознавания образов (объектов; в нашем случае такими объектами являются пики спектральных линий и их группы) формулируется следующим образом: имеется пространство описаний X = , пространство решений /*■ = {/,, /2,..., /ы}, т.е. совокупность возможных класси-

фикаций объектов. Решить задачу распознавания образов (ЗРО) означает построить отображение /(х):Х ^ наилучшее в некотором, заранее определенном смысле, например, в смысле близости к эталонному отображению /*(х), задаваемому учителем.

Для поиска спектральных линий использовался метод, принадлежащий теории распознавания образов -метод потенциальных функций (МПФ).

Согласно этому методу, вводится функция двух, в общем случае векторных, переменных К(х, у), х,у е X , где Х - пространство признаков, которое содержит все возможные образы. Эта функция обладает следующими свойствами:

A) К(х,у)> 0, Ух,уеХ-,

Б) К(х,у)<К(х,х) и К(х,у)йК(у,у); (1) •

B) УхеХ тахК(х',у)=К(х*,х').

Функция К(х,х ) задает некоторую поверхность над точками пространства X и по свойствам (Б) и (В) эта поверхность над одномерным (либо двумерном) пространством напоминает график нормальной плотности распределения.

Разделяющая функция /(х), согласно этому методу, на шаге (п+1) преобразуется по следующему правилу

Л+10) = /л (*) + Уп+\К(Хп+1,х) (2) •

здесь каждое из чисел у„ играет роль дозы обучения (поправки) при л-м шаге обучения:

>0, если /„(*)< 0, /\х) > 0

у„=-<0, если /„(*)>0, /*(*)5 0 (3)

0, в других случаях.

Г„ = гл(я*),/*(*))

где г„(х,у) - некоторая функция такая, что < А\х - >•] + В, А и В - кон-

станты.

При реализации процедуры обнаружения пиков линий в спектральной кривой, в качестве признакового пространства был взят набор нормированных участков спектра, находящихся в анализируемом окне (рисунок 1). Нормировка спектра выполнялась по формуле

г* _ 2(/, - 1тт) _.

v тах 1 тт /

в диапазоне [-1; +1]. 1тт и 1тах - минимальная и максимальная величины, находящиеся в окне.

о

о с:

3700 О 3700.2 3700.4 3700.6 Частота, см*1 Рис. 1 Анализируемое окно (спектр Н20)

В зависимости от ширины линий выбирается размер окна. При этом количество точек во входном векторе процедуры распознавания остается неизменным. Точки выбираются равномерно по ширине окна. Поскольку узлы сетки окна могут не совпадать с узлами сетки зарегистрированного спектра, то необходимо использовать процедуру интерполяции. Такая процедура позволяет работать со спектрами разного разрешения и находить линии независимо от их ширины в ячейках спектра.

Пространство решений содержит 4 класса: «центр линии», «правый край», «левый край», «не край и не центр». Изображение окна должно быть отнесено к одному из этих классов. Последний класс в системе представляется как не принадлежность ни одному их трех предыдущих.

Дня использования процедуры распознавания линий, сначала проводится обучение на примерах. Учитель указывает системе классификацию объектов, на основе чего определяются описания. Как правило, число необходимых примеров близко к числу точек во входном векторе процедуры распознавания - узлов сетки в выбранном окне. После обучения распознавание может проводиться автоматически без участия человека.

Как показывает практика, обучение системы распознавания позволяет не проводить фильтрацию спектров от шумов (которая, в свою очередь, так же добавляет погрешность в исходные данные), т.к. сформированные описания классов уже сами фильтруют шумы.

Функции г„ в процедуре обучения были взяты в виде

/*(*»+1)-/(*л+1)

гл+1 ~"

I

+ е если /(дг, с) < 0 и линия правильная 0

-е если /(х,с)> 0 и линия неправильная

(5)

где б - малая величина (е=0.01), необходимая для более четкой работы. Выражение (5) срабатывает так, что после шага обучения (п+1) персептрон показывает для х„+1 то, что показал учитель (для данного случая

/(х„+х) = /\хп+1)), указывая, что х лежит не на самой разделяющей поверхности, а вблизи от нее.

Для группировки - распределения найденных линий по группам мы использовали метод потенциальных функций. При этом подгонка контуров проводилась совместно, поскольку контура линий перекрываются и тем самым влияют друг на друга. Так как в нашем распоряжении не достаточно информации о совместной плотности распределения (пространств признаков и решений) и классах, то в данном случае больше подходят непараметрические процедуры, в том числе все те же методы теории распознавания образов. .

В качестве признакового пространства использовались 4 признака (рисунок 2): р, - частотное расстояние между двумя соседними метками линий, нормированное на величину ширины линий; р^нрз — значения интенсивно-стей на этих метках; р4 - интенсивность в середине интервала между соседними метками линий. Интенсивности нормированы на максимальное значе-

Частота. см"1 Рис. 2 Признаки для группировки

Для функционирования процедуры распознавания групп линий так же проводится обучение на примерах. Учитель на спектре показывает и сообщает системе классификацию объектов, определяются описания. В разработанной системе предусмотрено автоматическое обучение распознаванию групп перекрывающихся линий. В этом случае требуется предварительно разметить группы линий на некотором участке спектра. После чего система может сформировать разделяющую функцию /(х) из (2). После обучения группировка пиков может проводиться автоматически без участия человека. Процедура повторяет описанную выше вычислительную схему, описанную формулами

(1)-(5).

На рисунке 3 представлен результат работы поисковой процедуры. В диапазоне от 9700 см"1 до 9740 см"1 системой ASA было найдено 17 линий, превышающих заданный уровень шума в 0.5%.

В верхней части рисунка жирным выделены метки тех линий, амплитуда которых не превышает 1% от максимально возможной. Тонкие сплошные метки обозначают линии, амплитуда которых находится в диапазоне от 1% до 3%. Пунктиром обозначены метки сильных линий, которые превышают 3%. Такая классификация бывает нужна в тех случаях, когда требуется найти сильные линии, либо наоборот - не учитывать шум и насыщенные линии.

lLlL

9700

9710

9730

9720 Частота, «г1

Рис. 3 Результат работы процедуры поиска линий

Так же во второй главе описывается применение кластерного анализа для группировки спектральных линий, и указывается на необходимость использования альтернативных методик, позволяющих избегать подбора параметров функции плотности распределения, отвечающих за ее визуальную гладкость.

Во второй главе приводится решение обратной задачи (извлечение параметров спектральных линий из колебательно-вращательных спектров молекул), дается определение некорректности задачи, приводятся основные способы построения регуляризирующих алгоритмов.

Существует несколько теоретических методов определения параметров спектральных линий, но на практике для подгонки модельных контуров в

большинстве случаев используется метод наименьших квадратов (МНК). Этот метод подходит по скорости, ресурсоемкости и по наличию большого количества теоретических и алгоритмических наработок.

В общепринятой постановке, задача МНК состоит в нахождении пара: метра 0 функции У(х\ в), удовлетворяющего минимуму сглаживающего функционала J(6):

(б)

к-0

В (6) через x¡¡ обозначены экспериментальные значения частот спектра, Y"p - экспериментальные значения интенсивностей, Y(xk\в) - теоретические распределения, описывающие контур линии. В разработанной системе ASA для подгонки применяются следующие модельные распределения: Гаусса, Лоренца, Фойгта, Раутиана-Собельмана и Галатри.

Заметим, что задача минимизации функционала (6), в ряде случаев становится некорректной.

Задача Au=f называется корректно поставленной по Тихонову, если выполнены следующие условия:

1) априори известно, что решение задачи Au=f существует и принадлежит некоторому заданному множеству Me U, т. е. /e/V = АМ;

2) решение единственно на множестве М, т. е. оператор обратим на множестве М;

3) существует непрерывная зависимость решения и от правой части f, когда вариации f не выводят решение за пределы множества М, т. е. оператор А'1 непрерывен в относительной топологии множества N.

В нашем случае - обработке спектров имеет место нарушение третьего условия корректности - решение задачи неустойчиво относительно малых изменений в исходных данных, и сколь угодно малые изменения в исходных данных могут приводить к произвольно большим изменениям решения. В таких случаях говорят, что подгонка модельных контуров «разошлась». Заметим, что классические методы, в которых используется скалярный регуляри-зирующий параметр, плохо работают в нашем случае. Для получения устойчивого решения следует применять методы «локальной регуляризации», авторами одного из этих направлений являются Левенберг и Марквардт, другого -Воскобойников Ю.Е. Суть локальной регуляризации состоит в том, что для каждой неизвестной компоненты искомого решения вводится свой параметр регуляризации. Введение локальной регуляризации позволяет повысить точность решения. Наибольшая эффективность локальной регуляризации достигается в тех случаях, когда компоненты решения существенно различаются друг от друга по величине.

Неустойчивость проявляется в том, что решение задачи неустойчиво относительно малых изменений в исходных данных - сколь угодно малые изменения в исходных данных могут приводить к произвольно большим изменениям решений.

Одним из успешно применяющихся на практике подходов для общего решения нелинейной задачи о наименьших квадратах, является модификация метода Гаусса-Ньютона - метод Левенберга-Маркварта. Несколько факторов делают алгоритмы Левенберга-Маркварта на многих задачах предпочтительнее. Например в случаях, когда шаг метода Гаусса - Ньютона оказывается слишком большим по длине, шаг метода Левенберга-Маркварта близок к направлению наискорейшего спуска. Для некоторых версий алгоритма Левенберга-Маркварта доказана глобальная сходимость, например, Пауэллом, Осборном и Морэ.

Алгоритм Левенберга-Марквардта представляет собой компромисс между методом Ньютона, приводящим к осциллирующим решениям, и надежным, но с медленным спуском методом градиента (рисунок 4).

правления, вычисленные методами градиента (МГ) и Гаусса - Ньютона (МГН), а также компромиссное направление, соответствующее методу Левенберга-Марквардта (МЛМК)

В общем виде метод Левенберга-Марквардта описывается формулой

7(6) = \В)-ТГ }2 + • О)

к=0 7»]

Второе слагаемое в (7) служит для ограничения области допустимых значений. Ц в (7) являются коэффициентами влиянияу'-го параметра в модели (согласно методу Левенберга-Марквардта называются коэффициентами регуляризации, или «затухающими»), в* - априорно известное значение параметра, являющееся его начальным приближением.

Основная идея предлагаемого алгоритма с использованием информации о поведении итерационного процесса (АРИПИПП) подгонки МНК за-

ключается в контроле за изменением величины приращения параметров Д9 в МНК на каждой итерации процедуры. Для вычисления коэффициентов регуляризации Ьр использовались выражения:

где a8j - оценки ошибок вычисления параметров 0j, f(x) - адаптивная функция, согласно закону которой определяется корректность параметра модели.

Наиболее хорошие результаты процедура показала при использовании экспоненциальной функции в качестве/в выражении (8).

Тесты показали, что данный алгоритм обладает быстрой сходимостью. Среднеквадратичные ошибки частот линий имеют величины порядка Ю^см'1, а для интенсивностей и полуширин - не превышают 0.1% от величины параметров.

Заметим, что основная идея регуляризации заключается в привлечении дополнительной априорной информации, что приводит к сужению класса функций, среди которых идет поиск решения. Чем большей априорной информацией о решении мы располагаем, тем более устойчивые алгоритмы мы можем использовать.

Для повышения точности регуляризованных решений все большее распространение получают локальные регуляризирующие алгоритмы. Термин «локальные» указывает на то, что скалярный параметр регуляризации в таких алгоритмах заменен некоторой функцией, зависящей от отношения сигнал/шум либо от аргумента искомого решения.

В системе ASA предлагается использовать алгоритм регуляризации с привлечением априорной информации из матрицы корреляции производных от невязки по параметрам (АРИМК).

По матрице корреляций производных от невязки по параметрам, можно судить о парном влиянии параметров 0 функции Y(x\6) из (6) на значения самой функции Y(x\ в), на одних и те же спектральных участках. При большом парном влиянии параметров возникает неопределенность из-за бесконечного множества решений системы, что не позволяет решить поставленную задачу МНК. Следовательно, для соответствующей пары параметров нужна дополнительная информация. Коэффициенты регуляризации L¡ служат для понижения данной неопределенности, для их нахождения использовались коэффициенты корреляции.

Следует наложить ограничения на величину коэффициентов регуляризации Lj е [0; P¡\, а следовательно, и ввести допустимый порог корреляции

(9)

(8)

Рс < а во избежание избыточной регуляризации. Схема алгоритма подгонки

с использованием матицы корреляций будет выглядеть следующим образом: Шаг 1. Задать начальные значения коэффициентов Ь] равными нулю.

Шаг 2. Вычислить производные невязки по параметрам, построить матрицу корреляции.

ШагЗ. Найти недиагональные элементы матрицы корреляций превышающие допустимый порог для корреляции Рс, и для которых коэффициенты Ь} меньше некоего верхнего порога Выбрать из них максимальный, запомнить его позицию. Если он существует, то переход к шагу 4, иначе - шаг 7. Шаг 4. Пара коэффициентов , соответствующая пересечению столбца со

строкой найденного элемента в матрице, увеличивается на величину некоторого, заранее определенного шага приращения. Шаг 5. Вычислить производные невязки по параметрам, и снова вычислить

выбранный коэффициент корреляции. Шаг 6. Если коэффициент корреляции превышает допустимый порог корреляции Рс, и данные коэффициенты Ь] не достигли своего порогового

значения регуляризации Рь то перейти к шагу 4, иначе - шаг 2. Шаг 7. Решить СЛАУ. Вычисление искомых параметров 0. Если не достигнута требуемая точность, то переход к следующей итерации подгонки (шаг 1).

Значения коэффициентов корреляций векторов производных от невязки по параметрам зависят не только от измеренных данных, но и от роли каждого из параметров в подгоняемой математической модели. Это требует подбора для каждого из параметров своего порога Ри и шага для , и разные

пороги для разных элементов матрицы корреляции Рс. Однако, поскольку в нашем случае модельная функция У(х\в) состоит из суммы одинаковых контурных функций (Гаусса, Лоренца, Фойгта), имеющих три параметра, общее число типов параметров, включая подложку (параметр 90), равно четырем. Поэтому количество необходимых порогов регуляризации Рь также равно четырем, и столько же шагов приращения параметров регуляризации, количество порогов корреляции Рс равно 6 (наддиагональные элементы матрицы 4x4). Сравнительно небольшое число этих порогов позволило подобрать их вручную, без использования специальных статистических процедур и статистической выборки.

Данный алгоритм обладает быстрой сходимостью, устойчивостью. Среднеквадратичные ошибки (СКО) для тех параметров, которые в группе линий соответствуют полуширинам и центрам, имеют порядок 10"4, а интен-сивностей -10"2. Из рисунка 5 видно, что величина параметров корреляции не превышает значения 0.5, что свидетельствует о корректной регуляризации.

Исключение имеем только для пары параметров, являющихся положениями центров линий, для которых такая корреляция допустима.

§ £ в ш

§ £ & *

21 ш

51

г-

мспарам

----1-2

—1-3

.....М

--2-3

... м

— М

Итерации

Рис. 5 Стабилизация параметров корреляции

В данной диссертационной работе так же преведено сравнение с алгоритмом локальной регуляризации, предложенного Воскобойниковым Ю.Е.

На рисунке 6 приведены типичные результаты подгонки для изолированной линии.

г

га 0,0008

7

о

0,0006

X

% о 0,0004

с

1? 0,0002

ш

-г

0,0000

■е-

0) -1 X

Экспериментальные значения Подогнанный контур линии

1989,85

4989,90

Длина волны, см-1

1990/30

1 -

Рис. 6 Типичный результат подгонки, линия водяного пара с центром у0= 1989.931 см'1

Эффективность регуляризирующих алгоритмов покажем в таблице 1 на примере двух перекрывающихся линий 020. Верные результаты получены алгоритмами АРИМК и АЛР.

Табл. 1 Сравнение подгонки параметров, некорректный случай

Параметр Регуляризация отсутствует АРИМК АРИПИПП АЛР

Vi - 3.682029-103 3.682027-103 3.682029-103

ошибка сту1 - 7.26-10"* 4.28-10"4 3.745-10"7

Yi - 1.7-10"2 1.589-10'2 1.6575-10"2

I, - 4.67 3.76 4.6

v2 - 3.682064-103 3.682056-103 3.682062-103

ошибка ctv2 - 2.243-10'5 5.457-Ю-4 3.175-10'7

72 - 1.78-10'2 2.28-10"2 1.77-10"2

12 - 4.0 5.2 3.97

Так же в третьей главе описывается применение дерева решений для решения данной некорректной задачи. Методика построения такого дерева принадлежит теории искусственного интеллекта, и позволяет смоделировать автоматический (полный) перебор параметров спектральных линий.

В третьей главе приводится краткое описание разработанной автоматизированной системы ASA и полученные результаты обработки спектров.

При решении поставленной задачи использовался интерпретатор языка Лисп - ИПРА, разработанный для этой задачи в лаборатории Молекулярной спектроскопии института Оптики атмосферы СО РАН Щербаковым А.П.-

В процессе решения поставленной задачи возникает необходимость использования методик искусственного интеллекта. Система разрабатывалась с расчетом дальнейшего расширения. При этсм круг решаемых задач включает задачи, связанные с использованием методов искусственного интеллекта, а так же аналитические вычисления.

Алгоритм автоматизированной обработки спектра представляет собой последовательность действий, равнозначных действиям специалиста при его работе. На рисунке 7 показана блок-схема алгоритма работы системы ASA.

Система ASA может функционировать в двух режимах: в автоматическом и полуавтоматическом. В полуавтоматическом режиме допускается участие человека - возможно произвести маркировку центра и краев линии вручную, откорректировать метки, проставленные системой при обучении. После окончания работы процедуры кластерного анализа возможно изменение группировки линий. Следовательно, полуавтоматический режим в основном служит для контроля человеком за решениями, принимаемыми системой. В автоматическом же режиме не требуется вмешательство оператора. В идеальном случае для получения результата достаточно только загрузить необходимый файл данных - спектр, обработав который система через некоторое время выдаст банк линий. Возможно также пошаговое выполнение задачи путем выбора команд, находясь в системе меню.

Рис. 7 Блок-схема алгоритма работы системы АБА

Основные функции системы:

1. Обучение системы. Его можно сделать всего один раз - во время инсталляции системы, а при следующих сеансах работы будут использоваться описания, хранящиеся в файле подкачки или в файле описаний. Для некоторых спектров, возможно, потребуется корректировка общих описаний.

2. Автоматический поиск линий. При определении линий производится нанесение на спектрограмму меток. Данная процедура отмечает центры. Используется метод потенциальных функций.

3. Группировка линий. При наложении контуров соседних линий необходима их совместная обработка, «подгонка». Для этого следует выделить группы линий. Процедура проводится также с использованием метода потенциальных функций.

4. Подгонка контуров линий. Контуры линий описываются теоретическими распределениями. Процедура подгонки производит вычисление параметров этих распределений с использованием метода наименьших квадратов и регуляризацией с помощью оценок, полученных при поиске.

5. Формирование списка линий. В список записываются рассчитанные на предыдущем этапе параметры контуров линий. Это результирующая процедура при первичной обработке спектров. При дальнейшей обработке (идентификация переходов), необходимо использование уже созданного списка линий.

, Созданный банк линий можно сохранить на жестком диске в текстовом

и бинарном виде. В бинарном виде файл представляет собой последовательность записей, каждая из которых имеет поля типа «Double»: <частота>, <интенсивность>, <полуширина>, <погрешность>. Каждое значение занимает 8 бит. В текстовом файле на каждой строке записаны значения в символьной форме с пятью знаками после запятой:

<частота> <интенсивность> <полуширина> <погрешность>

Каждая такая строка соответствует одной спектральной линии.

Заключение. В рамках данной работы была впервые разработана автоматизированная инструментальная система для первичной обработки спектров, использующая профессиональные методы кибернетики. Система позволяет выявлять линии поглощения из спектральной кривой (зависимости по* глощения от частоты), проводить математическую обработку контуров линий, и получать, в конечном счете, список линий для дальнейшей обработки. Созданная система не имеет аналогов.

Построенная система автоматизированного поиска и обработки спектральных линий позволяет в течении нескольких минут (или часов, в зависимости от величины спектра) подготовить спектр к дальнейшему теоретическому анализу (идентификации квантовых переходов и построения математической модели молекулы). Обработка спектров проходит сравнительно быст-' ро, разработанной системой не накладывается ограничения на размер спек-

19

! *

I

!

I

тра. Система тестировалась на практических данных достаточно большого размера.

Примененная процедура распознавания, в частности, метод потенциальных функций, позволяет создавать устойчивые от помех процедуры распо-. знавания пиков нужной формы в спектральной кривой. Такие процедуры, обучаемы на примерах и способны эмитировать принятие решений экспертом - человеком при поиске линий переходов в спектрах.

В данной диссертационной работе предложены три алгоритма локальной регуляризации. Метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам позволяет выделять только те параметры модели, для которых требуется задавать коэффициенты регуляризации. Необходимость разработки трех алгоритмов регуляризации была вызвана тем, что при обработке одних спектров бывает достаточно использовать АРИПИПП, который, обладая высокой скоростью, способен решить меньшее множество некорректных случаев. В свою очередь алгоритм локальной регуляризации (10) более емкий по времени, но способен дать решение большему множеству некорректных задач, по сравнению с алгоритмом (7)-(9), но меньшее множество, сравнивая его с АРИМК. Графически разрешимые множества некорректных задач представлены на рис. 8.

Рис. 8 Множества некорректных случаев обратной задачи, разрешимые тремя предложенными алгоритмами регуляризации

Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с'системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.

С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D20, HDO, СО, С02. Например, обработанный спектр HDO в области 9500 см"' - 12500 см"1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На той выборке (том спектральном участке), где проводилась визуальная проверка присутствующих линий и сравнение со списком найденных системой линий, не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректности системы. Данный спекгр обрабатывался в автоматическом режиме примерно два часа, включая время на под-

I í

готовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см"1 и 2200 см"1, в результате чего получен список из 369 линий.

В табл. 2 представлены результаты обработки спектра водяного пара. В двух последних столбцах для сравнения даны величины центров линий и их интенсивности, соответствующие переходу (ОЮ)-(ООО) изотопа воды Н21бО, полученные и опубликованные P.A. Тосом. Системой ASA положения центров линий были вычислены с дисперсией 0.001 см'1, что составляет 5-10"5% от их величин. Дисперсии интенсивностей спектральных линий в среднем составляют около 10%, что может объясняться неодинаковым учетом фоновой составляющей. Расхождение величин интенсивностей в четвертой строке объясняется присутствием дублетной линии, которую невозможно различать при первичной обработке.

Табл. 2 Фрагмент списка линий Н20 в области 1977.6-1987.3 см'1. Сравнение с результатами P.A. Toca

Центр ли- Ошибка Интенсив- Полуши- Центр ли- Интенсив-

нии, подгонки ность, рина, нии*, ность*,

См'1 центра см'2атм"' см"1 См"1 см"2атм"]

1981,3264 1,436Е-04 1.703Е-04 9,221Е-03 1981,3280 1,91Е-4

1982,1951 1,346Е-04 4,453Е-05 6,008Е-03 1982,1977 4,45Е-5

1983,0275 5,527Е-05 9,324Е-05 9,720Е-03 1983,0287 1,01Е-4

1984,4528 6,913Е-05 2,915Е-03 5.987Е-03 1984,4551 5,45Е-5

1986,6559 7,206Е-06 ЗД64Е-05 5,254Е-03 1986,6583 3,23Е-5

1987,3391 1,217Е-04 7.431Е-03 1,352Е-02 1987,3401 7,07Е-3

Основное содержание диссертации опубликовано в следующих работах:

1. Пшеничников А.М. Автоматизация анализа колебательно-вращательных спектров молекул // Тез. докл. региональной науч.-техн. конф. «Радиотехнические и информационные системы и устройства». - Томск: ТУСУР, 1999. Ч. 1. - С. 42-43.

2. Щербаков А.П., Пшеничников A.M. Обработка спектров с использованием метода потенциальных функций // Доклады ТУСУРа. -1999. Т.З.-С. 127-130.

3. Пшеничников A.M. Автоматизация обработки колебательно-вращательных спектров молекул // Тез. докл. региональной науч.-техн. конф. «Радиотехнические и информационные системы и устройства». - Томск: ТУСУР, 2000. Ч. 2. - С. 39-40.

4. Щербаков А.П., Пшеничников A.M. Методы кибернетики в спектроскопии. Автоматический поиск и подгонка контуров линий в молекулярных спектрах // Материалы VII международного симпо-

зиума «Оптика атмосферы и океана. Атмосферная физика». -Томск: Изд. ИОА СО РАН, 2000. - С. 42-43.

5. Pshenichnikov A.M., Shcherbakov А.Р. Computer-aided system for automatic peak searching and contour fitting in molecular spectra // SPIE Proceedings. - 2000. - Vol. 4143. - P. 59-67.

6. Пшеничников A.M. Компьютерная обработка молекулярных спектров при помощи метода потенциальных функций // Тез. докл. региональной науч.-техн. конф. «Прикладной системный анализ». -Томск: ТУСУР, 2000. - С. 5.

7. Пшеничников A.M. Применение методов теории распознавания образов и искусственного интеллекта для анализа колебательно-вращательных спектров молекул // Материалы Международной конференции «Моделирование, базы данных и информационные системы для атмосферных наук (MODAS)». - Томск: Изд. ИОА СО РАН, 2001.-С 54.

8. Михайлов В.М., Воронина С.С., Пшеничников A.M. Вычисленный «запрещенный» вращательный спектр монодейтерометана // Оптика атмосферы и океана. - 2001. Т. 14. № 9.

9. Михайлов В.М., Воронина С.С., Пшеничников A.M. Вычисленный «запрещенный» вращательный спектр монодейтерометана // Материалы 22 съезда по спектроскопии, 8-12 октября 2001 г, - Зеленоград, 2001.

10. Пшеничников А.М. Автоматизированная система анализа молекулярных спектров // Тез. докл. междунар. конф. «Новые информационные технологии в науке, образовании, экономике», 6-10 июня 2002 г. - Владикавказ, СКГТУ: Изд. «Терек», 2002. - С. 103-105.

11.Tsherbakov А.Р., Pshenichnikov A.M. Usage the matrix of correlation for regularization of parameter correspondence by the least mean square method // IX Joint International Symposium on Atmospheric and Ocean Optics, Atmospheric Physics. Abstracts of Reports. Tomsk. - 2002. - P. 46-47.

12. Shcherbakov A.P., Pshenichnikov A.M. Using the correlation matrix for regularization of parameter fitting by the least-squares method // SPIE Proceedings. - 2002. - Vol. 5026. -P. 24-31.

13. Пшеничников A.M. Автоматизированная система получения банка линий из молекулярных спектров поглощения атмосферных газов (ASA) // Информационные системы: Труды постоянно действующей научно-технической школы-семинара студентов, аспирантов и молодых специалистов "Информационные системы мониторинга окружающей среды" (сентябре-октябре 2002 г.). - Томск: Томский гос. ун-т систем управления и радиоэлектрон., 2002. - С. 49-55.

H.Bykov A. D., Naumenko О. V., Pshenichnikov А. М., Sinitsa L. N., Shcherbakov А. P. An Expert System for Identification of Lines in Vi-

brational- -Rotational Spectra // Optics and Spectroscopy. - 2003. -Vol. 94.N.4.-P. 528-538.

15. Пшеничников А., Мицель А., Щербаков А. Определение параметров спектральных линий методом локальной регуляризации // Тез. докл. X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы». - Томск: Изд. ИОЛ СО РАН, 2003, с. 48.

16. Щербаков А.П., Мицель A.A., Пшеничников A.M. Применение локальной регуляризации в подгонке контуров линий спектров поглощения // Тез. докл. «Вычислительно-информационные технологии для наук об окружающей среде CITES-2003». - Томск: Изд. ИОА СО РАН, 2003, с. 46.

Р16 9 1 3

Тираж 100. Заказ 900. Томский государственный университет систем управления и радиоэлектроники пр. Ленина, 40

Введение.

Глава 1 Распознавание спектральных линий.

1.1 Метод потенциальных функций.

1.2 Поиск пиков линий в спектре.

1.3 Выделение групп линий.

1.4 Применение кластерного анализа.

1.5 Результаты.

1.6 Выводы.

Глава 2 Подгонка контуров спектральных линий.

2.1 Некорректные задачи.

2.1.1 Система линейных алгебраических уравнений.

2.1.2 Корректность по Тихонову. Множества корректности.

2.1.3 Основные способы построения регуляризирующих апгоритмов

2.2 Дерево решений.

2.3 Алгоритмы нелинейной оптимизации.

2.4 Алгоритм регуляризации с использованием информации о поведении итерационного процесса подгонки МНК (АРИПИПП)

2.5 Алгоритм регуляризации с привлечением априорной информации о матрице корреляции производных от невязки по параметрам (АРИМК).

2.6 Алгоритм локальной регуляризации (AJIP).

2.7 Результаты.

2.8 Выводы.

Глава 3 Автоматический спектроанализатор (ASA).

3.1 Основные функции.

3.2 Режимы работы программы.

3.3 Выводы.

Молекулярные спектры являются уникальным источником информации о строении окружающих нас веществ и многих процессах, происходящих в природе. Получаемая спектроскопическая информация применяется в самых разнообразных областях науки и техники. Например, спектральные свойства -водяного пара ответственны за эффект «зеленого дома». Благодаря тому, что водяной пар (а также другие парниковые газы - СО2, СН4) пропускает солнечное излучение в видимом диапазоне и поглощает большую часть энергии, переизлученной поверхностью Земли в инфракрасном (тепловом) диапазоне, на Земле сохраняется тепло и климат, пригодный для жизни. Следовательно, исследования спектров Н2О имеют важное значение для климатологии. Спектроскопическая информация об атмосферных газах используется при интерпретации результатов зондирования атмосферы Земли и результатов наблюдений в астрофизике. Из спектров молекул определяют фундаментальные характеристики молекул, их геометрию и энергетическую структуру, информацию о внутренних силах и процессах, что представляет интерес для теории строения атомов и молекул.

Последние годы характеризуются все большим возрастанием значения методов молекулярного анализа. Задачи, для решения которых необходимо применение этих методов, возникают в связи с рядом глобальных проблем. К ним относится проблема идентификации соединений, возникающих в результате химических реакции в обычных условиях и в особенности в плазме, при различных энергиях фотохимического воздействия, лазерном синтезе и т.д. Задача анализа молекул и молекулярных ассоциатов выдвигается общей проблемой контроля загрязнений внешней среды - атмосферы, биологических объектов, органических примесей в воде и т. д. В ряде промышленных производств возникает задача автоматического контроля загрязнений основного продукта разного рода побочными продуктами. Решение всех этих проблем на одном из этапов требует достаточно точных и экспрессных анализов, нацеленных на изучение как отдельных молекулярных систем, так и их ассоциатов и смесей. В свою очередь потребности массовых анализов приводят к задаче разработки автоматизированных систем для молекулярного анализа.

На сегодняшний день спектроскопия представляет собой одну из наиболее интенсивно развивающихся областей физики. Применяются все более совершенные системы и методы регистрации спектров поглощения и излучения, изобретаются новые приборы и устройства, способные с высокой точностью проводить измерения. Вводятся методы автоматического управления сбором данных.

Для оценки поглощения лазерного излучения атмосферными газами требуются прежде всего данные о коэффициентах поглощения, которые, в свою очередь, могут быть получены расчетом, если известны параметры линий поглощения. В связи с этим вопрос об определении и табулировании основных данных о параметрах линий всегда был и остается актуальным.

Актуальность работы обусловлена необходимостью получения высокоточных спектроскопических данных для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других. В свою очередь, спектры высокого разрешения, зарегистрированные на современных спектральных приборах, являются очень точными, подробными, и содержат десятки тысяч линий. Поэтому для специалистов во всем мире стало очевидным, что анализ таких спектров, невозможен без создания специальных автоматизированных систем и инструментальных средств, которые обеспечили бы эффективную, быструю и удобную работу со спектрами.

Рассмотрим процесс образования спектров. Поглощение электромагнитного излучения молекулой газа может привести как к возбуждению (изменению энергии) электрона, так и к изменениям колебательной энергии (колебания атомов относительно каждой химической связи) и вращательной энергии (вращение всей молекулы или ее части). Все эти изменения энергии являются квантованными, т.е. возможны только определенные значения энергии орбит электронов, энергии колебания атомов и кинетического момента вращения, характеризующие соответственно электронные, колебательные и вращательные энергетические уровни [1,2].

Типичная схема спектроскопического эксперимента представлена на рисунке 1.

Рисунок 1 - Схема спектрометра: 1 - лазер; 2 - зеркала, отводящие 50% света;

3 - кювета с газом; 4 - система напуска газа; 5 - фотоприемник

Спектры молекул зависят от возможности нахождения молекул в различных состояниях, имеющих различную энергию, которая определяется наличием в молекуле различных типов движений. Каждому типу движений в молекуле (вращения молекулы или ее групп, колебания атомов и групп, движения электронов, собственные вращения электронов и ядер - спин) соответствуют свои уровни энергии и свой метод молекулярной спектроскопии, чувствительный к тем или иным особенностям строения молекулы. Ввиду единства природы электромагнитного излучения любых частот - от радио- до гамма-излучения, все методы спектроскопии принципиально похожи друг на друга [1,2,3].

Как уже отмечалось, внутренняя энергия молекулы имеет 3 составляющих - электронную энергию, колебательную и вращательную. Ниже, на рисунке 2, приближенно описаны соотношения этих энергий.

Электронные / уровни

Колебательные подуровни

Вращательные подуровни

Рисунок 2 - Уровни энергии

Электрон может переходить на орбиты с разной энергией. Если у электрона изменяется радиус орбиты, то изменяется и энергия. Собственные энергетические уровни молекулы имеют строго определенное расположение. Разница между электронными уровнями составляет сотни тысяч обратных

I 17 сантиметров (1 см* = 10" эрг). Множество уровней энергии дискретно. Самое нижнее электронное состояние называется основным.

Колебательная энергия - это энергия колебания длин связей, называемые валентными колебаниями (stretching), и углов между ними (bending), торсионные колебания (поворот одной большой части молекулы относительно другой) и т.д. Для описания движения в молекуле вводят нормальные координаты. Число нормальных колебаний в молекуле равно 3N-6, где N -число частиц. Разница между колебательными уровнями энергии составляет примерно 10+3 - 10+4 см" . Состояния нумеруются по квантовым числам нормальных колебаний. Например, у молекулы воды три типа нормальных колебаний - это валентные симметричные колебания, валентные антисимметричные колебания и изгибные колебания (изменение угла между связями). Состояние (010) означает 0 квантов возбуждения по симметричному валентному колебанию, 1 по изгибному, и 0 по валентному антисимметричному колебанию.

Вращательная энергия определяется вращательным движением молекулы. Уровни нумеруются по квантовым числам квадрата углового момента и по проекции углового момента на выделенную ось внутримолекулярной системы координат. Для каждого значения углового момента есть подуровни с различными значениями проекции вектора углового момента. Для молекул с числом атомов больше двух различают несколько типов - это сферический волчок (у которого все моменты инерции одинаковы), сплюснутый волчок (у которого 2 больших момента инерции одинаковы), вытянутый волчок (у которого 2 меньших момента инерции одинаковы) и асимметричный волчок (у которого все 3 момента инерции одинаковы).

Трем составляющим энергии соответствуют 3 типа спектров: вращательные, колебательно-вращательных и электронно-колебательно-вращательные.

Если переходы совершаются между вращательными уровнями одних и тех же электронных и колебательных состояний, то появляются так называемые чисто вращательные спектры (см. рис. 2). Электромагнитное излучение или поглощение, отвечающее этим спектрам, соответствует далекой инфракрасной или микроволновой области.

Если переходы совершаются между колебательными уровнями одного и того же электронного состояния, то возникают чисто колебательные спектры. Частоты излучения или поглощения, отвечающие этим спектрам, лежат в близкой или средней инфракрасной области (соответствующие длины волн занимают диапазон приблизительно от 2 до 100 мкм). Как правило, однако, наряду с чисто колебательными движениями возбуждаются и вращательные движения или совершаются переходы между вращательными уровнями энергии, близкими к данному колебательному уровню энергии. Поэтому появляется спектр колебательно-вращательный и в нем наблюдается так называемая вращательная структура колебательных полос поглощения или излучения.

Если переход совершается между различными электронными уровнями энергии, то, как правило, одновременно наблюдаются и переходы между различными колебательными и вращательными состояниями, соответствующими разным электронным уровням. Соответствующий этому переходу спектр называется электронно-колебательно-вращательным.

Поглощение видимого, ультрафиолетового и рентгеновского излучений вызывает изменение электронной энергии молекул. Поглощение инфракрасного излучения приводит к изменениям колебательных и вращательных состояний молекул.

Эти эффекты используются в спектроскопии. Поскольку получаемые спектры поглощения однозначно характеризуют химический состав газа, спектроскопические методы являются одними из наиболее эффективных методов определения этого состава.

Интенсивность электромагнитного излучения, поглощаемого газовой смесью, зависит от природы газа. Согласно закону Бугера-Ламберта-Бера, доля (///0) интенсивности излучения, поглощенного кюветой с газом, изменяется экспоненциально с длиной кюветы /, концентрацией с газа и коэффициентом поглощения к: 1 %(1/10) = к1с. Измерив интенсивность, прошедшую через кювету с газом, можно определить его концентрацию, если известен коэффициент поглощения к.

Наибольшее распространение для измерения спектральных коэффициентов поглощения несколько десятилетий назад имел лазерный спектрофотометрический метод, с помощью которого измерены спектры поглощения ряда атмосферных газов (Н20, СО2, СО, СН4, .) с разрешением 10°. 10"6 см' в областях излучения различных лазеров [3]. Метод основан на сравнении потоков излучения до и после его прохождения через поглощающую среду. Спектрофотометрия широко применяется для исследования достаточно сильных линий поглощения (/г(у)>1СГ6 см'1) при использовании атмосферных трасс и многоходовых кювет. Особенно эффективно использование лазеров с широкой областью перестройки частот. Недостатком этого метода является сравнительно невысокая чувствительность 10*6 см"1).

Более высокой чувствительностью (-КГ7 . 1(Г9 см") обладают другие лазерные методы - оптико-акустический и внутрирезонаторный, которые позволяют распространить спектроскопические измерения на область слабых линий поглощения. В основе первого метода лежит оптико-акустический эффект, заключающийся в генерации акустических колебаний газом, поглощающим модулированное на звуковой частоте излучение. Преимущества внутрирезонаторных методов, а именно высокое разрешение узкополосного и высокая чувствительность широкополосного, сочетаются в методе конкурирующих пучков [4]. Исследуемое вещество в этом методе размещается в дисперсионном резонаторе лазера, генерирующего узкую спектральную линию, которая может плавно перестраиваться по спектру. Оптико-акустический метод более прост в реализации, но применим только для переходов в молекулах с безызлучательной релаксацией возбуждения. Метод внутрирезонаторного поглощения позволяет за короткое время 10"3 с) регистрировать спектр поглощения в широком диапазоне 70 см'1), однако пока применим только в видимой области, где доступны лазеры с широкими линиями усиления.

Метод производной наиболее эффективен для измерения малых изменений коэффициента поглощения Ак(у) на большом фоне к(у), но не позволяет измерять континуальную составляющую коэффициента поглощения. Лазерный метод производной используется для определения концентрации загрязняющих атмосферу газов [5, 6], а также для определения положения центров линий [7].

Методы фурье-спектрометрии позволяют регистрировать спектры поглощения в более широком спектральном интервале, но обладают меньшим разрешением 10° см'1) и чувствительностью 10"5 см'1), чем лазерные методы. Уникальные спектроскопические результаты получены с помощью фурье-спектроскопии: измерены абсолютные значения положений центров линий различных газов с точностью 10*4 см"1 в широком интервале от дальней ИК до видимой области спектра [8]. Это достигнуто в первую очередь благодаря прогрессу вычислительной техники, качественному скачку в развитии алгоритмов фурье-преобразования, обеспечившим обработку в реальном масштабе времени 106 спектральных элементов в течение нескольких минут [9].

Таким образом ни один из рассмотренных методов измерения спектральных коэффициентов поглощения не является универсальным, поэтому все они скорее дополняют, чем дублируют друг друга [1,3].

Спектральная кривая (рисунок 3) описывает зависимость пропускания излучения через образец вещества. В этой кривой можно заметить провалы, по которым видно, что на этих частотах произошло поглощение энергии, излученной источником, что соответствует переходу части молекул на состояние с большей энергией. Эти провалы в спектроскопии называют «линиями» поглощения. Их форма определяется несколькими процессами, основной вклад из которых вносят столкновения между молекулами, ведущие к перераспределению энергии, и эффект Доплера (смещение частот, возникающее из-за неодинаковой скорости и направления движения молекул в газе). Переходы между различными колебательными состояниями называются «полосами» и лежат в диапазоне длин волн от инфракрасной до ближней ультрафиолетовой области. Вращательные переходы находятся в микроволновой и инфракрасной области. оо-1---1-■-1---1-.-1---1-.-1

9500 10000 10500 11000 11500 12000 12500

Частота, см1

Рисунок 3 - Спектр пропускания РГОО в области 9500 - 12500 см"1

По спектрам можно определить значения энергетических уровней, а при построении на их основе математической модели, и все фундаментальные характеристики молекул.

На рисунке 4 схематически представлен контур линии. Каждый контур обладает такими параметрами, как I - интенсивность линии, у - полуширина на полувысоте, у0 - центр линии.

Рисунок 4

Анализ спектров состоит из двух этапов. Первый из них - это математическая обработка провалов (подъемов) спектральной кривой и подгонка модельных теоретических контуров, для получения точных значений их частот и интенсивностей [10, 11]. Результатом этого этапа является список переходов (Peak list). Второй этап - квантовая идентификация переходов [12]. Оба эти этапа являются трудными и требуют, в зависимости от типа молекулы, до нескольких месяцев кропотливой работы высококвалифицированных специалистов. На рисунке 5 представлена схема обработки спектров.

Рисунок 5 - Схема процесса обработки спектров

Методы, используемые для идентификации линий в спектрах бывают самые разнообразные [12-15], и определяются, в первую очередь, сложностью спектра. Так, для простых двухатомных и гетероядерных молекул спектры можно идентифицировать по их виду. Спектры трехатомных молекул, таких как НгО, Н28, состоят из перекрывающихся колебательных полос, не имеют явно различимых закономерностей в расположении линий, выглядят запутанными. Математическая модель, как правило, предсказывает расположение линий с большой ошибкой. Для анализа таких спектров применяют известный в спектроскопии метод комбинационных разностей. Это один из методов, опирающийся на точные квантово-механические правила, независящие от модельных представлений. В соответствии с этим методом, в спектре ищутся линии перехода на одно верхнее состояние с различных нижних. Разности между частотами будут равны в точности разностям между нижними уровнями энергии (см. рис 6).

Частоты переходов

Возбужденное колебательное состояние

Вращательные подуровни

Основное колебательное состояние

Рисунок 6 - Пример выполнения комбинационного правила

В соответствии с методом комбинационных разностей, в спектре для каждого верхнего КВ-состояния ищутся совокупности линий, определенным образом отстоящих друг от друга. Как правило, в спектре отыскиваются до нескольких десятков таких групп линий. На этом этапе начинают использоваться модельные представления, дающие дополнительную информацию, достаточную для определения правильной группы линий. Выбор правильной группы линий происходит на основе точности соблюдения комбинационного правила, а также по таким признакам, как близость и пропорциональность интенсивностей найденной группы линий и интенсивностей, предсказанных при помощи модельных представлений.

Положения (частоты) линий не должны быть далеки от расчета. Для выбора правильного решения спектроскопист вынужден иногда по несколько раз просматривать таблицы чисел - расчетных и наблюдаемых частот, интенсивностей и энергий. Это занимает большую часть времени при анализе спектра.

Поскольку при разработке автоматизированных систем всегда приходится в той или иной степени решать задачу распознавания образов, то и для автоматизации этого процесса были применены хорошо разработанные, профессиональные методы - это методы теории распознавания образов [16, 17]. Благодаря этому была создана экспертная система, которая в автоматическом или в полуавтоматическом режиме позволяет проводить идентификацию линий на основе метода комбинационных разностей. Однако, описанная в [18] система работает с уже полученным списком линий. Первый же этап - это математическая обработка провалов (подъемов), с целью получения списка т.н. «линий» поглощения, по-настоящему не стал автоматическим до сих пор. В то же время этот процесс также занимает большую часть времени при анализе спектров. Спектры, зарегистрированные на современных высокоточных спектральных приборах, являются очень точными и подробными, и содержат до нескольких десятков тысяч линий. Анализ таких спектров, идентификация линий в них - трудоемкий процесс. Как заметил Р. Jensen [19]: «время, необходимое для регистрации спектра, становится пренебрежимо малым, по сравнению со временем, затрачиваемым на его теоретическую обработку». Как уже отмечалось, этот процесс требует до нескольких месяцев монотонного напряженного труда опытных спектроскопистов. В связи с этим появилась необходимость в разработке средств автоматизации, которые позволили бы быстро и эффективно работать с такими спектрами, проводить идентификацию линий, решать обратную задачу, создавать необходимые базы данных.

В теории спектров многоатомных молекул принято различать два типа задач: прямые и обратные [20, 21].

Под прямыми понимаются задачи, связанные с вычислением различных спектральных характеристик, например, положений полос поглощения или линий на шкале частот, их интегральных или относительных интенсивностей, в последнее время - полностью кривых спектрального распределения коэффициента поглощения и др. При этом подразумевается, что все необходимые величины, входящие в состав соответствующего гамильтониана, и его вид или параметры полуэмпирических теорий заданы. Такие задачи имеют единственное решение, которое целиком определяется совокупностью исходных данных.

Под обратными задачами (в последние годы они привлекают в физике все большее внимание) понимаются задачи, в которых устанавливаются те или иные характеристики молекул на основании измеренных спектров. Типичной задачей такого рода, решению которой посвящено большое число работ, является задача определения силовых постоянных по наблюдаемым колебательным спектрам. Обратные задачи, как правило, принадлежат к классу так называемых некорректно поставленных и обладают той характерной особенностью, что не имеют однозначного решения. Это приводит во многих практически важных случаях к серьезным затруднениям и заметной доле субъективизма, сказывающейся на окончательном результате.

Чтобы обратная спектральная задача стала разрешимой, необходимо накладывать дополнительные ограничения, не связанные с самими исходными условиями. Эти дополнительные ограничения определяются заданием априорных физических предположений. Их разумность и физическая обоснованность целиком определяют и качество последующего решения.

Автоматизированные системы (АС), которые выполняют обработку спектроскопической информации, можно разделить на два класса: 1) взаимодействующие с аппаратной частью; 2) независимые от приборов, выполняющие только обработку данных.

К сожалению, программное обеспечение не всегда подробно описывается в научной литературе. Обычно авторы приводят результаты обработки данных, а об используемом программном обеспечении сведения либо очень поверхностны, либо вовсе отсутствуют. Часть информации этого обзора была почерпнута из сети Интернет со страниц соответствующих научных центров, или была любезно предоставлена пользователями этого ПО в результате обсуждений.

В среде разработчиков АС, взаимодействующих с аппаратной частью, наиболее популярным инструментарием является программный пакет ЬаЬУ1Е1¥ [22, 23]. Система графического проектирования ЬаЬУ1Е>М представляет собой комплекс аппаратных и программных средств анализа, моделирования и управления. Он предназначен для разработки систем измерения, контроля, диагностики и управления, обеспечивает сбор и обработку сигналов в реальном времени. Для сопряжения аппаратуры используются приборные интерфейсы, основанные на магистрально-модульном принципе построения связей. Среди подобных приборных интерфейсов наиболее известна система САМАС. Например, на основе LabVIEW были созданы такие системы, как система диагностики неоднородной нестационарной плазмы, разработанная в Петрозаводском университете [24], мобильный комплекс «Магнитограф», предназначенный для регистрации и обработки динамических сигналов и разработанный компанией ВиТэк [25], автоматизированная система «СПЕКТР» для автоматического управления спектром частоты транспондеров спутника связи с анализатором спектра [26].

Программное обеспечение С7еМ'и производства российских фирм АО «ИСГИ» и Ь-Сагс1 поставляется в трех модификациях - от простого осциллографа до профессиональной версии. В Физико-техническом институте

УрО РАН с использованием GeMis разработан мобильный диагностический комплекс сбора и обработки информации с пьезодатчиков. Этот комплекс предназначен для сбора и обработки информации при стендовых ударных и вибрационных испытаниях, вибродиагностики. Программное обеспечение позволяет выполнять цифровую фильтрацию, спектральный анализ, корреляционный анализ, статистический анализ, мультимедийную обработку сигналов и др. [27].

Группа компаний Bruker специализируется на разработке программного и аппаратного обеспечения для медицины, оптики, пищевой промышленности, контроля качества [19].

Среди АС, которые предназначены для обработки спектроскопических данных независимо от аппаратной части регистрации спектров, можно выделить такие, как программные пакеты ПОС-КОМ, ПОСМ, WinPOS производства НПП «МЕРА» - инструментальное программное обеспечение для полного цикла работ с измерительной информацией. Эти пакеты дают возможность осуществлять статистический, корреляционный, спектральный анализ. Существует возможность использовать свои собственные процедуры и функции для реализации нестандартных алгоритмов обработки и создавать собственные Виртуальные Приборы в рамках возможностей пакета. Эти пакеты реализованы в Портативном анализаторе сигналов [28].

Программное обеспечение для оптической спектроскопии GRAMS/32 фирмы Galactic Industries может применяться в большинстве современных ИК-Фурье спектрометров, позволяет получать нужные результаты, не заставляя разбираться в тонкостях ИК спектроскопии. Данное программное обеспечение широко применяется для обработки ИК спектров нефтепродуктов. Функционируя в совокупности с системой PetroQuant, которая полностью управляет работой спектрометра и внешними устройствами, GRAMS/32 производит анализ моторного топлива и смазочных масел. Midac Corporation на основе этого программного обеспечения разработала портативный анализатор FOx FTIR Fuel and Lubricant Analyzer.

Для обработки спектров можно применять универсальные пакеты программ, такие как ORIGIN (с программой PeakFit), OPUS/LT (фирмы Bruker), GRAMS/32 (фирмы Galactic), PEAKSOLVE, FOCUS, OMNIC (фирмы NICOLET), IPLAB (фирмы Scanalytic), SCARP (фирмы PERKIN ELMER), WINFIRST (фирмы MATTSONIR) [29-32]. Существуют также специализированные пакеты программ для получения спектроскопической информации, например, INTBAT [33], OPTIMIZE [34], DECOMP [35, 36], FITMAS [37], RELIP [38]. Однако универсальные пакеты не учитывают особенностей метода измерения, а специализированные в большинстве своем созданы для конкретных узких задач.

Несмотря на большое число программных средств и то, что почти все они в определенной степени способны решать некорректные задачи, они не лишены недостатков. Например, некоторые привязаны только к определенной аппаратуре; другие используют для подгонки параметров какой-либо один контур, например, Гаусса, либо только узкий круг распределений, предназначенных для конкретной задачи и не подходящий в нашем случае; следующие требуют непосредственного участия оператора при своей работе -для разметки спектра, определения числа линий в группе; некоторые из этих программных средств для начала своей работы (до поиска спектральных линий) требуют проведения большого объема предварительных расчетов -дифференцирования, интегрирования, сглаживания, и т.д. В приведенных системах на разном уровне присутствует автоматизация, которую чаще можно назвать «механизацией». Не последнее место занимает и вопрос цены программного средства, т.к. большая часть из них - коммерческие.

Цель работы

Целью работы являлась разработка системы, позволяющей в автоматическом режиме проводить начальную обработку молекулярных колебательно-вращательных спектров поглощения и пропускания атмосферных газов. Обработка включает поиск пиков спектральных линий, подгонку модельных контуров и получение списка линий.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Исследовать особенности регистрации колебательно-вращательных спектров молекул атмосферных газов.

2. Провести исследование информативных признаков для распознавания объектов в спектральной кривой - пиков, крыльев и целых групп спектральных линий. Разработать алгоритм распознавания этих объектов.

3. Изучить методы решения обратных задач в спектроскопии. Выбрать, либо предложить метод регуляризации некорректных задач спектроскопии.

4. Разработать программное обеспечение для первичной обработки молекулярных спектров, которое позволило бы при минимальном участии оператора формировать списки спектральных линий.

При решении поставленной задачи использовались следующие методы исследований: методы теории распознавания образов, искусственного интеллекта, кластерного и корреляционного анализа, численные, оптимизационные, методы решения некорректных задач, структурного и объектно-ориентированного программирования.

Защищаемые положения

1. Метод потенциальных функций обеспечивает создание устойчивых процедур распознавания пиков нужной формы в спектральной кривой. Такие процедуры обучаемы на примерах и способны имитировать принятие решений экспертом при поиске линий переходов в спектрах.

2. Метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам позволяет задавать коэффициенты регуляризации только для тех параметров модели, которые вносят неустойчивость в общее решение.

3. Разработанное программное обеспечение ASA формирует список линий, пригодный для дальнейшей идентификации и обработки.

Научная новизна

1. Впервые на основе метода потенциальных функций, разработаны алгоритмы распознавания спектральных линий и их групп. Предложены информативные для распознавания признаки.

2. Впервые применен алгоритм локальной регуляризации для решения обратной спектроскопической задачи - подгонки модельных контуров линий.

3. Предложен оригинальный алгоритм локальной регуляризации с привлечением априорной информации о матрице корреляции производных от невязки по параметрам

4. Разработанная система ASA, в отличие от известных в литературе, использует методы распознавания образов, позволяющие наиболее полно и правильно имитировать действия эксперта при принятии решений.

Практическая значимость результатов

Автоматизированная система ASA позволяет формировать списки линий спектров высокого разрешения, содержащих десятки тысяч линий, практически без участия человека. Получаемые высокоточные спектроскопические данные могут использоваться для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других.

Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.

С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D2O, HDO, СО, СО2. Например, обработанный спектр HDO в области 9500 см*1 - 12500 см"1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На. проверенном визуально участке этого спектра не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректной работе системы. Данный спектр обрабатывался в автоматическом режиме примерно 2 часа, включая время на подготовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см*1 до 2200 см"1, в результате чего получен список из 369 линий (см. прил. А). Было проведено сравнение полученных данных с экспериментальными расчетами.

Достоверность результатов обеспечивается строгим применением математических методов, сравнением результатов с реальными научными данными, приведенными в литературе, которые были получены экспериментальным путем. Так же достоверность результатов проверена при моделировании прямой задачи, с последующим решением обратной.

Апробация работы

Результаты работы докладывались и обсуждались на следующих конференциях: Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 25 мая 1999г.), Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 17 мая 2000г.), VII Международный симпозиум «Оптика атмосферы и океана» (Томск, 16-19 июля 2000г.), Региональная научно-техническая конференция студентов и молодых специалистов «Прикладной системный анализ» (Томск, 28-30 ноября 2000г.), Международная конференция «Моделирование, базы данных и информационные системы для атмосферных наук» (Иркутск, 25-29 июня 2001г.), 22 Съезд по спектроскопии (Зеленоград, 8-12 октября 2001г.), Международная конференция «Новые информационные технологии в науке, образовании, экономике» (Владикавказ, 6-10 июня 2002г.), IX Международный симпозиум «Оптика атмосферы и океана» (Томск, 2-5 июля 2002г), X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы» (Томск, 24-28 июня 2003г), Вычислительно-информационные технологии для наук об окружающей среде CITES-2003 (Томск, 1-11 сентября 2003). Также по результатам работы было опубликовано 6 статей. Разработанная система ASA внедрена в лаборатории молекулярной спектроскопии Института оптики атмосферы СО РАН, в учебном процессе - в Томском государственном университете систем управления и радиоэлектроники.

Личный вклад

Автором разработаны алгоритмы и программное обеспечение для получения списка спектральных линий, проведено моделирование. Щербаковым А.П. было предложено использовать метод потенциальных функций для распознавания в спектре линий. Автором было проведено исследование отбора признаков для распознавания, реализован алгоритм. Мицелем A.A. было предложено использовать метод локальной регуляризации для устранения некорректности обратной задачи. Совместно с Щербаковым А.П. был разработан метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам. Автором реализованы эти алгоритмы. Щербаковым А.П. был создан интерпретатор на языке Лисп - ИПРА, с использованием которого автором была разработана автоматизированная система ASA.

Объем и структура работы

Диссертация состоит из введения, трех глав, заключения, списка литературы из 97 наименований и приложения. Общий объем диссертации -111 страниц, включая 6 таблиц и 21 рисунок.

3.3 Выводы

В последнее время разработчики компиляторов и интерпретаторов стараются встроить библиотеки функций с задатками средств искусственного интеллекта - это говорит о том, что в них подобных средств явно не хватает. Это также подтверждает правильность выбранных средств для разработки данной системы. На основе специализированного интерпретатора ИПРА нами была разработана система ASA, успешно выполняющая поставленную задачу.

Разработанной системой ASA был обработан спектр поглощения HDO в области 9500 см"1 - 12500 см*1, состоящий из 380000 точек (изображенный во введении на рисунке 3), в результате чего получен список из 8689 линий с

Ir' комбинированным уровнем шума в 0.5% и 0.7% (см. п. 1.5). Не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректности системы. Данный спектр обрабатывался в автоматическом режиме примерно 2 часа, включая время на подготовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см'1 и 2800 см'1, в результате чего получен список из 1800 линий (см. прил. А). Было проведено сравнение полученных данных с ^ экспериментальными расчетами [90-92, 97].

Сравнения, проведенные в п. 2.7 позволяют говорить о достоверности полученных результатов.

Заключение

В рамках данной работы была разработана автоматизированная инструментальная система, использующая профессиональные методы кибернетики, для первичной обработки спектров. Создание универсальной системы подобного типа с использованием выше указанных методов проводилось впервые. Система позволяет выявлять линии поглощения из спектральной кривой (зависимости поглощения от частоты), проводить математическую обработку контуров линий и получать, в конечном счете, список линий для дальнейшей обработки. Созданная система не имеет аналогов.

Построенная система автоматизированного поиска и обработки спектральных линий позволяет в течении нескольких минут (или часов, в зависимости от величины спектра) подготовить спектр к дальнейшему теоретическому анализу (идентификации квантовых переходов и построения математической модели молекулы). Обработка спектров проходит сравнительно быстро, разработанной системой не накладывается ограничения на размер спектра. Система тестировалась на практических данных достаточно большого размера.

Примененная процедура распознавания, в частности, метод потенциальных функций, позволяет создавать устойчивые от помех процедуры распознавания пиков нужной формы в спектральной кривой. Такие процедуры, обучаемы на примерах и способны эмитировать принятие решений экспертом при поиске линий переходов в спектрах.

Проведенный замкнутый численный эксперимент по поиску линий в сильно зашумленном спектре показал хорошие результаты. Внесение 50%-шума (1/2 величины амплитуды самой сильной линии) не отразилось на работе процедуры. Одиночные линии, превышающие по амплитуде данный уровень шума, успешно обнаруживались. Однако, внутри групп перекрывающихся линий, в некоторых случаях было замечено «появление фиктивных линий».

В данной диссертационной работе предложены три алгоритма локальной регуляризации. Метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам позволяет задавать коэффициенты регуляризации только для тех параметров модели, которые вносят неустойчивость в общее решение.

Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.

С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D20, HDO, СО, С02. Например, обработанный спектр HDO в области 9500 см"1 - 12500 см'1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На той выборке (том спектральном участке), где проводилась визуальная проверка присутствующих линий и сравнение со списком найденных системой линий, не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректности системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см*1 и 2800 см"1, в результате чего получен список из 1800 линий. Было проведено сравнение полученных данных с экспериментальными расчетами.

1. Бенуэлл К.Н. Основы молекулярной спектроскопии. -М.: Мир, 1985.

2. Ельяшевич М.А. Атомная и молекулярная спектроскопия. М.: Наука, 2001.

3. Зуев В.Е. Распространение лазерного излучения в атмосфере. М.: Радио и связь, 1981.

4. Батище С.А., Мостовников В.А., Рубинов А.Н. Спектроскопия слабопоглощяющих объектов с высоким разрешением на основе метода конкурирующих пучков // Квантовая электроника. 1976. - Т.З. №11. - С. 2516-2519.

5. Ku R.J., Hinkley E.D., Sample J.О. Long-path monitoring of atmospheric carbon monoxide with a tunable diode laser system // Appl. Opt. 1975. - V.14. N.4. P. 854-861.

6. Antcliffe G.A. Wrodel J.S. Detection of the gaseous pollutant sulfur dioxide using current tunable Pb|.,Snx Те diode lasers // Appl. Opt. 1972. - V.ll. N.7. P. 1548-1552.

7. Smith R.C. Resolution in the derivative recording of the absorption spectra // Rev. Sci. Instrum. 1963. - V. 34. N.3. P. 296-297.

8. Инфракрасная спектроскопия высокого разрешения // Под ред. Бобовича Я.С., Степанова Б.И. М.: Мир, 1972.

9. Connes P., Michel G. Astronomical Fourier spectrometer // Appl. Opt. 1975. -V.14. N.9. P. 2067-2084.

10. Ю.Пшеничников A.M. Автоматизация анализа колебательно-вращательных спектров молекул // Тез. докл. региональной науч.-техн. конф. «Радиотехнические и информационные системы и устройства», 25 мая 1999 г, Томск, 1999. Ч. 1. - С. 42-43.

11. П.Пшеничников A.M. Автоматизация обработки колебательно-вращательных спектров молекул // Тез. докл. региональной науч.-техн. конф. «Радиотехнические и информационные системы и устройства», 17 мая 2000 г, Томск, 2000. Ч. 2. - С. 39-40.

12. Bykov A. D., Naumenko О. V., Pshenichnikov А. М., Sinitsa L. N., Shcherbakov А. P. An Expert System for Identification of Lines in Vibrational-Rotational Spectra // Optics and Spectroscopy. 2003. - Vol. 94. N. 4. P. 528-538.

13. Быков А.Д., Синица Jl.H., Стариков В.И. Экспериментальные и теоретические методы в спектроскопии молекул водяного пара. -Новосибирск: Изд. СО РАН, 1999. 376 с.

14. М.Михайлов В.М., Воронина С.С., Пшеничников A.M. Вычисленный «запрещенный» вращательный спектр монодейтерометана // Материалы 22 съезда по спектроскопии, 8-12 октября 2001 г, Зеленоград, 2001.

15. Михайлов В.М., Воронина С.С., Пшеничников A.M. Вычисленный «запрещенный» вращательный спектр монодейтерометана // Оптика атмосферы и океана. 2001. Т. 14. № 9.

16. Айзерман М.А., Браверман Э.И., Розоноэр Л.И. Метод потенциальных функций в задачах обучения машин. М.: Наука, 1970.

17. Левин Л.Л. Введение в теорию распознавания образов. Томск: ТГУ, 1982.

18. Щербаков А.П. Применение методов Теории распознавания образов для идентификации линий в колебательно-вращательных спектрах // Оптика атмосферы и океана. 1997. №8.

19. Jensen P. The Giessen Program for processing spectral data from BRUKER IFS 120 HR interferometer using an IBM compatible personal computer. // Justus Leigig University Giessen. January 1990.

20. Прямые и обратные задачи математической физики: Сборник / По ред. Тихонова А. Н., Самарского А.А. М.: Изд. МГУ, 1991.

21. Обратные задачи в оптике // Под ред. Болтаса Г.П. -М.: Машиностроение, 1984.

22. National Instruments Products, http://www.ni.com

23. Система графического проектирования LabVIEW для Windows./Пер. с англ. А.В. Скворцова, В.П. Шкодырева. -СПб.: БХВ, 1995.

24. ВиТэк. http://www.vitec.ru26. «Левша», http://acs.levsha.ru/develop/develop.shtml

25. Физико-технический институт Уральского отделения РАН. http://www.uran.ru/structure/institutions/phystech/achivs/lsai.htm

26. НПП «МЕРА», http://www.nppmera.ru29. www.nicolet.com30. www.perkin-elmer.com31. www.spss.com32. www.mattsonir.com

27. Johns J.W.C. //J. MoL Spectrosc. 1987. - V. 125. - P. 442-464.

28. Heyner Y., Steier 0. et al. Evolution strategies applied to least-squares curve fitting of spectroscopic data // J. Quant. Spectrosc. Radiant. Transfer. 1996. - V. 56. N. 5. - P. 769-782.

29. Polyansky O.L., Busier JЯ. et ai The emission of hot water in the region between 370 and 930 cm"1 //J. Mol. Spectrosc. 1996. - V. 176. - P. 305-315.

30. Ram R.S. Bernath P.F. Fourier transform IR emission spectroscopy ofND and PI I // J. Mol. Spectrosc. 1996. - V. 176. - P. 329-336.

31. Schreicr F., SchimpfB., and Birk M. FITMAS least squares fitting of molecular line parameters from high resolution FTIR spectra // XIII Colloc. on High Res. Mol. Spectrosc. Riccione, 1993.

32. Катаев М.Ю., Никифорова О.Ю. Пакет программ RELIP и его применение для определения параметров спектральных линий из оптио-акустических измерений // Оптика атмосферы и океана. -2001. Т. 14. №1.

33. Методы нейроинформатики: Сб. науч. тр. КГТУ / Отв. ред. А.Н. Горбань. -Красноярск: КГТУ, 1998.-205 с.40. www.alife-soft.narod.ru

34. Щербаков А.П., Пшеничников A.M. Обработка спектров с использованием метода потенциальных функций // Доклады ТУСУРа. 1999. Т. 3. - С. 127130.

35. Pshenichnikov A.M., Shcherbakov А.P. Computer-aided system for automatic peak searching and contour fitting in molecular spectra // SPIE Proceedings. -2000. Vol. 4143, p. 59-67.

36. Пшеничников A.M. Компьютерная обработка молекулярных спектров при помощи метода потенциальных функций // Тез. докл. науч.-тех. конф. «Прикладной системный анализ», Томск: ТУСУР, 2000. - С. 5.

37. Айвазян С.А. Прикладная статистика: классификация и снижение размерности. -М.: Финансы и статистика, 1989.

38. Классификация и кластер. /Под ред. Дж. Вэн Райзина. -М.: Мир, 1980.

39. Грушецкий К.М., Брадаков В.Г., Нароленков Н.Е., Некрасова М.С. Устойчивая первичная математическая обработка спектров. // Журнал технической физики. 1985. - С. 102-105.

40. John W.C. Johns. High resolution and the accurate measurement of intensities. // Microchim. Acta (Wien). 1987. - Vol. III. - P. 181-188.

41. Brenda P. Winnewisser. Evaluation of intensity information in high-resolution gas-phase Fourier transform infrared spectra. // Analyst. 1992.

42. Luinge H.J. Automated interpretation of vibrational spectra. // Analytical Chem. Acto. 1990. - Vol. 240. - P. 3-18.

43. Urban S., Behrend J. A software package for assignment of Vibration-Rotation bands of asymmetric top molecules. // Proc. Forteen colloquium of high resolution molecule spectroscopy, 1995.

44. Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы высшей математики. Т.2. Минск: Вышэйшая школа, 1975.

45. Катаев М.Ю., Никифорова О.Ю. Погрешность восстановления параметров . линий из спектра поглощения. Часть 1. Влияние фона и шума измерений // Оптика атмосферы и океана. 2003, Т. 16, №10.

46. Albritton D.L., Schmeltekopf A.L., Zare R.N. Molecular spectroscopy: modern research. Academic press. New York, 1976.

47. Иванов В.К., Васин В.В., Танана В.П. Теория линейных некорректных задач и ее приложения. М.: Наука, 1978.

48. Морозов В.А. Методы регуляризации неустойчивых задач. М.: Изд. МГУ, 1987.

49. Тихонов А.Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука, 1986.

50. Urban S., Behrend J. A software package for assignment of Vibration-Rotation bands of asymmetric top molecules. // Proc. Forteen colloquium of high resolution molecule spectroscopy, 1995.

51. Hadamard J. Sur les problems aux derives partielles leur signification physique // Bull. Univ. Princeton. 1902. - V. 13. - P. 49-52.

52. Адамар Ж. Задача Коши для линейных уравнений с частными производными гиперболического типа. М.: Наука, 1978.

53. Hadamard J. Le probleme Cauchy. Paris, 1932.

54. Писаревский Б.М., Харин B.T. Беседы о математике и математиках. -М.: Изд. «Нефть и газ», 1998.

55. Тихонов А.Н. Об устойчивости обратных задач // ДАН СССР, 1943. Т.39, №5. С. 195-198.

56. Уилксон Дж.Х. Алгебраическая проблема собственных значений. -М.: Наука, 1970.

57. Лаврентьев М.М. Условно-корректные задачи для дифференциальных уравнений. Новосибирск: НГУ, 1973.

58. Phillips D.L. A technique for the numerical solution of certain integral equations of the first kind//J.Assoc. Comput. Mach. 1962. - V. 9. N.l. - P.84-97.

59. Иванов В.К. О приближенном решении операторных уравнений первого рода // Журн. вычислит, мат. и мат. физ. 1966, Т.6, №6. - С. 1089-1094.

60. Построение экспертных систем: Пер. с англ. /Под ред. Ф. Хейеса-Рота, Д. Уотермана, Д. Лената. М.: Мир, 1987.

61. Братко И. Программирование на языке Пролог для искусственного интеллекта.-М.: Мир, 1990.

62. Ж-Л. Лорьер. Системы искусственного интеллекта. М.: Мир, 1991.

63. Компьютеры в оптических исследованиях // Под ред. Б. Фридена. -М.: Мир, 1983.

64. Feder D.P. // J.Opt. Soc. Amer. -1962. V. 52. - P. 177.

65. Forsythe G.E. // Numer. Math. 1968. - V. 11. -P. 57.

66. Дэннис Дж., Шнабель P. Численные методы безусловной оптимизации и решения нелинейных уравнений.-М.: Мир, 1988.

67. Powell M.J.D. Convergence properties of a class of minimization algorithms. Nonlinear Programming // Ed. By Mangasarian O.L., Meyer R., Robinson S. Academic Press. New York, 1975. -P. 1-27.

68. Osborn M.R. Nonlinear least squares the Levenberg algorithm revisited // J. Austral. Math. Soc. - 1976. - V. 19B. - P. 343-357.

69. More J.J. The Levenberg-Marquardt algorithm: implementation and theory. Numerical Analysis // Ed. by Watson G.A., Lecture Notes in Math. 630, SpringerVerlag, Berlin, 1977. P. 105-116.

70. Shanno D.F. SI AM // J. Num. Anal. 1970. - V. 7. - P. 366.

71. Алгоритмы обработки и средства автоматизации теплофизического эксперимента // Под ред. Кутателадзе С.С. Новосибирск: ИТФ СО РАН, 1978.- 120 е.

72. Robinson A.N. JavaFit: A platform independent program for interactive nonlinear least-squares fitting using the Levenberg-Marquardt method // Comput. Phys. Commun. 1998. - V.l 12, N.2-3. - P. 183-190.

73. Воронцов В.А. Алгоритм получения обобщенных данных, основанный на подборе весовых характеристик достоверности // Приборы и системы: управление, контроль, диагностика. 2000, № 10. - С. 48-51.

74. Koshinbu Jun, Iwata Tetsuo, Minami Shigeo. Application of the modified UVE-PLS method for a mid-infrared absorption spectral data set of water-ethanol mixtures // Appl. Spectrosc. 2000. - V.54. N. 1. - P. 148-152.

75. Song S., Lim J.-S. Gauss Newton variable forgetting factor recursive least squares for time varying parameter tracking // Electron. Lett. -2000. V.36. N.l 1. - P. 988-990.

76. Bockmann Ch. Hybrid regularization method for the ill-posed inversion of multywavelength lidar data in the retrieval of aerosol size distributions // Appl. Opt. 2001. - V.40. N.9. - P. 1329-1342.

77. Воскобойников Ю.Е., Мухина И.Н. Локальный регуляризирующий алгоритм восстановления контрастных сигналов и изображений // Автометрия. 2000. №3. - С. 45-53.

78. Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Регуляризирующие алгоритмы и априорная информация. М.: Наука, 1983.

79. Shcherbakov A.P., Pshenichnikov A.M. Using the correlation matrix for regularization of parameter fitting by the least-squares method // SPIE Proceedings. 2002. - Vol. 5026. - P. 24-31.

80. Mikhailenko S.N., Tyuterev VI.G, Keppler K.A., Winnewisser B.P., Winnewisser M., Mellan G., Klee S., K. Narahari Rao. The 2v2 band of water: Analysis of new

81. FTS measurements and high-Ka transitions and energy levels // J. Mol. Spectrosc. 1997.-V.l84.-P. 330-349.

82. Toth R.A. Air- and N2-Droadening Parameters of Water Vapor: 600 to 2271 cm"1 // J. of Molec.Spectrosc. 2000. - Vol. 201. - P. 218-243.

83. Claveau C., Henry A., Hurtmans D., Valentin A. Narrowing and broadening parameters of H20 lines perturbed by He, Ne, Ar, Kr and nitrogen in the spectral range 1850-2140 cm*1 // J. of Quantitative Spectrosc. & Radiative Transfer. -2000.-Vol 1194.

84. Пшеничников А., Мицель А., Щербаков А. Определение параметров спектральных линий методом локальной регуляризации // Тез. докл. X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы». -Томск: Изд. ИОА СО РАН, 2003. С. 48.

85. Пшеничников A.M. Автоматизированная система анализа молекулярных спектров // Тез. докл. междунар. конф. «Новые информационные технологии в науке, образовании, экономике». Владикавказ, СКГТУ: Изд. «Терек», 2002.-С. 103-105.