автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Алгоритмы, методы и комплексы программ для решения задач лидарного зондирования атмосферы

кандидата технических наук
Суханов, Александр Яковлевич
город
Томск
год
2006
специальность ВАК РФ
05.13.18
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Алгоритмы, методы и комплексы программ для решения задач лидарного зондирования атмосферы»

Автореферат диссертации по теме "Алгоритмы, методы и комплексы программ для решения задач лидарного зондирования атмосферы"

На правах рукописи

Суханов Александр Яковлевич

АЛГОРИТМЫ, МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММ ДЛЯ РЕШЕНИЯ ЗАДАЧ ЛИДАРНОГО ЗОНДИРОВАНИЯ АТМОСФЕРЫ

Специальность 05.13.18 — «Математическое моделирование, численные методы и комплексы программ»

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Томск-2006

Работа выполнена в Томском государственном университете систем управления и радиоэлектроники

Научный руководитель: д.т.н. Катаев Михаил Юрьевич

Официальные оппоненты:

д.т.н., профессор Замятин Николай Владимирович д.ф.-м.н. Веретенников Виктор Васильевич

Ведущая организация:

Сибирский государственный аэрокосмический университет (г. Красноярск).

Защита состоится 5 октября 2006 г. В 15- час. на заседании диссертационного совета Д 212.268.02 Томского государственного университета систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Белинского 53, НИИАЭМ.

С диссертацией можно ознакомиться в библиотеке Томского государственного университета систем управления и радиоэлектроники по адресу: г. Томск, ул. Вершинина, 74.

Автореферат разослан " 01" сентября 2006 г.

Ученый секретарь Диссертационного совета

Д 212.268.02, д.т.н.

Клименко А.Я.

Актуальность. В настоящее время существует все возрастающая необходимость изучения атмосферы и непрерывного контроля ее параметров, что важно при изучении экологической обстановки на различных территориях, прогнозировании погодных условий и возможных климатических изменений в глобальном масштабе. Данные исследования важны для сельского хозяйства, обеспечения должного качества человеческой жизни, выработок долгосрочных экономических планов, предупреждения и предотвращения катастроф. Во многом образование климата и погодные условия зависят от процессов, происходящих в стратосфере и мезосфере. Несмотря на интенсивное развитие методов исследования атмосферы в течение последних десятилетий, сведений о ее верхних слоях накоплено еще не так много, что требует, как проведения дополнительных исследований, так и развития методик изучения атмосферных параметров, разработки алгоритмов обработки и анализа полученных данных.

Одними из наиболее эффективных методов исследования атмосферы являются методы лазерного зондирования, позволяющие извлекать данные о параметрах атмосферы с высоким пространственным и временным разрешением. При этом зондирующее устройство -лидар и изучаемый объект могут быть разделены достаточно большим расстоянием. Процесс обработки данных лидарного зондирования, включающий решение прямых, обратных задач и анализ атмосферных параметров, требует привлечения различных численных методов, что в свою очередь влечет необходимость создания соответствующего программного обеспечения. На данный момент в лидарном зондировании мало привлекаются методы, позволяющие решать обратную задачу в автоматическом режиме, без вмешательства оператора, а также восстанавливать с достаточной точностью атмосферные параметры при наличии влияния неизвестных факторов и сильном зашум-лении сигналов. Кроме того, применяемое в настоящее время для решения задач лидарного зондирования программное обеспечение имеет жесткую структуру и предоставляет в основном лишь набор уже разработанных алгоритмов в виде статических графов с некоторыми варьируемыми параметрами. В этом случае исследователь не может задать структуру алгоритма, изменять его, добавлять или убирать некоторые программные блоки, что сужает функциональные возможности программного продукта.

Разработка современных программных средств основана на объектно-ориентированном подходе, что существенно сокращает время,

затрачиваемое на создание сложных программных комплексов. Кроме того, объектно-ориентированный подход позволяет, благодаря свойствам полиморфизма и наследственности, легко модифицировать и добавлять новые методы и процедуры в программное обеспечение, а также использовать объекты и методы, созданные другими программистами.

Целью настоящей работы является создание эффективных методов восстановления параметров атмосферы, в частности, профилей концентрации озона и отношения аэрозольного рассеяния, разработка алгоритмов их анализа, объединение и включение на основе объектно-ориентированного подхода имеющихся и разработанных автором алгоритмов в программное обеспечение по обработке и анализу данных лидарного зондирования.

Достоверность результатов и выводов диссертационной работы обеспечивается строгостью используемых математических методов, непротиворечивостью результатов с ранее полученными данными исследований, использованием современных технологий разработки сложного программного обеспечения. Все разрабатываемые методы и алгоритмы тестировались путем проведения замкнутого численного эксперимента, то есть последовательного решения прямой и обратной задачи.

Основные положения, выносимые на защиту

1. Метод решения обратной задачи лидарного зондирования с помощью нейронных сетей позволяет восстанавливать профиль концентрации озона в стратосфере и получить устойчивое решение при зашумлении лидарных сигналов до 50%.

2. Комбинированный алгоритм настройки нейронной сети на основе метода псевдо-обратных матриц и алгоритма обратного распространения ошибки позволяет обучать нейронные сети на порядок быстрее некомбинированных итерационных методов и обладает свойством глобальной сходимости.

3. Алгоритм поиска слоев, построенный на основе применения уравнения свертки, позволяет выделять из лидарного сигнала или функции отношения рассеяния информацию о положении, полуширине и амплитуде слоя.

4. Созданные на основе объектно-ориентированного подхода программные комплексы «Анализ» и «1ЛЭА8» позволяют использовать традиционные и разработанные нами методы анализа и обработки данных лидарного зондирования.

Научная новизна работы состоит в следующем

1. Впервые разработана методика решения обратной задачи ли-дарного зондирования восстановления вертикального профиля концентрации озона с использованием нейросетевой технологии.

2. Предложен алгоритм поиска весовых коэффициентов нейронной сети на основе метода псевдо-обратных матриц и метода обратного распространения ошибки.

3. Разработан алгоритм поиска аэрозольных слоев в лидарных сигналах, использующий уравнение свертки с функцией заданного вида.

4. Применительно к задачам лидарного зондирования создана программная система LDAS, которая позволяет проводить потоковую обработку данных и предоставляет исследователю возможность динамической компоновки алгоритмов на основе отдельных функциональных блоков.

Практическая ценность работы определяется следующими результатами:

Созданные программные продукты были применены при удалении импульсов последействия в лидарном сигнале, поиске аэрозольных слоев, определении их пространственно-временных характеристик, а также при решении прямых и обратных задач лидарного зондирования.

Показано, что метод нейронных сетей для решения обратной задачи лидарного зондирования обладает преимуществом перед другими методами, благодаря большей точности при возникающих разнородных ошибках в сигналах и отсутствию необходимости вмешательства оператора для подбора параметров, что важно для автоматизации обработки данных.

Разработанные методы поиска аэрозольных слоев могут применяться и в других задачах, например при удалении импульсов последействия в лидарном сигнале.

Реализованное программное обеспечение может быть использовано при решении задач лидарного зондирования, анализе и обработке данных лидарного зондирования, а также адаптировано к решению других задач.

Апробация работы

По теме диссертации опубликовано 11 статей и сделано 19 докладов на российских и международных конференциях: Atmospheric and ocean optics. Atmospheric physics: X, XI, XII, XIII joint international

symposium, Tomsk, 2003-2006; Аэрозоли Сибири. XI, XII рабочая группа, Томск, 2004-2005; Вторая международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности», Санкт-Петербург, 2006.

Работа была поддержана грантами РФФИ № 04-05-64390,

№01-07-90163, №06-05-65010-а.

Краткое содержание работы

В первой главе приведены сведения об атмосфере, ее структуре, основных составляющих, методах и особенностях лидарного зондирования, о типах лидаров. Лидарное зондирование основано на поглощении и рассеянии лазерного излучения молекулами газов, частицами и аэрозолями. При восстановлении атмосферных составляющих из лидарных данных необходимо знание оптических характеристик исследуемых веществ, их высотного распределения и содержания. Кроме того, для оптимального выбора зондирующей длины волны или длин волн важно иметь информацию о содержании других атмосферных составляющих влияющих на процесс поглощения и рассеяния лазерного излучения. В связи с этим, целесообразна разработка наиболее полных оптических моделей аэрозольной и газовой атмосферы, в главе рассмотрены основные способы построения таких моделей. Важным этапом при построении лидарного комплекса является анализ возможностей комплекса по восстановлению атмосферных составляющих, в связи с этим проводится моделирование процесса лазерного зондирования, что требует создания специализированного программного обеспечения. В главе приводится описание методик моделирования, а также основные программные средства, предназначенные для решения данной задачи. Также рассмотрен геометрический фактор лидара, влияющий на высотные границы области определения лидаром атмосферных параметров.

Одной из актуальных задач лидарного зондирования является обработка лидарных сигналов в реальном времени, когда вмешательство оператора в процесс приема данных будет минимальным. Участие оператора в процессе обработки ведет к замедлению решения текущих задач и увеличивает вероятность появления ошибок. В связи с этим, необходимо создание программ, позволяющих накапливать. данные, управлять работой лидара, решать обратные задачи лидарного зондирования, анализировать возможные ошибки, возникающие при приеме сигнала и устранять их в автоматическом режиме. Программы должны обладать возможностью модификации для добавления новых методик в

уже готовый программный код, предоставлять исследователю широкий набор методов обработки данных лидарного зондирования и возможность построения собственных алгоритмов, иметь общие интерфейсы взаимодействия с имеющимся программным обеспечением.

Вторая глава посвящена озону, методам изучения вертикального распределения концентрации озона на основе лазерного зондирования. Наибольшее распространение для зондирования озона получил УФ лидар дифференциального поглощения, работа которого основана на использовании двух длин волн, одна из которых попадает в линию поглощения озона, а другая лежит в ее крыле.

Методы восстановления концентрации озона и других газов из лидарных сигналов основаны на решении уравнения лазерного зондирования, представляющего собой интегральное уравнение, полученного в приближении однократного рассеяния.

ЩЛ, К) = А 0! (Я, К) Д (Л, И)в(К) А^

Иу 4 ' 4 ' А1

®\Л,И) = ех р

(1)

д.(Л,й) = /г, {Л, И)+(л, И)+/з:лл,И),

где - число зарегистрированных фотонов с высоты г на

длине волны Л, &(Л,Ь) - оптическое пропускание, (Зк(Я,К) - рассеяние назад, С7(й) - геометрический фактор лидера, Е0 - энергия излучения лазера, Иу - энергия фотона, Дл(А,/г) - коэффициент ослабления.

Решение данного уравнения для двух длин волн, относительно неизвестного профиля концентрации исследуемого газа, осуществляется путем дифференцирования (2), либо сведения уравнения к интегралу Фредгольма первого рода (3) и дальнейшего нахождения решения с помощью методов регуляризации.

п(К) =---—/(А), (2)

№=\ 1п

+ЧЧЛ),

¡К(х,И)/'(И)М = 8(х),

(3)

Ъ -х, х^И Ь-И, х<к'

<р(Ъ).

(К^Л^Ю-К^Х^М где п(И) - концентрация газа, Кг2 - сечение поглощения газа на

длине волны Л , г - оптическая толща.

Регистрируемые лидарные сигналы зашумлены, что обусловлено случайными и систематическими погрешностями измерений, это приводит к большим ошибкам в восстановленных значениях концентрации. На рисунке 1 приведен пример восстановления профиля концентрации озона методом разностных схем при зашумлении оптической толщи порядка 1%.

50-

30

20

10-

0.4 Об Ск8 1.0 1.2 1.4 1.6 1.8

а

-20С10* 00 20С107 4.0С107 давление, атм

б

Рис. 1. Пример восстановления профиля концентрации при наличии шумов в сигналах: а - логарифм отношения двух сигналов; б - восстановленный и точный профили концентрации озона

При восстановлении профиля концентрации по формулам (2), наряду с различными численными методами дифференцирования, обычно прибегают к предварительному сглаживанию сигналов с помощью различных методов, например медианного сглаживания или скользящего среднего.

В методах регуляризации часто используется априорная информация о содержании газа. Так в методе оптимальной параметризации используется информация о среднем значении профиля концентрации, а также о высотной матрице ковариации, в модифицированном методе оптимальной параметризации используется информация об общем содержании газа. Для данных методов необходимо проводить подбор параметров или коэффициентов (сглаживания, регуляризации), что требует вмешательства эксперта. Кроме учета шумов важно учитывать влияние неизвестных параметров входящих в лазерное уравнение (поглощение и рассеяние другими газами и аэрозолями вносящих вклад в общий сигнал). Таким образом, существующие методы и алгоритмы дифференцирования или регуляризации могут приводить в некоторых случаях к довольно грубому решению, из-за неточного подбора экспертом различных параметров. В данной работе, для улучшения стабильности, точности восстановления профиля концентрации озона из лидарных данных и автоматизации восстановления предлагается использовать метод нейронных сетей. Нейронная сеть состоит из простых элементов нейронов, связанных друг с другом. В простейшем случае нейрон имеет несколько входов и один выход, сумматор и блок функции активации. Математически функцию нейрона можно описать следующим образом:

У = = + *',),

где м> - весовые коэффициенты, х - входы, - функция активации.

Наиболее распространенной и подходящей для решения обратной задачи лазерного зондирования является многослойная полносвязная нейронная сеть (многослойный персептрон, рисунок 2).

Для обеспечения должной функциональности нейронной сети ее предварительно обучают. Обучение многослойного персептрона основано на обучении с учителем, когда каждому входному вектору ставится в соответствие определенный выходной вектор.

При решении обратной задачи лидарного зондирования в качестве входного вектора в работе используется логарифм отношения про-

филей регистрируемых сигналов, в качестве выходного вектора используется профиль концентрации озона.

п(И,) Ф2)

n(hj

Рис. 2. Трехслойная нейронная сеть

Создается множество таких пар, называемое обучающей выборкой. Для этого решается прямая задача, то есть проводится моделирование лидарных сигналов, с учетом различных атмосферных условий, видом озоновых и аэрозольных профилей. В качестве моделей атмосферы привлечены газовые модели ИОА СО РАН и США и модели оптических характеристик аэрозолей Рахимова-Крекова, а также модели, рассчитанные с помощью программы LIBSKY. Для учета физических особенностей изменения профиля концентрации озона, используются данные радиозондовых измерений, а также статистические матрицы ковариации высотных профилей концентрации озона для разных широт.

Задача поиска весовых коэффициентов, при которых будет выполняться необходимое отображение входных векторов в выходные, связана с минимизацией суммы разности квадратов между желаемыми значениями выходов и значениями, получаемыми нейронной сетью (4).

Е = ^ЁЁО'.С^. AT,) - dj min (4)

2 i-I i-i

где W - матрица весовых коэффициентов нейронной сети, коэффициенты одного нейрона ассоциируются со строкой матрицы, X, - I - ый входной обучающий пример, d,, - желаемый выход /' - го выходного

нейрона для / - го обучающего примера.

Существуют различные методы обучения нейронной сети: эволюционные, стохастические и градиентные. Каждый из методов имеет

свои недостатки и преимущества, в работе были рассмотрены и реализованы некоторые из них. Установлено, что градиентный метод обратного распространения ошибки не позволяет обучать нейронные сети при решении обратной задачи лидарного зондирования из-за сходимости к локальному минимуму функции ошибки (4). Подход, основанный на использовании вначале процесса минимизации генетического алгоритма, а затем алгоритма обратного распространения ошибки, обладает малой скоростью (5-8 часов) и не дает достаточной точности (ошибка 10% при проверке работы обученной нейронной сети на тестовой выборке с шумом в сигналах до 5%).

В главе описывается метод псевдо-обратных матриц для вычисления коэффициентов однослойной нейронной сети, позволяющий получить однозначное решение задачи:

и^г^-х),

Ж = (£>) ■ Хт • (X ■ Хт + а1У, где X - матрица входных значений, пример обучения ассоциируется со столбцом матрицы, £> - матрица выходных желаемых значений, Е - функция активации, - обратная функция для функции активации, применяемая к каждому элементу матрицы, а - коэффициент регуляризации, I - единичная матрица. Например, для активационной функции F(g). = arctg{g) обратная функция равна g(F) = tg(F), а

1 (\ \ для активационной функции =-, = — 1п--1 .

1 + <Г* ^ )

Метод псевдо-обратных матриц позволяет обучить однослойную нейронную сеть для решения обратной задачи лидарного зондирования. При использовании в качестве функции активации синуса точность восстановления превосходит точность восстановления другими методами, достигая в среднем 5% для высот 10-40 км, скорость обучения составляет две минуты (шум в тестовой выборке до 10%).

Но нейронная сеть с синусоидальной активационной функцией не позволяет решить проблему возможных отрицательных значений концентрации. Для ее решения в работе используется многослойная нейронная сеть, где в качестве начального приближения коэффициентов первого слоя берутся весовые коэффициенты, полученные при обучении однослойной нейронной сети методом псевдо-обратных матриц, и в качестве активационных функций последнего слоя ис-

пользуются положительно определенные сигмовидные функции. Реализации данных нейронных сетей приведены на рисунке 3.

Точность восстановления профилей концентрации озона составляет в среднем 4.5% для случая, когда в качестве нейронов первого слоя используются синусоидальные активационные функции и 4.2%, когда используются только сигмовидные активационные функции. Время обучения составляет 15 минут.

а б

Рис. 3. Нейронные сети для решения обратной задачи лидарного зондирования: а - сеть использующая первое приближение; б - нейронная сеть, использующая нейроны однослойной сети, обученной методом псевдо-обратных матриц (Р1 — нейрон однослойной сети)

На рисунках 4, 5 приведены сравнения метода нейронных сетей и метода разностных схем для модельных и реальных сигналов при использовании трехслойной нейронной сети.

Численные эксперименты показали, что для решения обратной задачи лидарного зондирования подходит однослойная нейронная сеть, обученная методом псевдо-обратных матриц. Данный вариант обладает достаточной точностью при восстановлении концентрации озона, хотя и требует тщательного подбора обучающих примеров.

4 0.10 в 0.1 О*

давление, атм

^0(10* в.(к10* давление, атм

Рис. 4. Сравнение метода нейронных сетей и разностных схем при обработке модельных сигналов

Рис, 5. Восстановление реальных профилей концентрации озона, метод разностных схем и нейронных сетей

. Для повышения точности необходимо использовать трехслойную нейронную сеть с комбинированным обучением. Оценка точности методов проводилась с помощью замкнутого моделирования (решение прямой и обратной задачи), для нейронной сети оценка точности проводилась на тестовой выборке, не включенной в обучающую выборку. Результаты моделирования показали, что при отсутствии шумов и с малым аэрозольным наполнением атмосферы нейронные сети сравнимы по точности с известными методами решения обратной задачи (регуляризации, сглаживающего сплайна), но при наличии шу-

мов и других мешающих факторов, лучше себя показала нейронная сеть (точность выше на 5-7%).

В третьей главе приведены методы анализа и обработки лидар-ных данных. Важной задачей является поиск аэрозольных слоев и изучение стратификации аэрозоля, в связи с тем, что аэрозоль, как и озон, является индикатором стратосферных изменений. Кроме того, аэрозоль существенно влияет на точность восстановления профиля концентрации озона. Изучение аэрозоля в стратосфере проводится по профилю отношения рассеяния, так как на данных высотах вклад аэрозольного рассеяния мал по сравнению с молекулярным рассеянием и вычислить концентрацию частиц достаточно сложно. Нами были разработаны алгоритмы поиска аэрозольных слоев в стратосфере. Поиск проводится как по данным профилям лидарного сигнала, так и по профилям отношения рассеяния. Уникальность методики не только в возможности выделять слои и неоднородности на фоне сигнала, но также аналитически вычислять их параметры. Алгоритм основан на свертке исходного сигнала с гауссовой функцией с известными параметрами (5), тогда можно приближенно вычислить значения параметров слоев (полуширина, амплитуда). Свертка с гауссовыми функциями для различных центров позволяет сгладить,сигнал, устранить случайные шумы и лучше выделить слои. *

где А, сг, йо - параметры модельного слоя и /(А) - функция, в которой производится поиск слоя.

Предполагая, что на высоте находится слой Л,, найденный по

свертке , определяем аналитическое выражение для полушири-

ны слоя (6):

1 АХА\ 1

= (6)

При наличии соседних слоев используется генетический алгоритм поиска, при этом в качестве начального приближения используются результаты вышеописанного метода. Алгоритм был применен при поиске аэрозольных слоев в стратосфере по данным наземных лидарных измерений ИОА СО РАН, лидарных самолетных измере-

ЗД^Лехр

ний, полученных в рамках эксперимента OLEX, Германия, а также при поиске аэрозольных слоев в тропосфере по данным эксперимента UMBC Elastic Lidar facility, Америка (рисунок 6).

Известно, что прием эхо сигналов в лидарных системах проводится в двух режимах: аналоговом и счете фотонов. Аналоговый режим используется при приеме сильных сигналов, как правило, такие сигналы свойственны аэрозольным тропосферным лидарам, в которых зондирование осуществляется на небольшие расстояния и высоты (до нескольких км). Прием слабых сигналов ведется в режиме счета фотонов. Это сигналы рамановских лидаров, аэрозольных и DIAL лидаров наземного базирования для зондирования стратосферы и мезосферы, лидаров космического базирования, предназначенных для зондирования на большие расстояния (до 100 и более км). Работа лидара в режиме счета фотонов имеет свою специфику, искажения сигналов при их регистрации носят более сложный характер, чем в случае, аналогового режима работы, погрешность которого в основном определяется разрядностью АЦП.

а в

Рис. 6. - Обработка тропосферных аэрозольных слоев: а - пространственно-временная развертка поведения аэрозолей; б - центр аэрозольного слоя; в - амплитуда аэрозольных слоев

В режиме счета фотонов возникают импульсы последействия фотоэлектронного умножителя (ФЭУ), просчеты одноэлектронных импульсов и статистические погрешности измерений. Таким образом, возникает задача анализа последовательных профилей лидарных сигналов и выявление статистических характеристик ошибок в сигнале, изучения характеристик импульсов последействия для дальнейшей выработки методики их устранения из сигнала. Методика, разработанная для поиска аэрозольных слоев, была также применена при поиске и удалении импульсов последействия в лидарных сигналах, полученных на лидарной станции в ИОА СО РАН.

В главе приведено описание таких методов анализа как Фурье и вейвлет анализа, корреляционный и статистический анализ, описание методов фильтрации, регрессии. Методы анализа позволяют выявить изменчивость атмосферных составляющих, их циклы и колебания, зависимость от других атмосферных параметров, от активности Солнца и других физических явлений. Например, содержание озона может быть рассчитано как сумма среднего содержания, тренда, сезонных изменений, квазидвухлетнего колебания, влияния солнечной активности и влияния центров действия атмосферы. Все эти параметры можно определить при анализе временных последовательностей данных о концентрации озона В частности, выявление цикличностей и колебаний основывается на Фурье и вейвлет анализах, установление зависимостей основывается на корреляционном анализе. Данные методы анализа были применены при оценке корреляционных связей аэрозоля по профилям отношения рассеяния, полученным на лидарной станции ИОА СОР РАН, а также при определении аэрозольных слоев по корреляционной методике.

Четвертая глава посвящена разработанному программному обеспечению, особенностям построения программных комплексов на основе объектно-ориентированного подхода, программным системам «Анализ», ЬОАЭ и Ыеиго1пуегзе.

Программная система «Анализ» предназначена для визуального, статистического и спектрального методов анализа, математических преобразований над выбранными последовательностями данных. Данные лидарного зондирования хранятся в виде файлов и представляют собой сигналы, полученные на двух длинах волн, восстановленные значения концентрации на данной высоте, профили температуры и отношения аэрозольного рассеяния и другие параметры. Эти данные разрознены, с потерями и нерегулярны, необходимо восстановление потерянных данных с помощью различных методов экстраполяции и интерполяции.

Структура реализованной программы позволяет добавлять новые методы и алгоритмы, при этом нет необходимости изменять существующий код. Принцип работы с программной системой основан на оперировании табличными данными, векторами и матрицами (рисунок 7). Каждому вектору или матрице соответствует своя координатная сетка, по которой можно осуществлять операции селекции данных. Допустим, в качестве координатной сетки служит последовательность дат, то возможен выбор данных по дням, месяцам и годам, например, выбор данных за десять лет за месяц январь. После того как данные выбраны, они могут быть обработаны любым из предоставляемых программой методов, в свою очередь, полученный результат может быть использован для обработки другим методом. Все табличные данные могут бьпъ выведены на двумерных, трехмерных и цветовых контурных графиках. Существует возможность обмена данными между различными программными системами.

ОпгяОисНмфмМеОи! А*омЮи»|

£ РгадеЮ "11

Г'шмц.г

р ЦмтсасА

У Грммер»*Агрвфи1_г

? Оц юръйгдои^З

1V««. Сш I В«я Оа ¿1»

0000005 С000000$ «-000СС0

иоПэж |о.ооооооо 0.0000001 ооюооог аооооооэ оооооом оооаснб сооооооб оаооосо

ртюоз 00000004 03000005 сооаоооб аоооот

В0СЗ 0.0000004 00000005 €0000006 ьосоого

с.ой»Л1 оооотшг в000001 г ааадп

1 аооооом 00000005 аооооооб ооооооо

0.0000004 000X005 ОООООООБ 0000000

Э0.Ш.1ЮГ 3001 1497 01.11.1996 Ю.Ов.19» C6.0S.19S6 05Ю.1«в

Грвм | ТипГрмш)

Загадок ГРон"| Пан«»] Лечим) ФдАнипфсыть]

'• Подписи мм........................... ( бьбфоск------------------------

Верти«

Нжжи |о Рммер й

] Г Гврняммьим

ТтОеы ••• Г ДичВраг«

Чек« V«*® | бгарМс | Ал» )

р^мсй 10ШЗЭ8

5Иои ропКв

Рис. 7. Пример главного окна программы «Анализ» с проектом

В программу включены методы Фурье и вейвлет анализа, корреляционный анализ, статистический анализ, простейшие математические операции, в том числе транспонирование матриц и векторов, их суммирование и перемножение. Программа построена таким образом, что в случае подачи матрицы на обработку векторному методу, обрабатывается каждый столбец матрицы как вектор, результатом работы метода является матрица. В любой таблице можно выделить вектор, матрицу или скаляр и подать на обработку определенным методом. К сожалению, при такой реализации пользователь отвечает за все действия, осуществляя некую алгоритмическую последовательность операций над исходными данными. В этом случае он должен хранить в памяти все действия, так как набор таблиц между собой не связан, имеются все промежуточные результаты, но при ошибке в начальном действии пользователю необходимо заново повторить весь алгоритм обработки. Было решено реализовать другую программную систему, позволяющую устранить это упущение, с включением новых методов анализа, методов решения обратных задач лидарного зондирования, с более широкими возможностями и удобством для работы пользователя.

В программной системе ЬОАБ каждый алгоритм и метод представлен отдельным функциональным блоком, и его можно включить в общий алгоритм обработки данных. Каждый функциональный блок имеет входы и выходы, которые можно соединить с входами и выходами других блоков с помощью средств, предоставляемых программным интерфейсом, таким образом, создается дерево вычислительного алгоритма. В, корне такого дерева обычно находится источник данных, в ветвях - конечные блоки отображения или сохранения данных. Специальные блоки акцепторы и доноры данных служат для осуществления последовательных вычислений, когда по одному алгоритму необходимо обработать поток данных. Например, донор при запросе на вычисление выдает последовательно профили сигналов за определенный период времени, в промежуточных блоках осуществляется расчет профилей отношения рассеяния, и в блоке акцепторе все профили размещаются в одну матрицу. Затем эту матрицу можно разделить с помощью блоков выбора и селекции на вектора, скаляры или матрицы, либо использовать саму матрицу в матричных алгоритмах. При этом сам алгоритм функционирования представлен уже в виде дерева, и пользователю не надо его запоминать или вручную повторять все действия, достаточно запросить выполнение алгоритма в одной из ветвей дерева решений (рисунок 8).

В программу ЬОАЭ включены готовые алгоритмические графы для решения обратной задачи лидарного зондирования различными ме-

•годами, для поиска аэрозольных слоев, расчета отношения рассеяния, удаления импульсов последействия в лидарном сигнале, позволяющие решать стандартные задачи, кроме того, пользователь может самостоятельно строить алгоритмическое решение произвольной задачи.

до* Доога 1<хЬ до

- $пюа№ЗДм

вЛп^

РЬг«$.дгч1 5 £$М>Ьс«1

• Ммп*СитМвлМ«Ьм

- АМИде«

- СимМ* У«С1ог|

• С^еиЫяЕто

- Сг»* Р^пебеп

• Цпюп у«1ои ваМЬум

- Т«чаУес*а ОрвЩкжч

•Увс»огОр*«1игж •УваагТоБсЫ«

• ОлшЫе ТсУ«с»а

' МфЫ* У«с*см _ ; | ' й«ди!ав«Ьеп

виш«

■ АЛЕяропвпИ Орет ОгтПа

' 1п ЕкропепМ РамтеЮТ Авпио(Вж*.5с<П*м | С«1е окга мпс*пЬ4(10п

!

I Ъы^Мых&ш* псхМ

| В 1гси

■ $с4м

| - 11т РюсмЬ« 9 /ЯУииА^юп

в ксРЫ! ' БмрМсгО

1.0А5 Ь» ЗМшлнЫтмЬ (С) 2006

Рис. 8. Пример главного окна программы ЬОАЭ

Система Ыеиго1пуегзе (рисунок 9) предназначена для обучения и тестирования нейронной сети вида многослойный персептрон при решении обратной задачи трассового газоанализатора и УФ лидара дифференциального поглощения. Исследователь может задать вид активационных функций нейронов, количество слоев, выбрать методы обучения, следить за процессом обучения, добавлять свои примеры обучения, комбинировать методы обучения нейронной сети. В программе представлены методы обучения на основе обратного распространения ошибки, модификации данного метода, метод генетического поиска и метод псевдо-обратных матриц, кроме того, представлены стандартные методы решения исходных задач, метод наименьших квадратов, метод регуляризации, метод сглаживающего сплайна и разностных схем. Пользователь может создать свои примеры обучения и использовать систему для решения собственных задач, для этого необходимо загрузить входные данные в соответствии с входным форматом данных программы Ыеиго1пуегзе.

ЕЛ а«юп5 1аек »(ор

'» м -1..................

Раи» Зк>р|

0.05 0.04 €.03 0.02 0,0»

0,001 0,001 0,001 0,001 0,000 0.000

и 000 12000 10 ООО в ООО 6000 4 000 2000

СиггеЫ АЬвоМ* Еггог о! 1>1вигоНе1

— ОвпвНе I

— СоогвЯай*тв |

500 1 ООО 1 500 2 000 2 500 Э 000 Э 500 4 000 4 500 Б 000 $ 800 6 000 6 500 7 000 7 500 в 000 в 500 9 000

Сиггег* АсиоНе Еггог а( ГМвигепв!

Н20 I .....4..... ...............г........I.....................

Л I С02 ОЭ 1 N20 СН4 1 1 1 1.......Г $02 N02 МНЭ С2Н8 С2Н4 СвНВ

ВОалвМс I I Соог^Рагепд |

Сопсепкёюп, ррт

□ Ив* ■

Н20 ОЗ СН4 N02 С2Н6 I

1.

гмГг;

Н20С02 ОЭ N20 г02

Рис. 9. Программа КеигоХпуегБе

Основные выводы и результаты работы:

1. Проведен анализ и обзор методов лидарного зондирования атмосферы, задач возникающих при изучении атмосферы с помощью лазерных методов.

2. Разработан и апробирован метод нейронных сетей для решения обратной задачи лидарного зондирования атмосферы, что позволило увеличить точность восстановления профилей концентрации озона при значительном зашумлении лидарных сигналов. Преимущество метода нейронных сетей заключается в возможности технической реализации метода решения и в меньшем участии оператора в процессе обработки.

3. Разработан оригинальный алгоритм поиска аэрозольных слоев в атмосфере, который благодаря простоте программной реализации, позволяет существенно быстрее обрабатывать большие потоки данных и выявлять не только сами слои, но также их параметры.

4. Алгоритм поиска аэрозольных слоев, был применен при удалении импульсов последействия в лидарном сигнале, что показывает на универсальность алгоритма и применимость к другим задачам.

5. Предложенные алгоритмы были реализованы в программных системах LDAS, "Анализ" и Neurolnverse на основе объектно-ориентированного подхода.

6. Программная система LDAS предоставляет возможность исследователю строить алгоритмический граф решения задачи и проводить потоковую обработку данных на основе блоков доноров и акцепторов.

Основные публикации по теме диссертации

1. Суханов АЛ. Учет геометрического фактора в задачах лидарного зондирования атмосферы // Тезисы докладов региональной научно-технической конференции «Радиотехнические устройства, информационные технологии и системы управления». Томск, 2001. -4.2. - С. 10.

2. Suhanov A.Y. The return task decision of the atmosphere gas structure laser sounding // The IEEE-Siberian Conference on Electron Devices and Materials SIBEDEM-2002, Russia, Tomsk, 2002. - P. 31.

3. Суханов А.Я., Шубин С.Ф.. Автоматизация и управление приеморегист-рирующим устройством озонного стратосферного УФ DIAL-лидара // Информационные системы мониторинга окружающей среды. — Томск: изд-во ТУ СУР, 2002. - Вып. 1. - С. 61 -65.

4. Суханов А.Я. Применение нейронных сетей в восстановлении профиля концентрации озона // Успехи современного естествозна-

ния. Материалы конференции с международным участием. Италия, Рим. 5-8 декабря, 2003. - № 12. - С. 104-105.

5. Суханов АЛ., Катаев М.Ю. Возможности метода нейронных сетей для восстановления профиля концентрации озона из лидарных данных//Оптика атмосферы и океана. -2003.-Т.16, №12.-С. 1115-1119.

6. Sukhanov A.Ya., Kataev M.Yu., Marichev V.N. Features stratification of the stratospheric scattering ratio for according to laser sounding. // Atmospheric and ocean optics. Atmospheric physics: X joint int. symp. -Tomsk, 2003.-P. 133.

7. Суханов А. Я. Программный комплекс по анализу и обработке лидарных данных. Материалы региональной научно-технической конференции. 13-15 мая 2003. -Томск. - 4.2. - С. 49-50.

8. Kataev M.Yu., Mitsel А.А., Boichenco I.V., Sukhanov A.Ya. Account of the apriori information at the inverse task solving of ozone lidar sounding. // Atmospheric and ocean optics. Atmospheric physics: X joint int. symp. - Tomsk, 2003. -P. 133.

9. Kataev M.Yu., Sukhanov A.Ya. The program "Analysis" of lidar sounding data // Atmospheric and ocean optics. Atmospheric physics: X joint int. symp. - Tomsk, 2003. -P. 134.

10. Катаев М.Ю., Суханов АЛ. Оптимизация нейронной сети в задаче восстановления профиля концентрации озона из лидарных данных // Доклады Томского государственного университета систем управления и радиоэлектроники. Автоматизированные системы обработки информации, управления и проектирования. - Томск: Изд-во ТУСУР, 2004. - №1(9). - С. 14-21.

11. Катаев М.Ю., Суханов АЛ. Компьютерная программа для моделирования оптических характеристик аэрозолей // Доклады Томского государственного университета систем управления и радиоэлектроники. Автоматизированные системы обработки информации, управления и проектирования. - 2004. -№1(9). -С. 33-39.

12. М. Yu. Kataev, A.Ya. Sukhanov Application of neural networks for retrieving atmospheric gases concentration profile for lidar sounding data // Proc. SPIE, 2004. - V. 5397, pp. 161 - 168.

13. Kataev M. Yu., Suhanov A.Ya. Fractal analysis in a task of studying of the measured atmospheric gases concentration time series. // Atmospheric and ocean optics. Atmospheric physics: XI joint int. symp. — Tomsk, 2004.-P. 152.

14. Суханов АЛ. Катаев М.Ю. Влияние количества слоев и функции активации в нейронной сети на точность восстановления профиля

концентрации озона // Межрегиональная научно-техническая конференция студентов и молодых ученых «Научная сессия ТУ СУР». 14-16 мая 2004. - Томск: Изд-во ТУСУР, 2004.

15. Kataev М. Yu., Suhanov A.Ya. Optimization of a neural network in a task of retrieving of an ozone concentration profile from lidar data. // Atmospheric and ocean optics. Atmospheric physics: XI joint int. symp. — Tomsk, 2004. -P. 152.

16. Катаев MJO, Бойченко И.В., Суханов АЛ., Flentje H. Поиск регулярных высотных слоев по данным эксперимента NASA - AMES. // Доклады XI рабочей группы Аэрозоли Сибири. Томск, 2004. - С. 53.

17. Суханов А.Я., МаричевВ.Н. Структура стратосферных аэрозольных слоев по данным измерений на лидарной станции ИОА за период 1996-2000 гг // Доклады XI рабочей группы Аэрозоли Сибири. Томск, 2004. - С. 53.

18. Суханов АЛ., Ferro G. Программа LEBSKY для моделирования оптических характеристик аэрозолей // Доклады XI рабочей группы Аэрозоли Сибири. Томск, 2004. - С. 54.

19. Катаев М.Ю. Суханов АЛ. Методика определения вертикальной структуры профилей атмосферных компонент // Доклады Томского государственного университета систем управления и радиоэлектроники. - 2004. -№2(10).-С. 30-38.

20. Катаев М.Ю. Суханов АЛ. Оптимизация нейронной сети для решения обратной задачи лазерного зондирования //Доклады Томского государственного университета систем управления и радиоэлектроники. -2004. -№2 (10).-С. 38-45.

21. Суханов АЛ. , Суханов ДЛ. Метод итерационной настройки многослойной нейронной сети на основе метода наименьших квадратов //Доклады Томского государственного университета систем управления и радиоэлектроники. - 2004. -№2 (10). -С. 111 -116.

22. Суханов ДЛ., Суханов АЛ. Матричное представление настройки многослойной нейронной сети // XI Международная научно-практическая конференция студентов и молодых ученных «Современные техника и технологию), 29 марта—2 апреля 2005. - Томск. -Т.2. -С. 215-217.

23. Суханов АЛ., Суханов ДЛ. Алгоритм настройки нейронной сети для решения обратной задач лидарного зондирования с помощью псевдообратных матриц // Современные наукоемкие технологии. —М: изд-во «Академия естествознания», 2005.-№1 - С. 97-98.

24. Катаев М.Ю., Суханов АЛ. Методика поиска аэрозольных слоев при наличии измерительных артефактов в лидарных сигналах. // Доклады XII рабочей группы Аэрозоли Сибири, Томск, 2005. - С. 51.

25. Катаев М.Ю., Суханов А .Я., Rogers R. Методика анализа структуры тропосферных аэрозольных слоев. // Доклады XII рабочей группы Аэрозоли Сибири, Томск, 2005. - С. 52.

26. Катаев М.Ю., Суханов А,Я,, Blum U., Черемисин А.А. Анализ структуры аэрозольных слоев верхней стратосферы Н Доклады XII рабочей группы Аэрозоли Сибири, Томск, 2005. - С. 52.

27. Kataev М. Yu., Sykhanov A. Ya. Application of the neural network approach for retrieving of gas concentration from C02 laser data // Proc. SPIE.V. 6160,-P. 75-79.

28. Sukhanov A.Ya., Ferro G. LIBSKY. A code for the generation of the atmospheric physical description for the PREMAR Monte Carlo code // Technical report ENEA/RT/2005/12/FIS, Roma. 2005. -p. 26.

29. Суханов А.Я. Программный комплекс LDAS для анализа и обработки лидарных данных // Сборник трудов второй международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности». Санкт-Петербург. 7-9 февраля 2006. -Т. 5. - С. 186-187.

30. Катаев М.Ю., Суханов А.Я. Алгоритм фитинга, используемый при обработке данных лазерного зондирования // Доклады Томского государственного университета систем управления и радиоэлектроники. №4(12), 2006, - С. 26-31.

31. Суханов А.Я. Анализ и обработка данных лидарного зондирования. Дипломная работа. Томск, 2003. Медаль по итогам открытого конкурса на лучшую работу студентов по естественным, техническим и гуманитарным наукам в вузах Российской Федерации.

32. Kataev M.Yu., Sukhanov A.Ya. The program of the lidar data processing with dynamic composition of techniques // Atmospheric and ocean optics. Atmospheric physics: XIII joint int. symp. - Tomsk, 2006.

33. Суханов А.Я., Катаев М.Ю. Программная система моделирования, обработки и анализа данных лидарного зондирования атмосферы «LDAS». Свидетельство об отраслевой регистрации разработки №6353, 13 июня 2006.

34. Суханов А.Я., Катаев М.Ю. Программная система обучения и имитации работы нейронных сетей для решения обратных задач лазерного зондирования «Neurolnverse». Свидетельство об отраслевой регистрации разработки №6352,13 июня 2006.

Тираж 100. Заказ 733. Томский государственный университет систем управления и радиоэлектроники 634050, г. Томск, пр. Ленина, 40

Оглавление автор диссертации — кандидата технических наук Суханов, Александр Яковлевич

ВВЕДЕНИЕ.

ГЛАВА 1 АТМОСФЕРА И МЕТОДЫ ЕЕ ИССЛЕДОВАНИЯ.

1.1 Структура атмосферы.

1.2 Газовые составляющие атмосферы.

1.3 Аэрозоли и частицы.

1.4 Модели атмосферы.

1.5 Контроль окружающей среды.

1.6 Основные типы лидаров.

1.7 Геометрический фактор лидара[34].

1.8 Моделирование переноса лазерного излучения в атмосфере.

Введение 2006 год, диссертация по информатике, вычислительной технике и управлению, Суханов, Александр Яковлевич

В настоящее время существует все возрастающая необходимость изучения атмосферы и непрерывного контроля ее параметров, что играет важную роль в задачах предсказания погоды, изменения климата, изучения экологической обстановки на различных территориях и в глобальном масштабе. Данные исследования важны для сельского хозяйства, обеспечения должного качества человеческой жизни, выработок долгосрочных экономических планов, предупреждения и предотвращения катастроф [1,2,3].

Во многом образование климата и погодные условия зависят от процессов, происходящих в стратосфере и мезосфере, сведений о которых накоплено еще не так много, в связи с этим необходимо развивать методы исследования параметров атмосферы в ее верхних слоях.

Одним из методов исследования атмосферных составляющих является метод лазерного зондирования, который позволяет, на основе процессов поглощения и рассеяния электромагнитного излучения, получать данные о параметрах атмосферы с высоким пространственным и временным разрешением. Это дает возможность более точно и эффективно решать вышеописанные задачи, выявлять причины, механизмы, темпы и тенденции развития процессов происходящих в атмосфере. Изучение атмосферы с помощью лазерных методов имеет полувековую историю. Сделан огромный вклад в развитие данных методов для изучения различных газовых, аэрозольных составляющих, а также других параметров, таких как температура, давление, скорость ветра, но остается еще множество нерешенных задач, требующих дальнейших исследований [4-11].

Устройством, позволяющим получать данные об атмосферных параметрах на основе лазерного излучения, является лидар. Лидар представляет собой систему, состоящую из лазера и телескопа. Лазерный импульс, излученный в атмосферу, испытывая рассеяние и поглощение на молекулах газов и аэрозолях, регистрируется телескопом.

Лидар, в зависимости от решаемой задачи, может быть установлен на борту самолета, космическом спутнике, на поверхности Земли. Пока еще технологии измерений не отработаны полностью для всех видов лидарных исследований и измерения нерегулярны и дороги. В связи с этим качественная и полная обработка полученных данных чрезвычайно важна. Наиболее полно разработаны и изучены методики на наземных лидарных станциях в основном для тропосферных измерений, а измерения в стратосфере и мезосфере редки и требуют тщательной подготовки и наличия специфических методов обработки [8-11].

Одной из наиболее важных составляющих атмосферы является озон, который, несмотря на свое малое содержание в атмосфере является естественным щитом от воздействия жесткого ультрафиолетового излучения, с другой стороны может быть гибельным для человека веществом даже в малых концентрациях и, наконец, является парниковым газом. Кроме того, озон служит индикатором стратосферных изменений, то есть изменение его содержания влечет или отражает изменения в климатическом масштабе. Таким же индикатором служит аэрозоль, который не только задерживает прохождение солнечного излучения, но также влияет на озоновый слой и на содержание других газов, участвуя в гетерогенных реакциях [12], поэтому наряду с исследованиями озона ведутся исследования аэрозоля [9].

Для изучения озона основополагающую роль играют наземные лидарные станции, работающие на основе метода дифференциального поглощения [13, 14], и позволяющие получать вертикальное распределение озона в данной географической точке. Здесь также важную роль приобретает аэрозоль, но уже как фактор, влияющий на точность восстановления профиля концентрации озона, за счет вклада в суммарное поглощение и рассеяние лазерного сигнала [15]. При исследовании аэрозоля на больших высотах с помощью лидарных станций, содержание аэрозоля чаще всего оценивают по отношению рассеяния [16,17].

Обработка и анализ данных лидарного зондирования производится с использованием вычислительной техники, что требует написания программного обеспечения, направленного на решение довольно широкого круга задач. Эти задачи включают, во-первых, моделирование переноса оптического излучения в атмосфере, необходимое для оценки качества различных лидарных комплексов по восстановлению параметров атмосферы, а также для их настройки, во-вторых, восстановление атмосферных параметров из оптических данных (регистрируемых сигналов) и, в-третьих, задачи анализа восстановленных параметров. Все перечисленные задачи взаимосвязаны, так результаты моделирования используются при восстановлении атмосферных параметров, анализ данных может быть использован при построении физических моделей атмосферы и последующего моделирования переноса излучения [18-24].

В связи с постоянным развитием методов и алгоритмов обработки лидарных данных возникает необходимость включения их в существующее программное обеспечение, либо создание новых программных продуктов, что весьма затруднено и может требовать больших затрат времени. Проблемы добавления новых методов возникают при узкой специализации программного обеспечения, жесткой структуре программ, когда включение нового метода требует изменения большой части кода, либо полной его замены. Важно предусмотреть гибкость программного продукта для работы пользователя, предоставляя различные возможности по составлению нужных алгоритмов из имеющихся функциональных блоков. Особое значение это приобретает при анализе данных.

Создание современных программных средств основано на объектно-ориентированном подходе, что позволяет сократить время на создание сложных программных комплексов. Кроме того, объектно-ориентированный подход позволяет, благодаря свойствам полиморфизма и наследственности, легко модифицировать и добавлять новые методы и процедуры в программное обеспечение, а также использовать объекты и методы, созданные другими программистами, что существенно снижает затраты на создание программного продукта. Целью настоящей работы является создание эффективных методов восстановления параметров атмосферы, озона, и аэрозоля, разработка алгоритмов их анализа, объединение и включение на основе объектно-ориентированного подхода разработанных автором и других алгоритмов в программное обеспечение по обработке и анализу данных лидарного зондирования.

Основные положения, выносимые на защиту

1. Метод решения обратной задачи лидарного зондирования с помощью нейронных сетей позволяет восстанавливать профиль концентрации озона в стратосфере и получить устойчивое решение при зашумлении лидарных сигналов до 50%.

2. Комбинированный алгоритм настройки нейронной сети на основе метода псевдо-обратных матриц и алгоритма обратного распространения ошибки для многослойной сети позволяет обучать нейронные сети на порядок быстрее некомбинированных итерационных методов и обладает свойством глобальной сходимости.

3. Алгоритм поиска слоев, построенный на основе применения уравнения свертки, позволяет выделять из лидарного сигнала или функции отношения рассеяния информацию о положении, полуширине и амплитуде слоя.

4. Созданные на основе объектно-ориентированного подхода программные комплексы «Анализ» и «ЬБАЗ» позволяют использовать традиционные и разработанные нами методы анализа и обработки данных лидарного зондирования.

Научная новизна работы состоит в следующем

1. Впервые разработана методика решения обратной задачи лидарного зондирования восстановления вертикального профиля концентрации озона с использованием нейросетевой технологии.

2. Предложен алгоритм поиска весовых коэффициентов нейронной сети на основе метода псевдо-обратных матриц и метода обратного распространения ошибки.

3. Разработан алгоритм поиска аэрозольных слоев в лидарных сигналах, использующий уравнение свертки с функцией заданного вида.

4. Применительно к задачам лидарного зондирования создана программная система 1Л)А8, которая позволяет проводить потоковую обработку данных и предоставляет исследователю возможность динамической компоновки алгоритмов на основе отдельных функциональных блоков.

Практическая ценность работы определяется следующими результатами:

Разработанные программные продукты были применены при удалении импульсов последействия в лидарном сигнале, поиске аэрозольных слоев, определении их временных характеристик и поведения, а также при решении прямых и обратных задач лидарного зондирования.

Применен метод нейронных сетей для решения обратной задачи лидарного зондирования, обладающий преимуществом перед другими методами, благодаря большей точности при возникающих разнородных ошибках в сигналах и отсутствию необходимости вмешательства оператора для подбора параметров, что важно для автоматизации обработки данных.

Разработанные методы поиска аэрозольных слоев могут применяться и в других задачах, например при удалении импульсов последействия в лидарном сигнале.

Созданное программное обеспечение может быть использовано при решении задач лидарного зондирования, анализе и обработке данных лидарного зондирования и адаптировано к другим задачам за счет объектно-ориентированного подхода.

В первой главе приведены сведения об атмосфере, ее структуре, основных составляющих, методах лидарного зондирования, видах лидаров и особенностях лазерного зондирования. Лазерное зондирование основано на поглощении и рассеянии радиомагнитного излучения молекулами газов, частицами и аэрозолями. Таким образом, при построении лидарных комплексов и решении обратных задач необходимо знание оптических характеристик исследуемых газов и аэрозолей, также их распределения и содержания, кроме того, необходимо знать содержание других составляющих, для оптимального выбора зондирующей длины волны или длин волн. Важной задачей является обработка лидарных сигналов в реальном времени, когда вмешательство оператора в процесс приема данных будет минимальным. Вмешательство оператора ведет к замедлению процесса обработки данных и увеличивает вероятность появления ошибок. Возникает задача создания комплекса программ, позволяющего накапливать данные лидарного зондирования, управлять работой лидара, решать обратные задачи лидарного зондирования, анализировать возможные ошибки, возникающие при приеме сигнала и устранять их в автоматическом режиме. Программы должны обладать возможностью модификации для добавления новых методик в уже готовое программное обеспечение, иметь общие интерфейсы взаимодействия, предоставлять исследователю широкий набор методов обработки данных лидарного зондирования.

Вторая глава посвящена методам лазерного зондирования профиля концентрации озона и методам восстановления концентрации. Наибольшее распространение для зондирования озона получил двухволновый (308 нм, 353 нм) УФ лидар дифференциального поглощения.

Методы восстановления концентрации озона и других газов из лидарных сигналов основаны на решении уравнения лазерного зондирования, представляющего собой интегральное уравнение, полученное в приближении однократного рассеяния. Решение данного уравнения осуществляется путем дифференцирования, либо сведения уравнения к интегралу Фредгольма первого рода и дальнейшего нахождения решения с помощью различных методов регуляризации. При этом регистрируемые лидарные сигналы зашумлены, что приводит к большим ошибкам в восстановленных значениях концентрации. При дифференцировании обычно прибегают к сглаживанию сигналов с помощью различных методов, дифференцирование также может осуществляться различными численными алгоритмами. В некоторых методах регуляризации используется априорная информация о содержании газа. Например, в методе оптимальной параметризации используется информация о среднем значении профиля концентрации, а также о высотной матрице ковариа-ции. Кроме того, что лидарные сигналы сильно зашумлены, необходимо учитывать влияние неизвестных параметров входящих в лазерное уравнение (поглощение и рассеяние другими газами и аэрозолями, вносящих вклад в общий сигнал). В итоге, использование дифференцирования или регуляризации может приводить к довольно грубому решению, кроме того, необходимо проводить подбор параметров для каждого отдельного профиля, что требует вмешательства эксперта.

В данной работе для улучшения стабильности, точности восстановления профиля концентрации озона из лидарных данных и автоматизации восстановления предлагается метод нейронных сетей. Нейронные сети применяются при решении различных задач, распознавания образов, кластеризации данных, предсказания, аппроксимации функций, при решении трудно формализуемых задач. Нейронная сеть состоит из простых элементов нейронов, связанных друг с другом. В простейшем случае нейрон состоит из нескольких входов и одного выхода, сумматора и блока функции активации. Функционально нейрон умножает входные импульсы на некоторые коэффициенты (синаптические веса), суммирует полученные произведения и преобразует сумму в соответствии активационной функцией, являющейся пороговой или сигмовидной. Наиболее распространенной и подходящей для решения задачи обратной задачи лазерного зондирования является многослойная полносвязная нейронная сеть (многослойный персептрон).

Важным этапом при работе с нейронными сетями является их обучение. Обучение многослойного персептрона основано на обучении с учителем, заключающееся в том, что каждому входному вектору ставится в соответствие определенный выходной вектор. При решении обратной задачи лазерного зондирования, в качестве входного вектора может служить профиль регистрируемого сигнала, в качестве выходного вектора профиль концентрации озона. Создается множество таких пар называемое обучающей выборкой, что требует решения прямой задачи и проведения моделирования лидарного зондирования, с учетом различных атмосферных условий, видом озоновых и аэрозольных профилей, для более точного восстановления нейронной сетью профилей концентрации. Аэрозоль существенно влияет на точность восстановления озонового профиля с помощью лидара дифференциального поглощения на длинах волн 308 нм и 353 нм, либо 308 нм и 532 нм. Из-за широкой полосы поглощения и большого разброса длин волн, возникает заметное различие в аэрозольном рассеянии, которое необходимо учитывать. Обучение с учителем заключается в поиске таких коэффициентов нейронной сети, при которых будет выполняться необходимое отображение входных векторов в выходные. Это достигается путем минимизации суммы разности квадратов между желаемыми выходами и получаемыми нейронной сетью. Существуют различные методы обучения нейронной сети: эволюционные, стохастические, градиентные. Каждый из методов имеет свои недостатки и преимущества, в работе были рассмотрены и реализованы некоторые из них. Сделаны рекомендации по использованию тех или иных методов, созданы модификации и объединения методов для более эффективного и быстрого обучения нейронной сети. Рассмотрены различные параметры сетей (вид нейронов, количество слоев и связей, типы сетей) при выборе наиболее оптимальной нейронной сети для решения обратной задачи лидарного зондирования.

В третьей главе приведены методы анализа и обработки лидарных данных. Важной задачей является поиск аэрозольных слоев и изучение стратификации аэрозоля, в связи с тем, что аэрозоль является, как и озон, индикатором стратосферных изменений. Кроме того, аэрозоль существенно влияет на точность восстановления профиля концентрации озона. Изучение аэрозоля в стратосфере проводится по профилю отношения рассеяния, так как в стратосфере вклад аэрозольного рассеяния мал по сравнению с молекулярным рассеянием и вычислить концентрацию частиц достаточно сложно. Нами были разработаны алгоритмы поиска аэрозольных слоев в стратосфере. Поиск проводится как по данным профилям лидарного сигнала, так и по профилям отношения рассеяния. Уникальность методики не только в возможности выделять слои и неоднородности на фоне сигнала, но также аналитически вычислять их параметры. Алгоритм был применен при поиске аэрозольных слоев в стратосфере по данным лидарных самолетных измерений, полученных в рамках эксперимента OLEX, Германия, а также при поиске аэрозольных слоев в тропосфере по данным эксперимента UMBC Elastic Lidar facility, Америка.

Известно что, прием эхо сигналов в лидарных системах проводится в двух режимах: аналоговом и счете фотонов. Аналоговый режим используется при приеме сильных сигналов, как правило, такие сигналы свойственны аэрозольным тропосферным лидарам, в которых зондирование осуществляется на небольшие расстояния и высоты (до нескольких км). Прием слабых сигналов ведется в режиме счета фотонов. Это сигналы рамановских лидаров, аэрозольных и DIAL лидаров наземного базирования для зондирования стратосферы и мезосферы, лидаров космического базирования, предназначенных для зондирования на большие расстояния (до 100 и более км). Работа лидара в режиме счета фотонов имеет свою специфику, искажения сигналов при их регистрации носят более сложный характер, чем в случае аналогового режима работы, погрешность которого в основном определяется разрядностью АЦП. В режиме счета фотонов возникают импульсы последействия фотоэлектронного умножителя (ФЭУ), просчеты одноэлектронных импульсов и статистические погрешности измерений. Таким образом, возникает задача анализа последовательных профилей лидарных сигналов и выявление статистических характеристик ошибок в сигнале, изучения характеристик импульсов последействия для дальнейшей выработки методики их устранения из сигнала. Методика, разработанная для поиска аэрозольных слоев, была применена также при поиске и удалении импульсов последействия в лидарных сигналах, полученных на лидарной станции в ИОА СО РАН.

В данной главе также описаны различные методы анализа: Фурье и вейвлет анализ, корреляционный анализ, статистический анализ, приведены методы фильтрации, регрессии. Методы анализа позволяют выявить изменчивость атмосферных составляющих, их циклы и колебания, зависимость от других атмосферных параметров, от активности Солнца и других физических явлений. Например, содержание озона может быть рассчитано как сумма среднего содержания, тренда, сезонных изменений, квазидвухлетнего колебания, влияния солнечной активности и влияния центров действия атмосферы. Все эти параметры можно определить при анализе временных последовательностей данных о концентрации озона. В частности выявление цикличностей и колебаний основывается на Фурье и вейвлет анализе, установление зависимостей основывается на корреляционном анализе. Данные методы анализа были применены при оценке корреляционных связей аэрозоля по профилям отношения рассеяния, полученным на лидарной станции ИОА СО РАН, а также при определении аэрозольных слоев по корреляционной методике.

Четвертая глава посвящена разработанному программному обеспечению, особенностям построения программных комплексов на основе объектно-ориентированного подхода. Программным комплексам «Анализ», ЬБЛЭ, №иго1пуегБе.

Программный комплекс «Анализ» предназначен для визуального, статистического и спектрального методов анализа или математических преобразований над выбранными последовательностями данных. Данные лидарного зондирования представлены в виде текстовых файлов, содержащих сигналы, полученные на двух длинах волн с определенной высоты, восстановленные значения концентрации на данной высоте, распределение температуры и отношения аэрозольного рассеяния, кроме того, есть возможность считывания файлов в текстовом формате, с колончатой структурой. Программный комплекс обладает свойством расширяемости, добавления новых методов и алгоритмов без необходимости изменения исходного кода.

Принцип работы программы основан на оперировании табличными данными, векторами и матрицами. Каждому вектору или матрице соответствует своя координатная сетка. Над табличными данными можно осуществлять операции выбора данных по соответствующей сетке. Допустим, если в качестве координатной сетки служит последовательность дат, то возможен выбор данных по дням, месяцам и годам, например, выбор данных за десять лет за месяц январь. После того как данные выбраны, они могут быть обработаны любым из предложенных методов, в свою очередь, результат обработки может быть использован для обработки другими методами. Все полученные результата могут быть выведены на двумерных, трехмерных и цветовых контурных графиках, также существует возможность обмена данными между различными программами. В программу включены методы Фурье и вейвлет анализа, корреляционный анализ, статистический анализ, простейшие математические операции, в том числе транспонирование матриц и векторов, их суммирование и перемножение. Программа построена таким образом, что в случае подачи матрицы на обработку векторным методом, обрабатывается каждый столбец матрицы как вектор, результатом работа метода является матрица. В любой таблице можно выделить вектор, матрицу или скаляр и подать на обработку определенным методом. К сожалению, при такой реализации пользователь отвечает за все действия, осуществляя некую алгоритмическую последовательность операций над исходными данными. В этом случае он должен хранить в памяти все действия, так как набор таблиц между собой не связан, имеются все промежуточные результата, но при ошибке в начальном действии пользователю необходимо заново повторить весь алгоритм обработки. Было решено реализовать новый программный комплекс, позволяющий устранить это упущение, с включением новых методов анализа, методов решения обратных задач лидарного зондирования, с более широкими возможностями и удобством для работа пользователя.

Программный комплекс ЫЭАЭ также обладает возможностью расширяемости, но в отличие от программы «Анализ», каждый алгоритм и метод представлен отдельным функциональным блоком, который можно включить в общий алгоритм обработки данных. Каждый функциональный блок имеет входы и выходы, которые можно соединить с входами и выходами других блоков с помощью средств, предоставляемых интерфейсом, таким образом, создается дерево алгоритма. В корне такого дерева обычно находится источник данных, в ветвях конечные блоки отображения или сохранения данных. Специальные блоки накопления и последовательной выдачи данных служат для осуществления последовательных вычислений, когда по одному алгоритму необходимо обработать поток данных. Например, источник при запросе на вычисление выдает последовательно профили сигналов за определенный период времени, в промежуточных блоках осуществляется расчет профилей отношения рассеяния, и в блоке накопления все профили размещаются в одну матрицу. Затем эту матрицу можно разделить с помощью блоков выбора и селекции на вектора, скаляры или матрицы, либо использовать саму матрицу в матричных алгоритмах. При этом сам алгоритм функционирования представлен уже в виде дерева, и пользователю не надо его запоминать или вручную повторять все действия, достаточно запросить выполнение алгоритма в одной из ветвей дерева решений.

Система №иго1пуегзе предназначена для обучения и тестирования нейронной сети вида многослойный персептрон при решении обратной задачи трассового газоанализатора и УФ лидара дифференциального поглощения. Исследователь может задать вид активационных функций нейронов, количество слоев, выбрать методы обучения, следить за процессом обучения, добавлять свои примеры обучения, комбинировать методы обучения нейронной сети. В программе представлены методы обучения на основе обратного распространения ошибки, модификации данного метода, метод генетического поиска и метод псевдо-обратных матриц, кроме того, представлены стандартные методы решения исходных задач, метод наименьших квадратов, метод регуляризации, метод сглаживающего сплайна и разностных схем. Пользователь может создать свои примеры обучения и использовать систему для решения собственных задач, для этого необходимо загрузить входные данные в соответствии с входным форматом данных программы №иго1пуег5е.

Заключение диссертация на тему "Алгоритмы, методы и комплексы программ для решения задач лидарного зондирования атмосферы"

Основные результаты диссертационной работы заключаются в следующем: Показано, что исследование атмосферы с помощью лидаров является комплексной задачей, требующей привлечения множества математических и численных методов, что в свою очередь требует создания программных комплексов, позволяющих решать широкий круг задач взаимосвязанных между собой. Необходимо учесть изменяемость предметной области, для чего предусмотреть возможность дополнения и изменения уже созданного программного обеспечения.

Установлено, что метод нейронных сетей позволяет решать обратную задачу лидарного зондирования точнее на 4-5% других методов при зашумлении сигнала до 10-20%, что повышает точность восстановления профиля концентрации озона на высотах выше 30 км.

Метод обучения нейронной сети на основе псевдо-обратных матриц позволяет обучить однослойную нейронную сеть на порядок быстрее итерационных методов, при этом результат ее работы ближе к решаемой физической задаче.

Комбинированный метод обучения нейронной на основе метода псевдообратных матриц, генетического поиска и обратного распространения ошибки позволяет обучить многослойную нейронную сеть на порядок быстрее метода обратного распространения ошибки.

Установлено, что на основе свертки профиля сигнала или профиля отношения рассеяния с гауссовой функцией возможно выделить аэрозольные слои и определить аналитически их параметры, данный алгоритм обладает свойством универсальности и применяется также при удалении импульсов последействия из лидарного сигнала.

На основе ООП разработаны программные средства, позволяющие решать задачи лидарного зондирования, в том числе программный комплекс Анализ, для анализа данных лидарного зондирования, программная система LDAS для обработки, анализа и решения обратных задач лидарного зондирования. Программная система LDAS (Lidar data analysis system) предназначена для специалистов в области лидарного зондирования компонент и метеопараметров атмосферы (JI3A) и ориентирована на решение широкого класса задач. Система позволяет решать прямую (моделирование лидарного эхо-сигнала) и обратную (восстановление атмосферных характеристик по эхо-сигналам) задачи газоанализа, применяя модели атмосферы: ИОА СО РАН и др. Система построена на основе объектно-ориентированного подхода, любой алгоритм решения задачи составляется из отдельных функциональных блоков взаимосвязанных между собой. Включена возможность создания функциональных блоков пользователем, возможность изменения любого дерева алгоритма и потоковая обработка данных. Система позволяет определять высотные профили: концентрации газовых составляющих, отношения аэрозольного рассеяния, осуществлять поиск аэрозольных слоев, удалять импульсы последействия в сигнале, осуществлять фильтрацию на основе уже созданных шаблонных проектов, пользователь может изменять и дополнить шаблоны, создавать свои. Программная система имеет свидетельство об отраслевой регистрации №6352 от 13 июня 2006 [128].

Реализованы: программа LffiSKY для расчета оптических характеристик газов и аэрозолей и создания оптических аэрозольных моделей атмосферы программная система Neurolnverse для решения обратных задач лидарного зондирования с помощью нейронных сетей, обучения и тестирования, созданных нейронных сетей, программа Factor для расчета и просмотра в трехмерном виде геометрического фактора лидара. Программа LIBSKY применяется в итальянском центре ENEA как часть программного комплекса PREMAR для расчета газово-аэрозольной оптической модели атмосферы.

Программная система Neurolnverse предназначена для специалистов в области лидарного зондирования компонент и метеопараметров атмосферы (JI3A) и ориентирована на обучение иссследование нейронных сетей для решения обратных задач лазерного зондирования. Система позволяет обучать сеть вида многослойный персеп-трон для решения обратной задачи трассового газоанализатора (восстановление общего содержания для нескольких газов) и для решения обратной задачи лидарного зондирования (восстановление вертикального профиля концентрации озона). Система построена на основе объектно-ориентированного подхода, и реализует несколько способов обучения нейронной сети, позволяет варьировать активационные функции, количество слоев, выбирать и устанавливать примеры обучения, также проводить сравнение со стандартными методами решения обратной задачи. Система позволяет следить за обучением нейронной сети и изменять параметры обучения в процессе работы, комбинировать алгоритмы обучения. Программная система имеет свидетельство об отраслевой регистрации №6353 от 13 июня 2006 [129].

ЗАКЛЮЧЕНИЕ

В диссертации решены актуальные проблемы по разработке алгоритмов, методов и комплексов программ для задач лидарного зондирования атмосферы, включая такие задачи как восстановление атмосферных параметров из лидарных данных, моделирование лидарных сигналов и переноса лазерного излучения в среде, анализ атмосферных параметров.

Рассмотрены основные составляющие и физические параметры атмосферы, методы изучения атмосферных параметров, методы лазерного зондирования, технические аспекты зондирования с помощью лидаров, в том числе геометрический фактор лидара. Прием и накопление сигналов необходимо проводить в автоматическом режиме, чтобы вмешательство оператора было минимальным. При автоматическом накоплении и приеме сигналов, важной задачей является автоматическая обработка и автоматическое восстановление параметров атмосферы. В связи с тем, что обратная задача лидарного зондирования является некорректно поставленной, требуется разработка методов, позволяющих устойчиво и наиболее точно восстанавливать составляющие атмосферы при наличии различных мешающих факторов.

Нами были рассмотрены имеющиеся методы решения обратных задач, и оказалось, что они требуют вмешательства в свою работу оператора, для подбора различных параметров, при этом такие методы часто не учитывают различные атмосферные условия, так как используют усредненные статические модели атмосферы. Для решения обратной задачи нами использовались нейронные сети, в связи с тем, что они могут иметь не только программную, но и техническую реализацию, обладают свойством универсальной аппроксимации, после обучения не требуют специальной настройки и подбора каких-либо параметров и уже нашли широкое распространение при решении различных некорректных и трудно-формализуемых задач. Для решения обратной задачи лидарного зондирования при восстановлении профиля концентрации озона нейронные сети были привлечены впервые, потому нами проведены исследования с различными конструкциями нейронных сетей и с различными способами обучения. Исследования показали, что применение отдельных нейронных сетей, для восстановления концентрации озона на данной высоте не позволяет улучшить результаты решения задачи по точности, по сравнению с другими методами. Было решено использовать одну нейронную сеть для восстановления профиля. Сложность обучения нейронных сетей в данном случае заключается в большом числе связей нейронной сети и большом количестве нейронов, что существенно увеличивает время обучения. При снижении количества связей в полно-связной нейронной сети в 2-6 раз, точность восстановления уменьшалась незначительно, но при уменьшении количества связей в десять и более раз, ошибка работы сети составляла 30 и более процентов. Так как оставалась проблема малой скорости и малой точности обучения, нами была разработана модель нейронной сети с комбинированным алгоритмом обучения на основе метода псевдо-обратных матриц и обратного распространения ошибки. Алгоритм обучения нейронной сети на основе метода обратного распространения и генетического алгоритма позволяет обучить сеть до ошибки 11-12% за несколько часов. Разработанный нами комбинированный алгоритм позволяет сократить ошибку до 4-5% и сократить время обучения до нескольких минут, кроме того, данный алгоритм обладает свойством глобальной сходимости.

Важным этапом при обучении нейронной сети является создание адекватных обучающих выборок, что требует привлечения различных физических моделей атмосферы, оптических газовых и аэрозольных моделей, для расчета оптических характеристик аэрозолей и газов была разработана программа ЫВБКУ, кроме того, были привлечены данные об озоне с различных озонозондовых станций.

В лидарном зондировании возникает необходимость анализа и обработки как самих лидарных сигналов, так и восстанавливаемых параметров, изучения взаимосвязи различных атмосферных составляющих. При этом часто необходимо проводить обработку и анализ в автоматическом режиме применительно к совокупности сигналов или потоку данных. Нами были разработаны алгоритмы и программное обеспечение, позволяющие проводить массовые расчеты. Данные алгоритмы были применены при удалении импульсов последействия из лидарных сигналов и поиске аэрозольных слоев.

Библиография Суханов, Александр Яковлевич, диссертация по теме Математическое моделирование, численные методы и комплексы программ

1. М.В. Кабанов. Региональный мониторинг атмосферы. Научно-методические основы: Монография / Под общей редакцией В.Е. Зуева. Томск: изд-во «Спектр» Института оптики атмосферы СО РАН, 1997. - 4.1. - 211 с.

2. Региональный мониторинг атмосферы. Природно-климатические изменения: Коллективная монография / Под общей редакцией М.В. Кабанова. -Томск: МГП «РАСКО», 2000. 4.4. - 270 с.

3. Экология: Учебник / А.Д. Потапов. -2-е изд. -М. Высш. шк., 2004.-528 с.

4. Лазерный контроль атмосферы /под ред. Хинкли Э.Д., Зуева В.Е. М.: Мир, 1979.-416 с.

5. Лазерные методы зондирования атмосферы (обзор) / Макухин В. Н., Золотухин А.Н., Чистяков В.В., Нестеренко М.Т. // Зарубежная радиоэлектроника. -1977. № 8. - С. 83.

6. Дубягин В.М., Шеффер Н.А. Тенденции и проблемы лазерного зондирования загрязнений атмосферы. // Оптика атмосферы и океана. -1992. -Т. 5. -№ 10. -С. 1104-1113.

7. Применение лазеров для определения состава атмосферы / Костко О.К., Порта-сов В.С., Хаттатов В.У., Чаянова Э.А. // Л.: Гидрометеоиздат, 1983. - 216 с.

8. Лазерное зондирование тропосферы и подстилающей поверхности / Самохвалов И.В., Копытин Ю.Д., Ипполитов И.И. и др.//- Новосибирск: Наука, 1987.

9. Зуев В.В. Дистанционный оптический контроль стратосферных изменений. -Томск: МГП «Раско», 2000, -140с.

10. Региональный мониторинг атмосферы. Новые приборы и методики измерений: Коллективная монография / Под общей редакцией М.В. Кабанова. Томск: изд-во «Спектр» Института оптики атмосферы СО РАН, 1997. 4.2. -295 с.

11. Региональный мониторинг атмосферы. Уникальные измерительные комплексы: Коллективная монография / Под общей редакцией М.В. Кабанова. Новосибирск: изд-во СО РАН, 1998.-4.3.-238 с.

12. Оценка стока озона на аэрозольные частицы / Б.Д. Белан, М.В. Панченко, С.А. Терпугова, Г.Н. Толмачев. // Оптика атмосферы и океана. 1992. - Т. 5, - № 6. -С. 647-651.

13. Zuev V.E., Y.S. Makushkin, V.N. Marichev, А.А. Mitsel, V.V. Zuev Lidar differential absorption and scattering technique: theory // Appl. Optics. 1983. - Vol.22, №23. -P.3733-3741.

14. Zuev V.E., Zuev V.V., Marichev V.N., e.a. Lidar differential absorption and scattering technique: experiment // Appl.Optics. 1983. - Vol.22, №23. -pp. 3733-3741.

15. Ельников A.B. Зуев B.B. Двухчастотное лазерное зондирование озона стратосферы в условиях ее сильного аэрозольного наполнения. // Оптика атмосферы и океана. -1992. -Т. 5, № 10. -С. 1050-1054.

16. Ельников А.В., Маричев В.Н. Лидарные наблюдения вертикального распределения стратосферного аэрозоля. В сб.: Результаты комплексных экспериментов Верти-каль-86 и Вертикаль-87. - Томск, 1989. - С. 38-48.

17. Лазерный локатор для исследования вертикальной стратификации аэрозоля. / А.В. Ельников, В.Н. Маричев, К.Д. Шелевой, Д.И. Шелефонпок. // Оптика атмосферы. -1988.-Т.1.-№ 4.-С. 117-123.

18. Бойченко И.В., Катаев М.Ю., Маричев В.Н. Информационная система для анализа данных лидарного зондирования содержания озона // Метеорология и Гидрология. -2001.-№12.-С. 96-104.

19. Boichenko I.V., Kataev M.Yu., Kulakhmetov D.R., Mitsel' A.A., Sukhanov A.Ya. Modelling software MOLSA for UV-V lidar soundings of atmosphere parameters. "Atmospheric and ocean optics. Atmospheric physics. Irkutsk, 2001. - P. 161.

20. Goodenough D.G. Automating reuse of software for expert system of remote sensing data. // IEEE Transactions on geoscience and remote sensing, V. 32, No. 3,1994, pp. 525-533.

21. Суханов АЛ. Моделирование прямых и решение обратных задач лазерного зондирования атмосферы // Материалы межрегиональной научно-технической конференции студентов и молодых ученых «НС ТУСУР», -Томск, 2002.- С. 44-45.

22. Суханов АЛ. Решение прямых и обратных задач лазерного зондирования для стратосферного озона // Материалы XL международной научной студенческой конференции СНТП-2002: Физика /Новосиб. гос.ун-т. Новосибирск, 2002. - С. 14-15.

23. Suhanov A.Y., Suhanov D.Y. The return task decision of the atmosphere gas structure laser sounding // The IEEE-Siberian Conference on Electron Devices and Materials SIBE-DEM-2002, Russia, Tomsk, 2002. -P.31.

24. Кабанов M.B., Панченко M.B. Рассеяние оптических волн дисперсными средами. Атмосферные аэрозоль. Томск: Издание Томского филиала СО АН СССР, 1984.-Ч.З.-189 с.

25. Зуев В.Е., Кабанов М.В. Оптика атмосферного аэрозоля. Современные проблемы атмосферной оптики. Л.: Гидрометеоиздат, 1987. - Т. 4.

26. Зуев В.Е., Комаров B.C. Статистические модели температуры и газовых компонент атмосферы. Современные проблемы атмосферной оптики. -Л.: Гидрометеоиздат, 1986.-Т.1.-264 с.

27. Amato U., Cuomo V., Fontana F., Serio С. Statistical Predictability and Parametric Models of Daily Ambient Temperature and Solar Irradiance: An Analysis in the Italian Climate // Applied Meteorology, 1989.- Vol.28, -P.711-715.

28. Woolhiser D.A., Pegram G.G.S. Maximum Likelihood Estimation of Fourier Coefficients to Describe Seasonal Variations of Parameters in Stochastic Daily Precipitation Models //Applied Meteorology, 1979. Vol. 18, -P. 34-35.

29. Кадыгров B.E., Жадин E.A. Аномалии и тренды содержания озона в 1979-1992 гг. // Оптика атмосферы и океана. 1999. Т. 12. - № 1. -С. 46-53.

30. Бойченко И.В., Катаев М.Ю., Маричев В.Н. Информационная система для анализа данных лидарного зондирования содержания озона // Метеорология и гидрология. -2001.-№12.-С. 96-105.

31. Кашкин В.Б., Сухинин А.И. Дистанционное зондирование Земли из космоса. Цифровая обработка изображений: Учебное пособие. М.: Логос, 2001 -264 с.

32. Суханов АЛ., Шубин С.Ф. Автоматизация и управление приеморегистрирующим устройством озонного стратосферного УФ DIAL-лидара // Информационные системы мониторинга окружающей среды. Томск: изд-во ТУ СУР, 2002. - Вып. 1. - С. 61 -65.

33. Суханов АЛ. Учет геометрического фактора в задачах лидарного зондирования атмосферы // Тезисы докладов региональной научно-технической конференции «Радиотехнические устройства, информационные технологии и системы управления». -Томск, 2001.-4.2.-С.10.

34. Даничкин СА. Границы действия геометрического фактора лидара. // Труды IV всесоюзного симпозиума по лазерному зондированию атмосферы. -1976. -С. 79-82.

35. Абрамочкин А.И., Даничкин С.А., Тихомиров А.А. О выборе углов поля зрения и взаимной ориентации осей передатчика и приемника лидара. // Труды 5-го всесоюзного симпозиума по лазерному и акустическому зондированию атмосферы. -1978. -4.4. -С. 60-62.

36. Stelmaszczyk К., Dell'Aglio М., Chudzynski S., Stacewicz Т. Woste L. Analytical function for lidar geometrical compression form-factor calculations. // Applied optics, 2005, Vol. 44, No. 7.

37. Зуев B.E., Макушкин Ю.С., Пономарев IO.H. Спектроскопия атмосферы. Современные проблемы атмосферной оптики. Т. 3. -JI.: Гидрометеоиздат, 1987.

38. Sukhanov A.Ya., Ferro G. LIBSKY. A code for the generation of the atmospheric physical description for the PREMAR Monte Carlo Code // Technical report ENEA/RT/2005/12/FIS, 2005. p. 26.

39. Bodeker G.E., Boyd I.S., Matthews W.A. Trends and variability in vertical ozone and temperature profiles measured by ozonesondes at Lauder, New Zealand: 1986-1996 // Geophysical Research. -1998. Vol.103, №D22.-P.28,661-28,681.

40. Комаров B.C., Михайлов СЛ., Ромашов Д.Н. Статистическая структура вертикального распределения атмосферного озона-Новосибирск: Наука, 1988. -76 с.

41. Hood L.L., McCormack J.P., Labitzke К. An investigation of dynamical contributions to midlatitude ozone trends in winter // Geographical Research, 1997, Vol. 102, № Dll. -P.13,079-13,093.

42. Козлов В.П. Избранные труды по теории планирования эксперимента и обратным задачам оптического зондирования. //- СПб.: Изд-во С.-Петерб. ун-та, 2000. -500 с.

43. Козлов В.П., Тимофеев Ю.М., Бирюлина М.С. О точности определения содержания озона в атмосфере по данным измерений уходящего излучения. // Метеорология и гидрология. 1980. -№3. С. 51-58.

44. Даничкин С.А., Самохвалов И.В. Уравнение лазерного зондирования. // Труды IV всесоюзного симпозиума по лазерному зондированию атмосферы. -1976. -С. 74-78.

45. Little L.M., Papen G.C. Fiber-based lidar for atmospheric water-vapor measurements. //Applied Optics, Vol. 40, No. 21,2001, pp. 3417-3427.

46. Wulfmeyer V., Walther C. Future performance of ground-based and airborne water-vapor differential absorption lidar. // Applied Optics, Vol. 40, No. 30,2001, pp. 5305-5336.

47. Bruneau D., Quaglia P., Flamant C., Meissonnier M., Pelon J. Airborne lidar LEAN-DREII for water-vapor profiling in the troposphere. // Applied Optics, Vol. 40, No. 21,2001, pp. 3450-3475.

48. Machol J.M., Ayers Т., Schwenz K.T, Koenig K., Hardesty R.M. Preliminary measurements with an automated compact differential absorption lidar for the profiling of water vapor. // Applied Optics, Vol. 43, No. 15,2004, pp. 3110 3121.

49. Маричев B.H., A.B. Ельников. О методе лазерного зондирования атмосферного озона на длинах волн 308 и 532 нм. // Оптика атмосферы. -1988. -Т. 1. -№ 5. С. 77-83.

50. Тихонов А.Н., Арсенин ВЛ. Методы решения некорректных задач. Учеб. пособие для вузов. Изд. 3-е, испр. М.: Наука. Гл. ред. Физ.-мат. лит., 1986. -288 с.

51. Некорректные задачи естествознания / Под редакцией А.Н. Тихонова, A.B. Гон-чаровского. М.: Изд-во Моск. Ун-та, 1987. - 299 с.

52. Воскобойников Ю.Е., Мицель АЛ. Использование сглаживающих сплайнов для восстановления профиля коэффициента молекулярного поглощения Н20 // Изв. АН СССР, ФАО. -1981. Т. 17, №2. - С. 175-181.

53. Стечкин С.Б., Субботин Ю.Н. Сплайны в вычислительной математике М.: Наука, 1976, -248 с.

54. Мудров А.Е. Численные методы для ЭВМ на языках Бэйсик, Фортран и Паскаль.- Томск: МП «РАСКО», 1991.-272 с.

55. Мицель A.A., Катаев M.IO. Приближение сплайнами: Учебное пособие. -Томск: Томск, гос. ун-т систем управления и радиоэлектроники, 2001. 40 с.

56. Kataev M.Yu., Mitsei A.A., Boichenco I.V., Sukhanov A.Ya. Account of the apriori information at the inverse task solving of ozone lidar sounding. // Atmospheric and ocean optics. Atmospheric physics: X joint int. symp. Tomsk, 2003. -P. 133.

57. Суханов АЛ. Решение обратной задачи лидарного зондирования с помощью нейронной сети//Материалы региональной научно-технической конференции «Научная сессия ТУСУР-2003». -Томск, 2003. -4.2. С.46-49.

58. Суханов АЛ. Решение обратных задач лазерного зондирования с помощью нейронных сетей // Материалы XLI международной научной студенческой конференции «Студент и научно-технический прогресс». Информационные технологии. Новосибирск, 2003. - С. 142-143.

59. M. Yu. Kataev, A.Ya. Sukhanov Application of neural networks for retrieving atmospheric gases concentration profile for lidar sounding data. Proc. SPIE, 2004, V. 5397 pp. 161-168.

60. Суханов АЛ. Применение нейронных сетей в восстановлении профиля концентрации озона // Успехи современного естествознания. Материалы конференции с международным участием. Италия, г. Рим, 5-8 декабря, 2003. № 12. -С. 104-105.

61. Суханов АЛ., Катаев M.IO. Возможности метода нейронных сетей для восстановления профиля концентрации озона из лидарных данных. Оптика атмосферы и океана. Т. 16. - №12.2003. С. 1115-1119.

62. Комарцова Л.Г., Максимов А.В.- Нейрокомпьютеры: Учеб. Пособие для вузов.-М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. 320 е.,

63. Осовский С. 0-75 Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2002. - 344 с.

64. Теория нейронных сетей. Нейрокомпьютеры и их применение. Кн. 1: Учеб. Пособие для вузов / Общая ред. А. И. Галушкина. -М.: ИПРЖ, 2000. -416 с.

65. Kamgar- Parsi В., Gualteri J. Solving inversion problems with neural networks // Proceedings of International Joint Conference on Neural Networks, 1990. pp. 955-960.

66. Escobar-Munoz J., Chedin A., Cheuiy F., Scott N. Multi-layer neural networks for the retrieval of atmospheric variables from satellite-borne vertical sounding // Atmospheric Physics-Numerical Analysis, 1993. pp. 911-918.

67. Churnside J.H., Stermitz T.A., Schroeder J.A. Temperature profiling with neural network inversion of microwave radiometer data // J. Atmos. Oceanic Technol., 1994, Vol. 11, pp. 105-109.

68. Motteler H.E., Straw L.L., McMillan L., Gualteiy JA. Comparison of neural network and regression-based method for temperature retrievals. // Applied Optics, 1995, Vol. 34, pp. 5390-5397.

69. Rieu H., Escobar J., Scott N.A. SSM/T Forward modeling using neural networks // J. Quant. Spectrosc. Radiat. Transfer, 1996, Vol. 56, No. 6, pp. 821-833.

70. Basili P., Ciotti P., d'Auria G., Manzano F., Pierdicca N., Bonafoni S. The role of a priori information in designing retrieval algorithm for microwave radiometric profiling of the atmosphere //Proceedings of IGARSS'97,1997, pp. 2100-2102.

71. Butler C. T., Meredith R. Z., Stogryn A. P. Retrieving atmospheric temperature parameters from DMSP SSM /T-l data with a neural network // J. Geophysical research, 1996, Vol. 101, pp. 7075-7083.

72. Spina M.S., Schwartz M.J., Staelin D.H., Gasiewski A.J. Application of multilayer feed-forward neural networks to precipitation cell-top altitude estimation // IEEE Transactions on geoscience and remote sensing, 1998, Vol. 36, No. 1.

73. Frate F.D., Schiavon G. A combined natural orthogonal functions/neural network technique for radiometric estimations of atmospheric profiles // Radio Science, 1998, Vol. 33, pp. 405-410.

74. Frate F.D., Schiavon G. Neural networks for retrieval of water vapor and liquid water from radiometric data// Radio Science, 1998, Vol. 33, pp. 1373-1386.

75. Frate F.D., Schiavon G. Nonlinear principal component analysis for the radiometric inversion of atmospheric profiles by using neural networks // IEEE Trans. Geosci. Remote Sensing, 1999, Vol. 37, pp. 2335-2342.

76. Hadji-Lazaro J., Clerbaux G, Thria S. // Inversion algorithm using neural networks to retrieve atmospheric CO total columns from high-resolution nadir radiances // J. Geophysical Research, 1999, Vol. 104, pp. 23841-23854.

77. Frate F.D., Casadio S., Zehner C. Retrieval of ozone profiles by using GOME measurements and a neural network algorithm // Proceedings of IGARSS'2000,2000, pp. 250-253.

78. Jimenez C., Eriksson P. A neural network technique for inversion of atmospheric observation from microwave limb sounders //Radio science, 2000a, RS-2561.

79. Aires F. Neural network uncertainly assessment using Bayesian statistics with application to remote sensing: 1. Network weights // Journal of geophysical research, 2004, Vol. 109, D10303, doi: 10.1029/200JD004173.

80. Aires F. Neural network uncertainly assessment using Bayesian statistics with application to remote sensing: 2. Output errors // Journal of geophysical research, 2004, vol. 109, D10303, doi: 10.1029/200JD004174.

81. Aires F. Neural network uncertainly assessment using Bayesian statistics with application to remote sensing: 3. Network Jacobians // Journal of geophysical research, 2004, vol. 109, D10303, doi: 10.1029/200JD004175.

82. Chedin A., Scott N.A. A regularized neural approach for retrieval atmospheric and surface temperatures with IASI instrument // Journal of Applied Meteorology, 2001, Vol. 41, pp. 144-159.

83. Hai-Tao Fang, De-Shuang Huang, Yong-Hua Wu. Antinoise approximation of the lidar signal with wavelet neural networks. // Applied optics, 2005, Vol. 44, No. 6, pp. 1077-1083.

84. Bilski J. The UD RLS algorithm for training feed-forward neural networks // Int. J. Appl. Math. Comput. Sci., 2005, Vol. 15, No. 1, pp. 115-123.

85. Дубровин В.И., Субботин C.A. Алгоритм ускоренного обучения персептронов // Нейроинформатика-2002,2002.

86. Farrukh Kamran, Harley R.G., Burton В., Habetler T.G., Brooke M.A. A fast on-line neural-network training algorithm for a rectifier regulator // IEEE Transactions on power electronics, 1998, vol. 13, no. 2.

87. Buh-Yun SHER, Wen-Shong HSIEH. Fault tolerant training of feed-forward neural networks //Proc. Natl. Sci. Counc. ROC(A), 1999, Vol. 23, No. 5, pp. 599-608.

88. Суханов ДЛ., Суханов АЛ. Матричное представление настройки многослойной нейронной сети // XI Международная научно-практическая конференция студентов и молодых ученных «Современные техника и технологии», 29 марта 2 апреля 2005. -Томск.-Т.2.-С. 215-217.

89. Суханов ДЛ. Суханов АЛ. Метод итерационной настройки многослойной нейронной сети на основе метода наименьших квадратов // Доклады Томского государственного университета систем управления и радиоэлектроники. 2004. -№2 (10). -С. 111-116.

90. Kataev М. Yu., Sykhanov A. Ya. Application of the neural network approach for retrieving of gas concentration from C02 laser data // Proc. SPIE Vol. 6160, pp. 75-79.

91. Kataev М. Yu., Suhanov A.Ya. Optimization of a neural network in a task of retrieving of an ozone concentration profile from lidar data. // Atmospheric and ocean optics. Atmospheric physics: XI joint int. symp. Tomsk, 2004. -P. -152.

92. Катаев М.Ю., Бойченко И.В., Суханов АЛ., Flentje Н. Поиск регулярных высотных слоев по данным эксперимента NASA AMES. // Доклады XI рабочей группы Аэрозоли Сибири. Томск, 2004. - С. 53.

93. Катаев М.Ю., Суханов АЛ., Rogers R. Методика анализа структуры тропосферных аэрозольных слоев. // Доклады XII рабочей группы Аэрозоли Сибири, Томск, 2005. -С. 52.

94. Ельников А.В., Зуев В.В., Маричев В.Н. Влияние и учет импульсов последействия ФЭУ в лидарных сигналах аэрозольного и молекулярного рассеяния. // Оптика атмосферы. -1991. Т. 4, -№ 2. -С. 201-209.

95. Сигналы и помехи в лазерной локации / В.М. Орлов, И.В. Самохвалов, Г.М. Кре-ков и др.; Под ред. В.Е. Зуева -М.: Радио и связь, 1985, -264 с.

96. Астафьева Н.М. Вейвлет-анализ: Основы теории и применения // Успехи физических наук. -1996. Т. 166, № 11. - С 1145-1170.

97. Бабенко К.И. Основы численного анализа М: Наука, 1986.

98. Пановский ГЛ., Брайер Г.В. Статистические методы в метеорологии. JL: Гидро-метеоиздат, 1972. 210 с.

99. Kataev М. Yu., Suhanov A.Ya. Fractal analysis in a task of studying of the measured atmospheric gases concentration time series. // Atmospheric and ocean optics. Atmospheric physics: XI joint int. symp. Tomsk, 2004. -P. -152.

100. Sukhanov A.Ya, Kataev M.Yu., Marichev V.N. Features stratification of the stratospheric scattering ratio for according to laser sounding. // Atmospheric and ocean optics. Atmospheric physics: X joint int. symp. Tomsk, 2003. -P. -133.

101. Ельников A.B., Зуев B.B., Копысова T.C., Маричев В.Н. Особенности корреляционных связей стратосферного аэрозоля. // Огггика атмосферы и океана, 5, № 2,1992.

102. Faller A.J. An Average Correlation Coefficient // Applied Meteorology, 1981. -Vol. 20, P. 203-205.

103. Суханов A JL, Маричев B.H. Структура стратосферных аэрозольных слоев по данным измерений на лидарной станции ИОА СО РАН за период 1996-2000 гг. // Аэрозоли Сибири. XI рабочая группа, 2004. С. 53.

104. Катаев М.Ю., Суханов АЛ. Методика определения вертикальной струюуры профилей атмосферных компонент. // Доклады Томского государственного университета систем управления и радиоэлектроники. №2(10), 2004, -С. 38-45.

105. Полканов ЮЛ. Об одной возможности выявления аномальных неоднородностей атмосферы. // Оптика атмосферы и океана, -1992. -Т. 5. № 7. -С. 720-725.

106. Катаев М.Ю., Суханов А.Я. Алгоритм фитинга, используемый при обработке данных лазерного зондирования // Доклады Томского государственного университета систем управления и радиоэлектроники. №4(12), 2006.

107. Суханов А Л. Анализ вейвлет-спектров // Материалы докладов межрегиональной научно-технической конференции «Научная сессия ТУСУР». 14-16 мая 2002. Томск: изд-во ТУСУР, 2002. -Ч. 2. - С. 46-47.

108. Дьяконов В. Mathcad 2001: специальный справочник. СПб: Питер, 2002. -832 с.

109. Елисеева И.И., Юзбашев М.М. Общая теория статистики. - М.: Финансы и статистика, 1999.-480 с.

110. Катаев М.Ю., Суханов АЛ., Blum U., Черемисин A.A. Анализ структуры аэрозольных слоев верхней стратосферы // Доклады ХП рабочей группы Аэрозоли Сибири, Томск, 2005.-С. 52.

111. Катаев М.Ю., Суханов АЛ. Методика поиска аэрозольных слоев при наличии измерительных артефактов в лидарных сигналах. // Доклады ХП рабочей группы Аэрозоли Сибири, Томск, 2005. С. 51.

112. Бойченко И.В. Программное обеспечение моделирования, обработки и анализа данных лидарного зондирования газового состава атмосферы. // Диссертация на соискание ученой степени кандидата технических наук, Томск, 2002.

113. Kataev M.Yu., Sukhanov A.Ya. The program "Analysis" of lidar sounding data // Atmospheric and ocean optics. Atmospheric physics: X joint int. symp. Tomsk, 2003. -P. -134.

114. Основы численных методов: Учебник для вузов / В.М. Вержбицкий. М.: Высш. шк., 2002.-840 с.

115. Дж. Форсайт, М. Малькольм, К. Моулер. Машинные методы математических вычислений. Перевод с английского Х.Д. Икрамова. -М.: МИР. 1980.

116. Суханов АЛ., Катаев М.Ю. Программная система моделирования, обработки и анализа данных лидарного зондирования атмосферы «LDAS». Свидетельство об отраслевой регистрации разработки №6353., 13 июня 2006.

117. Суханов АЛ., Катаев М.Ю. Программная система обучения и имитации работы нейронных сетей для решения обратных задач лазерного зондирования «Neurolnverse». Свидетельство об отраслевой регистрации разработки №6352., 13 июня 2006.