автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Методы и алгоритмы идентификации веществ по сильно зашумлённым спектрам

На правах рукописи

Васильев Николай Сергеевич

МЕТОДЫ И АЛГОРИТМЫ ИДЕНТИФИКАЦИИ ВЕЩЕСТВ ПО СИЛЬНО ЗАШУМЛЁННЫМ СПЕКТРАМ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

1 з МАЙ 2015

АВТОРЕФЕРАТ ' диссертации на соискание ученой степени кандидата физико-математических наук

005568518

Москва - 2015

005568518

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный технический университет имени Н.Э. Баумана»

доктор физико-математических наук, профессор,

Морозов Андрей Николаевич Крыжановский Борис Владимирович,

доктор физико-математических наук, член-корреспондент РАН,

Федеральное государственное бюджетное учреждение науки Научно-исследовательский институт системных исследований Российской академии наук, руководитель центра оптико-нейронных технологий Бравый Борис Григорьевич, кандидат физико-математических наук, Федеральное государственное бюджетное учреждение науки Институт проблем химической физики Российской академии наук, заведующий лабораторией химических лазеров Ведущая организация: федеральное государственное бюджетное учре-

ждение науки Научно-технологический центр уникального приборостроения Российской академии наук

Защита состоится __2015 г. в часов на заседа-

нии диссертационного совета Д 212.141.15 при федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский государственный технический университет имени Н.Э. Баумана», расположенном по адресу: г. Москва, Рубцовская наб., дом 2/18, ауд. 1006

С диссертацией можно ознакомиться в библиотеке МГТУ им. Н.Э. Баумана и на сайте http://bmstu.ru

Автореферат разослан « , »_Я1° Р«ЛЛ_2015 г.

Научный руководитель:

Официальные оппоненты:

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

Аттетков Александр Владимирович

Общая характеристика работы Актуальность темы исследования. Системы обработки и распознавания спектров, регистрируемых с использованием фото измерительных устройств, в настоящее время являются одной из основных составных частей приборов химического экспресс-анализа. Совершенство применяемых в этих системах методов и алгоритмов напрямую влияет на такие важные показатели как чувствительность, время срабатывания, дальность обнаружения, надёжность и т.д.

Наиболее распространённым в мобильных комплексах химического мониторинга и портативных устройствах-анализаторах является метод, основанный на сопоставлении измеренных экспериментальных кривых с имеющимися эталонными. Для этого используются функции схожести, а сам метод в англоязычной литературе называется «dissimilarity measure». Такой подход позволяет добиться высокой скорости работы систем, даже при использовании портативных вычислительных устройств. Это позволяет создавать мобильные носимые устройства и применять их в ситуациях, когда лабораторные исследования невозможны: техногенные аварии, таможенный контроль, обнаружение опасных и запрещённых к применению веществ в ходе розыскных мероприятий и во многих других случаях.

К числу таких систем следует отнести современные приборы экспресс-анализа веществ на различных поверхностях, к которым относятся, например, устройства английской фирмы «Southern Scientific» и американской фирмы «Thermo Scientific». Исследования возможности применения флуоресценции для обнаружения веществ по их измеренным спектрам ведутся в МГ-ТУ им. Н.Э. Баумана.

Большой вклад в развитие теории взаимодействия излучения с веществом внесли С. И. Вавилов, И. Е. Тамм, И. М. Франк

1

и др. В области решения некорректно поставленных задач большой вклад внесли работы А. Г. Ягола. В области прикладных задач, связанных с идентификацией веществ по спектрам нужно упомянуть работы П. Фритса, Ю. Дрю и X. Мауэра. В области мониторинга окружающей среды нужно отметить работы Ф. Хернандеса и Й. Саншо. Л. Массартем из Брюссельского университета и Д. Муре из Национальной лаборатории Лос Аламоса (США) развиваются спектрометрические методы обнаружения взрывчатых веществ, в том числе в форме их остаточных следов на различных поверхностях.

Часто при проведении внелабораторного беспробоотборно-го экспресс анализа веществ мощность шума в зарегистрированном сигнале может стать сопоставимой с мощностью полезного сигнала. При этом результат работы устройства сам становится случайной величиной. Учёт влияния случайных ошибок на результаты анализа веществ по их спектрам рассматривался в работах Р. Де Зев из Департамента токсикологии и биоанализа (Нидерланды), а так же К. Росенблаттом и X. Гарнером из Техасского университета (США). Применение прямых статистических методов осложнено тем, что условия эксперимента в процессе работы во внелабораторных условиях непрерывно меняются и сложно поддаются контролю. Эффективными являются методы классификации, основанные на кластеризации экспериментальных данных, в том числе учитывающих вероятностную природу измеряемых данных, таких, например, как классификатор Байеса.

Известные в настоящее время аналитические методы идентификации веществ по спектрам не позволяют определять вероятности верного и ложного срабатывания, если мощности шума в спектре велика. Сравнительная оценка эффективности различных алгоритмов идентификации спектров с низким отношени-2

ем сигнал/шум на сегодняшний день является актуальной задачей. Практический и теоретический интерес представляет случай анализа с использованием нескольких измеренных спектров, зарегистрированных в различных условиях проведения эксперимента.

Существует большое число методов идентификации селективных спектров, таких как спектры комбинационного рассеяния или масс спектры. Применимость и эффективность существующих способов распознавания веществ по низко селективным спектрам флуоресценции остаётся плохо изученным на сегодняшний день.

Цель диссертационной работы - разработка эффективных алгоритмов идентификации веществ по нескольким зарегистрированным спектрам флуоресценции при наличии искажения полезного сигнала шумом регистрирующей аппаратуры.

Для достижения поставленной цели потребовалось решение следующих основных задач:

1. Разработка модели влияния шума фото регистрирующей аппаратуры на результат идентификации веществ по спектрам флуоресценции, позволяющей определять вероятности верного и ложного обнаружения.

2. Вывод аналитических зависимостей, связывающих вероятностные характеристики применяемой меры схожести спектров и величину разброса ошибок фото регистрирующей аппаратуры.

3. Сравнительный анализ эффективности разработанных алгоритмов идентификации применительно к сильно зашумлён-ным спектрам флуоресценции.

Методы исследования. В диссертации применялись численные методы решения экстремальных задач. Для анализа большого количества экспериментальных данных использовались ста-

3

тистические методы обработки. В теоретическом анализе при выводе расчётных зависимостей использовались приближённые методы анализа функций случайного аргумента.

Достоверность и обоснованность научных результатов. Достоверность теоретически рассчитанных величин подтверждается сопоставлением их с данными статистической обработки результатов численного и физического эксперимента. Объём выборки составил более 27000 спектров, зарегистрированных экспериментально в условиях, приближенных ко внела-бораторным, с использованием лабораторного макета прибора экспресс анализатора веществ.

Научная новизна. В диссертационной работе получены следующие новые научные результаты, выносимые на защиту:

1. Определены аналитические соотношения, связывающие вероятности верного и ложного распознавания в задаче обнаружения веществ по измеренным спектрам флуоресценции с использованием эталонных баз данных.

2. Предложена статистическая оценка эффективности существующих и новых алгоритмов идентификации на примере спектров флуоресценции с низким отношением сигнал/шум.

3. Разработан и реализован в виде алгоритма метод, позволяющий в рассмотренной задаче повысить надёжность распознавания на 15% по сравнению с существующими способами.

Практическая значимость диссертации. Разработан и программно реализован численный алгоритм идентификации веществ по их зарегистрированным спектрам флуоресценции, позволяющий осуществлять обнаружение в режиме реального времени и с контролируемой достоверностью получаемого результата. Проведён анализа эффективности существующих и предложенных в диссертации новых алгоритмов на примере набора сильно зашумлённых спектров флуоресценции. С участием дис-4

сертанта разработан программный комплекс, предназначенный для регистрации, обработки и интерпретации вторичного излучения флуоресценции.

Апробация результатов работы. Результаты диссертационной работы докладывались на IV-VII Международных конференциях российского научно-технического общества радиотехники, электроники и связи имени А. С. Попова «Акустооптиче-ские и радиолокационные методы измерений и обработки информации» (Суздаль, 2011-2014), VI-VIII Всероссийских конференциях МГТУ им. Н.Э. Баумана «Необратимые процессы в природе и технике» (Москва, 2011, 2013, 2015), научно-технической конференции «Гиперспектральные приборы и технологии» на базе Красногорского завода им. С.А. Зверева (Красногорск, 2013), VII Международной научно-технической конференции «Приборостроение-2014» (Минск, 2014).

Публикации. Основные научные результаты диссертации отражены в 16 научных работах, в том числе в 4 статьях из Перечня ведущих рецензируемых научных журналов и изданий.

Личный вклад соискателя. Все исследования, результаты которых изложены в диссертационной работе, проведены лично соискателем в процессе научной деятельности. Из совместных публикаций в диссертацию включён лишь тот материал, который непосредственно принадлежит соискателю; заимствованный материал обозначен в работе ссылками.

Структура и объем работы. Диссертация состоит из введения, четырёх глав, заключения и списка литературы. Диссертационная работа изложена на 134 страницах, содержит 32 иллюстрации. Список литературы включает 111 наименований.

Содержание работы

Во введении обоснована актуальность темы, сформулированы цель и задачи исследования, научная новизна, теорети-

5

ческая и практическая значимость полученных результатов, их достоверность, основные положения, выносимые на защиту, а так же приведены данные о структуре и объёме диссертационной работы.

В первой главе представлен обзор существующих методов идентификации веществ по спектрам. Рассмотрены методы, основанные на прямом расчёте соответствия эталонных и экспериментальных кривых. Приведены выражения для различных мер схожести. Рассмотрены методы, основанные на сведении задачи к решению переопределённой системы уравнений. Приведены существующие подходы к учёту ошибок, возникающих в процессе регистрации спектров.

Во второй главе проведён анализ проблем идентификации веществ по спектрам. Рассмотрена методика интерпретации результатов эксперимента в форме зарегистрированных спектров, основанная на сопоставлении их с эталонной базой данных. Автором анализируется часто используемая в прикладных задачах спектроскопии мера схожести спектров (БАМ):

где х, у е М^ - два анализируемых спектра, зарегистрированных на сетке значений из N точек. Определяется зависимость случайных параметров этой величины от ошибок измерения фото регистрирующей аппаратуры. Если спектр х получен в результате физического эксперимента, а спектры Ъ\ и Ь^ эталонные, то случайные величины их мер схожести р(х, Ь\) и р(х, ¿>2) являются сильно коррелированными друг с другом. Вводится

N

ЛХгУг

б

вектор мер схожести р(х) и соответствующее отображение П: Rn I = [-1,1] х •••[-1,1],

4-V /

м

где М - размер эталонной базы данных.

Возникает задача определения вектора математических ожиданий и матрицы ковариаций для вектора мер схожести в зависимости от ошибок измерения экспериментального спектра. Для этого применяется модель нормально распределённой некоррелированной случайной величины ошибки интенсивности в каждой точке спектра. Индексы, относящиеся к элементам эталонной базы спектров, обозначаются символами г] и в] индексы i,j, к,1,т и т.д. относятся к координатам векторов. Подставив в выражение для SAM: х = Ъ^ + 5, где 5 — шумовая составляющая спектра, получим:

N

Щп /Bvo + (! /Bwi) • Л hKi

_ ¿=i

7 ~ "-1

У ¿=1 г=1

где = bv) - коэффициенты, - случайная аддитив-

ная компонента в зарегистрированном спектре. Так как количество точек N в зарегистрированном спектре велико, то величина N / г? \

(-ф ] подчиняется распределению х2- Это позволяет записать

г=1 '

выражения для некоторых слагаемых в исходной формуле. Далее, с использованием линеаризованного выражения для знаменателя, можно записать:

Pt,n = + - 1/2/,-3/2 (Y - м) ,

где Y = В^ + 2а^ +7; av, ^ - случайные величины с известными распределениями; ¡iy — математическое ожидание от У.

7

Выражение для SAM можно записать в виде:

Pi,т, = Fvl + Fv2av + F^a^ + F^a^ + Fv5 7 + Fv6an 7,

где Fvi - известные коэффициенты. С учётом последнего выражения для величин и р^в запишем коэффициенты математического ожидания и ковариации:

tMv = Fvi + FMB¡va2 + Fv5Na2-6

К&в — ^iii (1)

i,j=О

где Ivoij - известные коэффициенты.

С использованием ковариационной матрицы К^ вводится метрика в пространстве мер схожести I:

dк(р(х),р(у)) = у/ (р(х) - p{y))TK'¡1{p{x) - р(у)),

Используется приближение нормально распределённого вектора для описания поведения величины р(х) в пространстве мер схожести I. Это позволяет определить вероятности различных исходов применения метода идентификации веществ, в котором используется мера схожести в форме SAM. Так, если обнаруживается вещество с максимальной найденной величиной меры схожести, то искомая вероятность находится интегрированием соответствующей плотности вероятности по области V = {p\pi> рх, • • • , pi > рм}, где г - номер искомого вещества в эталонной базе данных.

В практических задачах обнаружения номер искомого вещества г в базе не известен, поэтому для реализации метода требуется применение гипотезы о принадлежности искомого вещества одному из эталонных. Последовательным перебором определяется набор условных вероятностей:

Р = Р(р(х) GV\x = bi + 5).

Содержание предлагаемой модели, описывающей преобразование ошибок измерения экспериментального спектра в ошибки работы алгоритмов идентификации веществ, может быть сформулирована в виде системы условий:

к р(х) ~ N((1, /С), р(х) € Жм } мера схожести,

Задача определения вероятности ошибки в работе приборов-анализаторов может сводится к задаче многомерного интегрирования по области, определяемой из условия работы приборов-анализаторов.

Как правило, размерность спектральных баз данных велика, что, в свою очередь, увеличивает вычислительную сложность задачи интегрирования в многомерном пространстве. Для использования разработанной модели в алгоритмах идентификации, работающих в режиме реального времени, в качестве критерия надёжности используется не вероятность ошибки, а достоверность. Эта величина определяется как вероятность измерения значения вектора р(х), удалённого от математического ожидания на длину, равную реализованной в эксперименте и больше:

где а - зарегистрированный спектр, - £-й эталонный спектр, 5 - шумовая составляющая спектра, х - произвольный спектр. Такой подход позволяет использовать более эффективные численные методы интегрирования, в которых матрица /С^ квадратичной формы приводится к диагональному виду.

х{ - х'(^) +

Уг€ N(0, а2)

х'(щ) = Ъ(ч), Уг = 1..ЛГ

"I зарегистрированный ) спектр } гипотеза

Р=Р

(йк^(р{х) - > йк^{р{а) - ж = Ь( +

Особенность решаемой задачи состоит в том, что при химическом анализе часто используется сразу несколько спектров, зарегистрированных с применением различных спектральных методик. В диссертации предлагаются различные способы комбинирования результатов анализа по отдельности или сведения задачи к анализу одного спектра. Предложенная модель для случая анализа нескольких спектров может быть применена в предположении, что данные, зарегистрированные различными методиками, являются некоррелированными. Это позволяет записать результирующую ковариационную матрицу в виде:

Указанные способы идентификации применимы к задачам обнаружения чистых веществ на слабо люминесцирующих подложках. Если в зарегистрированном спектре содержится сигнал от нескольких компонент, то задача может быть сведена к решению переопределённых систем уравнений:

Эта система может быть решена методом наименьших квадратов с функцией невязки

где в качестве функции ошибки используется линейная комбинация с весовыми коэффициентами с*, множество значений которых определяет пространство минимизации функционала Ф.

'к® ••• о \

о

/¿(ж) =хи г = 1.Ж

м

Ф = ||а;-]ГсА||, хМ еЕя,г = 1..М,

Важным вопросом, обсуждаемым в диссертации, является учёт ограничения на количество используемых спектров в конечном решении. Для этого рассматриваются несколько критериев:

где Стгп - найденная точка минимума; - решение той же задачи, но с ограниченным числом ненулевых слагаемых.

В третьей главе, основываясь на результатах теоретического анализа, методах и моделях, предложенных во второй главе, предлагаются алгоритмы идентификации веществ по спектрам.

Приводятся: описание аппаратной части микропроцессорного блока, схема взаимодействия с внешними устройствами оптического блока и устройствами ввода вывода, блок-схема программного комплекса по регистрации экспериментальных данных и обнаружению присутствия веществ по их спектрам.

На основе предложенных во второй главе методов предлагаются алгоритмы, в том числе те, в которых используется анализ влияния шума фото регистрирующей аппаратуры. Для этого применяется предложенная модель влияния ошибок измерения спектров на результаты распознавания. Блок-схема алгоритма представлена на Рис. 1.

В четвёртой главе приведены данные по апробации предложенных в третьей главе алгоритмов.

Для апробации разработанных методик использовался прибор (лабораторный макет), предназначенный для осуществления химического экспресс-анализа жидких и твёрдых веществ

в =

¡^тгп

И

на различных подстилающих поверхностях. Анализ осуществлялся возбуждением и регистрацией вторичного излучения исследуемых образцов. Спектры измерялись при помощи статического Фурье-спектрометра, который входит в состав макета.

Проводится проверка корректности соотношений для определения параметров распределения величины меры схожести как случайной величины в зависимости от разброса ошибок регистрируемого спектра. Использовались спектры, зарегистрированные в ходе физического эксперимента, результаты показаны на Рис. 2. По полученным данным был определён коэффициент, учитывающий отличия в распределении физического шума от модельного, он использовался при расчёте вторых моментов меры схожести.

Работа алгоритмов проверялась на примере сильно зашум-лённых спектров, для чего использовались экспериментально зарегистрированные наборы с большим числом спектров, измеренных при постоянных условиях эксперимента.

Для проверки эффективности предложенных и существующих алгоритмов использовался модифицированный метод 110 С-анализа. Результат применения алгоритма считается верным, если обнаруживается только верное вещество, либо, в случае наличия проверки на пустой спектр (шум), обнаружения не происходит.

Основные результаты диссертационной работы

1. Предложена модель преобразования случайных ошибок измерения спектров флуоресценции, обусловленных шумом фото регистрирующей аппаратуры, на ошибки распознавания веществ.

2. Определены аналитические соотношения, связывающие параметры распределения используемой меры схожести между эталонной спектральной базой данных и зарегистрированными 12

(выход)

Рис. 1. Блок-схема алгоритма идентификации веществ, основанного на модели фомирования и преобразования ошибок измерения спектра в ошибки распознавания

ю ю ю" ю ю" ю' ю" ю'

среднеквадратическое отклонение ошибок измерения спектра

а) б)

Рис. 2. а) математическое ожидание величины SAM при сопоставлении эталонного и зарегистрированного спектров вещества цис-1,2-дифенилэтилен (стильбен); б) дисперсия; сплошная кривая рассчитана теоретически, маркерами указаны точки, полученные по результатам статистической обработки экспериментальных данных

спектрами с величиной разброса шума в последних.

3. Разработаны алгоритмы, позволяющие осуществлять распознавание с контролируемой достоверностью результата идентификации если отношение сигнал/шум в зарегистрированном спектре мало.

4. Разработан программный модуль, предназначенный для идентификации спектров с использованием базы эталонов. Модуль входит в состав программного комплекса для осуществления регистрации, обработки и автоматического распознавания веществ по их измеренным спектрам флуоресценции в режиме реального времени.

Основные результаты диссертации отражены в работах:

1. Васильев Н. С., Морозов А. Н. Идентификация веществ по нескольким спектрам // Акустооптические и радиолокационные методы измерений и обработки информации: труды IV Международной конференции Российского научно-технического общества радиотехники, электроники и связи имени А. С. Попова. Суздаль, 2011. С. 67-69. (0,2 п.л./0,13 п.л.).

2. Васильев Н. С., Морозов А. Н. Идентификация веществ по нескольким спектрам // Необратимые процессы в природе и технике: труды VI Всероссийской конференции. М., 2011. Ч. 1. С. 173-176. (0,25 п.л./0,15 п.л.).

3. Васильев Н. С., Морозов А. Н. Идентификация веществ по набору спектров вторичного излучения // Акустооптические и радиолокационные методы измерений и обработки информации: труды V Международной конференции Российского научно-технического общества радиотехники, электроники и связи имени А. С. Попова. Суздаль, 2012. С. 151-154. (0,25 п.л./0,2 п.л.).

4. Васильев Н. С., Кудрявцев А. А. Определение химического состава веществ по набору спектров вторичного излучения 14

// Акустооптические и радиолокационные методы измерений и обработки информации: труды VI Международной конференции Российского научно-технического общества радиотехники, электроники и связи имени А. С. Попова. Суздаль, 2013. С. 195-197. (0,20 п.л./0,15 п.л.).

5. Васильев Н. С., Морозов А. Н. Идентификация веществ по набору спектров вторичного излучения // Необратимые процессы в природе и технике: труды VII Всероссийской конференции. М., 2013. Ч.З. С. 17-21. (0,25 п.л./0,2 пл.).

6. Васильев Н. С., Морозов А. Н. Алгоритм идентификации веществ по набору спектров вторичного излучения // Научно-техническая конференция «Гиперспектральные приборы и технологии». Красногорск, 2013. С. 79-81. (0,18 п.л./0,12 п.л.).

7. Васильев Н. С., Морозов А. Н. Алгоритм идентификации веществ по набору спектров вторичного излучения // Инженерный журнал: наука и инновации.

URL.http://engjournal.ru/catalog/fundamentals/physics/l 109.html (дата обращения 21.11.2013) (0,3 п.л./0,2 п.л.).

8. Беспроботборный анализ химических веществ с использованием статического фурье-спектрометра / Н. С. Васильев [и др.] // Оптика и спектроскопия. 2013. Т. 115, № 6. С. 990-994. (0,3 п.л./0,2 п.л.).

9. Васильев Н. С., Кудрявцев А. А., Морозов А. Н. Идентификация веществ по набору спектров вторичного излучения // XX Всероссийская научная конференция студентов-физиков и молодых учёных. Ижевск, 2014. С. 285. (0,1 п.л./0,08 п.л.).

10. Васильев Н. С. Идентификация веществ по спектрам с низким отношением сигнал/шум // Акустооптические и радиолокационные методы измерений и обработки информации: труды VII Международной конференции Российского научно-технического общества радиотехники, электроники и связи имени

15

А. С. Попова. Суздаль, 2014. С. 210-213. (0,25 п.л./0,25 пл.).

11. Васильев Н. С., Морозов А. Н. Алгоритм распознавания спектров фотолюминесценции, искажённых ошибками измерения // Приборостроение-2014: труды VII Международной научно-технической конференции. Минск, 2014. С. 46-48. (0,25 п.л./0,2 п.л.).

12. Васильев Н. С., Кудрявцев А. А., Морозов А. Н. Автоматическая идентификация спектров с учётом ошибок измерения фоточувствительной аппаратуры // Физико-математические проблемы создания новой техники: труды международной конференции. М., 2014. С. 52. (0,06 п.л./0,04 п.л.).

13. Васильев Н. С., Морозов А. Н. Идентификация веществ по сильно искажённым ошибками измерения спектрам // Компьютерная оптика. 2014. Т. 38, № 4. С. 856-864. (0,63 п.л./0,5 п.л.).

14. Васильев Н. С., Голяк И. С., Морозов А. Н. Алгоритм идентификации веществ по конечному набору спектров вторичного излучения // Оптика и спектроскопия. 2015. Т. 1X8, № 1. С. 157-162. (0,38 п.л./0,25 п.л.).

15. Статический фурье-спектрометр для проведения экспресс-анализа химических веществ / Н. С. Васильев [и др.] // Приборы и техника эксперимента. 2015, № 1. С. 181-182. (0,13 п.л./0,05 п.л.).

16. Васильев Н. С., Морозов А. Н. Идентификация веществ по набору спектров с низким отношением сигнал/шум // Необратимые процессы в природе и технике: труды VIII Всероссийской конференции. М., 2015. Ч. 2. С. 9-13. (0,3 п.л./0,2 п.л.).

Подписано к печати 01.04.15. Заказ № 142 Объем 1 печ.л. Тираж 100 экз. Типография МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д.5,стр.1 (499) 263-62-01