автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы автоматизированного поиска признаковых пространств на основе характерных последовательностей в цифровых сигналах

На правах рукописи

Горшков Алексей Павлович

Комплекс алгоритмов автоматизированного поиска признаковых пространств на основе характерных последовательностей в цифровых сигналах

05.13.01 - Системный анализ, управление и обработка информации (промышленность)

Автореферат диссертации на соискание ученой степени кандидата технических наук

1 8 ИЮН 2009

Рыбинск-2009

003472816

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Рыбинская государственная авиационная технологическая академия имени П. А. Соловьева»

Научный руководитель кандидат технических наук, доцент

Грызлова Татьяна Павловна

Официальные оппоненты доктор технических наук, профессор

Злотников Константин Аркадьевич

кандидат технических наук Тихомиров Илья Александрович

Ведущая организация ОАО «Конструкторское бюро «Луч» (г. Рыбинск)

Защита состоится 1 июля 2009 г. в 12:00 на заседании диссертационного совета Д 212.210.04 при государственном образовательном учреждении высшего профессионального образования «Рыбинская государственная авиационная технологическая академия имени П. А. Соловьева» по адресу 152934, г. Рыбинск, ул. Пушкина, 53.

С диссертацией можно ознакомиться в библиотеке государственного образовательного учреждения высшего профессионального образования «Рыбинская государственная авиационная технологическая академия имени П. А. Соловьева»

Автореферат разослан «/2?Ц> мая 2009 г.

Ученый секретарь диссертационного совета д-р. техн. наук, доцент

Киселев Э. В.

Актуальность темы

Разработка методов и систем поддержки процессов принятия решений актуальна для приложений цифровой обработки сигналов, в которых решение принимается человеком, а также для автоматической диагностики состояния сложных технических систем, обнаружения зон интереса на изображениях дистанционного мониторинга, распознавания речи и множества других приложений.

Многие задачи принятия решения, если решение базируется, в основном, на прошлом опыте, приводятся к схеме распознавания образов. Структурно-параметрический синтез систем классификации объектов включает выбор датчиков, проектирование алгоритмов предварительной обработки и синтез классификатора. Исходной информацией для проектирования является множество сигналов с указанием классов объектов, для которых они зарегистрированы, поэтому задачу синтеза системы распознавания часто решают методами машинного обучения. Известно большое количество методов и алгоритмов формального синтеза и обучения классификаторов, пригодных в условиях, когда выбор набора функций от первичных данных уже сделан, то есть признаковое пространство фиксировано.

В промышленности, медицине, геофизике сигналы являются очень сложными объектами. Они определяются применяемыми датчиками, то есть возможность влиять на процесс получения первичной информации очень ограничена. Математическая модель сигналов или неизвестна, или настолько сложна, что ее использование становится неконструктивным. Построение классификаторов на основе непосредственно наблюдаемых сигналов невозможно из-за очень большого размера данных. Необходимо предварительное извлечение из наблюдаемых сигналов информативных признаков, после чего задача классификации решается известными методами. Формальные методы поиска признаков при неопределенной математической модели сигнала отсутствуют. Часто используются известные из других приложений методы, без обоснования их эффективности (например, спектральное представление сигнала). Множество признаков, характеризующих объект, выбирается специалистом, а эффективность выбора или его ошибочность становится ясной после разработки, тестирования и использования системы распознавания или обработки информации, когда модификации, корректировки, доработки аппаратуры или программного обеспечения трудны, дороги и требуют много времени. Процесс выбора характерных признаков не может быть формализован. Однако в рамках выбранного семейства признаков можно избавить специалиста от перебора вариантов и автоматизировать поиск наиболее информативных признаков. В диссертации спроектировано семейство признаков на основе характерных последовательностей, пригодное для автоматического анализа самых разнообразных цифровых сигналов, хотя исследованы только временные ряды и изображения в градациях серого.

Алгоритмы поиска и оптимизации признаковых пространств для классификации цифровых сигналов, разработанные и исследованные в настоящей работе, актуальны для значительного уменьшения времени поиска по сравнению со временем решения этой задачи специалистом, а также для повышения точности распознавания. Поскольку признаки выбираются на основе отыскания закономерностей в эмпирических данных (в сигналах обучающей выборки), разработанные алгоритмы поиска признаков можно применять для решения задач структурно-параметрического синтеза и оптимизации алгоритмов предварительной обработки информации систем распознавания образов в различных предметных областях.

Цели и задачи исследований

Цель исследований заключается в разработке алгоритмов автоматизированного поиска признаковых пространств, позволяющих повысить вероятность правильного распознавания в системах классификации цифровых сигналов, а также уменьшить время разработки таких систем.

Для достижения поставленной цели решены следующие задачи:

1. Формализована задача поиска эффективных признаковых пространств для классификации цифровых сигналов.

2. Проведен системный анализ алгоритмов вычисления признаков цифровых сигналов и найдено семейство алгоритмов вычисления признаков, позволяющее автоматизировать процесс поиска признаковых пространств и оптимизировать системы классификации цифровых сигналов по критерию максимума вероятности правильного распознавания.

3. Разработан комплекс алгоритмов автоматизированного поиска эффективных признаковых пространств для классификации цифровых сигналов.

4. Разработано специальное программное обеспечение поддержки разработки и исследования алгоритмов и алгоритмических схем обработки и анализа цифровых сигналов, поиска признаковых пространств и структурно сложных алгоритмов принятия решений.

5. Произведен анализ эффективности систем классификации цифровых сигналов на основе найденных признаковых пространств по критерию вероятности правильного распознавания.

Методы исследования. Для формализации задач использован теоретико-множественный подход общей теории систем. При разработке алгоритмов применялись модели и методы теории распознавания образов, цифровой обработки сигналов и численной оптимизации. Экспериментальная оценка качества решения задач классификации цифровых сигналов выполнялась методами испытания на независимых (отложенных) данных и скользящего контроля.

Практическая значимость диссертации. Полученные результаты составляют алгоритмическую и программную основу для решения задач автоматизированного поиска признаковых пространств для классификации цифровых сигналов, что позволяет оптимизировать обработку информации в системах распознавания

образов и повысить вероятность правильного распознавания в приложениях. Предложенные решения могут быть использованы в областях: технической и медицинской диагностики, контроля качества продукции, дистанционного мониторинга местности, видеонаблюдения, робототехники, автоматического анализа речи, анализа массивов мультимедиа данных и других.

Создана программная среда поддержки разработки и исследования алгоритмов и алгоритмических схем цифровой обработки сигналов, распознавания образов и других. Эта среда внедрена в ОАО «Конструкторское бюро «Луч» (г. Рыбинск) в составе комплекса обработки изображений дистанционного мониторинга местности (многофункциональной визуальной информационной системы). На её основе реализован комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, а также алгоритмы предварительной обработки временных рядов и изображений.

Научная новизна

1. Введено новое семейство алгоритмов вычисления признаков цифровых сигналов, основанное на сопоставлении сегментов сигнала и вычислении частот появления в сигнале характерных последовательностей, и установлено, что это позволяет повысить качество систем распознавания образов по критерию максимума вероятности правильного распознавания.

2. Разработан и исследован комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, основными алгоритмами которого являются: алгоритм формирования конечного множества возможных признаков по обучающей выборке и алгоритм поиска эффективного признакового пространства как подмножества большого (более 500) множества признаков, в том числе коррелированных.

3. Новое решение задачи цифровой автоматической диагностики состояния подшипников трансмиссии газотурбинных двигателей, основанное на многомасштабном Wavelet-разложении вибрационных сигналов и подсчете частот характерных последовательностей в интегральных Wavelet-коэффициентах, обеспечивает более высокую вероятность правильного распознавания, чем диагностика при помощи спектральных и статистических признаков.

4. Новое решение задачи распознавания фрагментов изображений, основанное на преобразовании локального повышения контраста, статистиках характерных последовательностей, ряде инвариантных к повороту расстояний и алгоритме перебора последовательностей по разреженным границам детектора Canny, является эффективным в условиях изменчивости изображений по масштабу, ориентации, яркости и контрасту, а также в условиях шума и других искажений, свойственным изображениям дистанционного мониторинга местности.

На защиту выносятся 1. Комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, позволяющий решать задачу структурно-

параметрического синтеза блоков предварительной обработки информации в системах распознавания образов.

2. Алгоритм предварительной обработки информации в системе диагностики состояния подшипников трансмиссии газотурбинных двигателей, включающий вычисление Wavelet-коэффициентов вибрационных сигналов и подсчет частот характерных последовательностей в интегральных -коэффициентах, обеспечивающий полную линейную разделимость образов вибрационных сигналов кондиционных и некондиционных подшипников, что не обеспечивается применением спектральных и статистических признаков.

3. Алгоритмы предварительной обработки информации в системах классификации фрагментов изображений дистанционного мониторинга местности, включающие преобразование локального повышения контраста, набор алгоритмов инвариантного к повороту сопоставления последовательностей, и вычисление частот характерных последовательностей с перебором их по разреженным границам детектора Canny.

Апробация результатов работы. Основные результаты работы докладывались на 10-й международной конференции «Цифровая обработка сигналов и ее применение» (Москва, 2008); 9-й международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Нижний Новгород, 2008); открытом семинаре в Институте системного анализа РАН (Москва, 2008); XXIX конференции молодых ученых (Рыбинск, 2005); XI международном конгрессе двигателестроителей (Украина, Рыбачье, 2006); международной школе-конференции молодых ученых, аспирантов и студентов имени П. А. Соловьева и В. Н. Кондратьева (Рыбинск, 2006).

. Публикации. По результатам работы опубликовано 9 научных работ, в том числе: 7 статей и 2 тезиса докладов на конференциях. Две статьи опубликованы в журналах, рекомендуемых ВАК.

Объем и структура работы.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 148 пунктов и 4 приложений. Объем работы 156 страниц, с приложениями 165 страниц. Работа содержит 67 рисунков и 23 таблицы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность разработки и исследования алгоритмов автоматизированного поиска признаковых пространств на основе обучающей выборки для классификации цифровых сигналов, сформулирована цель, основные задачи и методы исследования, кратко изложено содержание работы.

В первой главе формализованы простая и расширенная постановки задачи классификации цифровых сигналов, а также постановка задачи автоматизированного поиска признаковых пространств на основе обучающей выборки. На основе анализа методов классификации цифровых сигналов, алгоритмов машинного

обучения, алгоритмов цифровой обработки сигналов и алгоритмов вычисления признаков, применяемых в системах классификации цифровых сигналов, обоснован автоматизированный поиск признаков для классификации цифровых сигналов по модифицированной схеме М. М. Бонгарда.

Обобщенной математической моделью цифрового сигнала является решетчатая функция векторного аргумента со скалярными или векторными значениями л- = х(а), где а, = 1,2,...,7V,, N, - количество отсчетов сигнала по ¡'-той компоненте аргумента. Будем рассматривать множество интересующих нас объектов, явлений или ситуаций A. DS - множество цифровых сигналов, которые характеризуют объекты, ситуации или явления. Таким образом, существует отображение h:A\-)DS - система регистрации сигнала. Задано конечное множество непересекающихся классов объектов W. То есть существует, но неизвестно однозначное отображение ЛА : At—> IV (характеристическая функция), а также отображение ADS : DS к> W. Классификация цифровых сигналов заключается в оценке по сигналу sj е DS класса и>, е W соответствующего ему объекта, ситуации или явления. Задана обучающая выборка - множество сигналов с известными классами Т = {xk,wk}'k=l с ADS. Задача классификации заключается в построении алгоритма классификации и(х) '■ DS н> W на основе обучающей выборки, с как можно большим значением выбранного критерия качества (точности) классификации Q. Примерами теоретических критериев качества алгоритмов классификации является минимум среднего риска потерь и максимум вероятности правильного распознавания. Расширенная постановка задачи классификации цифровых сигналов отличается наличием нескольких сигналов, характеризующих объект. То есть существует несколько систем регистрации сигнала: h],h2,—>hm, h^.Ai-^DSj. Классификация заключается в оценке класса

м' = Д,(сг) объекта ае А по множеству сигналов {х,}"!,,*,. = /г, (а).

Математические (признаковые) методы теории распознавания образов позволяют для сформированного множества признаков при наличии обучающей выборки построить решающее правило и(х). Будем рассматривать признак как скалярную функцию от сигнала / = f(x). Задача автоматизированного поиска признаков заключается в разработке алгоритмов, позволяющих формировать признаковое пространство F = {/,} по обучающей выборке Г.

Во второй главе вводится понятие характерной последовательности и определяется новый способ задания признаков на ее основе. Описаны: алгоритм формирования конечного множества признаков по обучающей выборке; алгоритм поиска информативного признакового пространства как подмножества конечного множества признаков; алгоритм повышения эффективности признакового пространства и методика автоматизированного поиска признаковых пространств при помощи этих алгоритмов.

Характерная последовательность (ХП) - это кластер элементарных последовательностей (ЭП) множества рассматриваемых сигналов. ХП cs задается эталонной последовательностью es, расстоянием р(х,у) на множестве ЭП равного размера b и порогом Thp. Dcs- множество элементарных последовательностей s, попадающих в кластер cs. Dcs определяется неравенством: {s\p(es,s)<Th }. При вычислении значения признака / на основе ХП cs

производится перебор ЭП сигнала по заданному алгоритму Епит и подсчитывается отношение количества ЭП сигнала, попадающих в множество Dcs, к общему числу перебранных ЭП. Значение признака на основе ХП можно интерпретировать как оценку вероятности (частоту) попадания ЭП сигнала в область Dcs. Выбор алгоритма перебора последовательностей Епит позволяет влиять как на скорость вычисления признаков, так и на их информативность. Выбор расстояния определяет форму области Dcs в координатном пространстве последовательностей. Порог позволяет управлять размерами области. Например, ХП с метрикой Чебышева в пространстве последовательностей соответствует гиперкуб с центром в эталонной последовательности, с ребрами, параллельными осям и стороной 2Thp.

К распространенным способам сопоставления цифровых сигналов относятся: вычисление среднеквадратического отклонения (СКО) (1), метрики Чебышева (2) и коэффициента корреляции R. Определим расстояние на основе коэффициента корреляции как (3):

Mx,j)=i£(x(0-xo)\ (1)

И (=1

р{х> у)= max[x(i) - ,у(г)|, (2)

p(x,y) = \-R(x,y). (3)

Также применяются расстояния, основанные на преобразованиях сигналов, например, СКО на гистограммах исходных сигналов. При сопоставлении изображений дистанционного мониторинга используется ряд инвариантных к повороту расстояний. Например, сопоставление ЭП производится по расстояниям (1), (2) и (3), но перед сопоставлением производится поворот одной из последовательностей вокруг центрального отсчета. Угол поворота оценивается на основе анализа ориентации границы, проходящей через центральный отсчет.

Пусть Т - обучающая выборка, a F — искомое признаковое пространство. Поиск признакового пространства F заключается в последовательном выполнении алгоритма формирования конечного множества возможных признаков Fl (рис. 1а) и алгоритма поиска эффективного признакового пространства FaF{ (рис. 16). ТП - таблица значений признаков (обучающая выборка образов в признаковом пространстве /•),).

Перебор ЭП сигналов и их кластерный анализ

ткТ РТ ТЬ Т.

Епит

Построение множества признаков с оптимальными порогами

Ж

Алгоритм формирования конечного множества возможных признаков.

Множество возможных признаков строится на основе множества ХП (С5). Множество ХП формируется с помощью кластерного анализа последовательностей сигналов обучающей выборки Т. Для проведения кластерного анализа задаются расстояние р(х,у), порог Ткр, размеры последовательностей Ь и алгоритм перебора последовательностей Епит. На основе множества ХП формируется множество признаков с оптимальными порогами. Для каждой ХП устанавливается такое значение порога, при котором достигается максимум меры информативности признаков . Формирование признаков производится для нескольких

размеров последовательностей, расстояний и, иногда, для нескольких значений порогов, а полученные множества признаков объединяются.

Алгоритм поиска признакового пространства включает удаление парных корреляций, удаление малоинформативных признаков (с маленьким значением б^) и

поиск признакового пространства по методу случайного поиска с адаптацией (СПА) (рис. 16). ТЪкор - порог

коэффициента корреляции, при превышении которого признаки считаются парно коррелированными. Для метода СПА необходимо задать меру информативности признаковых пространств . Информативность признакового пространства определяется кластерными свойствами расположения множеств точек, соответствующих разным классам. В отличие от алгоритмов оценки информативности пространств признаков QF, алгоритмы вычисления информативности признаков

удаётся сделать более быстрыми, с линейной оценкой вычисления

относительно размера обучающей выборки. Таким образом, роль специалиста при поиске признаковых пространств с помощью разработанных алгоритмов сводится к настройке управляющих параметров. В диссертации сформулирован ряд рекомендаций по настройке параметров.

Алгоритм повышения эффективности признакового пространства на основе частот ХП включает четыре стадии: формирование наиболее плохо разделимой части обучающей выборки заданного объема, формирование дополнительного множества признаков за счет оптимизации порогов ранее найденных ХП на этой части, выбор заданного числа (обычно 500) наиболее

р, Удаление парных корреляций Отбор N самых Поиск М-мерного

\ Тц ( индивидуально информативных \ признакового подпространства

признаков по методу СПА

т

Т м\

Рис. 1. Структурные схемы: а) базового алгоритма формирования конечного множества возможных признаков; б) алгоритма поиска информативного пространства признаков : ■

информативных признаков и поиск нового признакового пространства в объединенном множестве признаков. Объединенное множество включает исходные признаки и множество признаков, полученных на предыдущей стадии.

Один из известных способов повышения точности распознавания заключается в применении преобразований кластеризации признакового пространства. Алгоритмы поиска признакового пространства на основе частот ХП поддерживают возможность применения преобразований кластеризации. В диссертационной работе при испытаниях применялось преобразование Карунена-Лоэва. Для получения наилучших результатов необходимо интегрировать процедуру преобразования пространства в алгоритм оценки информативности. Такое применение преобразования кластеризации является новым приемом.

Для оценки информативности множеств признаков QF применяется отношение среднего межклассового Евклидова расстояния в признаковом пространстве к среднему внутриклассовому расстоянию (4).

т, '»,

'•"'Т' п > -> 6У= > (4)

И/К-1) 1п-1±Ок

ы

где т,,, т]- количества образов в классах г и j;

¿(ха,ху_,) - евклидово расстояние между точками признакового пространства, которые соответствуют образам к и I классов / и /; п - количество классов.

Для оценки индивидуальной информативности применяется более

быстрый эвристический алгоритм с линейной оценкой по времени выполнения относительно объема обучающей выборки.

Для интерпретации признаков на основе частот ХП рассмотрим координатное пространство последовательностей некоторого размера. Характерной последовательности соответствует множество ЭП (кластер), расстояние от которых до эталона не превосходит порога. Расстояние определяет форму, порог - размеры, а эталон - положение кластера в пространстве. Признак на основе ХП отражает частоту попадания ЭП сигнала в кластер и является информативным, если эти частоты для сигналов разных классов в среднем отличаются. Таким образом, признаки на основе частот ХП описывают отличия друг от друга многомерных функций вероятности совместного появления значений сигналов различных классов.

В третьей главе представлены результаты экспериментального исследования алгоритмов и методики автоматизированного поиска признаковых пространств на ряде тестовых и ряде реальных практически значимых задач классификации временных рядов и полутоновых изображений. Для каждой из задач

(табл.1, рис.2) формируется признаковое пространство и оценивается вероятность правильного распознавания р на основе метода к ближайших соседей на независимых данных. Проведено сопоставление точности распознавания полученных алгоритмов с точностью распознавания алгоритмов, построенных на основе ряда методов классификации цифровых сигналов (табл. 2).

Таблица 1

Тестовые (№1 -№4, №6) и практически значимые (№5, №7 -№9) задачи

классификации цифровых сигналов

№ Название набора данных и описание Кол-во сигналов Кол-во найденных признаков

1 Переходные процессы (Trace). Подмножество множества модельных сигналов, воспроизводящих недостатки оборудования ядерных электростанций - the Transient Classification Benchmark (ТСВ). Сигналы разбиты на 4 класса. 200 4

2 Модели контрольных карт (Control Charts). Шесть моделей временных рядов с наложенным шумом. Например, положительный скачок отражает однократное скачкообразное увеличение среднего значения. 600 20

3 Пистолет - палец (Gun-Point). Временные ряды из области видеонаблюдения. Сигналы отражают изменение координаты х центра тяжести правой руки актёра. Необходимо определить, указывает актер пальцем или достает пистолет. 200 15

4 Полупроводниковая пластина (Wafer). Значения интенсивности излучения, регистрируемые в процессе напыления, при производстве полупроводниковых приборов. Необходимо распознать, является процесс нормальным или аномальным. 7164 15

5 Вибродиагностика. По вибрационным сигналам, формируемым одновременно несколькими подшипниками трансмиссии ГТД необходимо диагностировать состояние межвального подшипника. 36 25

6 Машины. Распознавание фрагментов (120*40 пикселей) с изображением машин на снимках в градациях серого с наземной камеры. 1000 23

7 Фрагменты леса (строчная камера). Распознавание фрагментов (40*40) с изображением леса на ТВ снимках дистанционного мониторинга. 1194 15

8 Фрагменты леса (кадровая камера). Распознавание фрагментов (40*40) с изображением леса на ТВ снимках дистанционного мониторинга. 1935 20

9 Фрагменты со следами шин (кадровая камера). Распознавание фрагментов (40*40) с изображением следов шин на ТВ снимках дистанционного мониторинга. 1819 15

Рис. 2. Примеры сигналов для задач № 5. 7. 9 табл.. 1 (а - в, соответственно)

По результатам испытаний на основе тестовых данных установлено, что алгоритмы автоматизированного поиска признаков являются эффективными и позволяют при меньшем объеме обучающей выборки получить признаковые пространства для классификации цифровых сигналов с большей вероятностью правильного распознавания, чем метод динамической трансформации времени (ДТВ) - повышение до 8.7%, система Zeus (СЗ) - до 1.5%, метод обобщенного формирования структурных признаков (ФСП) - до 1.5%, представление изображений на основе редких частей (ПИРЧ) - до 19%, метод опорных векторов (MOB) - до 27%, нейронная сеть обратного распространения ошибки (НСОР) - до 23%; методы классификации на основе деревьев решений С4.5 (С4.5) - до 26%, сетей Байеса (СБ) - до 29%, случайных лесов (CJT) - до 19%, деревьев логистических регрессионных моделей (ДЛРМ) - до 24%, k-ближайших соседей по Евклидовой метрике (k-БС) - до 18%.

Таблица 2

Результаты сопоставительного анализа методов классификации цифровых сигналов и результаты испытаний на тестовых и реальных данных (Q - метод оценки вероятности правильного распознавания: nCV - скользящий контроль по п блокам; пТ - частота правильных ответов на независимой тестовой выборке, где п - объем тестовой выборки в процентах от общего количества доступных классифицированных сигналов. ЭМВД - энергетический ме тод вибродиагностики; КХП - классификация на основе ХП)

Метод Задача №

1 2 3 4 5 6 7 8 9

р,% Q р.% Q Р,% Q р,% р,% Q р,% Q Р.% Q р,% Q р,% Q

ДТВ 100 5 ОТ 99,3 5 ОТ 91.3 75Т 99,5 86Т

СЗ - - - - 98,5 10CV

ЭМВД - - - - - - - - 61,1 - - - - - - - - -

ОФСП 98.6 10CV

ПИРЧ 78 ОТ

MOB 73 50Т 93,3 5 ОТ 80 75Т 96 86Т

С4.5 74 50Т 81 5 ОТ 77,3 75Т 98,2 86Т

СБ 80 5 ОТ 96 5 ОТ 78.7 75Т 70,8 86Т

ДЛРМ 76 50Т 92 5 ОТ 79.3 75Т 98.1 86Т

к-БС 82 5 ОТ 88 50Т 92 75Т 99,4 86Т

НСОР 77 50Т 91.3 50Т 93.3 75Т 96.3 86Т

СЛ 81 50Т 86 50Т 89.3 75Т 99.3 86Т

КХП 100 75Т 100 65Т 100 75Т 99,9 90Т 94,4 6CV 97 60Т 91 50Т 96 50Т 96 50Т

При построении алгоритмов классификации цифровых сигналов объем обучающей выборки сильно влияет на обобщающую способность этих алгоритмов. Повышение вероятности правильного распознавания для рассмотренных задач было достигнуто при меньшем объеме обучающей выборки, чем при помощи других методов. На рис. 3 показаны зависимости вероятности правильного распознавания от размера обучающей выборки, полученные на данных задачи №3 для метода

ДТВ и для признаков на основе ХП. Как эти зависимости, так и результаты сопоставительного анализа показывают, что признаковые пространства на основе ХП эффективны даже при малых объемах обучающей выборки.

Для задачи диагностики состояния подшипников трансмиссии ГТД (№5) найден ряд признаковых пространств с полной линейной разделимостью (рис. 4.). Однако испытание по методике скользящего контроля по 6 блокам показывает наличие ошибок распознавания. Наибольшую точность распознавания по мето-

5 0.0,95-

О- д

с X

Е S

" £

2 5 0,9

а О

На основе ХП (25 признаков)

■ Метод динамической трансформации времени

0 10 20 30 40 50 60 70 80 90100 Объем обучающей выборки \Т\ Рис. 3. Зависимость вероятности правильного распознавания от размера дике скользящего контроля 94,4% (2 ошибки обучающей выборки для задачи клас-

г сификации временных рядов из обла-

из 36) обеспечили признаковые пространства <- / »пч

' г г г сти ввдеонаблюдения (задача №3)

на основе частот ХП в интегральных \vavelet-

коэффициентах, что на 33% выше, чем у используемого в настоящее время энергетического метода диагностики. Причиной плохого соответствия оценок точности классификации на основе обучающей и тестовой выборках является недостаточный объем обучающей выборки.

НИ

4-

-1 0 1 Значения обобщенного признака/ I Некондиционные ! Кондиционные

Рис. 4. Распределение обобщенных образов по признаку, полученному при помощи преобразования кластеризации 25 исходных признаков на основе частот ХП, в задаче №5

В диссертации представлены результаты экспериментальных исследований влияния выбора расстояния на множестве последовательностей на эффективность алгоритмов классификации временных рядов; влияния - размерности признакового прос-

99,62 99,98

Распознавание

фрагментов леса (кадровая камера)

Распознавание фрагментов Машины со следами шин

= Полупроводниковая Д пластина ° (Wafer dataset)

транства и объема обучающей рис j Оценка эффективности применения преобразования

выборки (рис. 3) на вероят- кластеризации для пространств на основе ХП

ность правильного распозна- а Р' 0/° (®ез пРименения преобразования кластеризации)

■ р. % (с применением преобразования кластеризации)

вания и степень переобучения; влияния применения преобразования кластеризации на вероятность правильного распознавания (рис. 5). Как показало сопоставление эффективности применения признаков, основанных на трех различных расстояниях (1), (2), (3),

проведенное для задач № 1, №3, №4, наиболее эффективным оказалось расстояние на основе коэффициента корреляции. Еще большей вероятности правильного распознавания удалось добиться при использовании всех трех расстояний. В задачах классификации фрагментов изображений дистанционного мониторинга местности высокая вероятность правильного распознавания достигнута при использовании дополнительных, инвариантных к повороту расстояний. Как показали испытания, применение преобразования локального повышения контраста, многомасштабного \Уауе1е1-разложения и уменьшения разрешения позволило повысить вероятность правильного распознавания в задачах классификации переходных временных рядов, вибрационных процессов и изображений дистанционного мониторинга. Таким образом, применение дополнительных расстояний р и преобразований сигналов может оказаться эффективным для повышения вероятности правильного распознавания. Разработанные алгоритмы и методика позволяют использовать признаки на основе различных расстояний и преобразований.

В четвертой главе обосновываются принципы построения систем оптимизации алгоритмических комплексов поиска признаковых пространств для классификации цифровых сигналов, на основе которых реализована среда разработки и исследования алгоритмов и алгоритмических схем «Библиотека алгоритмов». Среда «Библиотека алгоритмов» обеспечивает следующие возможности: добавление без перекомпиляции новых алгоритмов; задание нового алгоритма как композиции ранее созданных; добавление новых объектных типов данных; объединение алгоритмов в группы унифицированного применения. Среда «Библиотека алгоритмов» может быть применена для разработки и тестирования сложных алгоритмов и алгоритмических схем цифровой обработки сигналов, распознавания образов и других задач. На основе её создана программная реализация комплекса алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов. Программная реализация комплекса алгоритмов автоматизированного поиска признаков позволяет решать следующие задачи: поиск признаковых пространств на основе обучающей выборки для классификации временных рядов и полутоновых изображений; формирование признаков на преобразованных сигналах; использование множества алгоритмов сопоставления и перебора последовательностей и другие.

В заключении перечислены основные результаты и выводы по работе.

Общие выводы по работе

1. Установлено, что комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, основными элементами которого являются: алгоритм формирования конечного множества возможных признаков по обучающей выборке и алгоритм поиска эффективного признакового пространства как подмножества множества возможных признаков, позволяет повысить вероятность правильного распознавания в приложениях.

2. Алгоритмы автоматизированного поиска признаков позволяют построить признаковые пространства для диагностики состояния подшипников трансмиссии газотурбинных двигателей по оцифрованным вибрациям с полной линейной разделимостью, что не обеспечивается применением спектральных "и статистических признаков. Для признакового пространства на основе частот характерных последовательностей оценка вероятности правильного распознавания по методу скользящего контроля составила 94.4%. Применяемая сегодня методика диагностики на той же самой обучающей выборке показала 61% правильного распознавания.

3. Алгоритмы предварительной обработки информации в системах классификации фрагментов изображений дистанционного мониторинга местности, включающие преобразование локального повышения контраста, набор алгоритмов инвариантного к повороту сопоставления последовательностей, и вычисление частот характерных последовательностей с перебором их по разреженным границам детектора Canny, эффективны в условиях изменчивости изображений по масштабу, ориентации, яркости и контрасту, а также в условиях шума и других искажений, свойственных изображениям дистанционного мониторинга местности, и позволяют построить системы распознавания вероятностью правильного распознавания от 90% и выше.

4. По результатам испытаний на основе тестовых данных установлено, что:

- применение преобразования кластеризации Карунена-Лоэва позволяет добиться повышения вероятности правильного распознавания до 5 % при больших объемах обучающей выборки (от 400 сигналов), но для этого необходима интеграция преобразования в процедуру оценки информативности;

- преобразование локального повышения контраста в задачах дистанционного мониторинга местности позволяет добиться повышения вероятности правильного распознавания телевизионных изображений с кадровой камеры в среднем до 5%.

5. Исследование влияния увеличения количества признаков на основе частот характерных последовательностей на степень переобучения, оцениваемую как отношение показателей информативности, вычисленных на обучающей и тестовой выборках, показало, что на участках, где степень переобучения растет при увеличении количества признаков, оценка вероятности правильного распознавания и показатель информативности, вычисленные на основе тестовой выборки, не уменьшаются.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в рецензируемых журналах из перечня ВАК:

1. Горшков, А.П. Система диагностики состояния сложных технических объектов по характерным последовательностям цифровых сигналов / А.П. Горшков, Т.П. Грызлова // Информационные технологии № 9. - М.: Новые технологии, 2008. - С. 35 - 38.

2. Горшков, А.П. Система формирования образа и классификации временных рядов по характерным последовательностям / А.П. Горшков, Т.П.

Грызлова // Цифровая обработка сигналов. М.: НТОРЭС им. A.C. Попова, 2008. — №3,- С. 15-20.

Прочив публикации:

3. Gorshkov, А.Р. Family of effective features for diagnostics of condition of complex technical systems by the example of GTE transmission bearings / A.P. Gorshkov, T.P. Gryzlova // 9th International Conference on pattern recognition and Image Analisys. - Nizhni Novgorod: Dialog Culture, 2008. - pp. 185 - 188.

4. Горшков, А.П. Автоматизированное формирование пространств статистик характерных последовательностей для распознавания изображений и временных рядов / А.П. Горшков, Т.П. Грызлова // Труды 10-й международной конференции «Цифровая обработка сигналов и ее применение». - Москва, 2008. -Т.2.-С.441 -445.

5. Горшков, А.П, Диагностика состояния подшипников трансмиссии газотурбинных двигателей в пространствах статистик характерных последовательностей вибраций / А.П. Горшков, Т.П. Грызлова, Б.И. Комаров, В.Т. Шепель // Авиационно-космическая техника и технология 10 / 36. - Харьков, ХАИ, 2006.-С. 152- 156.

6. Горшков, А.П. Применение алгоритмов извлечения характерных последовательностей для распознавания фрагментов изображений аэрофотоснимков / А.П. Горшков // Тезисы статей IV международной научно-технической конференции: «Искусственный интеллект в XXI веке. Решения в условиях неопределенности». - Пенза, 2006. - С. 138 - 140.

7. Горшков, А.П. Алгоритмы оценки информативности систем признаков на основе анализа ближайших соседей / А.П. Горшков, Т.П. Грызлова // Авиационная и ракетно-космическая техника с использованием новых технических решений: материалы международной школы-конференции молодых ученых, аспирантов и студентов им. П.А. Соловьева и В.Н. Кондратьева. -Рыбинск: РГАТА, 2006.-4.4.-С. 3-7.

8. Горшков, А.П. Новый подход к выделению признаков для задачи распознавания образов / А.П. Горшков // Тезисы докладов XXIX конференции молодых ученых. - Рыбинск: РГАТА, 2005. - С. 252 -253.

9. Горшков, А.П. Диагностика состояния подшипников трансмиссии газотурбинных двигателей в пространствах статистик характерных последовательностей вибраций / А.П. Горшков, Т.П. Грызлова, Б.И. Комаров, В.Т. Шепель // XI международный конгресс двигателестроителей: Тезисы докладов. - Харьков, ХАИ, 2006. - С. 53 - 54.

Зав. РИО М. А. Салкова Подписано в печать 27.05.2008. Формат 60x84 1/16. Уч.-изд.л. 1. Тираж 100. Заказ 38.

Рыбинская государственная авиационная технологическая академия имени П. А. Соловьева (РГАТА) Адрес редакции: 152934, г. Рыбинск, ул. Пушкина, 53 Отпечатано в множительной лаборатории РГАТА 152934, г. Рыбинск, ул. Пушкина, 53

Оглавление .:..•.'.:.'.

Список обозначений ..:

Список сокращений

Введение;; .".;.

ГЛАВА 1. Анализ методов классификации цифровых: сигналов на основе обучающей выборки .:.'.:.,. 1.1. Постановка задач классификации сложных объектов по цифровым сигналам и автоматизированного поиска признаковых пространств

1.2. Классификация методов и систем распознавания цифровых сигналов

1.3 : Базовые алгоритмы и методы поиска признаковых пространств

1.4. Анализ методов оценки эффективности систем распознавания образов

Выводы

ГЛАВА 2. Разработка комплекса алгоритмов и методики поиска признаковых^ пространств для классификациищифровых сигналов

2.1. Этапы- синтеза систем классификации цифровых сигналов

2.2. Определение семейства признаков на основе частот характерных последовательностей.

2.3. Алгоритмы формирования конечного-множества возможных признаков:5 Г

2.4. Алгоритм поиска информативного рабочего множества признаков

2.5. Алгоритм повышения эффективности признакового пространства

2.6. Алгоритмы оценки информативности признаковых пространств

2.7. Методика формирования признакового пространства на основе частот характерных последовательностей

2.8. Интерпретация признаков на основе частот характерных последовательностей . —.

Выводы

ГЛАВА 3. Анализ эффективности алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов Г.

3.1. Поиск признаковых пространств для эталонных задач классификации цифровых сигналов

3.2. Диагностика состояния подшипников трансмиссии ГТД на основе частот характерных последовательностей вибросигналов

3.3. Поиск признаковых пространств для классификации фрагментов изображений дистанционного мониторинга местности

3.3.1. Поиск признакового пространства для классификации фрагментов со следами шин на снимках кадровой телевизионной камеры

3.3.2. Поиск признаковых пространств для классификации фрагментов леса на снимках дистанционного мониторинга местности.

3.4. Анализ результатов классификации цифровых сигналов

3.4.1. Сопоставительный анализ методов классификации цифровых сигналов.

3.4.2'. Оценка эффективности дополнительных алгоритмов поиска признаковых пространств.

3.4.3. Зависимость точности распознавания от размера обучающей выборки ик количества признаков

3.4.4. Проблемапереобучения при поиске признаков

Выводы

Актуальность темы

В настоящее время автоматическая обработка цифровых данных является одним из самых актуальных научных и практических направлений. Разработка алгоритмов и систем классификации цифровых сигналов, важной составной частью которых являются алгоритмы формирования образов, необходима для диагностики состояния сложных технических систем, обнаружения зон интереса V на изображениях дистанционного мониторинга, распознавания речи и других приложений. В работе предлагается решение задачи формирования образов сложных объектов и цифровых сигналов как поиск признаковых пространств на основе характерных последовательностей. Разработанные методика и комплекс алгоритмов пригодны для сигналов* различных типов; но в- настоящей работе исследованы только временные ряды и изображения в градациях серого. Это решение позволяет существенно повысить степень автоматизации разработки алгоритмов классификации цифровых сигналов, а также повысить вероятность правильного распознавания в приложениях.

Методы аналитического синтеза алгоритмов и систем классификации (распознавания) цифровых и аналоговых сигналов рассматриваются в теории статистических решений. Приложения этой теории наиболее распространены в радиолокации. Однако для аналитического синтеза алгоритмов должны быть известны модели сигналов разных классов (альтернатив) [63]. В'данной работе рассматривается проблема построения алгоритмов классификации цифровых сигналов в условиях существенной априорной неопределенности. Вместо моделей сигналов задано конечное множество классифицированных сигналов, т.е. обучающая выборка, что свойственно таким областям науки как машинное (вычислительное) обучение и распознавание образов [10, 91, 117, 120, 132].

Академик В. И. Журавлев отмечает, что центральная задача распознавания образов - построение на основе систематических теоретических и экспериментальных исследований эффективных вычислительных средств для отнесения формализованных описаний ситуаций и объектов к соответствующим классам

37]. Первые попытки разработки методов распознавания образов относятся к 50-м годам прошлого века. В 1950-х — 1960-х годах разработано множество алгоритмов, и автоматические системы распознавания получают широкое применение. К середине 70-х годов 20-го века выделяют пять типов моделей распознавания: модели на основе принципа разделения;, статистические модели; модели на основе метода потенциальных функций; модели вычисления оценок;, модели, основанные на исчислении высказываний. В: рамках этих моделей разработано множество конкретных эвристических алгоритмов [36, 40, 67].

Очередной этап развития; теории распознавания образов связывают с появлением в конце 1970-х годов алгебраического подхода [38], в рамках которого удается строить корректные алгоритмы распознавания на основе композиции некорректных эвристических алгоритмов. Несмотря на более чем полувековое развитие,-большая часты применяемых на практике методов>распознавания; является-эвристическими:: Как и раньше; обоснованием эффективности алгоритмов и систем распознавания образов является эксперимент.

Сегодняшнее положение в области разработки, систем распознавания образов; характеризуется огромным: разнообразием' моделей алгоритмов распознавания;', а также методов! кластерного-анализа, выбора признаковоценки информативности признаков и" методов решения других вспомогательных задач. При этом отсутствует единая методика: разработки систем распознавания, нет единого мнения о преимуществах одной модели по сравнению с другими. При разработке прикладной системы специалист сталкивается с проблемой выбора как на этапе проектирования структуры- системы, так и при выборе конкретных алгоритмов (структурных блоков). Одна из тенденций к обоснованию выбора - появление специализированных, ресурсов с данными для- испытания различных методов обучения? [104]. Испытание: на одних и тех же данных при одинаковых условиях позволяет производить сопоставительный; анализ вариантов структурных схем, а также, алгоритмов? классификации,. формирования признаков* (feature extraction), отбора признаков (feature selection) и других вспомогательных алгоритмов. .

Важной современной тенденцией является появление технологий разработки систем распознавания цифровых: сигналов, обладающих большой степенью общности, т.е. позволяющих получить эффективные системы в различных предметных областях. Предпосылками для появления таких технологий можно считать работу М. М. Бонгарада: «Проблема узнавания», а также работу Э. М. Бравер-мана и И. Б. Мучника: «Структурный анализ экспериментальных кривых» [10].

Введутся интенсивные исследования и разработан ряд методов классификации цифровых сигналов в. условиях существенной априорной неопределенности, основанных на математических [78, 89, 90, 91], структурных [13, 20, 40, 70, 117, 132] и метрических методах распознавания- [122, 123', 140], а также на применении искусственных нейронных сетей [126, 127, 133, 132] и математических моделей [92,62, 132]. В качестве структурных блоков в таких системах используются алгоритмы, теории распознавания образов (кластерный анализ, алгоритмы отбора признаков, методы» классификации)'[91,78], алгоритмы цифровой обработки сигналов. [3; 6, 12, 16; 40, 43, 50, 59, 60, 64, 89 - 92; 102, 116; 119, 121, 126, 127, 145] (фильтрация, wavelet преобразование; ДПФ), алгоритмы сегментации [2, 10, 11, 36, 65,.735 77, 80], методы построения структурного описания [10, 20, 36, 40, 58, 61, 67, 7Г, 73, 111],.генетические алгоритмы, генетическое программирование [89-91, 96,99, Г15, 125] и другие. Высокая потребность в развитии методов классификации-объектов и формирования > их образов, по цифровым сигналам обусловлена необходимостью повышения точности распознавания, уменьшения времени разработки и повышения скорости работы алгоритмов классификации.

Необходимость поиска признаковых пространств возникает при решении задачи структурно-параметрического синтеза систем классификации объектов на основании математических методов распознавания образов. Система классификации на основе формально заданного описания объекта (образа объекта) относит его к одному из классов заранее заданного множества. Системы классификации объектов включают: блок датчиков, блок предварительной обработки (например, блок вычисления признаков), блок классификации и блок памяти. Блок предварительной обработки преобразует измерения, полученные от датчиков, к характерным признакам. Формальным описанием объекта после предварительной обработки является вектор значений признаков. Работа блока классификации, как правило, основана на гипотезе компактности. Согласно гипотезе компактности, множества точек в векторном пространстве значений признаков (признаковом пространстве), характеризующие объекты разных классов, располагаются компактно. При синтезе блока классификации строятся поверхности в признаковом пространстве, отделяющие области с преимущественным содержанием точек некоторого класса. Классификация производится за счет определения области, в которую попадает точка признакового пространства. Блок предварительной обработки может не потребоваться, если результатом измерений являются скалярные величины. Если распределения точек в признаковом пространстве исходных измерений плохо удовлетворяют гипотезе компактности, то в качестве блока предварительной обработки используют преобразования кластеризации, повышающие кластерные свойства распределений образов. В настоящей работе рассматривается случай, когда результатом измерений являются одномерные или двумерные цифровые последовательности (цифровые сигналы). На практике часто используют различные показатели, вычисляемые по сигналу. Иногда при определении признаков используется цифровая обработка сигналов, сегментация, структурное описание сигналов и другие методы. Таким образом, признак - это вычислимая-функция от сигнала, а задача поиска признакового пространства является задачей г структурно-параметрического синтеза блока предварительной обработки информации в системах распознавания образов. Традиционно, признаки для классификации цифровых сигналов формируют специалисты предметной области, формализуя свой опыт решения задачи классификации или отыскивая легко формализуемые закономерности, характеризующие объекты разных классов. Процесс поиска эффективных признаков часто оказывается весьма сложным и требует большого времени. Настоящая работа посвящена разработке алгоритмов, позволяющих автоматизировать поиск признаковых пространств. В качестве исходных данных для таких алгоритмов выступает множество сигналов с указанием классов объектов, для которых они зарегистрированы. При этом, задача поиска признакового пространства рассматривается как задача обучения по эмпирическим данным или как задача оптимизации блока первичной обработки информации в системе классификации.

В промышленности, медицине; геофизике сигналы являются очень сложными объектами. Они определяются, применяемыми датчиками, то есть возможность влиять на пррцесс получения' первичной информации очень ограничена. Математическая модель сигналов или неизвестна, или настолько сложна, что ее, использование становится неконструктивным: Построение классификаторов на основе непосредственно наблюдаемых сигналов невозможно из-за очень большого размера данных. Необходимо предварительное: извлечение из наблюдаемых, сигналов информативных;признаков; после чего задача классификации решается известными методами. Формальные методы поиска признаков при неопределенной математической модели сигнала.отсутствуют. Часто используются известные: из других приложений методы* без обоснования их эффективности (например;. спектральное представление сигнала). Множество, признаков, характеризующих объект, выбирается специалистом, а эффективность выбора или его ошибочность становится- ясной после разработки, тестирования; и использования системы распознавания или обработки информации, когда модификации,. корректировки, доработки: аппаратуры или программного обеспечения трудны, дороги и требуют много времени. Процесс выбора характерных признаков не может быть формализован. Однако в рамках выбранного семейства признаков можно избавить специалиста от перебора вариантов и автоматизировать поиск наиболее информативных признаков. В диссертации спроектировано семейство признаков на . основе характерных последовательностей; пригодное для автоматического анализа самых разнообразных цифровых сигналов, хотя исследованы только временные ряды и изображения в градациях серого.

Алгоритмы поиска и оптимизации: признаковых пространств, для классификации цифровых сигналов; разработанные и исследованные в настоящей работе, актуальны для значительного уменьшения времени поиска по сравнению со временем решения этой задачи специалистом, а также для повышения точности распознавания. Поскольку признаки выбираются на основе отыскания закономерностей в эмпирических данных (в сигналах обучающей выборки), разработанные алгоритмы поиска признаков можно применять для решения задач структурно-параметрического синтеза и оптимизации алгоритмов предварительной обработки информации систем распознавания образов в различных предметных областях.

Цели и задачи исследований

Цель исследований заключается в разработке алгоритмов автоматизированного поиска признаковых пространств, позволяющих повысить вероятность правильного распознавания в системах классификации цифровых сигналов, а также уменьшить время разработки таких систем.

Дня-достижения поставленной цели решены следующие задачи:

1. Формализована задача поиска эффективных признаковых пространств для классификации цифровых сигналов.

2. Проведен системный» анализ алгоритмов, вычисления* признаков цифровых сигналов-и найдено семейство алгоритмов вычисления признаков, позволяющее автоматизировать процесс поиска признаковых пространств и оптимизировать системы, классификации цифровых сигналов по критерию максимума вероятности правильного распознавания.

3. Разработан комплекс алгоритмов автоматизированного поиска эффективных признаковых пространств для классификации цифровых сигналов.

4. Разработано специальное программное обеспечение поддержки разработки и исследования алгоритмов и алгоритмических схем обработки и анализа цифровых сигналов, поиска признаковых пространств и структурно сложных алгоритмов принятиярешений.

5. Произведен анализ эффективности систем классификации цифровых сигналов на основе найденных признаковых пространств по критерию вероятности правильного распознавания.

Методы исследования

Для формализации задач использован теоретико-множественный подход общей теории систем. При разработке алгоритмов применялись модели и методы теории распознавания образов, цифровой обработки сигналов и численной оптимизации. Экспериментальная оценка качества решения задач классификации цифровых сигналов выполнялась методами испытания на независимых (отложенных) данных и скользящего контроля.

Практическая значимость диссертации

Полученные результаты составляют алгоритмическую и программную основу для решения задач автоматизированного поиска признаковых пространств для классификации цифровых сигналов, что позволяет оптимизировать обработку информации в системах распознавания образов и повысить вероятность правильного распознавания в приложениях. Предложенные решения могут быть использованы в областях: технической и медицинской диагностики, контроля качества продукции, дистанционного-мониторинга местности, видеонаблюдения, робототехники, автоматического анализа речи, анализа массивов мультимедиа данных и других. !

Создана программная среда поддержки разработки и исследования? алгоритмов, и алгоритмических схем цифровой обработки сигналов, распознавания образов и других. Эта среда внедрена в-ОАО «Конструкторское бюро «Луч» (г. Рыбинск) в составе комплекса обработки изображений дистанционного мониторинга местности (многофункциональной визуальной информационной системы). На её основе реализован комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, а также алгоритмы предварительной обработки временных рядов и изображений.

Научная новизна

1. Введено новое семейство алгоритмов вычисления признаков цифровых сигналов, основанное на сопоставлении сегментов сигнала и вычислении частот появления в сигнале характерных последовательностей, и установлено, что это позволяет повысить качество систем распознавания образов- по критерию максимума вероятности правильного распознавания.

2. Разработан и исследован комплекс алгоритмов автоматизированного поиска признаковых пространств для классификации цифровых сигналов, основными алгоритмами которого являются: алгоритм формирования; конечного множества возможных признаков по обучающей выборке и алгоритм поиска эффективного признакового пространства.как подмножества.большого (более 500) множества, в том числе коррелированных, признаков. . ■

3. Новое, решение задачи цифровой автоматической диагностики состояния подшипников трансмиссии газотурбинных двигателей,, основанное на многомасштабном Wavelet-разложении вибрационных сигналюв и подсчете частот характерных последовательностей в интегральных Wavelet-коэффициентах, обеспечивает более высокую вероятность правильного распознавания, чем-диагностика при помощи спектральных и статистических признаков.

4. Показано, что новое решение задачи распознавания фрагментов изображений, основанное: на преобразовании локального повышения- контраста, статистиках характерных по следовательно стей, ряде инвариантных к повороту расстояний и алгоритме перебора', последовательностей но разреженным границам детектора-Canny, является эффективным в условиях изменчивости изображений по масштабу, ориентации, яркости; и контрасту,, а также в условиях шумаш.других; искажений, свойственным изображениям дистанционного мониторинга местности.

На-защиту выносятся

1. Комплекс: алгоритмов автоматизированного поиска признаковых пространств« для классификации цифровых сигналов, позволяющий решать задачу структурно-параметрического синтеза блоков предварительной обработки информации в системах распознаванияюбразов.

2. Алгоритм предварительной обработки информации в системе диагностики состояния подшипников трансмиссии газотурбинных двигателей, включающий вычисление Wavelet-коэффициентов вибрационных сигналов и подсчет частот характерных последовательностей в интегральных Wavelet-коэффициентах, обеспечивающий полную линейную разделимость, образовг вибрационных сигналов кондиционных и некондиционных подшипников, что не обеспечивается применением спектральных и статистических признаков. .'■'

3. Алгоритмы предварительной обработки информации в системах классификации фрагментов изображений дистанционного мониторинга местности, включающие преобразование локального повышения контраста, набор алгоритмов инвариантного к повороту сопоставления последовательностей, и вычисление частот характерных последовательностей с перебором их по разреженным границам детектора Canny.

Апробация^ результатов работы. Основные результаты работы докладывались на 10-й международной конференции «Цифровая обработка сигналов и ее применение» (Москва, 2008); 9-й международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Нижний Новгород, 2008); открытом семинаре в Институте системного анализа РАН (Москва, 2008); XXIX конференции молодых ученых (Рыбинск, 2005); XI международном конгрессе двигателестроителей (Украина, Рыбачье, 2006); международной школе-конференции молодых ученых, аспирантов и студентов имени П. А. Соловьева и В. Н. Кондратьева (Рыбинск, 2006).

Публикации. По результатам работы опубликовано 9 научных работ, в том числе: 7 статей и 2 тезиса докладов на конференциях. Две статьи опубликованы в журналах, рекомендуемых ВАК.

Объем.и структура работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 148 пунктов и 4 приложений. Объем работы 156 страниц, с приложениями 165 страниц. Работа содержит 66 рисунков и 23 таблицы.

Основные результаты работы заключаются, в следующем.

1. Разработан комплекс алгоритмов автоматизированного поиска признаковых пространств на основе частот характерных последовательностей для классификации цифровых сигналов. Комплекс содержит:;

1) Алгоритм формирования множества конечного множества признаков по обучающей выборке. Он основан на кластерном анализе последовательностей сигналов, регулировке порогов кластеров по критерию максимума заданной? мерьтинформативности признаков и характеризуется явным заданием алгоритма оценки информативности. Основной прием формирования конечного множества; возможных признаков — объединение множеств признаков; получаемых, для; различных расстояний, размеров последовательностей;и алгоритмов. •.

2) Алгоритм поиска признакового пространства, как подмножества.множества возможных признаков,, позволяющий;. находить эффективные признаковые пространства; в условиях большого; объема множества возможных признаков; за счет объединения! метода случайного; поиска с адаптацией с алгоритмами удаления парных корреляций и малоинформативных признаков. '■•'."'•

3) Алгоритмы перебора и сопоставления последовательностей сигналов.

4) Алгоритмы оценки; информативности отдельных признаков и признаковых пространств.

5) Алгоритм повышения информативности признакового пространства.

2. Алгоритмы автоматизированного поиска признаков позволяют построить признаковые пространства с полной линейной разделимостью для диагностики состояния подшипников трансмиссии газотурбинных двигателей, чего не удалось достигнуть при использовании спектральных и статистических признаков. Для признакового пространства на основе частот характерных последовательностей оценка вероятности правильного распознавания по методу скользящего контроля составила 94,4%. Применяемый сегодня энергетически - метод вибрадиагностики, на той же самой обучающей выборке, показал 61% правильного распознавания.

3. По результатам практических испытаний установлено, что:

1) алгоритмы автоматизированного формирования признаков являются эффективными и позволяют при меньшем объеме обучающей выборки получить алгоритмы классификации цифровых сигналов с большей вероятностью правильного распознавания, чем метод динамической трансформации времени (повышение до 8.7%), система Zeus, метод обобщенного формирования структурных признаков (повышение до 1.5%), представление изображений на основе редких частей (повышение до 19%), метод опорных векторов (повышение до 27%), нейронная сеть обратного распространения ошибки (до 23%); методы классификации на основе деревьев решений С4.5 (повышение до 26%), сетей Байеса (повышение до 29%), случайных лесов (повышение до 19%), деревьев логистических регрессионных моделей (повышение до 24%), к-ближайших соседей по Евклидовой метрике (повышение до 18%);

2) применение преобразования кластеризации Карунена-Лоэва позволяет добиться повышения вероятности правильного распознавания до 5 % при больших объемах обучающей выборки (от 400 сигналов), но для этого необходима интеграция этого преобразования в процедуру оценки информативности;

3) преобразование локального повышения контраста позволяет добиться повышения вероятности правильного распознавания телевизионных изображений с кадровой камеры в среднем до 5% в задачах дистанционного мониторинга местности.

4. Создана программная среда поддержки и исследования алгоритмов и алгоритмических схем: "Библиотека алгоритмов". Данная среда позволяет разрабатывать и тестировать сложные алгоритмы и алгоритмические схемы цифровой обработки сигналов и распознавания образов. На её основе разработана программная реализация комплекса алгоритмов автоматизированного формирования образа для классификации цифровых сигналов на основе частот характерных последовательностей.

Перспективными направлениями дальнейших исследований автор считает: 1. Развитие алгоритмической базы для формирования образа на основе предложенной методики за счет применения современных технологий обработки и

141 ' ".'■'; - • анализа сигналов. Например, для перебора.последовательностей при классификации фрагментов, изображений целесообразно использовать достижения; в области операторов; обнаружения точек интереса (interest points), что позволяет повысить скорость качество классификации одновременно;. Например; при сопоставлении последовательностей изображений более устойчивым к вариациям контраста и масштаба чем использование коэффициента корреляции приемом является, использование SIET (Scale invariant feature- transform) дескрипторов. Также не является окончательным и выбор: алгоритмов оценки; информативности, преобразования кластеризации, алгоритма, поиска эффективного подпространства признаков: и используемого метода классификации в признаковом пространстве:

2. Проведение сравнительного анализа эффективности применения: других алгоритмов? в составе предложенною методики. Так, например,, практически; значимым: является сравнение эффективности использования различных; алгоритмов? оценки информативности, поиска подпространства признаков и других алгоритмов:

3; Разработка; структурного; подхода классификации; сигналов ; на основе; ХГГ. Предложенная методика почти не* позволяет учитывать, информацию о положении в сигнале и взаимном- расположении найденных последовательностей^ относящихся к той или иной ХП. Рассмотрение этих последовательностей, как структурных элементов и обнаружение устойчивых связей между ними может позволить повысить точность распознавания в! практических приложениях.

4. Испытание предложенной методики' для: формирования- образа: при классификации цветных изображений и многомерных временных рядов.

5. Разработка способов повышения^ степени автоматизации и скорости формирования образа на базе предложенной, методики в случае большого: числа классов. ' .•

6. Исследование способов повышения вероятности правильного распознавания.; при формировании образа на базе предложенной методики,, в случае малого объема обучающей выборки.

ЗАКЛЮЧЕНИЕ

1. Абду, И. Количественный расчет детекторов контуров, основанных на подчеркивании перепадов яркости с последующим пороговым ограничением Текст. /И: Абду, У. Прэтг // ТИИЭР,.1979. -№5. С.59-70.

2. Баринова, О.В. Повышение обобщающей способности бустинга в задачах с перекрывающимися классами Текст. / О.В. Баринова, А.П. Вежневец, В.П. Вежневец // Докл. всеросс. конф. ММРО-13. Москва, 2007. - С. 82 - 84.

3. Бонгард, М.М. Проблема узнавания Текст. / Бонгард М.М. М. : Наука, 1967.-320 С.

4. Боснякова, Д.Ю. Методы выделения признаков двумерных спектров нестационарных биомедицинских сигналов Текст. / Д.Ю. Боснякова, A.A. Морозов, Г.Д. Кузнецова,. Ю.В. Обухов // Докл. всеросс. конф- ММРО-13. -Москва, 2007. С. 461 - 463;

5. Браверман,.Э:М. Структурные методы обработки эмпирических данных Текст., / Э.М. Бравермащ И:Б. Мучник. М. : Наука, 1983. - 464 С.

6. Бродский, Б.Е. Непараметрическая сегментация электрических сигналов мозга: Текст.; / Б.Е. Бродский, Б.С. Дарховский, А.Я. Каплан, C.JI. Шишкин // Автоматика и телемеханика, 1998. — №2.,-G. 23- 33:

7. Буряк, Д.Ю. Метод автоматизированного конструирования; процедур обнаружения объектов по их структурному описанию Электронный ресурс. / Д.Ю. Буряк, ЮЛЗ. Визильтер // Журнал; радиоэлектроники: 2003: - №4. http://jre.cplire:ru/alt/apr03/r/text.html. .

8. Бэрроу, X. Дж. Алгоритмическое зрение Текст. / X. Дж. Бэрроу, Дж. М; Тененбаум // ТИИЭР. май 1981. - т. 69. - №5. - С. 91 - 120.

9. Воронцов, К.В. Система эмпирического измерения качества алгоритмов классификации Текст. / К.В; Воронцов, A.C. Инякин, A.B. Лисица // Докл. всеросс. конф. ММРО-13. Москва, 2007. - С. 577 - 580.

10. Гилл^ Ф. Практическая оптимизация Текст. / Ф; Гилл, У. Мюррей, М. Райт. М.: Мир, 1985.-905 С.

11. Горелик, АЛ. Методы распознавания Текст.; / А.Л.Горелик., В.А. Скрипкин. -М1: Высшая^ школа, . 1977. -222 .С.

12. Горшков, А.П. Новый подход к выделению признаков для задачи« распознавания образов Текст. / А.П. Горшков // Тезисы докладов XXIX конференции молодых ученых. Рыбинск: РГАТА, 2005. - С. 252 - 253.

13. Горшков* А.П. Система формирования образа и классификации временных рядов по характерным последовательностям / А.П. Горшков, Т.П. Грызлова// Цифровая обработка сигналов. М; : НТОРЭС им. A.C. Попова, 2008. —№ 3. С. 15-20. "'

14. Грызлова, Т.П1 Методы m программы описания изображений : Отчет по этапу II НИР «Эдем ПО» Текст. / Грызлова Т.П. [и др.] : под; ред. Т.П. Грызловой. - Рыбинск: РГАТА, 2005. - 98 С.

15. Дергузов, A.B. Анализ и идентификация функций, заданных на сфере Текст. / A.B. Дергузов, С.А. Махортых // Докл. всеросс. конф. ММРО-11. -Москва, 2003. - С. 65 - 67.

16. Джайн, A.K. Успехи в области математических моделей для обработки изображений Текст. / А.К. Джайн // ТИИЭР, май 1981. т. 69. - №5. - С. 9 —39.

17. Дремин, И.М. Вейвлеты и их использование Текст. / И.М. Дремин, О.В. Иванов, В.А. Нечитайло // Успехи физических наук, май 2001. Том 171. - №5. —1. С. 465-501.

18. Дуда, Р. Распознавание образов и анализ сцен Текст. / Р. Дуда, П. Харт. -М.: Мир, 1976.-512 С.

19. Дюк, В. Data Mining учебный курс Текст. / В. Дюк, А.Самойленко. -СПб. : Питер, 2001. 368 С.

20. Журавлев, Ю.И. Распознавание образов и распознавание изображений Текст. / Ю.И. Журавлев, И.Б. Гуревич // Распознавание, классификация, прогноз. Математические методы и их применение. Вып. 2. М.: Наука, 1989. - С. 5 - 72.

21. Загоруйко, Н.Г. Прикладные методы анализа данных и знаний Текст. / Н.Г. Загоруйко. — Новосибирск: Издательство института математики, 1999. — 270 С.

22. Загоруйко, Н.Г. Методы распознавания и их применение Текст. / Н.Г. Загоруйко. — М. : Советское радио, 1972. 208 С.

23. Злотников, К.А. Комплексная- обработка информации от средств наблюдения, размещаемых на разведывательных, беспилотных летательных -аппаратах Текст. / К.А. Злотников [и др.] // сборник материалов ОАО «Hl 1L1 «Радар ММС» . СПб. - 2006. - С. 170 - 175.t

24. Клику шин, Ю.Н. Классификационные шкалы для распределений вероятности Электронный ресурс. / Ю. Н. Кликушин // Журнал Радиоэлектроники. 2000. - N 11. http://jre.cplire.rU/mac/nov00/4/text.html

25. Кликушин, Ю.Н. Метод фрактальной классификации сложных сигналов Электронный ресурс. / Ю.Н., Кликушин // Журнал Радиоэлектроники. 2000. №4. http://jre.cplire.rU/alt/aprOO/l/text.html

26. Ковальчук A.B. О методах промежуточного контроля в сложной системе обнаружения и распознавания лиц Текст. / A.B. Ковальчук, Н.С. Беллюстин, A.A. Тельных, В. Г. Яхно // Докл. всеросс. конф. ММРО 13. - Москва, 2007. - С. 478 -481.

27. Койков, А.И. Сравнительный анализ методов при исследовании энцефалографических сигналов для целей диагностики Электронный ресурс. / А.И. Койков. http://www.ckba.net/main.php?id=3&nid=39

28. Кузьмич, И.В. Признаки, используемые при распознавании изображений дефектов в автоматизированной системе контроля качества автомобильных стекол147 ' • 1

29. Электронный ресурс. / И.В. Кузьмич, A.A. Козлов, А.П. Павлова // http://konftm.tltsu.ru/stat/kyzmich/inputl.html

30. Левин, Б.Р. Вероятностные модели и методы в системах связи и управления?Текст. / Б.Р. Левин, В. Шварц. М.: Радио и связь, 1985. - 312 G.

31. Лукьяница, A.A., Блочно-текстурный метод выделения дыма на видеоизображениях Электронный ресурс. / A.A. Лукьяница, А.Г. Шишкин.//МТУ им. М.В. Ломоносова. М.: GraphiCon, 2007. www.graphicon.ru/2007/proceedings/ Papers/Päper69:pdf

32. Лэндгриб, Д;А. Техника анализа для дистанционного зондирования земли Текст. / Д.А. Лэндгриб // ТИИЭР: май 1981. - т. 69. - №5. - G. 161 - 175.

33. Манило, Л.А., Линейный дискриминант Фишера-в задачах распознавания биосигналовпочастотнымсвойствам Текст. / Л.А. Манило // Докл. всеросс. конф. ММРО-12. Москва, 2005. - С. 371 - 374. ' 1

34. Марр, Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов Текст. / Д. Марр ; Пер. с англ. Н.Г. Гуревич ; иод ред. И.Б. Гуревич. -М. : Радио и связь, 1987. -400 G.

35. Местецкий,. Л.М. Математические методы распознавания образов Электронный ресурс. : Курс лекций / Л.М. Местецкий. 2002. www.ccas.ru/frc/papers/ mestetskii04course.pdf

36. Немирко,, А.П;. Биометрическая; идентификация личности по электрокардиограмме Текст. / А.П; Немирко, T.G. Луговая //.Докл. всеросс. конф. ММРО-12. Москва, 2005. - С. 387 - 390.

37. Никифорова, Т В. Техническая? дефектоскопия- на основе методов стохастической геометрии? Текст. / Т.В: Никифорова // Докл. всеросс. конф. ММРО-12. Москва, 2005. - С. 392 - 395.

38. Павлидис, Т. Иерархические методы в структурном: распознавании образов Текст. / Т. Павлидис // ТИИЭР. май 1979. - т. 67. - № 5. - С. 39-49:

39. Прэтт, У.К. Применение;моделей стохастических текстур для обработки изображений / У.К. Прэтт, О.Д. Фожра, А. Гагалович // ТИИЭР: май 1981. - т. 69;-№5.-С. 54-64. .■■;'■-■ '•■.■■;•.'.

40. Розенфельд,. А. Распознавание изображений Текст. / А. Розенфельд II. ТИИЭР.-май 1981:-т. 69.- №5. С. 120 - 133.

41. Розенфельд, А. Сегментация и модели изображения Текст. / А. Розенфельд, Л.С. Дейвис // ТИИЭР. маш 1979;- т. 67. - № 5. - С. 71 - 81.

42. Тихонов, В.И. Оптимальный прием сигналов Текст. / В.И. Тихонов. М. : Радио и связь, 1983. - 320 С.

43. Ту, Жд. Принципы распознавания образов Текст. / Жд. Ту, Р. Гонсалес ; пер. И.Б. Гуревич; под ред. Журавлева Ю.И. М. : Мир, 1978. - 411 С.

44. Федотов, Н.Г. Формирование признаков распознавания изображений ультразвуковых исследований ,методами, стохастической^геометрии? Текст. / Н. Г. Федотов // Докл. всеросс. конф. ММРО-13 . Москва, 2007. С. 542 - 544.

45. Федотов, H.F. Новые методы формирования признаков распознавания образов с позиций стохастической геометрии Текст. / Н.Г. Федотов; А.А. Кадыров // Автометрия. 1996. - № 1. - С. 88 - 92.

46. Фу, К. Структурные методы в распознавании образов Текст. / К. Фу ; под ред. М.А. Айзермана. М.: Мир, 1977 г. - 320 С.

47. Харалик, P.M. Статистический и структурный подходы к описанию текстур Текст. / P.M. Харалик // ТИИЭР. май 1979. - т. 67. - № 5. - С. 98 - 118.

48. Цифровая обработка телевизионных и компьютерных изображений Текст. / под ред. Ю.Б. Зубарева и В.П. Дворковича. М. : Международный Центр научной и технической информации, 1997. - 217 С.

49. Чэн, Ш.—К. Принципы проектирования систем визуальной информации Текст. / Ш.-К. Чэн ; Пер. А.С. Попова, А.Ю. Швайковского, Д.Р. Шидарева ; под ред. В.В. Яншина. М.: Мир, 1994. - 408 С.

50. Шепель, В.Т. Выбор признаков для диагностики технического состояния трансмиссионных подшипников ГТД Текст. / В. Т. Шепель, Б.И. Комаров, Т.П. Грызлова // Авиационно-космическая техника и технология. Харьков: ХАИ, 2005. -№ 8 (24).

51. Шишкин, В.Н. Диагностика технического состояния трансмиссионных подшипников ГТД методом структурного анализа их вибросигналов Текст. / В.Н. f Шишкин, Б.И. Комаров, М.С. Гайдай, В.Т. Шепель // Контроль и диагностика. -2000.-№4.

52. Шульга, Л.А. Структуры распознающих систем на основе стохастической геометрии Текст. / JI.A Шульга., Н.Г. Федотов // Докл. всеросс. конф. ММРО-11. -Москва, 2003. С. 219 - 222.

53. Ярославский, Л.П. Введение в цифровую обработку изображений Текст. / Л.П. Ярославский М. : Советское радио, 1979. - 312 С.

54. Agrawal, S. Learning to Detect Objects in Images via a Sparse, Part-Based Representation Text. / S. Agrawal, D. Roth, A. Awan // IEEE Transactions of pattern analysis and machine intelligence. November 2004. - Vol. 26. - No. 11. - pp. 1475 -1490.

55. Al-Fahoum, A. ECG Arrhythmia Classification Using Simple Reconstructed Phase Space Approach Text. / A. Al-Fahoum, A. Qasaimeh // Computers in Cardiology.-2006.-pp. 756-760.

56. Barone, P.' The segmented Prony method for the analysis of non-stationary "time series Text. / P.* Barone, E. Massaro, A. Polichetti // Astron. Astrophys 1989.pp.435-444.

57. Dalai, N. Histograms of oriented-gradients for human detection Text. / N. Dalai, B: Triggs // In Proc. of the IEEE International Conference on Computer Vision and Pattern Recognition, San Diego, June 2005. pp. 886 - 893.

58. Dalai,, N. Human; detection using oriented histograms of flow and appearance Text. / B. Triggs, C. Schmid // European Conference on Computer Vision. 2006. II. -pp. 428-441.

59. Deng} K. Learning to Recognize Time Series: Combining ARMA< Models with Memory-Based Learning» Text. / K. Deng, A.W. Moore, Mf.C. Nechba // Proc. IEEE Int. Symp. on Computational. Intelligence in Robotics and',Automation, 1997. vol. 1. — pp. 246-250.i

60. Deselaers, T. Improving a discriminative approach to object recognition using image patches Text. / T. Deselaers, D. Keysers, H. Ney // In DAGM, Vienna, Austria, 2005. Vol. 3663. - pp. 326-333.

61. Dijck, G. V. Corrosion Time Series Classification using the Haar Wavelet Transform and MML Density Estimation Text. / G. V. Dijck, M. Wevers, M. V. Hulle // International journal of computational intelligence; 2004.

62. Eads, D.R. A Multimodal Approach to Feature Extraction for Image and Signal Learning Problems Text.7 D.R. Eads [and oth.] // Proc. of the SPIE. 2003. -pp. 79 -90.

63. Eads, D.R. Genetic algorithms and support vector machines for time series classification Text. / D.R. Eads [and oth.] //. Proc. of the SPIE. 2002. 4787 - pp. 7485.

64. Eads, D.R. Grammar-guided feature extraction for time series classification Text. / D.R. Eads, K. Glocer, S. Perkins, J. Theiler // Neural Information Processing Systems.-2005.

65. Elms, A.J. The advantage of using an HMM-based approach for faxed word recognition Text. / A.J. Elms, S. Procter, J. Illingworth // International Journal on Document Analysis and Recognition. 1998. - 1 - pp. 18-36.

66. Garcia, C. Gonvolutional face finder: A neural architecture for fast and robust face detection Text. / C. Garcia, M. Delakis // IEEE Transactions on Pattern Analysis and Machine Intelligence, Nov. 2004. 26(11) - pp. 1408-1423.

67. Gerhard, D. Audio Signal Classification: An Overview Text. / D. Gerhard // Canadian Artificial Intelligence, 2000. 45 - pp. 4 - 6.

68. Guyon, I. An introduction^to variable and feature selection Text. / I. Guyon, A. Elisseeff // Journal of Machine Learning Research, 2003. — 3 pp. 1157 - 1182.

69. Harris, C. A combined corner and edge detector Text. / C. Harris, M. Stephens // In Proc. of the 4th Alvey Vision* Conference, 1988. pp. 147-151.

70. Helmer, G. Feature Selection Using a Genetic Algorithm for Intrusion Detection Text. / G. Helmer, J.S.K. Wong, V. Honavar, L. Miller // Proc. of Genetic and Evolutionary Computation Conference, Orlando, July 1999. pp. 1781 - 1781.

71. Hochak, H. Waveform-Based Musical Genre Classification Электронный ресурс. / H. Hochak, С. Trip; H.M. Pontikakis // Autumn 2006; http://www.stanford.edu/ class/cs229/projects2006.html

72. Hsu, W.H. Construction of recurrent mixture model for time; series classification Text. / W.H! Hsu, S.R. Ray // In Proc. of the International Joint Conference on Neural Networks, 1999. vol. 3. - pp. 1574 — 1579.

73. Jiang, W. Block-Based Neural: Networks for Personalized ECG Signal Classification Text. / W. Jiang, S.G. Kong // Neural Networks, IEEE Transactions on Volume 18, Issue 6, Nov. 2007. pp. 1750 - 1761.

74. Jin;. QhRobustr Speaker Recognition: Ph; D. Thesis Text. / Q. Jin. Carnegie Mellon University, 2007.

75. Kim, M. Discriminative Eearning of Mixture of Bayesian Network Classifiers* for Sequence-Classification Text. / M. Kim, V. Pavlovic.// Computer vision and pattern recognition; 2006. vol. 1 . -pp; 268 - 275.

76. Kwon, O.W. Emotion Recognition by Speech Signals Text. / O.W. Kwon, K.L. Chan, J. Hao, T.W. Lee // Eurospeech. 2003. - pp. 125 - 128.

77. Lenser, S. Non-Parametric Time Series Classification. Non-Parametric Time Series Classification Text. / S. Lenser, M. Velosso // In Proc. of ICRA, Barcelona, 2005.-pp. 3918-3923.

78. Leung, Т.К.Finding faces in cluttered scenes using.random- labeled graph matching Text. / Т. K. Leung^MIC. Burl; Pi Perona,// KiiProc. of the Fifth International Conference on Computer Vision. Jun 1995. - pp. 637 - 644;

79. Lin, J. A symbolic representation of time series, with implications for streaming algorithms Text.: / J. Lin, EJ. Keogh, S. Lonardi, B.Y. Chiu // 8th ACM

80. SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery, 2003.-pp. 2 -11. ; / , •

81. V . 117.Olszewski, R.T. Generalized 'Feature Extraction- for;' Structural Pattern;. Recognition in Time-Series Data.: PhD thesis» Text. / R.T. Olszewski. ;- Carnegie •Mellöri^myereity,'Pittsbwglii--'; 20.0'lC;-- ;.•

82. Oren; M. Pedestrian detection using wavelet templates Text. / M. Oren [and oth.] // In Proc. of Computer VisionandPattern Recognition, Püerto?Rico. June 1997. — pp. 193 -199:

83. Prasad, G.K. Classification of ECG Arrhythmias using Multi-Resolution Analysis and Neural Networks Text. / G.K. Prasad, J.S. Sahambi // IEEE Trans. Biomed. 2003. - pp. 227 - 231.

84. Ratanamahatana, C.A. Everything you know about dynamic time warping is wrong Text. / C.A. Ratanamahatana, E. Keogh // In 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Workshop on Temporal Data Mining, 2004.

85. Ratanamahatana, C.A. Making Time-series Classification More Accurate Using Learned Constraints Text. / C.A. Ratanamahatana, E. Keogh // SIAM International Conference on Data Mining, April, 2004. pp. 22 - 24.

86. Rath*T. Word Image matching using dynamic time warping Text. / T. Rath, R. Manmatha // CVPR, 2003. Vol. 2. - pp. 521 - 527.

87. Rowley, H. A. Neural network-based face detection Text. / H. A. Rowley, S. Baluja, T. Kanade // IEEE Transactions on Pattern Analysis and Machine Intelligence. -Jan 1998. 20(1). - pp. 23 - 38.

88. Sagiroglu, S.- Control Chart Pattern Recognition Using Artificial Neural Networks Text. / S. Sagiroglu, E. Be§dok, M. Erler // Turkish Journal of Electrical Engineering & Computer Sciences, 2000. pp. 137 - 147.

89. Sali, E. Combining class-specific fragments for object classification Text. / E. Sali, S. Ullman // In Proc. of 10th British Machine Vision Conference. 1999 Vol. 1. -pp. 203-213.

90. Schneiderman, H. Object Detection Using the Statistics of Parts Text. / H. Schneiderman, T. Kanade // International Journal of Computer Vision. 2002. - pp. 151 - 177.

91. Schryver, J.C. Classification of time series patterns from complex dynamic systems: Master thesis Text. / J.C. Schryver, N. Rao. July 1998.

92. Shams, L. Learning gabor-based features for face detection Text. / L. Shams, J. Spoelstra // In- Proc. of World Congress in Neural Networks. International Neural Network Society. Sep 1996. - pp. 15 - 20.

93. Smith, S. M. SUSAN- A New Approach to Low Level Image Text. / S. M. Smith, Jt M. Brady // Proc. International» Journal of Computer Vision, 1997. Vol. 23. -№1.-pp. 45-78.

94. Ullman, S. Visual features of intermediate complexity and their use in classification Text. / S.A. Ullman, E. Sali, M. Vidal-Naquet // Nature Neuroscience.2002.-5(7).-pp. 1-6.

95. Weber, M. Unsupervised'Learning of models for recognition» Text. / M. Weber, P. Welling, Perona // In Proc. of Sixth European Conf. Computer Vision, 2000.

96. Wei, L. Semi-Supervised Time Series Classification Text. / L. Wei, Keogh E. // In Proc. of SIGKDD, 2006. pp. 748 - 753.

97. Weka 3: Data Mining Software in Java Электронный ресурс., http ://www. es. waikato. ac.nz/ml/weka.

98. Whitehill, J. Haar Features for FACS AU Recognition Text. / J. Whitehill, C.W. Olmin // Seventh IEEE International Conference on Automatic Face and Gesture Recognition, 2006. pp. 97 - 101.

99. Wiggins, M. Evolving a Bayesian classifier for ECG-based age classification in medical applications Text. / M. Wiggins, A. Saad, B. Litt, G. Vachtsevanos // Journal of Applied Soft Computing, 2007. pp. 599 - 608.

100. Xiaopeng, X. Fast Time Series Classification Using Numerosity Reduction Text. / X. Xiaopeng // International Conference on Machine Learning, 2006. pp. 1033 - 1040.

101. Yuille, A. L. Deformable templates for face recognition Text. / A. L. Yuille // Journal of Cognitive Neuroscience. 1991- 3(1) - pp. 59 - 70.

102. Zimmerman, M.W. Classification of ECG ST Events as Ischemic or Nonischemic Using Reconstructed Phase Spaces : Master's thesis Text. / M.W. Zimmerman. Marquette University, Milwaukee, Wisconsin, May 2004.

103. Zlotnikov, K.A. New distinction measure for pattern recognition in fuzzy features space Text. / K.A. Zlotnikov // Intelligent Systems In Design and Manufacturing. Proc. of the SPIE. 1998. - vol. 3517. - pp. 356 - 364.