автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Методы и алгоритмы беспризнакового распознавания образов

ВВЕДЕНИЕ

1. ПРОБЛЕМА РАСПОЗНАВАНИЯ ОБРАЗОВ ПРИ ОТСУТСТВИИ ЯВНО

ВЫРАЖЕННОГО ВЕКТОРА ПРИЗНАКОВ ОБЪЕКТОВ

1.1. Прикладные задачи беспризнакового распознавания образов по критерию сходства объектов

1.1.1. Распознавание рукописных символов I

1.1.2. Распознавание классов пространственной структуры белков

1.2. Современные методы обучения распознаванию образов в векторных пространствах как теоретическая база беспризнакового распознавания

12.1 Общая постановка задачи обучения распознаванию образов

1.2.2. Концепция оптимальной разделяющей гиперплоскости

1.2.3. Обучение на основе понятия опорных векторов

1.2.4. Проблема малой обучающей выборки

1.2.5. Селекция признаков (сокращение признакового пространства)

1.2.6. Регуляризация классификаторов

1.3. Принципы организации обучения беспризнаковому распознаванию образов в гильбертовом пространстве объектов

1.3.1. Гильбертово пространство объектов распознавания и параметрическое семейство линейных решающих правил 4~

1.3.2. Базисное подпространство в гильбертовом пространстве объектов

1.3.3. Принцип ортогональности главным осям выборки и принцип гладкости для регуляризации построения линейного решающего правила в пространстве проекционных признаков

1.4. Основные задачи исследования

2. ОБУЧЕНИЕ РАСПОЗНАВАНИЮ ОБРАЗОВ В ГИЛЬБЕРТОВОМ

ПРОСТРАНСТВЕ ОБЪЕКТОВ

2.1. Гильбертово пространство объектов распознавания и оптимальная разделяющая гиперплоскость

2.2. Метод опорных элементов для обучения распознаванию образов в гильбертовом пространстве

2.2.1. Отсутствие априорных предпочтений о направляющем элементе разделяющей гиперплоскости в гильбертовом пространстве

2.2.2. Предпочтительная ориентация направляющего элемента разделяющей гиперплоскости вдоль осей инерции базисной совокупности

2.3. Распознавание классов пространственной структуры белков в условиях малой обучающей выборки

2.4. Принцип регуляризации, основанный на гладкости проекционных признаков

3. СКОЛЬЗЯЩИЙ КОНТРОЛЬ В ПРОЦЕДУРЕ ОБУЧЕНИЯ

3.1. Метод скользящего контроля для оценивания же грагю.ляционных свойств решающего правила по обучающей выборке

3.2. Быстрая реализация процедуры скользящего контроля для метода опорных элементов

3.3. Выбор смещения разделяющей гиперплоскости по результатам скользящего контроля

4. ПРОГРАММНЫЙ КОМПЛЕКС ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ

4.1. Общая характеристика программного комплекса

4.2. Структура файлов данных

4.3. Загрузка и редактирование данных

4.4. Отображение данных и решающего правила распознавания

4.4.1. Построение плоскости проецирования в многомерном пространстве проекционных признаков

4.4.2. Проецирование матрицы близости на двумерную плоскость

4.4.3. Оптимальное проецирование данных на плоскость экрана

4.5. Обучение и распознавание

4.6. Изменение параметров алгоритма

4.7. Сохранение и загрузка решающего правила

4.8. Вывод информации об объекте

5. ПРИМЕНЕНИЕ АЛГОРИТМОВ ОБУЧЕНИЯ ДЛЯ РЕШЕНИЯ ПРИКЛАДНЫХ ЗАДАЧ

5.1. Распознавание классов пространственной структуры белков

5.1.1. Представление величины близости по парному элайнменту белковых последовательностей в качестве скалярного произведения в воображаемом гильбертовом пространстве

5.1.2. Распознавание классов «один против одного»

5.1.3. Эффект регуляризации

5.2. Распознавание рукописных символов по траектории пера в процессе написания

5.2.1. Распознавание классов «один от всех»

5.2.2. Эффективное смещение порога принятия решения по результатам скользящего контроля

Последние достижения в области науки и техники, в частности, стремительный прорыв в сфере компьютерных технологий и, как следствие, увеличение доли применения вычислительных средств, вплотную подвели человечество к переходу из общества техногенного к обществу информационному. С развитием сетевых технологий появилась возможность говорить о едином информационном поле. Человечество вступило в эпоху, когда созданные им информационные системы окажутся в состоянии решать много более сложные, чем когда бы то ни было, задачи. Одной из важнейших проблем, возникающих в связи с созданием современных полностью автоматизированных информационных систем, является автоматизация процесса распознавания образов - область, изучением которой занято большое количество исследовательских групп. Исследования в области распознавания настолько масштабны. что, пожалуй, невозможно перечислить все направления науки, в которых они ведутся - от появившегося достаточно давно распознавания печатных и рукописных символов, медицинских, метеорологических и других данных до распознавания сейсмических сигналов, позволяющего отличать ядерные взрывы от землетрясений.

Проблема распознавания образов сохраняет свою актуальность уже без малого полвека. Несмотря на относительную новизну проблемы, ей посвящено огромное число научных статей и монографий. На начальных папах своего развития теория распознавания имела мощнейший источник, подталкивающий ученых к все более глубокому изучению и осмыслению задач узнавания в их применении к техническим системам. Таким источником была идея создания искусственного интеллекта. Крайне популярен 61,1л вопрос о том. сможет ли какое либо устройство самостоятельно войти в контакт с окружающим миром, осмыслить этот мир, приспособиться к нему, а затем и управлять им.

Распознавание образов - одна из главных функций всех живых организмов. Поэтому достаточно полные сведения о механизме распознавания образов можно получить при исследовании поведения живых систем. Первыми проблемой обучения распознаванию образов заинтересовались биологи и психологи, а за ними - уже математики и инженеры, так как они хорошо понимали, что любой интеллект, в том числе и искусственный, начинается с восприятия внешнего мира. Нельзя всерьез рассчитывать на создание искусственного интеллекта, не позаботившись о том, как этот интеллект будет снабжаться информацией, как он будет разбираться в океане разрозненных сведений об окружающем его мире, как он будет ориентироваться во всевозможных ситуациях в процессе принятия решений.

Недаром, один из первых подходов к проблеме обучения распознаванию образов основывается на моделировании гипотетического механизма человеческого мозга. Основоположником такого подхода считается Ф. Розенблат [36]. а системы, основанные на таком подходе, называются перцептронными Как оказалось, другие системы не сильно отличаются от перцептронов. Более того, системы перцептронного типа могут практически выполнять почти все. что доступно и более широкому классу распознающих систем.

Следует отметить, что на современном этапе специалисты делают достаточно скептические прогнозы по поводу построения полноценных систем искусственного интеллекта. Пришло понимание того, что построение универсального, всепонимающего робота мечты 60-х годов - и нецелесообразно. Гораздо важнее умение применять и адаптировать уже созданные наработанные процедуры к специальным задачам. Не так уж плох простой и ясный подход: конкретная задача (класс задач) - конкретный алгоритм решения.

Итак, в задачах распознавания можно выделить два основных направления:

1. Изучение способностей к распознаванию, которыми обладают человеческие существа и другие живые организмы, так называемый феномен восприятия.

2. Развитие теории и методов построения устройств, предназначенных для решения отдельных задач распознавания образов в определенных прикладных областях.

Процесс распознавания состоит в том, что система распознавания, сопоставляя апостериорную информацию относительно каждого поступившего на вход системы объекта или явления с априорным описанием классов, принимает решение о принадлежности этого объекта (явления) к одному из классов. Правило, которое каждому объекту ставит в соответствие определенное наименование класса, называют решающим правилом распознавания В литературе, посвященной распознаванию образов, утвердилось мнение, что суть проблемы распознавания заключается в определении решающих правил, то есть в нахождении в признаковом пространстве таких границ, придерживаясь которых признаковые пространства некоторым оптимальным образом, например, с точки зрения минимизации числа ошибок распознавания, разделяются на области, соответствующие классам. Проблема распознавания как-раз и заключается в отыскании таких решающих правил. Различают задачи обучения распознаванию образов с учителем и без учителя. Задача обучения с учителем предполагает, что каждый объект в обучающей совокупности представлен идентификатором своего класса и образом в пространстве наблюдений. Такую задачу называют также задачей обучения по классифицированной обучающей совокупности, или обучения по прецедентам. В случае обучения без учителя в обучающей совокупности отсутствуют данные о принадлежности объектов к классам, и обучающая совокупность представляеч собой просто конечное множество объектов в пространстве наблюдении

Существует множество методов решения задач распознавания, среди которых выделяют такие как геометрический и структурный подходы, перцептроны, потенциальные функции (М.А. Айзерман, Э.М. Браверман. Л И. Розоноэр). статистические методы (В.Н Ваиник. А.Я. Червоненкис), допустимые преобразования, вычисление оценок (Ю.И. Журавлев), математическая лингвистика (Э.М. Браверман, И.Б. Мучник), логико-комбинаторные алгоритмы (А.Е. Янковская), комитетные конструкции (В.Д. Мазуров), метод опорных векторов (В.Н. Вапник).

Тем не менее, в такой уже ставшей классической области кибернетической науки, как теория обучения распознаванию образов, еще остается множество нерешенных проблем, одна из которых и являются предметом рассмотрения данной работы.

Как отмечалось выше, теория распознавания образов разрабатывает методы построения формальных решающих правил в предположении, что на анализируемом объекте уже измерены значения так называемых полезных признаков, или, как принято говорить, он представлен в виде точки в признаковом пространстве. Формирование решающих правил распознавания в процессе обучения основано на так называемой гипотезе компактности, согласно которой объекты, отобразившиеся в близкие точки в пространстве признаков, скорее всего принадлежат к одному и тому же классу.

Следует заметить, что выбор признаков, образующих удобное для распознавания пространство, представляет собой отдельную весьма сложную проблему (В.И. Васильев, Н.Г. Загоруйко, Г.С. Лбов). В то же время существует широкий класс прикладных задач распознавания образов, в которых легко удается непосредственно вычислить степень «похожести» или «непохожести» любых двух объектов, но трудно указать набор осмысленных характеристик объектов, которые могли бы служить координатными осями пространства признаков.

Специфика именно таких задач обучения распознаванию образов изучается в настоящей работе. Предлагается два подхода. Первый: мы рассматриваем неотрицательное число, характеризующее похожесть пары объектов как скалярное произведение некоторого гипотетического набора признаков в воображаемом гильбертовом пространстве. Как и в классическом подходе к проблеме обучения, мы опираемся на гипотезу компактности, которая здесь трактуется непосредственно, а не через промежуточное понятие линейного пространства признаков. Второй подход, вместо линейного векторного пространства признаков, в которое объекты распознавания отображаются лишь условно, мы рассматриваем в качестве характеристик объектов отсчеты проекционного пространства, опирающегося на проекционные признаки, роль которых играют похожести на некоторые заранее заданных (пространствооб-разующих) объектов.

Тем не менее, мы используем здесь принцип формирования решающего правила распознавания [52, 105] созданный, именно для обучения в линейных пространствах и получивший название метода опорных векторов. В начале 90-х годов, работая уже в США, в AT&T Labs, В.Н. Вапник переработал метод обобщенного портрета, созданный им и А.Я. Червоненкисом [12] в период их совместной деятельности в Институте проблем управления АН СССР, и предложил красивейший оптимизационный критерий построения решающего правила обучения [52]. Сущность предложенного критерия имела настолько глубокий смысл, адекватный природе большинства прикладных задач распознавания образов, что он сразу завладел умами специалистов в области анализа данных. Появился целый поток публикаций |5!.52,91. 104, 105, 106, 107], интерпретирующих, дополняющих, развивающих предложенный подход. В диссертационной работе показано, что основная идея этого метода опирается, в сущности, не на наличие в пространстве признаков линейных операций, а на возможность вычисления взаимного сходства объектов, для непосредственной реализации которого достаточно рассматривать скалярные произведения из гипотетического гильбертова пространства. В силу такой замены мы будем использовать термин «опорные элементы» вместо термина «опорные векторы», имеющего смысл лишь в линейных пространствах.

Эксперименты, проводимые в ходе исследований, показали недостаточную статистическую устойчивость решающих правил, построенных в гильбертовом пространстве объектов с нефиксированной размерностью, что объясняется проблемой «проклятия малой выборки», характерной для задач распознавания образов в случае, когда число признаков близко к числу объектов обучающей выборки или превосходит его. Для повышения статистической стабильности процесса обучения, или, как принято говорить для его регуляризации (Ш.Ю. Раудис, [35]), потребовалось привлечение дополнительной априорной информации, отражающей природу конкретной прикладной задачи В диссертации разработаны методы учета такой информации.

Кроме того, достаточно детально рассмотрена процедура оценивания экс-траполяционных свойств полученного решающего правила, называемая скользящим контролем. Предложен метод ускорения этой процедуры с точки зрения вычислительной эффективности за счет учета специфики критерия обучения по методу опорных векторов. Предложена концепция дообучения с использованием результатов скользящего контроля.

Научная новизна работы. В работе впервые предложена концепция погружения множества реально существующих объектов беспризнакового распознавания образов в гипотетическое линейное пространство со скалярным произведением (гильбертово пространство). Предложен класс линейных решающих правил и критериев обучения беспризнаковому распознаванию образов в гильбертовом пространстве объектов. Предложен способ регуляризации обучения беспризнаковому распознаванию образов с целью повышения статистической стабильности получаемого решающего правила.

Степень обоснованности результатов. Научные положения, результаты и выводы, сформулированные в диссертационной работе, обоснованы теоретически и обсуждены на семинарах и конференциях. Обоснованность предложенных моделей и алгоритмов подтверждается результатами обработки реальных данных

Практическая значимость. Разработанные концепции и алгоритмы существенно расширяют круг прикладных задач, к которым применимы существующие методы обучения распознавания образов.

Связь с плановыми научными исследованиями. Работа выполнена в рамках договора о сотрудничестве между кафедрой автоматики и телемеханики Тульского государственного университета и Department of Computer Science государственного университета RUTGERS штата Нью-Джерси (США), и при поддержке Государственной научно-технической программы РФ «Перспективные информационные технологии», гранта Российского фонда фундаментальных исследований, гранта Министерства образования РФ.

Прикладные результаты работы и их реализация. Разработанные алгоритмы реализованы в виде программно-алгоритмического комплекса обучения распознаванию образов в беспризнаковых пространствах. Апробация работы. Результаты диссертации докладывались:

• на III международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Нижний Новгород. 1997 г.),

• на IV международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Новосибирск, 1998 г.).

• на IX Всероссийской конференции «Математические методы распознавания образов» (ВЦ РАН, Москва, 1999 г.),

• на V международной конференции «Распознавание образов и анализ изображений: новые информационные технологии» (Самара. 2000 г.).

• на международной научной конференции «Интеллектуализация обработки информации ИОИ - 2000» (Алушта. Крым. 2000 г.),

• DIMACS Working Group Meeting on Informatics of Protein Classification (университет RUTGERS, США, 2000 г.),

• 1APR International Workshop on Machine Learning and Data Mining m Pattern Recognition (Institnt fur Bildverarbeitung and angewandte Informatik, Лейпциг, Германия, 2001),

• на ежегодных научно-практических конференция профессорско-преподавательского состава ТулГУ (Тула, 1998-2000 г.),

• на семинаре отдела Вычислительных методов распознавания ВЦ РАН (Москва. 2001 г.).

Публикации. По теме диссертации опубликовано девять статей. Структура работы. Текст диссертации состоит из шести глав. В первой главе рассматриваются современные проблемы теории распознавания, в частности, метод опорных векторов, особенности обучения в условиях малого относительного размера обучающей выборки по сравнению с размерностью признакового пространства. Показаны примеры прикладных задач, приводящих к необходимости обучения в отсутствии явно выраженного вектора признаков объектов. Формулируются основные задачи исследования. Во второй главе рассматривается структура решающих правил распознавания в беспризнаковых пространствах. Предлагается критерии и алгоритмы обучения в беспризнаковых пространствах, а так же методы регуляризации полученных критериев. В третьей главе рассмотрена процедура оценивания экстраполя-ционных свойств решающего правила. Предложены методы повышения эффективности обучения нулем смещения порога принятия решения в польз}' того или иного класса. В четвертой главе приводится описание программного комплекса обучения распознаванию образов, реализующего алгоритмы, предложенные в основной части работы. Результаты экспериментального исследования алгоритмов приводятся в пятой главе. В завершающем шестом разделе перечисляются основные теоретические результаты, достигнутые в работе.

6. Основные результаты работы

1. Дан анализ современных методов обучения распознаванию образов в конечномерных векторных пространствах. На примере прикладных задач показано, что существует широкий класс прикла/щых задач распознавания образов, в которых трудно указать набор осмысленных характеристик объектов, но возможно вычислить меру парного сходства.

2.- Показано, что во многих случаях естественный численный показатель парного сходства объектов распознавания обладает свойствами, характерными для скалярного произведения В рамках этого класса прикладных задач предлагается рассматривать множество объектов распознавания как подмножество точек, быть может, изолированных, в некотором линейном пространстве со скалярным произведением (гильбертовом пространстве).

3. Предложена общая постановка задачи построения линейного решающего правила в гильбертовом пространстве объектов распознавания.

4. Предложена концепция выбора базисной! совокупности объектов распознавания, что эквивалентно заданию конечного базиса в гильбертовом пространстве объектов, и разработаны алгоритмы обучения беспризнаковому распознаванию образов на основе концепции базисной совокупности объектов.

5. Разработан метод регуляризации обучения на основе понятия гладкости коэффициентов линейного решающего правила относительно элементов базисной совокупности, позволяющий применять решающие правила распознавания, полученные по малым обучающим выборкам, к объектам, не участвовавшим в обучении.

120

6. Разработан метод коррекции сдвига разделяющей гиперплоскости по результатам скользящего контроля при обучении беспризнаковому распознаванию образов.

7. Создан программно-алгоритмического комплекса, реализующий алгоритмы обучения беспризнаковому распознаванию образов и обеспечивающего наглядное представление исходных данных, результатов обучения и распознавания.

8 Разработана методика обучения распознаванию классов пространственных структур белков по их первичной структуре в виде последовательности аминокислот.

9. Разработана методика обучения беспризнаковому распознаванию рукописных символов, вводимых в компьютер непосредственно в процессе их написания.

1. Айвазян С.Д., Бухштабер В.М., Енюков И.С. Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика. 1989.607 с

2. Айзерман \1. Браверман ') \1 , РоюноэрЛ.И. Мсгод потенциальных (|)\ пкций в теории обучения машин. М.: Наука. 1970, 384 с.

3. Алгоритмы обучения распознаванию образов/ Под ред. В.Н. Вапника. М. Советское радио. 1973. 200 с.

4. Аркадьев А.Г. Браверман Э.М. Обучение машин распознаванию образов. М.: Наука. 1964. 110 с.

5. БазараМ., Шетти К. Нелинейное программирование. Теория и алгоритмы. М.: Мир, 1982. 583 с.

6. Бонгард М.М. Проблема узнавания. М.: Наука. 1967, 320 с.

7. Вазан М. Стохастическая аппроксимация. М.: Мир. 1972.

8. Вапник В.Н., Червоненкис А.Я. Об одном классе алгоритмов обучения распознаванию образов. Автоматика и телемеханика, 1964, №6.

9. Вапник В.Н. Червонекис А.Я. Алгоритмы с полной памятью и рекуррентные алгоритмы обучения распознаванию образов. Автоматика и телемеханика. 1968. №4.

10. Вапник В.Н. Червоненкис А.Я. О равномерной сходимости частот появления событий к их вероятностям. Теория вероятностей и ее применения, т. XVI. 1971. №2.

11. Вапник В.11. Червоненкис А.Я. Теория равномерной сходимости часюг появления событий к их вероятностям и задача поиска оптимального решения по эмпирическим данным. Автоматика и телемеханика. 1971, №2.

12. Вапник ВН., Червоненкис А.Я. Теория распознавания образов. М.: Наука. 1974. 415 с.

13. Васильев В.И. Проблема обучения распознаванию образов. К.: Выща шк. 1989. -64 с.

14. Васильев В.И. Конструирование пространств в процессе обучения распознаванию образов// Ав гоматика. 1982 -№5.-с. 18-27.

15. Верхаген К., Дейн Р., Грун Ф. Иостсн Й., Вербен П. Распознавание образов. Состояние и перспективы. М.: Радио и связь. 1985, 103 с.

16. Гантмахер Ф.Р. Теория матриц. М.: Наука. 1988, 552 с.

17. Двоенко С.Д., Моттль В В., Середин О С Распознавание событий в сигналах с переменными вероятностными свойствами. /./ «Известия ТулГУ». серия «Вычислительная техника, автоматика, управление», т. 1 выи.2, 1997. стр. 68-76.

18. Дорофеюк А. А. Алгоритмы автоматической классификации//Автоматика и телемеханика 1971. - № 12. с. 78-113.

19. Дуда Р. Харт П. Распознавание обра ни-; и анализ сцен М. Мир. 1976 511с

20. Журавлев Ю.И. Избранные научные груды. М : Издательство Маг истр. 1998. 420 с.

21. Заторуйко Н Г Гипотезы компактности и ^-компактности в методах анализа данных //' Сиб. жури, индус тр. математики. 1988. Т. I, №1. с. I 14-126.

22. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. Новосибирск: Изд-во Мн-та математики, 1999, 270 с.

23. Комаров B.C., Ляховский В.Д., Евсеева И.Ю. Проблема поиска закономерностей формирования класса молекул в структуры. В кн.: Обпару.ясение эмпирических suKonoML'puocmeit с полипцыо ЭВМ (Вычислительные системы, вып. 102) Новосибирск. 1984. с. 25-3 1.

24. Логинов В Н., Хургин Я.И. Общий подход к проблеме распознавания образов. В кн.: Сборник трудов МИНХ и ГП. Вып. 62. М: Недра. 1966.

25. Миленький А.В. Классификация сигналов в условиях неопределенности. М.: Советское радио. 1975. 237 с.

26. МоттльВ.В. Мучник И Н. Лиш вистический анализ экспериментальных кривых. ТИИЛР. т. 67, № 5, 1979, с. 12-39.

27. Патрик Э. Основы теории распознавания образов. М.: Сов. радио. 1980 408 с

28. Раудис LIT 10. Информационный анализ машинного обнаружения закономерностей (на примере задачи распознавания образов). В кн.: Машинные методы обнаружения закономерностей (Вычислительные системы, вып. 88). Новосибирск. 1976. с. 44-55

29. Раудис III.К) Методы борьбы с размерностью в статистическом распознавании образов /V Заводская лаборатория. № 3. 1991. с. 49-55.

30. Розенблат Ф Принципы нейродинамики (перцептрон и теория механизмов мозга). М.: Мир. 1965 180 с.

31. Степанов В.М. Молекулярная биология: Структура и функции белков. М.: Наука. 1996. 355 с.

32. Структурные методы обработки 'эмпирических данных, Браверман A.M. Мучник И.Б. М . Наука, 1983. 464 с.

33. Тихонов А.Н. О регуляризации некорректно поставленных задач. //Доклады АН СССР, т. 153. №1, 1963. с. 49-52.

34. Тихонов А Н. О решении некорректно поставленных задач и методе регуляризации. //Доклады АН СССР, т. 151, №3, 1963. с. 501-504.

35. Ту Дж., Гонсалес Р. Принципы распознавания образов. М.: Мир, 1978. 416 с.

36. Фишер Р.Э. Использование множественных измерений в задачах таксономии// Современные проблемы кибернетики. №11. М.: Знание. 1979. с. 6-20.

37. Фомин В Н. Математическая теория обучаемых опознающих систем. Л.: Издательство Ленинградского университета, 1976, 235 с.

38. Фукунага К. Введение в статистическую теорию распознавания образов. М.: Наука, 1979. 368 с.

39. Численные методы условной оптимизации/ Под. ред. Ф. Г'илла. У. Мюррея. М.: Мир, 1977. 290 с.

40. Шлезингер М.И. Взаимосвязь обучения и самообучения в распознавании образов. Кибернетика. 1968. №2, с. 81-88.

41. Andersen E. D. and Ye Y. A computational study of the homogeneous algorithm for large-scale convex optimization. Computational Optimization and .Applications. 10:243-269. 1998.

42. Anderson E. The Irises of the Gaspe Peninsula, Bulletin of the American Ins Society. 59, 2-5, 1935.

43. Breiman L. Bagging Predictors, Technical Report No. 421. 1994. University of California. Berkley. California, USA.

44. Bulges C.J.C. A Tutorial on Support Vector Machines for Pattern Recognition. I Jam Mining and Knowledge Discovery, 2(2): 1-47, 1998.

45. Cortes C. and Vapnik V. Support-vector networks. Machine Learning, vol.20. no 3. 1995, pp. 273-297.

46. Dayhoff M.O. Schwartz R.M., Orcutt B.C. A model of evolutionary change in proteins. Alias of Protein Sequence and Structure (Dayhoff M.O., ed.). National Biomedical Research Foundation, Washington D C., 1978, Vol. 5, Suppl. 3, pp. 345-352

47. Dubchak 1., Muchnik L, Mayor C., Dralyuk I., Kim S.-Ll. Recognition of a protein fold in the context of the SCOP classification. Proteins: Structure, Function, and (}e-netics, 1999, 35, 401-407.

48. Duin R.P. W. Small Sample Size Generalization. Proceedings of 9th Scandinavian Conference on Image Analysis, June 6-9. 1995, Uppsala. Sweden.

49. Duin R.P.W. De Ridder D., Tax D.M.J. Featureless classification. Proceedings of the Workshop on Statistical Pattern Recognition, Prague, June 1997, pp.37-42.

50. Duin R.P.W, De Ridder D. Tax D.M.J. Experiments with a featureless approach to pattern recognition. Pattern Recognition Letters, vol. 18, no. 11-13. 1997. pp. 11591166.

51. Duin R.P.W. Pekalska E. De Ridder D. Relational discriminant analysis. Pattern Recognition Letters. Vol. 20. 1999, No. I 1-13, pp. I 175-1 181

52. Durbin R., Eddy S. Krogh A., Mitchison G. Biological Sequence Analysis. Probabilistic Models oj Proteins and Nucleic Acids. Cambridge University Press. 1988.

53. Lfron B. and Tibshirani R. An Introduction to the Bootstrap. Chapman and Hall. 1993.

54. Fisher R.A. The Precision of Descriminant Function. Annals of Eugenics. 1940. vol. 10, no. 4.

55. Fletcher R. Practical Methods of Optimizations. John Wiley and Sons Inc., 2,Ki edition, 1987.

56. Friedman J.M. Regularized Discriminant Analysis, JASA 84, 1989. pp. 165-175.

57. Fukunaga K., Hayes R. Effects of Sample Size in Classifier Design. IEEE Transactions on Pattern Analysis cind Machine Intelligence. vol. 1 1. no. 3. 1989. pp. 873-885

58. Greenshields 1. RosieneJ. A Fast Wavelet-Based Karhunen-Loe\e Transform. Pattern Recognition, Vol. 31. 1998. No. 7. pp. 8.39-845.

59. Hamamoto V. Matsuura Y., Kanaoka Т., Tomita S. A Note On The Orthonormal Discriminant Vector Method For Feature Extraction. Pattern Recognition. Vol. 24. 1991. No. 7. pp. 681-684.

60. Henikoff S., Henikoff J.G. Amino acid substitution matrices from protein blocks

61. Proceedings of the National Academy of Sciences of the USA. 1992, Vol. 89, pp. 10915-10919.

62. Hong Z. Yang J. Optimal Discriminant Plane For a Small Number of Samples and Design Method of Classifiers On The Plane. Pattern Recognition, Vol. 24, 1991. No. 4, pp. 317-324.

63. Jam A.K. and Chandrasekaran B. Dimensionality and Sample Size Considerations m Pattern Recognition Practice, in: Handbook of Statistics, vol. 2. ed. P R. Krishnaiah and L.N. Kannel, pp. 835-855. North-Holland. Amsterdam, 1987

64. Kiefer E. WolfowitzJ. Stochastic estimation of the maximum of regression function -Ann. Inst. Statist. Math. Vol. 30. Pt. B. 1978. p. 351-363.

65. Lee C., Landgrebe D. Feature Extraction Based on Decision Boundaries. I Eld-Transaction on Pattern Analysis and Machine Intelligence. 1993. vol. 15. no. 4. pp. 388-400.

66. Lehmann E.L. Efficient likelihood estimators. American Statistician. Vol. 34. 1980. pp. 233-235.

67. Lehmann E.L,. Theory of point estimation. New York: Wiley. 1983

68. Lerner В., Guterman H., Aladjem V., Dinstein I. Romem Y. On Pattern Classification With Sammoifs Nonlinear Mapping An Experimental Study. Pattern Recognition, Vol. 31, 1998, No. 4. pp. 371-384.

69. Luchenbruch P.A. Discriminant Analysis. Hafner Press, New York.

70. McLachlan G.J. Discriminant Analysis and Statistical Pattern Recognition. John Wiley & Songs. 1992.

71. Mottl V.Y. Blmov A.B. Kopylov A.V. Kostm A.A. Computer-aided signal and image processing: A universal variational approach. Journal of Journals: Review of Global Scientific Achievements. 1998, Vol. 2, No. 1, pp. 23-30.

72. Mottl V.V., Dvoenko S.D, Seredin O S. Pattern Recognition in Metric Space // Pattern Recognition and Image Analysis. Vol. 11. No. 1. 2001, pp. 65-68.

73. Murzin A.G. Brenner S.E. Hubbard Т. Л Chotia C. SCOP: a structural classification of proteins database for investigation of sequence and structure. J. Mol. Biol. 1995. vol. 247, 536-540.

74. Pearson W.R. and Lipman D.J. Improved tools for biological sequence analysis. 1'NAS, 1988. 85, 2444- 2448.

75. Pearson W.R. Rapid and sensitive sequence comparison with FASTP and FASTA Methods in Enzymology, 1990, 183.63-98.

76. RaoC.R. On Some Problems Arising of Discrimination with Multiple Characters. Sankya, 1949, vol. 9, pp. 343-365.

77. Raudis S. On Dimensionality, Sample Size, Classification Error of Nonparametnc Linear Classification Algorithms, lliEE Transaction on Pattern Analysis and Machine Intelligence. 1997. vol. 19. no. 6. pp. 667-671.

78. Raudis S and Jam Л.К. Small Sample Size Effects in Statistical Pattern Recognition Recommendations for Practitioners, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 3, 1991, pp. 252-264.

79. Raudis S. and Pikelis V. On Dimensionality, Sample Size, Classification Error and Complexity of Classification Algorithm in Pattern Recognition, ШЕЕ Transaction on Pattern Analysis and Machine Intelligence, 1980, vol. PAM1-2, no. 3. pp. 242-252.

80. Raudis S. and Skurikhina M. Small Sample Properties of Ridge-Estimate of Covan-ance Matrix in Statistical and Neural Net Classification, New Trends in Probability and Statistics, vol. 3, Tartu. Estonia, 1994. pp. 237-245.

81. Robbins H. Monro S. A stochastic approximation method. Ann. Math. Stat. Vol 22, 1951, No. 3, pp. 400-407.

82. Sckolkopf B. Support Vector Learning. R. Oldenbourg Verlag, Minich, 1997.

83. Seredin O S., Dvoenko S.D. Mottl V.V. Leave-One-Out Verification Procedure in Pattern Recognition Training Based on Support Vector Method // Pattern Recognition and Image Analysis. Vol. 1 1. No. 1. 2001, pp. 91-94.

84. Seredin O.S., Dvoenko S.D., Mottl V.V., Krasotkina О.V. Machine Learning for Signal Recognition by the Criterion of Decision Rule Smoothness // Pattern Recognition and Image Analysis. Vol. 1 1. No. 1. 2001, pp. 87 90.

85. Skunchina M. Dum R.P.YY Bagging For Linear Classifiers. Pattern Recognition. Vol. 31. 1998. No. 7, pp. 909-930.

86. Skunchina M., Duin R.P.W. Stabilizing classifiers for very small sample sizes. In Proceedings of 13th 1С PR, Vienna, pages 891-896. 1996.

87. Sudhavna D. Gowda С. Dimensionality Reduction Using Geometric Projections: A New Technique. Pattern Recognition. Vol. 25, 1992. No. 8, pp. 809-817.

88. Teicher H. Identifiabihty of finite mixtures. Ann. Math. Stat., Vol. 34, 1963, No. 4, pp. 1265-1269.

89. Teicher H. Identifiabihty of mixtures. Ann. Math. Stat., Vol. 32, 1961, pp. 244-248.

90. Teicher H Identifiabihty of mixtures of product measures. Ann. Math. Stat. Vol. 38. 1967. No. 4. pp. 1300-1302.

91. Tou J.Т. Heydorn R.P. Some Approaches to Optimum Feature Extraction, in Computer and Information Sciences-ll (J.T. Tou, ed.), Academic Press, New York.

92. Tseng C. Moret B. A new Method For One-Dimensional Linear Feature Transformation. Pattern Recognition Vol. 23. 1990, No. 7. pp. 745-752.

93. Turner K., Ghosh J. Estimating the Bayes error rate through classifier combining. In Proceedings of 13th 1CPR, Vienna, pp. 695-699, 1996.

94. Vapnik V.N. Estimation of Dependences Based on Empirical Data. Springer. New York. 1982.

95. Vapnik V. The Nature of Statistical Learning Theory. Springer Verlag. New York. 1995.

96. Vapnik V. Statistical Learning Theory. John-Wiley & Sons, Inc. 1998.

97. Veropoulos K., Campbell ('. Cnstiamm N. Contolling the Sensitivity of Support Vector Machines. In Proceedings of the International Joint Conference on Artificial Inelligence (1JCAI99), Workshop ML3, pp. 55-60. Stockholm, Sweden, 1999.

98. Veropoulos K. Cnstiamm N. and Campbell C. The Application of Support Vector Machines to Medical Decision Support: A Case Study. In Proceedings of the ECCAI Advanced Course m .Artificial Intelligence (ACA199), 1999.

99. Zyrianov B.A. Method of Feature Extraction Using Potential Functions. Pattern Recognition. Vol. 23. 1990. No. 7. pp. 753-756.