автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Многоуровневые непараметрические системы распознавания образов на основе декомпозиции обучающей выборки по ее размерности

На правах рукописи

«у аич

Капустин Антон Николаевич

МНОГОУРОВНЕВЫЕ НЕПАРАМЕТРИЧЕСКИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ОБРАЗОВ НА ОСНОВЕ ДЕКОМПОЗИЦИИ ОБУЧАЮЩЕЙ ВЫБОРКИ ПО ЕЁ РАЗМЕРНОСТИ

05.13.01 - Системный анализ, управление и обработка информации (информатика, вычислительная техника, управление)

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

00346Э390

Красноярск - 2009

003469390

Работа выполнена в ФГОУ ВПО «Сибирский федеральный университет» и Институт вычислительного моделирования СО РАН, г. Красноярск

Научный руководитель: доктор технических наук,

профессор

Лапко Василий Александрович

Официальные оппоненты: доктор физико-математических наук,

профессор

Смирнова Елена Валентиновна

кандидат технических наук, доцент

Молоков Вячеслав Витальевич

Ведущая организация: ГОУ ВПО «Сибирский

государственный аэрокосмический университет имени академика М.Ф. Решетнёва»,

г. Красноярск

Защита диссертации состоится «29» мая 2009 г. в 14 часов на заседании диссертационного совета ДМ 212.099.06 при Сибирском федеральном университете по адресу: 660074, Красноярск, ул. Киренского, 26, ауд. УЖ

С диссертацией можно ознакомиться в библиотеке ФГОУ ВПО СФУ по адресу: 660074, Красноярск, ул. Киренского, 26, ауд-2-74.

Отзывы по реферату направлять по адресу: 660074, г. Красноярск, ул. Киренского, 26, ауд. УЛК 319, ученому секретарю диссертационного совета ДМ 212.099.06 Цареву Роману Юрьевичу.

Автореферат разослан « 23 » апреля 2009 г.

115.

Ученый секретарь диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Большинство статистических методов распознавания образов ориентировано на представительные обучающие выборки. Однако при решении прикладных задач часто располагают ограниченным объемом наблюдений — малой выборкой, что обусловливается нестационарностью объекта исследования, высокой стоимостью и сложностью получения дополнительной информации. Получаемые на их основе решающие правила не всегда обеспечивают приемлемые результаты классификации, так как информация малых обучающих выборок недостаточна для эффективного оценивания вероятностных характеристик изучаемых закономерностей.

Для "обхода" проблем малых выборок широко используются принципы декомпозиции систем и последовательные процедуры формирования решений. Подобные методы, представленные в публикациях Растригина J1.A., Розенблатта Ф., Нильсона Н., Патрика Э., Айзермана М.А. были обобщены и развиты в работах Журавлёва Ю.И., Мазурова Вл.Д., Ивахненко А.Г.

Метод комитетов (Мазурова Вл.Д., 1990) основан на лине ином преобразовании семейства упрощённых решающих правил в двухуровневой системе распознавания образов. При этом теряется информация в связи с переходом исходного вектора описания классифицируемых объектов к его булевому представлению при формировании обобщённого уравнения разделяющей поверхности.

Алгебраический подход (Журавлёвым Ю.И., 1978) использует нелинейные процедуры формирования новых эффективных алгоритмов распознавания образов. Отличие исследуемых многоуровневых непараметрических систем распознавания образов состоит в особенностях преобразования мер близостей между контрольной ситуацией и классами, а также используемых математических средствах формирования коллективов алгоритмов классификации. Применение предлагаемых непараметрических систем распознавания образов позволяет обойти проблемы выбора вида преобразований исходной и промежуточной

3

информации при формировании обобщённого решающего правила, упростить процедуру его оптимизации.

Метод группового учета аргументов (МГУА) предложенный Ивахненко А.Г (1990). Данный алгоритм реализует последовательную процедуру усложнения решающего правила путем целенаправленного отбора (селекции) пар, состоящих из первичных и промежуточных признаков. Каждый этап синтеза алгоритма характеризуется отношением п/к = п/2. Алгоритмы МГУА отличаются друг от друга критерием селекции, количеством промежуточных моделей и их сложностью. Недостатком МГУА является резкое повышение вычислительных затрат при увеличении размерности признакового пространства.

Исследования выполнены в рамках гранта РФФИ №07-01-00006 и поддержке Совета по грантам Президента РФ (гранты МД-2130.2005.9, НШ-3428.2006.9).

Объектом исследований являются многоуровневые системы распознавания образов.

Предметом исследований являются методы синтеза и анализа многоуровневых непараметрических системы распознавания образов, основанных на декомпозиции обучающей выборки по её размерности.

Цель диссертационной работы состоит в разработке методических, алгоритмических и информационных средств построения многоуровневых непараметрических систем распознавания образов, основанных на принципах декомпозиции систем и последовательных процедурах формирования решений, обеспечивающих эффективное использование информации обучающих выборок большой размерности, включая априорные сведения о виде решающих функций.

Цель достигается путём решения следующих задач:

1. Развитие методов синтеза и анализа многоуровневых непараметрических систем в задачах распознавания образов, обеспечивающих эффективное использование информации обучающих выборок большой размерности.

2. Исследование свойств многоуровневых непараметрических систем распознавания образов при конечных объёмах обучающих выборок и их сравнение с традиционными непараметрическими классификаторами, определение условий их компетентности.

3. Разработка программных средств, реализующих многоуровневые непараметрические систем распознавания образов и их применение при выборе режимов функционирования неопределенных систем.

Методы исследования. Основные научные и прикладные результаты работы были получены на основе теории обучающихся систем, аппарата теории вероятности и математической статистики, методов коллективного оценивания и статистического моделирования.

Научная новизна результатов исследований

1. Предложена и обоснована оригинальная методика построения непараметрических систем распознавания образов в условиях обучающих выборок большой размерности на основе декомпозиции признаков классифицируемых объектов, построении частных уравнений разделяющих поверхностей и их нелинейном обобщении в едином решающем правиле, что позволяет наиболее полно учитывать априорную информацию и использовать технологию параллельных вычислений.

2. Разработано три модификации двухуровневой непараметрических системы распознавания образов для двуальтернативной задачи классификации, отличающихся видом преобразования частных решающих функций. Их применение обеспечивает достоверное снижение ошибки распознавания образов, на порядок сокращает время формирования решений по сравнению с традиционным непараметрическим классификатором парзеновского типа.

3. С позиций модификации метода дихотомии предложен новый подход синтеза эффективных многоуровневых непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, обобщённый для многоальтернативной задачи классификации.

4. Установлена зависимость оценки вероятности ошибки распознавания образов многоуровневых непараметрических систем распознавания образов от параметров их структуры и особенностей обучающих выборок, что создаёт основу автоматизации проектирования разработанного класса систем.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, имеют существенное значение при развитии теории непараметрических систем распознавания образов и позволяют находить эффективное решение задач классификации в условиях обучающих выборок большой размерности на основе их декомпозиции и использовании технологии параллельных вычислений. Предложенная методика синтеза многоуровневых непараметрических систем распознавания образов допускает развитие при построении моделей стохастических зависимостей при малых объёмах обучающих выборок.

Практическая ценность диссертации заключается в разработке методических, алгоритмических и средств построения многоуровневых непараметрических систем распознавания образов, ориентированных на решение задач классификации объектов различной природы в пространстве их признаков большой размерности, включая условия малых выборок. Использование принципов декомпозиции обучающей выборки по её размерности при синтезе структуры многоуровневых систем распознавания образов обеспечивающих применение технологии параллельных вычислений и позволяет значительно сократить время формирования решений по сравнению с традиционными непараметрическими алгоритмами классификации парзеновского типа.

Структура многоуровневых непараметрических систем распознавания образов гарантирует преемственность результатов научных и прикладных разработок путём использования известных алгоритмов классификации в качестве частных решающих правил классификации.

Рекомендации по выбору рациональных параметров структуры многоуровневых непараметрических систем распознавания образов создают

методическую и алгоритмическую основу автоматизации их проектирования при построении типовых информационных систем.

Достоверность полученных результатов подтверждается корректным использованием современных математических средств синтеза и анализа многоуровневых непараметрических систем распознавания образов, результатами исследований их свойств методом статистического моделирования.

Реализация результатов работы. Разработаны информационные средства синтеза и анализа многоуровневых непараметрических систем распознавания образов, которые использованы при создании автоматизированной системы поддержания микроклимата в хранилище материалов.

На защиту выносятся:

1. Двухуровневые непараметрические системы классификации для решения двуальтернативной задачи распознавания образов, синтез которых основан на декомпозиции обучающей выборки по её размерности, и их свойства.

2. Двухуровневая непараметрическая система классификации для многоальтернативной задачи распознавания образов, синтез которой основан на декомпозиции обучающей выборки по её размерности с учётом статистической независимости наборов признаков.

3. Многоуровневая непараметрическая системы распознавания образов, основанные на модификации метода дихотомии, и её свойства.

4. Результаты применения разработанных программных средств, реализующих многоуровневую непараметрическую систему распознавания образов при решении задачи выбора режима функционирования хранилища материалов.

Апробация работы. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: IV Всероссийская научно-практическая конференция студентов, аспирантов и молодых учёных «Молодежь и современные информационные технологии» (г.Томск, 28 февраля - 2 марта 2006г.), I открытая научно-практическая

конференция молодых работников ГКХ (г. Железногрск, 28-29 сентября 2006г.), VII Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям (с участием иностранных ученых) (г. Красноярск, 1-3 ноября 2006г.), Всероссийская отраслевая конференция «Технология и автоматизация атомной энергетики и промышленности» ТААЭП-2007 (г. Северск, 22-24 мая 2007г.), II открытая научно-практическая конференция молодых работников ГКХ (г. Железногрск, 27-29 сентября 2007г.), VII научно-практическая конференция «Молодёжь в науке» (г. Саров, 28-30 октября 2008 г.).

Публикации. Результаты теоретических, экспериментальных и прикладных исследований опубликованы в семи печатных работах, из них две статьи в журналах, рекомендованных ВАК для представления материалов диссертаций.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка использованной литературы (70 наименований), содержит 113 страниц машинописного текста, иллюстрируется 33 рисунками.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность проблемы синтеза и анализа систем распознавания образов в условиях обучающих выборок большой размерности, сформулирована цель диссертационной работы, обоснована научная новизна, определена теоретическая и практическая значимость полученных результатов.

В первом разделе рассматриваются алгоритмы и системы распознавания образов, при построении которых используются принципы коллективного оценивания. Анализируется структура известных алгоритмов распознавания образов коллективного типа, характеризующаяся множеством элементов, особенностью признакового пространства формирования решения и оператором сопряжения частных решающих

правил. На этой основе предлагается методика классификации коллективов решающих правил, позволяющая систематизировать наиболее известные подходы и определить новые постановки задач распознавания образов.

Во втором разделе с позиции последовательных процедур формирования решений и принципов коллективного оценивания предлагаются статистические модели распознавания образов, представляющие собой семейство частных решающих функций, организация которых в нелинейном решающем правиле осуществляется с помощью методов непараметрической статистики. Частные решающие функции формируются на основе декомпозиции обучающей выборки по её размерности. Возможность разбиения исходных признаков на группы часто определяется спецификой решаемой задачи либо особенностью признаков классифицируемых объектов. Это порождает широкий круг постановок задач синтеза непараметрических систем распознавания образов. При интеграции частных решающих функций используются непараметрические оценки оптимальных байесовских решающих правил.

В соответствии с особенностями задачи классификации сформируем наборы признаков x(t), г = 1 ¡T и осуществим декомпозицию исходной обучающей выборки на однородные части F(t) = (x'(t), a(i), i = hñ} ( = 1,7, где «указания учителя» a (i) принимают значения -1\ 1, если х' принадлежит первому либо второму классу.

По выборке V(t) построить частные непараметрические решающие правила mn(x(t)), которым соответствуют уравнения разделяющих поверхностей /12(х(г)), f = 1

Обобщённая решающая функция

^ Ы J /-1 /-1 \ С! )

строится в пространстве вторичных признаков /|2 (x(t)), t = ÜT по выборке (/|20'(/), t = сг(г), / = \ji). Здесь Ф() - ядерные функции, удовлетворяющие условиям положительности, симметричности и нормированности; с, =с,(л), г = 1 ,Т - убывающие с ростом п их коэффициенты размытости.

Двухуровневая структура предлагаемой непараметрической системы распознавания образов приведена на рисунке 1.

На первом уровне структуры системы классифицируемая ситуация * преобразуется в значения непараметрических оценок /¡2(х(0)> ( = Г/Г, в пространстве которых принимается обобщённое решение а(х) правилом т(/12(х))о принадлежности ситуации х к тому или иному классу.

Рисунок 1 - Структура двухуровневой непараметрической системы распознавания образов Предложено две модификации данного подхода, отличающиеся методикой синтеза обобщённого решающего правила. В первой модификации обобщённые решения формируются в пространстве частных решений ст,(0.1 = на основе частотного метода распознавания образов. Во второй - классификация на последнем уровне структуры осуществляется в пространстве значений оценок условных плотностей вероятности распределения признаков х в классах (р, (*(/)). ( = 1,Т, 7 = 1,2) с помощью непараметрического алгоритма распознавания образов.

В отличие от алгебраического метода нелинейные непараметрические системы используют в основном информацию обучающих выборок. Причём взаимосвязанные элементы коллектива (частные решающие функции) в соответствии со спецификой решаемой задачи могут не иметь

самостоятельного значения. Их обобщение в единой решающей функции осуществляется с помощью непараметрических методов статистики.

В результате анализа результатов вычислительных экспериментов обнаружен экстремальный характер зависимости оценки вероятности ошибки распознавания образов предлагаемой системы классификации от количества Т частных решающих правил. Их применение в три раза снижает ошибку классификации на контрольных выборках, что особенно проявляется при малых объёмах экспериментальных данных. При использовании технологии параллельных вычислений время классификации снижается в Г раз.

В третьем разделе предлагаются методики построения непараметрических классификаторов для многоальтернативной задачи распознавания образов у = 1, М, основанные на декомпозиции

обучающей выборки по её размерности и технологии параллельных вычислений. Исследуются свойства показателей эффективности многоуровневых непараметрических систем распознавания образов с помощью метода статистического моделирования.

1. Методика декомпозиции обучающей выборки по её размерности с учётом независимости наборов признаков классифицируемых объектов. Будем считать, что признаки х классифицируемых объектов допускают разбиение на независимые группы признаков *(/), / = \~Т.

По полученным выборкам к(/) построить частные непараметрические решающие правила, например, соответствующие критерию максимального правдоподобия

т,(х(г)):хбП(., если р .(х(г)) = шахр (*(/)), ? = 1 ,Т, 1 г=\,м

где - непараметрические оценки плотности вероятности типа

Розеблатта-Парзена распределения признаков х в классах Пг, у = \,М.

Оптимизация решающих правил т,(х(/)) из условия минимума оценки вероятности ошибки распознавания образов осуществляется по обучающим выборкам / = 17? в режиме «скользящего экзамена».

Тогда решающее правило второго уровня структуры непараметрической

системы классификации запишется в виде

_ т _ т _

да(х):хбПу, если =

1.1 Г'1М >.1

Для формирования наборов х(/), г = 17г организуется вычислительный эксперимент и определяются оценки ошибок распознавания образов ~р1 для каждого класса в пространстве признака хр у = 17к и их парных сочетаний Ру, /,7=1, Л, ].

По полученным данным строится информационный граф, вершины которого соответствуют признакам х классифицируемых объектов. Между двумя вершинами графа существует ребро, если произведение с

некоторым уровнем доверия р достоверно отличается от оценки ошибки распознавания образов р^ для каждого класса. Провести декомпозицию

графа на сильные компоненты, количество которых соответствует значению Т, а вершины - наборам признаков *(/), / = 17?.

Показано, что при использовании технологии параллельных вычислений время принятия решения в предлагаемой системе в Г раз меньше по сравнению с традиционным непараметрическим алгоритмом ядерного типа.

2. Модифицированный метод дихотомии. Проведём декомпозицию признаков х = х({), / = \,Т и сформируем обучающие выборки (г) = (х'(г), с(¡'), г е /у) г = \7Г, у = 1,М-1 между классом Г21 и областью м

П/ = и^г • Здесь 1] - множество номеров ситуаций из исходной обучающей

Г-1* 1

выборки, принадлежащих и П-.

На этой основе, следуя методике синтеза двухуровневых непараметрических систем классификации (раздел 2), построим частные решающие функции Сформируем обучающие выборки

(х'(?)], г = 1 ,Т, ст(г), I е | у = 1,М-1, по которым осуществим синтез непараметрических решающих функций второго уровня типа (1)

Обобщённое решение формируется на третьем уровне структуры непараметрической системы классификации в соответствии с правилом х 6 QJ , если ,1 = йт)>0,г = Г/Г1

хеПи, если Л/-,(/„.,.„(*('))> / = Сг)> 0 .

Определены условия, при которых предлагаемая система имеет большую вычислительную эффективность по сравнению с традиционным непараметрическим -классификатором.

3. Методика синтеза многоуровневых непараметрических систем распознавания образов, основанная на методе дихотомии. Проведём ранжирование классов обучающей выборки по значениям показателя разброса их признаков, что позволяет задать порядок принадлежности классов обучающей выборки к уровням многоуровневой непараметрической системы. Для каждого уровня структуры системы создаётся подвыборка из класса конкретного уровня и объединения классов, для которых значения показателя разброса их признаков меньше. Такие подвыборки для уровней структуры системы будем называть текущими обучающими выборками.

Текущая обучающая выборка каждого уровня разбивается на Т частей согласно методике, описанной выше. В пространствах признаков каждой их группы строятся частные непараметрические оценки уравнений разделяющих поверхностей, обобщение которых в единой решающей функции осуществляется в соответствии с методикой представленной в разделе 2.

Аналогично строятся подсистемы классификации с двухуровневой структурой для распознавания ситуаций класса Q.J и области

Ъ=()аг,] = 1,М-1.

Процесс классификации начинается в первой двухуровневой непараметрической подсистеме, где принимается решение о

и

принадлежности ситуации х к классу £2,, либо к = . Если хеЦ,

Г-2

решение считается принятым, иначе (при хе Ц) для классификации ситуации х задействуется вторая подсистема и т.д.

Методом вычислительного эксперимента исследовалана оценка вероятности ошибки распознавания образов предлагаемых непараметрических систем от параметров структуры системы, объема обучающей выборки и размерности признаков классифицируемых объектов.

Рассматривается влияние эффективности функционирования алгоритмов первых уровней структуры системы на точность принимаемых решений. С этой целью изменялись оптимальные коэффициенты размытости ядерных функций с = кс непараметрических решающих правил первых подуровней структуры системы классификации. При к=1 ошибка классификации была минимальной. С уменьшением к или его увеличением ошибка классификации увеличивалась. Часть результатов исследования представлена на рисунке 2.

Рисунок 2 - Зависимости оценок вероятностей ошибок распознавания образов традиционного иепараметрического классификатора (кривая б) и многоуровневой непараметрической системы при количестве групп признаков Т = 3 , размерности группы признаков *(/) - 4. Кривые 1-5 соответствуют значениям кг = 0,5, к2 = 0,75, к2 =1, к2 = 1,25, к2 = 1,5

Анализ результатов вычислительного эксперимента показывает, что качество решений первых уровней структуры непараметрической системы

классификации влияет на точность распознавания при значительном отклонении (более чем на 25%) параметров с от оптимальных с". С увеличением объёма обучающей выборки зависимость оценки вероятности ошибки классификации от качества работы первых подуровней многоуровневой непараметрической системы распознавания образов снижается.

Приводятся результаты расчёта оценки вычислительной эффективности предлагаемой системы по сравнению с традиционным непараметрическим классификатором. Показано, что применение технологии параллельных вычислений позволяет от 2 до Г раз сократить время формирования решений по сравнению с традиционным непараметрическим классификатором. При этом оценка вероятности ошибки исследуемой системы классификации меньше традиционной в 1,5 раза, а при больших объёмах обучающей выборки в 1,2 раза.

В четвертом разделе предлагается программное обеспечение построения многоуровневых непараметрических систем классификации, основанных на декомпозиции обучающей выборки по её размерности. Для эффективной реализации предлагаемого подхода был использован объектно-ориентированный язык программирования С++. В качестве объектно-ориентированной визуальной среды разработки выбрана Borland С++ Builder 6.0 в связи с возможностью в дальнейшем создавать кросс-платформенные приложения. Программное обеспечение предназначено для функционирования в OS Microsoft Windows 2000 и выше. Рассматриваются результаты применения разработанного программного обеспечения при выборе режимов функционирования хранилища материалов.

Состояние хранилища определяется набором признаков x = (xv,v = ïд), отражающих температуру, влажность, внутреннее давления воздуха внутри хранилища и внешней среды, уровнем загруженности (процент заполнения) хранилища. Требуемые состояния хранилища обеспечиваются системами вентиляции, обогрева, охлаждения, множество режимов функционирования которых является конечным Rp j = \,М.

Имеется информация V = (х',сг(х'),1 = Пй), характеризующая выбор а[х') оператором хранилища того или иного режима работы системы вентиляции и системы обогрева или охлаждения из множества = \М в условиях х'.

Тогда проблема поддержки заданного состояния хранилища материалов сводится к выбору в условиях х конкретного режима функционирования системы вентиляции, обогрева и охлаждения в рамках аппарата теории распознавания образов.

Анализ исходной обучающей выборки показал, что наиболее тяжёлые условия работы хранилища приходятся на весенний, летний и осенний период при высоких колебаниях температуры окружающей среды и относительной влажности. При этом средняя ошибка выбора режима функционирования составила 3 % от общего числа решений принятых оператором. После увеличения объема обучающей выборки за счёт летних месяцев ошибка распознавания режима работы снизилась до 0.8 %.

3.5 3 2.5 2 1.5 1

0.5 О

л Л н л >5 л Л ь л л л л

а. с о. с; га X ц о а а а а.

га и « ш г 2 5 г ю ю ю ю

ш о. г а. ш < в; о; к я

X К 01 о © с < н X ш О Ё О 0 1 * а а

Рисунок 3 - Усреднённая зависимость количества ошибочных решений от времени года

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Сформулированная цель диссертации достигнута, получены следующие основные результаты и выводы:

1. С учётом особенностей пространства формирования частных решений и вида обобщающего их оператора предложена методика типизации алгоритмов распознавания образов коллективного типа, что позволило

16

систематизировать наиболее известные методы классификации и определить условия применения исследуемых в диссертации нелинейных непараметрических коллективов решающих правил с многоуровневой структурой.

2. С позиции принципов декомпозиции исходной задачи и коллективного оценивания разработаны оригинальные нелинейные непараметрические классификаторы с двухуровневой структурой для двуальтернативной задачи распознавания образов в условиях обучающих выборок большой размерности. Их применение обеспечивает значительное снижение ошибки распознавания образов на контрольных выборках в (1.5-3 раза) и на порядок сократить время формирования решения с использованием технологии параллельных вычислений по сравнению с традиционным непараметрическим классификатором.

Разработана методика синтеза двухуровневых непараметрических систем распознавания образов для многоальтернативных задач классификации, основанная на формировании независимых групп признаков исследуемых объектов, построении на этой основе частных и обобщённого решающих правил. При этом вычислительная эффективность решения двух и многоальтернативных задач распознавания образов незначительно отличаются.

На основе метода дихотомии и его модификаций предложенный подход синтеза многоуровневых непараметрических систем распознавания образов обобщён на многоальтернативную задачу классификации.

3. При проведении исследований установлено достоверное преимущество предлагаемых многоуровневых непараметрических систем классификации над традиционным непараметрическим алгоритмом распознавания образов парзеновского типа, что особо проявляется при относительно малых значениях отношения «объём / размерность выборки)». При этом оценка вероятности ошибки распознавания образов исследуемой системы классификации меньше традиционной в 1,5 раза, а при больших объёмах обучающей выборки в 1,2 раза.

По результатам анализа данных вычислительного эксперимента определена зависимость оценки вероятности ошибки распознавания образов многоуровневых непараметрических классификаторов от параметров их структуры и особенностей обучающей выборки. Эффективность многоуровневой непараметрических системы распознавания образов устойчива к отклонениям параметров частых решающих правил первого уровня структуры от оптимальных.

Обнаружен экстремальный характер зависимости оценки вероятности ошибки распознавания образов от количества Г частных решающих правил первого уровня структуры многоуровневой непараметрической системы классификации. Положение экстремума зависит от объёма исходной выборки и размерности признаков классифицируемых объектов.

4. Разработано программное обеспечение, реализующее построение многоуровневых непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, адаптируемое к объектам различной природы и условиям их исследования. Его функциональные возможности обеспечивают синтез рациональной структуры многоуровневых непараметрических систем классификации и оценку показателей эффективности задачи классификации. Использование разработанного программного обеспечения позволило снизить влияние субъективного фактора на функционирование хранилища материалов и уменьшить ошибку выбора режима регулирования его состояния в три раза.

ПУБЛИКАЦИИ АВТОРА ПО ТЕМЕ ДИССЕРТАЦИИ:

В изданиях включённых в ВАК для публикаций результатов . диссертаций:

1. Лапко В. А., Бадмаев Р.В., Капустин А.Н. - Нелинейные непараметрические коллективы решающих правил Л Вестник КрасГУ, 2006, №4.-с. 103-108.

2. Лапко В.А., Капустин А.Н. - Синтез нелинейных непараметрических решающих правил в задаче распознавания образов. // Автометрия, 2006, №6. - с.26-33.

В прочих изданиях:

3. Лапко В.А., Капустин А.Н. - Гибридные системы распознавания образов в задаче управления состоянием хранилища сельскохозяйственной продукции // Вестник КрасГУ, 2007, №4. - с.36-43.

4. Лапко В. А. Капустин А.Н. Нелинейные непараметрические коллективы решающих правил в задачах распознавания образов // Сборник трудов IV Всероссийская научно-практическая конференция студентов, аспирантов и молодых учёных г.Томск 28 февраля - 2 марта 2006 г. - ТПУ 2006г. -с.111-113.

5. Капустин А.Н. Синтез и анализ непараметрических коллективов решающих правил в задаче распознавания образов // «I Открытая научно-практическая конференция молодых работников ГХК»: Сборник докладов. Железногорск, 28-29 сентября 2006 год. ФГУП «ГХК» - г. Железногорск: ФГУП «ГХК», 2006. - с.75-83.

6. Капустин А.Н. Многоуровневый непараметрический алгоритм распознавания образов в условиях малых выборок // «II Открытая научно-практическая конференция молодых работников ГХК»: Сборник докладов. Железногорск, 27-29 сентября 2007 год. ФГУП «ГХК» - г. Железногорск: ФГУП «ГХК», 2007. - с.75-80.

7. Капустин А.Н. Использование алгоритмов распознавания образов в управлении документами в рамках системы менеджмента качества // «И Открытая научно-практическая конференция молодых работников ГХК»: Сборник докладов. Железногорск, 27-29 сентября 2007 год. ФГУП «ГХК» -г. Железногорск: ФГУП «ГХК», 2007. - с.80-85.

Капустин Антон Николаевич Многоуровневые непараметрические системы распознавания образов на основе декомпозиции обучающей выборки по её размерности Автореф. дисс. На соискание учёной степени кандидата технических наук Подписано в печать 24.04.2009. Заказ №2/354 Формат 60x90/16. Усл. печ. л. 1. Тираж 100 экз. Отепечатано во ИПК ФГОУ ВПО «Сибирский федеральный университет»

Введение

1 Анализ коллективов решающих правил в задачах 10 распознавания образов

1.1 Классификация статистических алгоритмов распознавания 10 образов коллективного типа

1.2 Традиционные методы построения коллективов решающих 13 правил

1.3 Метод комитетов Вл.Д. Мазурова

1.4 Алгебраический подход Ю.И. Журавлёва

1.5 Метод группового учёта аргументов в задаче распознавания 19 образов

1.6 Непараметрические алгоритмы обучения распознаванию 20 образов

1.7 Многоуровневые системы распознавания образов

1.8 Линейные непараметрические коллективы решающих правил 28 Выводы

2 Нелинейные непараметрические коллективы в 32 двуальтернативной задаче распознавания образов

2.1 Нелинейные непараметрические коллективы решающих 32 правил, основанные на оценках частных решающих функций

2.2 Нелинейные непараметрические коллективы решающих 38 правил, основанные на оценках частных решений

2.3 Нелинейные непараметрические коллективы решающих 40 правил, основанные на оценках частных плотностей вероятности

2.4 Исследование свойств нелинейных непараметрических 42 коллективов решающих правил

Выводы

3 Синтез и анализ непараметрических систем распознавания 50 для многоальтернативной задачи классификации

3.1 Постановка задачи распознавания образов

3.2 Методика синтеза многоуровневых непараметрических 51 систем распознавания образов, основанная на методе дихотомии

3.3 Синтез непараметрических систем распознавания образов, 59 основанных на декомпозиции обучающей выборки с учётом статистической независимости наборов признаков

3.4 Модификация непараметрической системы классификации, 62 основанная на методе дихотомии

3.5 Исследование свойств многоуровневых непараметрических 65 систем распознавания образов

Выводы

4 Программное обеспечение, реализующее многоуровневые 86 непараметрические системы распознавания образов, и его применение

4.1 Назначение и функциональные возможности программного 86 обеспечения

4.2 Структура программного обеспечения

4.3 Инструкции пользователю программного обеспечения для 95 проведения вычислительных экспериментов

4.4 Применение программного обеспечения при выборе режимов 98 функционирования хранилища материалов

Выводы

Актуальность работы. Большинство статистических методов распознавания образов ориентировано на представительные обучающие выборки. Однако при решении прикладных задач часто располагают ограниченным объемом наблюдений — короткой либо малой выборкой, что обусловливается нестационарностью объекта исследования, высокой стоимостью и сложностью получения дополнительной информации. Получаемые на их основе решающие правила не всегда обеспечивают приемлемые результаты классификации, так как информация малых обучающих выборок недостаточна для оценивания вероятностных характеристик изучаемых закономерностей.

Для "обхода" проблем малых выборок широко использовались принципы декомпозиции систем и последовательные процедуры формирования решений. Множества ранее разработанных методов, представленные в работах Растригина JI.A., Розенблатта Ф., Нильсона Н., Патрика Э., Айзермана М.А. были обобщены и развиты в работах Мазурова Журавлёва Ю.И., Вл.Д., Ивахненко А.Г.

В соответствии с подходом Вл.Д. Мазурова (метод комитетов, 1990), для увеличения отношения "объем/размерность" (п/к) обучающей выборки формируются наборы признаков классифицируемых объектов, в пространстве которых строятся частные решающие правила. Для получения обобщенного решения используются методы коллективного оценивания на основе вторичных факторов, соответствующих количеству наборов исходных признаков. Недостатком метода комитетов является потеря информации при переходе от исходного вектора описания классифицируемых объектов к его булевому представлению при формировании обобщённого уравнения разделяющей поверхности.

Идея алгебраического подхода, предложенного Журавлёвым Ю.И в 1989 году, состоит в представлении алгоритма распознавания образов в виде двух операторов: распознающего и решающего правила. Распознающий оператор определяет меру близости контрольного объекта с каждым классом, а решающее правило относит ситуацию к конкретному классу. С распознающими операторами различных алгоритмов распознавания образов можно производить алгебраические операции (сложения, умножения и умножения на число). Априорные сведения составляют обучающая выборка и конечное множество алгоритмов распознавания образов, имеющих самостоятельное значение. Необходимость определения вводимых порогов, констант, коллективов алгоритмов и порядок алгебраического замыкания создают вычислительные трудности в реализации предлагаемого подхода.

Метод группового учета аргументов (МГУ А) предложенный Ивахненко А.Г (1990). Данный алгоритм реализует последовательную процедуру усложнения решающего правила путем целенаправленного отбора (селекции) пар, состоящих из первичных и промежуточных признаков. Каждый этап синтеза алгоритма характеризуется отношением п/к = п/2. Алгоритмы МГУА отличаются друг от друга критерием селекции, количеством промежуточных моделей и их сложностью. Недостатком МГУА является резкое повышение вычислительных затрат при увеличении размерности признакового пространства.

В работе с позиции последовательных процедур принятия решений и принципов коллективного оценивания предлагаются статистические модели распознавания образов, представляющие собой семейство частных решающих функций, организация которых в нелинейном решающем правиле осуществляется с помощью методов непараметрической статистики. Частные решающие функции формируются на основе однородных частей обучающей выборки, которые удовлетворяют одному или нескольким требованиям, например, наличие однотипных признаков, возможность декомпозиции исходных признаков на группы в соответствии со спецификой решаемой задачи. Это порождает широкий круг постановок задач синтеза непараметрических систем распознавания образов. При интеграции частных решающих функций используются непараметрические оценки оптимальных байесовских решающих правил.

Исследования выполнены в рамках гранта РФФИ №07-01-00006 и поддержке Совета по грантам Президента РФ (гранты МД-2130.2005.9, НШ-3428.2006.9).

Объектом исследований являются многоуровневые системы распознавания образов.

Предметом исследований являются методы синтеза и анализа многоуровневых непараметрических системы распознавания образов, основанных на декомпозиции обучающей выборки по её размерности.

Цель диссертационной работы состоит в разработке методических, алгоритмических и информационных средств построения многоуровневых непараметрических систем распознавания образов, основанных на принципах декомпозиции систем и последовательных процедурах формирования решений, обеспечивающих эффективное использование информации обучающих выборок большой размерности, включая априорные сведения о виде решающих функций.

Цель достигается путём решения следующих задач:

1. Систематизация существующих наиболее известных методов классификации, определение условий их применимости.

2. Развитие методов синтеза и анализа многоуровневых непараметрических систем в задачах распознавания образов, обеспечивающих эффективное использование информации обучающих выборок большой размерности.

3. Исследование свойств многоуровневых непараметрических систем распознавания образов в многоальтернативной задаче распознавания образов, при конечных объёмах обучающих выборок и их сравнение с традиционными непараметрическими классификаторами, определение области их компетентности.

4. Разработка и внедрение результатов теоретических исследований и программных средств, реализующих многоуровневые непараметрические систем распознавания образов, при выборе режимов функционирования неопределенных систем.

Методы исследования. Основные теоретические и прикладные результаты работы были получены на основе теории обучающихся систем, аппарата теории вероятности и математической статистики, методов коллективного оценивания и статистического моделирования.

Научная новизна результатов исследований 1. Предложена и обоснована оригинальная методика построения непараметрических систем распознавания образов в условиях обучающих выборок большой размерности на основе декомпозиции признаков классифицируемых объектов, построении частных уравнений

разделяющих поверхностей и их обобщении в едином решающем правиле, что позволяет наиболее полно учитывать априорную информацию и использовать технологию параллельных вычислений.

2. Разработано три модификации двухуровневой непараметрических системы распознавания образов для двуальтернативной задачи классификации, отличающихся видом преобразования частных решающих функций. Их применение обеспечивает достоверное снижение ошибки распознавания образов, на порядок сокращает время формирования решений по сравнению с традиционным непараметрическим классификатором парзеновского типа.

3. С позиций модификации метода дихотомии предложен подход синтеза эффективных непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, обобщённый для многоальтернативной задачи классификации.

4. Установлена зависимость оценки вероятности ошибки распознавания образов многоуровневых непараметрических систем распознавания образов от параметров их структуры и особенностей обучающих выборок, что создаёт основу автоматизации проектирования разработанного класса систем.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, имеют существенное значение при развитии теории непараметрических систем распознавания образов и позволяют находить эффективное решение задач классификации в условиях обучающих выборок большой размерности на основе их декомпозиции и использовании технологии параллельных вычислений. Предложенная методика синтеза многоуровневых непараметрических систем распознавания образов допускает развитие при построении моделей стохастических зависимостей при малых объёмах обучающих выборок. разработке методики, алгоритмических и программных средств построения многомерных непараметрических систем распознавания образов, ориентированных на решение задач классификации объектов различной природы в пространстве их признаков большой размерности, включая условия малых выборок.

Практическая ценность диссертации заключается в возможности использования принципов декомпозиции обучающей выборки по её размерности при синтезе структуры многоуровневых систем распознавания образов обеспечивающих применение технологии параллельных вычислений и в несколько раз сократить время формирования решений по сравнению с традиционными непараметрическими алгоритмами классификации парзеновского типа.

Структура многоуровневых непараметрических систем распознавания образов гарантирует преемственность результатов научных и прикладных разработок путём использования известных алгоритмов классификации в качестве частных решающих правил.

Рекомендации по выбору рациональных параметров структуры многоуровневых непараметрических систем распознавания образов создают методическую и алгоритмическую основу автоматизации их проектирования при построении типовых информационных систем.

Достоверность полученных результатов подтверждается корректным использованием современных математических средств синтеза и анализа многоуровневых непараметрических систем распознавания образов, результатами исследований их свойств методом статистического моделирования, совпадением модельных данных с экспериментальными.

Реализация результатов работы. Разработаны многоцелевые информационные средства синтеза и анализа многоуровневых непараметрических систем распознавания образов, которые использованы при создании автоматизированной системы поддержания микроклимата в хранилище материалов.

На защиту выносятся:

1. Двухуровневые непараметрические системы классификации для двуальтернативной задачи распознавания образов, основанная на декомпозиции выборки по её размерности, и их свойства.

2. Двухуровневая непараметрическая система классификации для многоальтернативной задачи распознавания образов, синтез которой основан на декомпозиции обучающей выборки по её размерности с учётом статистической независимости наборов признаков.

3. Многоуровневые непараметрические системы распознавания образов, основанные на модификации метода дихотомии, и их свойства.

4. Результаты применения разработанных программных средств, реализующих многоуровневую непараметрическую систему распознавания образов, при решении задачи выбора режима функционирования хранилища материалов.

Апробация работы. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: IV Всероссийская научно-практическая конференция студентов, аспирантов и молодых учёных «Молодежь и современные информационные технологии» (г.Томск, 28 февраля — 2 марта 2006г.), I открытая научно-практическая конференция молодых работников ГКХ (г. Железногрск, 28-29 сентября 2006г.), VII Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям (с участием иностранных ученых) (г. Красноярск, 1-3 ноября 2006г.), Всероссийская отраслевая конференция «Технология и автоматизация атомной энергетики и промышленности» ТААЭП-2007 (г. Северск, 22-24 мая 2007г.), II открытая научно-практическая конференция молодых работников ГКХ (г. Железногрск, 27-29 сентября 2007г.), VII научно-практическая конференция «Молодёжь в науке» (г. Саров, 28-30 октября 2008 г.).

Публикации. Результаты теоретических, экспериментальных и прикладных исследований опубликованы в семи печатных работах, из них две статьи в журналах, рекомендованных ВАК для представления материалов диссертаций.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка использованной литературы (70 наименований), содержит 113 страниц машинописного текста, иллюстрируется 33 рисунками.

выводы

1. Разработано программное обеспечение, реализующее построение многоуровневых непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, адаптируемое к объектам различной природы и условиям их исследования.

2. Функциональные возможности обеспечивают синтез рациональной структуры многоуровневых непараметрических систем классификации и оценку показателей эффективности задачи классификации.

3. Использование разработанного программного обеспечения позволило снизить влияние субъективного фактора на функционирование хранилища материалов и уменьшить ошибку . выбора режима регулирования его состояния в три раза.

ЗАКЛЮЧЕНИЕ

Сформулированная цель диссертации достигнута, получены следующие основные результаты и выводы:

1. С учётом особенностей пространства формирования частных решений и вида обобщающего их оператора предложена методика типизации алгоритмов распознавания образов коллективного типа, что позволило систематизировать наиболее известные методы классификации и определить условия применения исследуемых в диссертации нелинейных непараметрических коллективов решающих правил многоуровневой структурой.

2. С позиции принципов декомпозиции исходной задачи и коллективного оценивания разработаны оригинальные нелинейные непараметрические классификаторы с двухуровневой структурой для двуальтернативной задачи распознавания образов в условиях обучающих выборок большой размерности. Их применение обеспечивает значительное снижение ошибки распознавания образов на контрольных выборках в (1.5-3) раза и на порядок с использованием обучающих выборок по сравнению с традиционным непараметрическим классификатором.

3. На основе метода дихотомии и его модификаций предложен подход синтеза непараметрических систем распознавания образов обобщён на многоальтернативную задачу классификации.

Установлено достоверное преимущество предлагаемых многоуровневых непараметрических систем классификации над традиционным непараметрическим алгоритмом распознавания образов парзеновского типа, которые особо проявляются при относительно малых значениях отношения «объёль выборки/(количество классов х размерность выборки)». При этом оценка вероятности ошибки исследуемой системы классификации меньше традиционной в 1,5 раза, а при больших значения в 1,2 раза.

4. Обоснована методика синтеза двухуровневых непараметрических систем распознавания образов для многоальтернативных задач классификации, основанная на формировании независимых групп признаков исследуемых объектов, построении на этой основе частных и обобщённых решающих правил. При этом вычислительная эффективность решения двух и многоальтериативных задач распознавания образов мало отличаются.

5. По результатам анализа данных вычислительного эксперимента определена зависимость оценки вероятности ошибки распознавания образов многоуровневых непараметрических классификаторов от параметров их структуры и особенностей обучающей выборки. Для эффективной работы предлагаемых непараметрических систем необходимо на первых уровнях структуры формировать независимые наборы признаков, а их размерность должна быть соизмерима с количеством групп признаков. Эффективность многоуровневой непараметрический системы слабо зависит от ошибок классификации частных решающих правил первого уровня структуры.

Обнаружен экстремальный характер зависимости оценки вероятности ошибки распознавания образов от количества Т частных решающих правил. Положение экстремума зависит от объёма исходной выборки и размерности признаков классифицируемых объектов.

6. Разработано программное обеспечение, реализующее построение многоуровневых непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, адаптируемое к объектам различной природы и условиям их исследования. Его функциональные возможности обеспечивают синтез рациональной структуры многоуровневых пепараметрических систем классификации и оценку показателей эффективности задачи классификации. Использование разработанного программного обеспечения позволило снизить влияние субъективного фактора на функционирование хранилища материалов и уменьшить ошибку выбора режима регулирования его состояния в три раза.

1. Айвазян, С.А. Прикладная статистика. Исследование зависимостей / С.А. Айвазян, И.С. Еников, Л.Д. Мешалкин. М.: Финансы и статистика, 1985. -487с.

2. Алгоритмы и программы восстановления зависимостей / В.Н. Вапник, Т.Г. Глазкова и др. М.: Наука, 1984.- 815 с.

3. Андреев, Н.А. Об одной модели консилиума / Н.А. Андреев, J1.A. Растригин, Р.Х. Эренштейн // Адаптивные системы. Рига: Зипатне, 1972. -(Вып. 2.) - С. 16-25.

4. Бусленко, Н.П. Метод статистических испытаний / Н.П. Бусленко, Ю.А. Шрейдер. М.: Государственное издательство физико-математической литературы, 1961. - 228с.

5. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник М.: Наука, 1979. - 447с.

6. Вапник, В.Н. Теория распознавания образов / В.Н. Вапник, А .Я. Черновенкис. М.: Наука, 1974. - 414 с.

7. Варядченко, Т.В. Непараметрический метод обращения функции регрессии / Т.В. Варядченко, В.Я. Катковник //Стохастические системы управления. Новосибирск: Наука, 1979. - С.4-14.

8. Васильев, В.И. Конструирование пространств в процессе обучения распознаванию образов / В.И. Васильев // Автоматика. 1982.- №5. - С. 18-27.

9. Гмурман, В.Е. Теория вероятностей и математическая статистика: Учеб. пособие / В.Е. Гмурман. М.: Высш. шк., 1999. — 479с.

10. Головченко, В.Б. Комбинирование моделей неопределённости / В.Б. Головченко. — Новосибирск: Наука, 2002. — 190с.

11. Горелик, А.А. Методы распознавания / А.А. Горелик, В.А. Скрипник.1. М: Высш. шк, 1977. 222 с.

12. Дервой, Л., Дьерфи Л. Непараметрическое оценивание плотности (/,,-подход) / Л. Дервой, Л. Дьерфи. М.: Мир, 1988. - 407с.

13. Дуда, Р. Распознавание образов и сцен / Р. Дуда, П. Харт. М.: Мир, 1976. - 511 с.

14. Епанечников, В.А. Непараметрическая оценка многомерной плотности вероятности / В.А. Епаненчиков // Теория вероятности и ее применения, 1969. Т.Н.-(Вып. 1). -С.156-161.

15. Живоглядов, В.П. Непараметрические алгоритмы адаптации / В.П. Живоглядов, А.В. Медведев. Фрунзе: Илим, 1974. - 134с.

16. Журавлёв, Ю.И. Избранные научные труды / Ю.И. Журавлёв. М.: Издательство Магистр, 1998. - 420 с.

17. Журавлёв, Ю.И. Класс коллективно-групповых решающих правил, основанных на дисперсионном критерии компетентности предикторов / Ю.И. Журавлёв, Н.Г. Загоруйко // Анализ данных и сигналов, Новосибирск, 1998. (Вып. 163). - С.82-90.

18. Загоруйко, Н.Г. Комбинированный метод принятия решений / Н.Г. Загоруйко // Вычислительные системы, Новосибирск. — 1966. — (Вып.28). С.22-31.

19. Ивахненко, А.Г. Долгосрочное прогнозирование и управление сложными системами / А.Г. Ивахненко. Киев: Техника, 1975. - 372с.

20. Ивахненко, А.Г. Непараметрический комбинаторный алгоритм МГУА на операторах поиска аналогов / А.Г. Ивахненко, В.А. Чаинская, Н.А. Ивахненко // Автоматика, 1990. № 5. - С. 14-27.

21. Ивахненко, А.Г. Непараметрический комбинированный алгоритм МГУАна операторах поиска аналогов / А.Г. Ивахненко // Автоматика, 1990. -№5. С. 14-27.

22. Ивахненко, А.Г. Самоорганизация прогнозирующих моделей / А.Г. Ивахненко, Й.А. Мюллер. Киев: Техника, 1985. - 223с.

23. Искусственный интеллект и экспертные системы: Сборник научных трудов / Под общей ред. Н.Г. Загоруйко. Новосибирск: ИМ СО РАН, 1997. - 218с.

24. Капустин А.Н. Нелинейные непараметрические коллективы решающих правил / Лапко В.А., Бадмаев Р.В., Капустин А.Н., // Вестник КРАСГУ, 2006, №4. -с.103-108.

25. Капустин А.Н. Синтез нелинейных непараметрических решающих правил в задачах распознавания образов. / Лапко В.А., Капустин А.Н. // Автометрия, 2006 №6. с.26-33.

26. Катковник, В.Я. Линейные и нелинейные методы непараметрического регрессионного анализа / В.Я. Катковник // Автоматика, 1979. №5. - С. 165-170.

27. Катковник, В.Я. Линейные оценки и стохастические задачи оптимизации. -М.:Наука, 1976. 188с.

28. Катковник, В.Я. Непараметрическая идентификация и сглаживание данных: Метод локальных аппроксимаций / В.Я. Катковник. М.: Наука,1985.-336с.

29. Лапко, А.В. Многоуровневые непараметрические системы принятия решений / А.В. Лапко, С.В. Ченцов. Новосибирск: Наука, 1997. - 200с.

30. Лапко, А.В. Непараметрические модели коллективного типа / А.В. Лапко, В.А. Лапко, М.И. Соколов, С.В. Ченцов. Новосибирск: Наука, 2000. - 144с.

31. Лапко, А.В. Непараметрические модели распознавания образов в условиях малых выборок / А.В. Лапко, В.А. Лапко, С.В. Ченцов // Автометрия, 1999. №6. - С. 105-113.

32. Лапко, А.В. Непараметрические системы классификации / А.В. Лапко, В.А. Лапко, М.И. Соколов, С.В. Ченцов. Новосибирск: Наука, 2000. -240с.

33. Лапко, А.В. Обучающиеся системы обработки информации и принятия решений / А.В. Лапко, С.В. Ченцов, С.И. Крохов, Л.А. Фельдман. -Новосибирск: Наука, 1996 296с.

34. Лапко, В.А. Непараметрические коллективы решающих правил / В.А. Лапко. Новосибирск: Наука, 2002. - 168с.

35. Лапко, В.А. Непараметрические методы обработки информации: Учеб. пособие / В.А. Лапко, М.И. Соколов. Красноярск: КГТУ, 2001. - 116с.

36. Лапко, В.А. Непараметрические модели временных зависимостей, основанные на методе двойного коллективного оценивания / В.А. Лапко // Автометрия, 2002. №1. - С.42-50.

37. Лбов, Г.С. Методы обработки разнотипных экспериментальных данных / Г.С. Лбов. — Новосибирск: Наука, 1981. 160с.

38. Мазуров Вл.Д. Метод комитетов в задачах оптимизации и классификации. М.: Наука, 1990. - 248с.

39. Медведев, А.В. Непараметрические системы адаптации / А.В. Медведев. -Новосибирск: Наука, 1983. 174 с.

40. Патрик, Э. Основы теории распознавания образов / Э. Патрик. М.: Сов.радио, 1980.

41. Райбман, Н.С. Идентификация технологических объектов методами кусочной аппроксимации / Н.С. Райбман, А.А. Дрофеюк и др. М.: 1977. - 70с.

42. Растригин, Л.А. Адаптация сложных систем / Л.А. Расстригин. Рига: Зинатне, 1981.- 375 с.

43. Растригин, Л.А. Методология решения задач обнаружения закономерностей и прикладная гносенология / Л.А. Расстригин // Машинные методы обнаружения закономерностей. Новосибирск: Ин-т математики СО АН СССР, 1981,- С. 14-16.

44. Растригин, Л.А. Гибридное распознавание / Л.А. Растригин // Автоматика и телемеханика, 1993. № 4. -С.3-20.

45. Растригин, Л.А. Метод коллективного распознавания / Л.А. Растригин, Р.Х. Эренштейн. М.: Энергоиздат, 1981. ;

46. Розенблатт, Ф. Принципы нейродинамики / Ф. Розенблатт. М.: Мир, 1965.

47. Рубан, А.И. Методы анализа данных: Учеб. пособие / А.И. Рубан. -Красноярск: КГТУ, 1994. Ч. 1. - 220с.

48. Солодовников, А.С. Теория вероятностей: Учеб пособие / А.С. Солодовников. М.: Вербум-М, 1999. - 208с.

49. Титов, B.C. Основы теории распознавания образов: Учеб. пособие / С.В. Дегтярёв, Е.И. Духнич, Н.А. Кореневский, B.C. Титов и др. Курск: Курск. ГТУ, 1999.-136с.

50. Ту, Дж. Принципы распознавания образов / Дж Ту, Р. Гонсалес. М.: Мир, 1978.-411 с.

51. Фукунаги, К. Введение в статическую теорию распознавания образов / К. Фукунаги. М.: Наука, 1979.- 367 с.

52. Хардле, В. Прикладная непараметрическая регрессия / Хардле В. М.: Мир, 1993.-349 с.

53. Холингворт Джаррод. Borland С++ Builder 6. Руководство разработчика. / Холингворт Джаррод, Сворт Боб, Кэшмэн Марк, Густавсон Поль. Пер. с англ. - М.: Издательский дом «Вильяме», 2003. - 976с.:ил. - Парал. тит. англ.

54. Цыпкин, Я.З. Основы теории обучающихся систем / Я.З. Цыпкин. — М.: Наука, 1970.-280 с.

55. Шаракшанэ, А.С. Сложные системы / А.С. Шаракшанэ, И.Г. Железнов, В.А. Ивницкий. М.: Высш. шк., 1977. - 247с.

56. Friedman, J. Projection pursuit regression / J. Friedman, W. Stuetzle // Journal of the American Statistical Association, 1981. Vol. 76. - pp. 817-823.

57. Lapko, A.V. Nonparametric Models Of Pattern Recognition Under Conditions Of Small Samples / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Optoelectronics, Instrumentation And Data Processing, 1999. №6. - pp. 83-90.

58. Lapko, A.V. Nonparametric algorithms and classification systems / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Pattern recognition and image analysis,2000.-Vol. 10. -№l.-pp. 31-42.

59. Lapko, A.V. Synthesis And Analysis Nonparametric Algorithms Of Pattern Recognition When Samples Are Large / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Pattern recognition and image analysis, 2001. Vol. 11. - №1. — pp. 53-55.

60. Lapko, V.A. Synthesis And Analysis Of Nonparametric Collective-Type Models / V.A. Lapko // Optoelectronics, Instrumentation And Data Processing,2001. №6.-pp. 83-90.

61. Lapko, V.A. Nonparametric Models of Pattern Recognition of Collective Type

62. V.A. Lapko // Pattern recognition and image analysis, 2002. Vol. 12. - №4. -pp. 354-361.

63. Lapko, V.A. Nonparametric Models Of Time Dependences Based On Double Collective Estimation / V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2002. №1. - pp. 37-44.

64. Lapko, A.V. Hybrid Models Of Stochastic Dependences / A.V. Lapko, V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2002. №5. -pp. 33-42.

65. Leontief, W. A note on the interrelation of subsets of independent variables of a continuons function with continuous first derivatives / W. Leontief // Bulletin of the American Mathematical Society, 1947. Vol. 53.- pp. 343-350.

66. Parzen, E. On estimation of a probability density / E. Parzen // Ann. Math. Statistic, 1969. pp. 1038-1050.

67. Rolinson, P.M. Asymptotically eficient estimation in the presence of heteroskedasticity of unknown from / P.M. Rolinson // Econometrica, 1987-Vol. 55,-pp. 875-891.