автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Математическая модель адаптивного распознавания образов на основе пульсационных нейронных сетей

На правах рукописи

Подкосов Дмитрий Николаевич

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ АДАПТИВНОГО РАСПОЗНАВАНИЯ ОБРАЗОВ НА ОСНОВЕ ПУЛЬСАЦИОННЫХ НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва -

2003

Работа выполнена на кафедре «Математическое обеспечение вычислительных систем» Московского государственного института радиотехники, электроники и автоматики (технического университета)

Научный руководитель: к.т.н., профессор Федотова Дина Эммануиловна.

Официальные оппоненты - д.т.н., профессор Миронов Георгий Акимович, к.т.н., с.н.с. Леонтьев Александр Савельевич

Ведущая организация - ФГУП НПО «Агат»

Защита состоится « »_2003 г. в_часов на заседании

диссертационного совета Д.212.131.03 при Московском государственном институте радиотехники, электроники и автоматики (техническом университете) по адресу: 119454 Москва, проспект Вернадского, д.78.

С диссертацией можно ознакомиться в библиотеке Московского государственного института радиотехники, электроники и автоматики (технического университета).

Автореферат разослан «_»_200_г.

Ученый секретарь диссертационного совета к.т.н., доцент

о

Тягунов О. А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В настоящее время получают распространение методы адаптивного распознавания образов. Распознавание образов представляет собой направление, связанное с разработкой методов и построением систем для установления принадлежности некоторого объекта к одному из заранее выделенных классов объектов. Процесс распознавания основан на сопоставлении признаков, характеристик исследуемого объекта с признаками, характеристиками других известных объектов, в результате чего делается вывод о наиболее правдоподобном их соответствии. Адаптивное распознавание представляет собой динамическую настройку на конкретные входные данные в процессе распознавания образов. Несмотря на широкие теоретические исследования в этой области, до сих пор не решены некоторые вопросы, в частности, задача построения индексов для быстрого поиска сложных типов данных, в том числе для нечеткого поиска. Под нечетким поиском понимается возможность найти заранее определенное близкое приближение к запрошенному образцу информации. Под сложным типом данных (СТД) мы будем понимать иерархический тип, имеющий не менее трех уровней иерархии. Мы будем рассматривать сложные типы: первый уровень иерархии, который состоит из простых типов; второй - из составных типов; третий представляет собой массив. Остальные уровни не регламентированы. К таким типам данных можно отнести звук, двумерные изображения, трехмерные сцены и др.

Основные усилия в области распознавания образов сконцентрированы на построении узкоспециальных систем, основанных, как правило, на методах, пригодных только в конкретной системе. Открытыми остаются вопросы, связанные с универсальными системами распознавания. В таких системах должны использоваться адаптивные алгоритмы.

Одна из основных задач в этой области - адаптивные алгоритмы выделения информации для последующего сравнения. В диссертационной работе представлена модель такой информационной технологии. Представленная модель может быть использована для построения ассоциативной памяти применительно к СТД, универсальных или специализированных систем нечеткого поиска СТД. На практике это позволит решить ряд вопросов при организации нечеткого поиска информации в хранилищах информации (ХИ), поисковых системах (ПС), аналитических системах, системах искусственного интеллекта (СИИ).

Цель работы

Цель диссертационной работы - разработать метод адаптивного распознавания образов, применимый на практике и способный работать со сложными типами данных, например: двухмерная графика, трехмерные сцены и др. Эта разработка должна способствовать ускорению таких операций, как идентификация, классификация, поиск, в том числе нечеткий.

Данная разработка должна проверить границы применимости пульса-ционных нейронных сетей (ПНС) для решения поставленной задачи на примере двумерных графических изображений.

Направление исследований

Основным направлением исследования, для решения поставленной задачи, были выбраны пульсационные нейронные сети специального вида. Такие сети выполняют три операции над данными:

- фильтрация;

- абстракция данных;

- ассоциация данных.

Было разработано семейство сетей с последующим сравнением их методами имитационного моделирования. Оценивались следующие параметры: , ,

- быстродействие создания описывающего вектора;

1 :• -г!:)

< >/■'■«"» I•

'» «.!• эег

- объем описывающего вектора;

- адекватность описания исходной информации;

- скорость поиска исходной информации по описывающему вектору. Методы исследований

Основным методом исследований было создание математических моделей и их оценка по результатам имитационного моделирования. Как критерии были выбраны несколько параметров: быстродействие, объем описывающего вектора, адекватность описания исходной информации, скорость поиска. Результаты экспериментов сравнивались как между собой, так и с результатами работы других методов. На защиту выносятся

1. Метод обработки данных, основанный на автоматическом абстрагировании и автоматической ассоциации данных.

2. Структура пульсационной нейронной сети.

3. Схемы функционирования пульсационной нейронной сети.

4. Примитивы абстрагирующего слоя сети.

5. Примитивы ассоциирующего слоя сети.

6. Метод индексирования СТД для адаптивного распознавания образов. Научная новизна

1. Предложена математическая модель адаптивного распознавания образов на основе пульсационных нейронных сетей (ПНС).

2. Разработана структура, примитивы, способ функционирования специализированной ПНС.

3. Показана возможность использования ПНС для адаптивного выделения информации в целях последующих операций классификации, идентификации и сравнения СТД.

4. Разработан способ индексирования СТД, выделенных при помощи ПНС для последующего быстрого поиска, в том числе нечеткого.

Практическая ценность

1. Эмпирически доказана возможность построения универсальных систем адаптивного распознавания образов.

2. Эмпирически доказана возможность построения специализированных систем адаптивного распознавания образов на основе ПНС.

3. Эмпирически доказана возможность построения ассоциативной памяти на сотни тысяч записей СТД.

4. Эмпирически доказано ускорение операций поиска информации в хранилищах данных, в том числе нечеткого, а также операций идентификации и классификации для СТД.

Апробация работы

1. Результаты исследований были оформлены в виде программного продукта - библиотеки классов, который представляет собой реализацию описанного в диссертационной работе метода. На библиотеку было получено регистрационное свидетельство (РОСПАТЕНТ per. № 2002610360). Данный программный продукт был успешно внедрен на практике, а именно:

а) в системе распознавания и идентификации адреса почтового отправления в ГЦ МПП (Главный Центр Магистральных Перевозок Почты);

б) в системе идентификации изменений в изображении охраняемых объектов (разработка ЗАО «РосСфера»);

Программный комплекс распознавания и идентификации адреса почтового отправления был представлен:

- на Всероссийской выставке «Связь: почта, телеграф, телефон.», Москва, 8-12 сентября 2001 г.;

- на Всероссийской специализированной выставке «Русская тройка», Санкт-Петербург, 22-24 сентября 2001 г.

Программный продукт, на основе данной модели, был успешно внедрен на практике. Это свидетельствует о работоспособности системы и подхода в целом, что подтверждено соответствующим актом о внедрении.

2. Был создан программный комплекс для исследования свойств пуль-сационных нейронных сетей. Он использовался как лабораторный комплекс в проведенных исследованиях. Результаты работы используются в учебном процессе кафедры МОВС МИРЭА(ТУ) в курсе «Базы данных».

Результаты работы апробированы в докладах на конференциях и семинарах:

- 49-ая научно-техническая конференция МИРЭА (21 мая 2000 г.);

- научно-практическая конференция в рамках всероссийской программы «Электронная Россия» «Современные информационные технологии в управлении и образовании - новые возможности и перспективы» (18,19 февраля 2001 г.);

- 50-ая юбилейная научно-техническая конференция МИРЭА (10-18 мая 2001 г.);

- научно-практическая конференция в рамках всероссийской программы «Электронная Россия» «Современные информационные технологии в управлении и образовании - новые возможности и перспективы» (11,12 декабря 2001 г.);

- научно-технический семинар «Теория информационных систем», МИРЭА (23 мая 2002);

- 52-ая научно-техническая конференция МИРЭА (13 мая 2003 г.). Основные научные результаты

1. Математическая модель адаптивного распознавания образов на основе ПНС.

2. Структура, примитивы, способ функционирования специализированной ПНС.

3. Модель использования ПНС для адаптивного выделения информации в целях последующих операций классификации, идентификации и сравнения.

4. Модель ускорения операций поиска, в том числе нечеткого, информации СТД в ХИ.

Структура и объем диссертации

Диссертация состоит из 150 страниц, в том числе введения, 4-х глав, заключения, списка литературы и приложений. Объем основной части диссертации составляет 119 страниц.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулирована цель, задачи и основные положения, выносимые на защиту, научная новизна и практическая значимость диссертационной работы.

Первая глава содержит обзор существующих подходов обработки сложных типов данных и распознавания образов. В частности, анализируется концепция «универсального сервера» (УС) - концепция хранения, поиска и обработки любых типов данных в рамках единого хранилища. Рассмотрены специализированные системы распознавания образов и основные методы обработки нетрадиционных типов информации, включая подходы, основанные на применении ПНС и их разновидностей. Рассмотрены биометрические системы, построенные на разных принципах, системы оптического распознавания текста. Анализируются преимущества ПНС. В последнее время все больший вес и значимость приобретают такие специфические ее виды как двумерная графика, звук, трехмерные сцены и другие СТД. На сегодняшний день существует много подходов для решения проблем, связанных с обработкой такой информации, но все они имеют описанные в работе недостатки. Одним из новых подходов может служить технология на ПНС, в частности, пульсационные ассоциативные нейронные сети - третье поколение нейронных сетевых моделей. Они построены

на импульсных нейронах, и следовательно, намного ближе к естественным нейронным сетям, описанным в биологии, чем классическая искусственная нейронная сеть.

Вторая глава посвящена разработке математической модели использования ПНС в системах обработки и хранения информации. Описана структура, примитивы, способ функционирования специализированной ПНС. Показана возможность использования ПНС для формирования описывающих векторов, используемых в операциях классификации, идентификации и сравнения. На этапе ввода информации в ХИ формируются описывающие векторы (дескрипторы), соответствующие каждому образцу. По этим векторам можно сравнить саму исходную информацию. В связи с этим, всю систему условно можно разбить на три части: формирование описывающего вектора; сравнение описывающих векторов; до-распознавание информации.

Первая часть предлагаемого подхода, описанного в данной диссертационной работе, - это формирование описывающих векторов определенного вида. Описывающие вектора получаются как результат работы пульсационной нейронной сети. Процесс получения описывающего вектора S информации D посредством пульсационной сети N можно представить как S = N(D, С), где С - управляющая информация. ПНС состоит из двух основных слоев: абстрагирующего и ассоциирующего, а также одного вспомогательного слоя, предназначенного для предварительной обработки данных (рис.1).

Входной слой заимствован из пульсационных ассоциативных нейронных сетей (PCNN - Pulse-Coupled Neural Networks), которые используют для сглаживания, сегментации и четкого выделения каких-либо признаков и границ областей. Такие сети способны выделять отдельные объекты из общего изображения в случае, если речь идет о двумерных изо-

бражениях или трехмерных сценах. Основные слои работают с данными, полученными входным слоем.

Абстрагирующий слой выполняет операцию абстракции данных,

результатом его работы является вектор, описывающий отдельные объекты и/или области. Ассоциирующий слой производит операцию ассоциации над объектами и/или областями по заданным правилам. Рис.1. Структура пульсационной нейронной сети

В результате работы слоев получается описывающий вектор. На рисунке: 1 - входной слой предварительной обработки информации (слой приведения); 2 - абстрагирующий слой; 3 - ассоциирующий слой.

Потоки данных: Ц,, - входной поток данных; Л 2 - поток данных, обработанных входным слоем; £>23- поток данных от абстрагирующего слоя к ассоциирующему слою; Оп - поток данных от ассоциирующего слоя к абстрагирующему слою; БУ - описывающий вектор. Данные О 2

'з

могут неоднократно передаваться из слоя 2 в слой 3 до выполнения определенных ниже условий (см.стр.14).

Топология слоев нейронной сети зависит от мерности исходной информации и тех свойств, которые мы хотим придать ПНС. Приведем несколько вариантов для двумерных данных (рис.2).

(а) (б) (в)

Рис.2. Топологии слоев нейронной сети

Приведенные топологии используются для построения: а - двумерных разомкнутых пространств или замкнутых типа «тор»;

б - двумерных замкнутых пространств типа «шар»; в - ПНС с большим рецептивным полем.

Приведем структурную схему примитивов абстрагирующего слоя (рис.3). В предлагаемой схеме нейронного слоя каждый нейрон соответствует элементарной составляющей исходной информации.

Рис.3. Структурная схема примитивов абстрагирующего слоя

Здесь {р,,р2,-,р„}- множество входных сигналов нейрона, 2 - установка первоначального уровня, р - уровень выходного сигнала рассматриваемого нейрона, - входная функция, /Ш1 - выходная функция (функция активации), /т - память нейрона (функция, зависящая от времени), С,„ - управляющая информация для /„, С„„, - управляющая информация для п - количество нейронов, соединенных с данным.

Работу такого нейрона можно описать следующим образом:

л

Л+! = 1т (/от (X /т (Р,,пР,< С,п )> Сои,).') , 1=1

где р, - уровень рассматриваемого нейрона в момент времени I, р,+1 - выходной уровень рассматриваемого нейрона в момент / +1, рп-выходной уровень нейронов, соединенного с данным в момент време-

ни г, Управляющая информация (С,„, Сош) есть средство настройки и управления нейронной сетью.

В некоторых областях исходной информации нейроны возбуждаются от края к центру, при условии, что таких нейронов окажется достаточное количество. Достаточность определяется выходной функцией /си1. Выходная функция может быть: линейная, кусочно-линейная, ступенчатая пороговая, сигмоидная, гиперболический тангенс. Выходные значения нейронов, в вышеописанных областях увеличиваются тем больше, чем дальше они от границы области. Слой представляет эти области в виде пары <х,Ь>, где х - центр области возбуждения (определяется, как нейрон с максимальным возбуждением в области), А - величина возбуждения нейрона с координатами х. Такую пару мы назовем сверткой, которая является элементарной составляющей вектора описания. Свертка есть способ описания вышеопределенной области. Предположим, на двухмерном графическом изображении М (Рис.4.) имеются некоторые области А^М, ВсМ, СсМ, причем АпВ = 0, Вг\С = 0, АпС = 0, тогда А => <хА,кА>, В <хв,кв>, С ==>. <хс,Ис >, здесь => означает опе-

АВШ ЛЯШ АВШ ЛВЯГН

рацию абстрагирования, то есть некоторая область А посредством этой операции преобразуется в элемент описывающего вектора <хл,Нл>.

М' Х А хв

Рис.4. Операция абстрагирования

Выходной вектор слоя 5КД, будет иметь следующий вид: = {<хА,кл >,<хв,кв >,<хс,Лс >}.

Приведем структурную схему примитивов слоя ассоциации. В нем нейрон ассоциирующего типа соединен с некоторыми нейронами в соответствии с топологией слоя. Структурная схема примитива слоя ассоциации представлена на рис.5.

I----------■

Ж, !

р

■ м •'« -1-

Рис.5. Структурная схема примитивов слоя ассоциации

Где ,/>„} - множество сигналов от нейронов, <2 - установка

первоначального уровня, р - выходной уровень рассматриваемого нейрона, /„„, - выходная функция (функция активации), /„ - память (функция, зависящая от времени), Ь - уровень ассоциации, п - количество нейронов, соединенных с данным.

Уровень ассоциации Ь можно интерпретировать как максимальное расстояние между объектами с одинаковыми значениями атрибутов, которые следует воспринимать как одно целое. Работу такого нейрона можно описать следующим образом:

Л+1 = (ШХ(р )), р,),

1</<л

где р, - уровень рассматриваемого нейрона в момент времени /, рм - выходной уровень рассматриваемого нейрона в момент ( + 1, ри-выходные уровни нейронов, соединенных с данным в момент времени г.

Слой ассоциации введен для объединения объектов и/или областей, удовлетворяющих следующим условиям:

1) у < 1.И, где у - расстояние между объектами;

Р1 ' Р2 ' Рз ' Р 4 '

Рп-

2) РА=РВ, гДе Рл ~ рассматриваемый признак объекта А, а р8-рассматриваемый признак объекта В.

Например, на графическом изображении можно воспринимать кучу гороха как целое, а можно воспринимать каждую горошину в отдельности. Вектор описания изображения во втором случае будет гораздо объемнее. Уменьшить его размер позволяет ассоциативный подход, примененный в данной модели.

ных этапа описания исходной информации: ассоциация данных, абстракция данных. Помимо слоя абстрагирования и слоя ассоциации, в состав сети входит слой предварительной обработки информации (слой приведения) см. рис.1. В его задачу входит фильтрация данных и выделение областей с одинаковыми атрибутами. Если оцифрованное изображение подается на вход слоя, нейроны одной группы сети, в которой яркость примерно одинаковая, возбуждаются и сеть соединяет маленькие пространственные промежутки (лакуны) и сглаживает небольшие локальные вариации интенсивности яркости или значения иных атрибутов. Такой слой часто используют для сглаживания изображения, сегментации и четкого выделения каких-либо признаков и границ объектов или областей. Результаты моделирования показали, что использование этого слоя дает лучшие результаты сегментации, чем пороговый метод. Полную схему переключений между слоями нейронной сети можно представить в следующем виде:

Примитивы ассоциативного слоя автоматически соединят области (рис.6.), расстояние между которыми у<Ы 2, где Ь- уровень ассоциации, задаваемый как па-

г

Рис.6. Операция ассоциации

раметр всего ассоциативного слоя. Мы рассмотрели два основ-

3Зава ^аса, 5 V

гДе 5при. " слой приведения, - абстрагирующий слой,

слой ассоциации, 8У - описывающий вектор, - операция передачи данных.

Для переключений между слоями собирается информация: - это количество объектов и/или областей, уровень ассоциативности между которыми меньше Ь ; Оы- это количество объектов и/или областей, над которыми возможна операция абстрагирования. Например, для двумерной графики: йС5- количество объектов и/или областей, расстояние у между которыми меньше Ь/2; Оы- количество объектов и/или областей, площадь которых отлична от нуля. В зависимости от результатов анализа данных принимается решение на основе следующих правил:

1) если > 0 , то поток данных направляется в слой абстракции;

2) если = 0 и Д., > 0, то поток данных направляется в слой ассоциации;

3) если О^ = 0 и Ос, = 0, то вектор сверток считается готовым и работа сети считается выполненной.

Вторая часть предлагаемого подхода - сравнение описывающих векторов либо статистическими методами, либо посредством нейронных сетей для идентификации и классификации исходной информации. Анализ описывающих векторов позволяет делать выводы относительно исходной информации.

Сравнение векторов посредством анализа относительных количественных признаков дает возможность работать с номинальными признаками исходной информации, то есть можно, например, классифицировать исходную информацию, отнести ее к определенной группе, найти дубли-

каты и т.п. Вектор, полученный посредством ПНС, является достаточно информативным для таких операций. Например, для решения задачи разбиения множества объектов таким образом, чтобы все объекты, принадлежащие одному классу, были похожи друг на друга больше, чем на объекты других классов (кластерный анализ), опробованы следующие методы. Иерархические методы: метод ближней связи; метод средней связи Кинга; метод Уорда. Итеративные методы группировки: метод к-средних Мак-Куина. Алгоритмы типа разрезания графа: метод корреляционных плеяд Терентьева; вроцлавская таксономия.

Такая классификация объектов по их дескрипторам делает алгоритмы приемлемыми для использования. ПНС делает эти методы пригодными, например, для классификации растровых изображений и трехмерных сцен.

Для задачи идентификации по описывающим векторам применимы следующие методы: метод Байеса, линейный дискриминантный анализ Фишера, канонический дискриминантный анализ, линейный дискриминантный анализ.

В третьей главе описана практическая реализация р-нейронной сети в виде программного комплекса и ее функционирование. Приведенные данные подтверждают работоспособность ПНС для распознавания образов. Показан способ индексирования данных, выделенных при помощи ПНС для последующего быстрого поиска СТД, в том числе нечеткого.

При записи информации в хранилища информации (ХИ) удобно сгенерировать описывающий вектор посредством ПНС и хранить его в специально созданной структуре, имеющей гиперссылку на исходную информацию. Это делает возможным поиск исходного образца по описывающему вектору. При приведении элементов описывающего вектора к стандартным типам баз данных станет возможным их индексирование средст-

вами системы управления базами данных, что значительно ускорит поиск.

Поиск осуществляется системой сравнения описывающих векторов. Так как в базах данных описывающие вектора предлагается хранить в проиндексированном виде, поиск описывающего вектора происходит значительно быстрее. Предлагаемое в работе индексирование позволяет при поиске производить сравнение с 1% - 5% описывающих векторов. Этот показатель не возрастает в случае нечеткого поиска. Помимо поиска по образцу, такая система позволяет искать исходную информацию по V описанию. Для этого предусмотрен вход для данных, которые пред-

ставляют собой описание, составленное аналитическим путем. Предполагается, что вектор представляет собой эмуляцию дескриптора (вектора свертки). Этот способ позволяет осуществлять поиск, используя механизм запросов.

ПНС имеет следующие параметры настройки: С,„, СМ,Ь (см. рис. 3,5). Посредством этих параметров систему можно настраивать на наилучшую работу с данными того или иного типа. К параметрам также следует отнести выбор метода сравнения дескрипторов и параметры программ переключений. Многомерный итерационный подбор вышеперечисленных параметров можно назвать обучением системы. Критерием обучаемости системы должна быть наилучшая идентифицируемость образцов информации. В качестве вторичных критериев, можно использовать величину векторов описания и скорость поиска исходной информации.

В главе представлены результаты вычислительных экспериментов, в ходе которых удалось определить предпочтительные топологии ПНС и другие параметры сети. В процессе экспериментов также были получены результаты:

- обработки двумерной графической информации слоем приведения, построенным на основе РСНЫ;

- сравнения работы абстрагирующих слоев, реализованных на основе разных примитивов;

- сравнения работы слоев ассоциации, реализованных на основе раз-

ных примитивов;

- работы ПНС на основе слоев с разными топологиями;

- сравнения описывающих векторов, полученных разным путем;

- хронометража работы сетей в целом и послойно;

- сравнительного анализа объемов исходных изображений и векторов описания.

В следующей таблице приведены средние результаты уменьшения объема дескриптора слоем ассоциации.

Момент времени Отношение объем вектора/исходная информация, %

До обработки слоем ассоциации 0,220

После обработки слоем ассоциации 0,112

Как видно из таблицы, слой ассоциации уменьшает объем описывающего вектора почти в два раза. Уменьшение величины описывающего вектора отражается на качестве поиска информации. Зависимость качества поиска от размера вектора, полученная экспериментально, представлена на графике рис.7. На графике К - ошибка идентификации (вероятность выборки дополнительного неправильного образца), V - отношение, описывающего вектора к объему исходной информации. Как видно из графика, можно получать описывающие векторы небольшого объема при высоком качестве поиска.

В диссертационной работе разработан метод индексирования для СТД. Универсальный индекс, позволяет производить быстрый поиск, подразумевает возможность индексирования независимо от структуры

СТД. На практике это трудноосуществимая задача. Но в нашем случае есть возможность индексировать не сами данные, а их Описывающие вектора. Это упрощает задачу, так как структура векторов в меньшей степени зависит от СТД и векторы имеют небольшое число разновидностей. Рис.7. Зависимость качества поиска от В нашем случае индексирование

размера вектора данных возможно, если для данного

СТД определена функция сравнения. Предлагаемый способ индексирования позволяет эффективно производить нечеткий поиск. Для ускорения поиска строится дерево по определенным в работе принципам, когда

каждый следующий уровень уточняет результаты поиска на предыдущем уровне. Для ускорения построения индекса может быть использовано несколько таких деревьев. На графике рис.8, показана зависимость количества операций сравнения при поиске, от количества элементов, где Я - количество элементов в индексе, а I— количество операций Рис. 8. График ускорения поиска при сравнения. Первая кривая (изображе-

использовании индексации СТД на для сравнения) соответствует пол-

ному перебору всех элементов. Вторая кривая соответствует ситуации, когда для поиска СТД применили индексирование. Для второго случая был установлен порог схожести с образцом 60%,

В четвертой главе дана оценка эффективности системы и сравнительный анализ с другими подобными системами применительно к двумерной графике. Один из важных параметров - это скорость создания описывающего вектора. Системы идентификации, не использующие ПНС, работают тем медленнее, чем больше объектов (признаков) в изображении. На рис.9.(с лева) показан график зависимости времени г, потраченного на создание описывающего вектора, от количества объектов (признаков) С в системах, не использующих ПНС.

с с* сг с

Рис.9. Зависимость времени создания описывающего вектора от количества объектов в системах, использующих и не использующих ПНС В отличие от систем не использующих ПНС, график временных затрат системы, построенной на основе ПНС, выглядит иначе (рис.9.,с права). Как видно из рис.9, система работает тем быстрее, чем больше объектов находится на изображении. В большинстве случаев С, <С<Сг. Сравнивая модель, представленную в настоящей диссертационной работе и результаты, полученные на лабораторном комплексе, с другими системами, можно сказать, что эта разработка имеет: высокую степень адаптивности; высокую скорость работы; маленький описывающий вектор; высокую степень идентификации.

ЗАКЛЮЧЕНИЕ

В данной диссертационной работе была рассмотрена актуальная проблема адаптивного распознавания образов. Перечислим основные результаты работы:

1. Проведен обзор существующих подходов обработки сложных типов данных и распознавания образов. Рассмотрены специализированные сис-

темы распознавания образов и основные методы обработки нетрадиционных типов информации, включая подходы, основанные на применении ПНС и их разновидностей. Рассмотрены биометрические системы, системы оптического распознавания текста.

2. Предложен метод обработки сложных типов данных, основанный на автоматическом абстрагировании и автоматической ассоциации данных.

3. Предложена математическая модель адаптивного распознавания образов на основе пульсационных нейронных сетей (ПНС).

4. Разработана пульсационная нейронная сеть, реализующая автоматическую абстракцию и автоматическую ассоциацию сложных типов данных (СТД) в рамках предложенной математической модели. Впервые предложены:

- структура и принципы функционирования ПНС для решения задачи адаптивного выделения характерных признаков;

- примитивы слоя автоматической абстракции данных;

- примитивы слоя автоматической ассоциации данных;

- методы оценки результатов абстракции и ассоциации данных.

5. Предложен метод индексирования СТД для адаптивного распознавания образов, что позволяет ускорить операции по распознаванию образов и поиск образцов СТД.

6. Разработан программный продукт - библиотека классов, который представляет собой реализацию описанных в диссертационной работе методов. На библиотеку было получено регистрационное свидетельство. Данный программный продукт был успешно внедрен на практике.

7. Разработан программный комплекс для исследования свойств пульсационных нейронных сетей, использованный как лабораторный комплекс, в проведенных исследованиях. Результаты работы используются в учебном процессе кафедры МОВС МИРЭА(ТУ) в курсе «Базы данных».

Публикации по теме диссертационной работы

1) Федотова Д.Э., Подкосов Д.Н., Быстрый поиск в ВЬОВ-полях абстрактно-ассоциативным методом. / Математическое обеспечение вычислительных систем. Сборник научных трудов по материалам Х1ЛХ научно-технической конференции, -Москва, МИРЭА, 2000 г.

2)Подкосов Д.Н., Федотова Д.Э. Идентификация информационных кластеров по сверткам, полученным при помощи р-нейронных пространств / Проблемы математического обеспечения, Сборник научных трудов, -Москва, МИРЭА, 2000 г.

3)Подкосов Д.Н., Свойства протонейронных пространств / Программное обеспечение ЭВМ и сетей, МИРЭА, 2001 г.

4)Подкосов Д.Н., Поиск "скрытых дублей" в базах данных / Проблемы математического обеспечения, Сборник научных трудов, МИРЭА, -Москва, 2000 г.

5)Подкосов Д.Н., Математический аппарат для поиска информации в бинарных полях баз данных / Современные информационные технологии в управлении и образовании - новые возможности и перспективы, Сборник научных трудов, НИИ «ВОСХОД», МИРЭА, «СИРИУС», -М., 2001 г.

6)Подкосов Д.Н., Управление работой Р-нейронной сети / Теоретические вопросы программного обеспечения, Межвузовский сборник научных трудов, МИРЭА, -Москва, 2001 г.

7)Подкосов Д.Н., Применение на практике нечеткого поиска / Современные информационные технологии в управлении и образовании в рамках всероссийской программы Электронная Россия, Сборник трудов, ФГУП НИИ «ВОСХОД», МИРЭА, СИРИУС -Москва, 2001 г.

8)Подкосов Д.Н., Математическая модель адаптивного распознавания образов на основе пульсационных нейронных сетей / Теоретические вопросы вычислительной техники и математического обеспечения, МИРЭА, -Москва, 2003 г.

I

I I

Подписано в печать 12.11.2003. Формат 60x84 1/16.

Бумага офсетная. Печать офсетная. Усл. печ. л. 1,16 Усл. кр.-отт. 4,64. Уч.-изд. л. 1,25. Тираж 100 экз. Заказ 849

Московский государственный институт радиотехники, электроники и автоматики (технический университет) 119454, Москва, пр. Вернадского, 78

2.О0

»2 0 24 ?,

Введение.

Глава 1. Обзор смежных областей.

1.1. Концепция универсального сервера.

1.2. Методы идентификации и сравнения нетрадиционных типов информации.

1.3. Нейронные сети и идентификация.

1.4. Ассоциативно-пульсационные нейронные сети.

1.5. Выводы.

Глава 2. Математическая модель использования р-нейронных сетей в системах обработки и хранения информации.

2.1. Методы исследований.

2.2. Основные алгоритмы.

2.3. Формирование описывающих векторов.

2.3.1. Элементы нейронной сети.

2.3.2. Потоки данных в нейронной сети.

2.3.3. Структура нейронной сети.

2.3.4. Абстрагирующий слой.

2.3.4.1.Топология абстрагирующего слоя.

2.3.4.2.Структурная схема примитивов абстрагирующего слоя.

2.3.4.3.Функционирование примитивов абстрагирующего слоя.

2.3.4.4.Работа абстрагирующего слоя.

2.3.5. Слой ассоциации.

2.3.5.1. Топология слоя ассоциации.

2.3.5.2.Структурная схема примитивов слоя ассоциации.

2.3.5.3.Функционирование примитивов слоя ассоциации.

2.3.5.4. Работа слоя ассоциации.

2.3.6. Слой приведения.

2.3.7. Блок принятия решения.

2.3.8. Работа р-нейронной сети.

2.4. Сравнение векторов сверток.

2.4.1. Основные принципы сравнения.

2.4.2. Алгоритмы сравнения, устойчивые к параллельным искажениям.

2.5. Выводы.

Глава 3. Реализация системы получения описывающих векторов.

3.1. Реализация пульсационной-нейронной сети.

3.1.1. Общее описание программного комплекса и комплекса работ.

3.1.2.Состав программного комплекса.

3.1.3.Результаты работы.

3.2. Общие принципы реализации нейронной сети на основе р-нейронов.

3.2.1.Топология слоев.

3.2.2. Реализация блока принятия решения.

3.2.3.Реализация слоя предворительной обработки.

3.2.4. Реализация абстрагирующего слоя.

3.2.5.Реализация слоя ассоциации.

3.3. Модифицированные свертки.

3.4. Описание объектов, наложенных друг на друга.

3.5. Применение системы идентификации в хранилищах данных.

3.5.1. Общие принципы.

3.5.1. Обработка информации на этапе ввода в хранилища данных.

3.5.2. Поиск информации.

3.5.2.1. Поиск по образцу.

3.5.2.2. Поиск при помощи запросов.

3.5.3. Обучение системы.

3.6. Индексирование данных.

3.6.1. Общий подход.

3.6.2. Дерево уточняющего ассоциативного поиска.

3.6.3. Дерево максимального различия "потомков".

3.7. Выводы.

Глава 4. Оценка эффективности.

4.1. Оценка системы с точки зрения универсального сервера.

4.2. Сравнительный анализ характеристик данной системы.

4.3. Сравнительный анализ характеристик системы при работе с текстовой информацией.

4.4. Выводы.

Объект исследования

Распознавание образов[20,21,24-28,44,47] представляет собой направление, связанное с разработкой методов и построением систем для установления принадлежности некоторого объекта к одному из заранее выделенных классов объектов[8,18,40]. Процесс распознавания основан на сопоставлении признаков, характеристик исследуемого объекта с признаками, характеристиками других известных объектов, в результате чего делается вывод о наиболее правдоподобном их соответствии. Адаптивное распознавание представляет собой способность адаптации в процессе распознавания образов, то есть динамическую настройку к конкретным входным данным[6,13,14,11]. Данные методы на практике широко используются для организации нечеткого поиска информации в хранилищах информации (ХИ), поисковых системах, аналитических системах, корпоративных системах, системах искусственного интеллекта (СИИ). Под нечетким поиском понимается возможность найти достаточно близкое приближение к запрошенному образцу информации[21,22]. Нечеткий поиск устраняет необходимость знать точное написание каждого термина или представлять для поиска точное изображение.

Можно выделить два направления исследований в данной области -это расчет близости (похожести) объектов[17] и построение индексов для быстрого поиска таких объектов. Каждое направление на сегодняшний момент является актуальным.

Актуальность проблемы

Сегодня начали предъявлять к серверам данных все более серьезные требования, и вследствие этого выяснилось, что стандартные файловые системы не вполне пригодны для вычислений в новых условиях. Поэтому все более пристальное внимание начинают привлекать базы данных. Известно, что в файловой системе пользователь осуществляет навигацию на основе имен файлов, типов файлов и т.п. Это приемлемо только для управления относительно небольшим количеством данных. Для больших объемов удобнее использовать системы управления базами данных (СУБД), обеспечивающие быстрый и удобный доступ к данным посредством запросов. Они представляют собой надежную платформу для построения приложений, осуществляющих высокоскоростные транзакции, однако их слабая сторона - управление сложными типами данных [22,31]. К таким данным принято относить двумерную графику, трехмерные сцены, звуковую информацию, временные ряды, видеоинформацию и т.п. В отдельную категорию принято выделять картографическую информацию. В СУБД такие данные, как правило, хранятся в формате LOB (большие двоичные объекты), который накладывает ряд ограничений. Там так же часто хранят HTML- и VRML-документы, а также Java-апплеты и сервле-ты.

Ситуация в компьютерной индустрии складывается таким образом, что рост популярности данных нетрадиционных типов не учитывать нельзя [27]. Во-первых, значительно увеличивается количество разрабатываемых мультимедийных проектов. В среднем, каждый такой проект включает сотни тысяч звуковых, видео, анимационных и других объектов, которые используются многократно. Разработчик, пытаясь найти объект по имени файла, рискует заблудиться в длинном алфавитном списке. Так, некоторые разработчики утверждают, что на поиск ранее созданных объектов у них уходит от 10 до 20% рабочего времени. Причем данные недостаточно просто разместить на сервере, а необходимо регулярно обновлять. Эти данные требуют эффективного управления. Обычные файловые системы справиться с этой задачей не в состоянии. Использование СУБД также не решит всех проблем. Для решения этой проблемы нужны новые технологии, основанные на распознавании образов, в том числе адаптивном, а также нечетком поиске.

Подобные проблемы наблюдаются в области создания аналитических систем. Аналитические системы для поддержки принятия решений используются в самых разнообразных сферах. Например, в коммерции, торговле, финансах, в государственной деятельности, разведке, в работе юридических служб и законодательных органов и т. д. Для выработки корректного решения системный аналитик должен получать данные из самых разных источников: внутренних и внешних баз данных, архивов, электронных статистических сборников и справочников[23,29]. Кроме того, он должен принимать во внимание оперативно поступающую информацию. Качественная работа аналитика невозможна без использования информационных ресурсов сети Internet, куда, по некоторым оценкам, каждый день добавляется терабайт новой информации. Для успешного ведения системных исследований в таких условиях требуются соответствующие инструментальные средства, позволяющие ежедневно анализировать гигабайты данных всевозможных типов. Средства поиска данных играют определяющую роль в обеспечении эффективности и производительности аналитической системы в целом. Однако, помимо поисковых средств система управления должна иметь ряд дополнительных, функциональных возможностей, отличающих ее от обычной информационно-справочной системы, а именно:

- сочетание средств ретроспективного анализа с оперативным доступом к информации, поступающей в режиме реального времени;

- структурирование результатов исследований;

- поддержка и совместное использование структурированной информации, неструктурированных текстов, графики, видео и т. п.

В данной ситуации также невозможно решить все проблемы традиционными средствами. В частности, нельзя для хранения информации ограничиться традиционными СУБД. Традиционные системы поиска информации развивались в тесной взаимосвязи с СУБД (РСУБД, ОРСУБД), поэтому они были ориентированы в основном на работу с относительно простыми или структурированными типами данных. Но при обработке произвольной цифровой информации средства SQL СУБД оказываются малоэффективными. Большинство реляционных процессоров использует индексы В-Tree, хорошо подходящие для поиска текста и численной информации в стандартных реляционных таблицах, но они малопригодны для работы с изображениями и другой мультимедийной информацией. Для работы с ней необходимо реализовать возможности сравнения, идентификации и классификации с применением технологий нечеткого поиска. Очевидно, что традиционные методы СУБД и РСУБД для этого не годятся [27].

В настоящее время ведутся работы по созданию систем, способных решать эти проблемы, есть некоторые результаты, но также еще очень много нерешенных проблем [56,57], очевидно, не хватает новых технологий в этой области. В частности, шире должны использоваться системы адаптивного распознавания образов для ускорения поиска информации [13,32].

Проблема приближенного поиска графической информации в ХД стоит достаточно остро. Человек не всегда может точно сформулировать, что он хочет найти, часто он может это представлять лишь примерно [20]. Современные СУБД, ориентированные на концепцию универсального сервера (КУС) предоставляют удовлетворительные возможности нечеткого поиска для полнотекстовой информации [9-13]. Хуже обстоит дело с подобными возможностями для графической информации [31]. Хорошие результаты здесь показывают лишь узкоспециальные системы, способные работать только в своей сверхузкой области. Подобные проблемы есть и с аудио информацией и другими видами информации.

Остроту вышеописанных проблем, в некоторой степени, способно снять использование пульсационных нейронных сетей специального вида для обработки информации. В частности, возможно использование PCNN (Pulse-Coupled Neural Network) [47,49,53] - пульсационно-ассоциативных нейронных сетей и сетей на р-нейронах (р-НС) [29,31,32], а также построенного на их основе специализированного метода обработки информации [27].

Цель диссертационной работы

Цель диссертационной работы - разработать метод адаптивного распознавания образов, применимый на практике и способный работать со сложными типами данных, например: двухмерная графика, трехмерные сцены и др. Эта разработка должна способствовать ускорению таких операций, как идентификация, классификация, поиск, в том числе нечеткий. Данная разработка должна проверить границы применимости пульсационных нейронных сетей (ПНС), для решения поставленной задачи, на примере двумерных графических изображений.

Решение этой научно-технической задачи позволит работать со сложными типами данных в реальном режиме времени. В частности, двух-, трехмерной графикой, полнотекстовой информацией, а в перспективе с аудио и др.

Решение этой научно-технической задачи позволит выполнять такие операции, как: сравнение по выбранным параметрам, идентификация, классификация, поиск, в том числе нечеткий.

На данном этапе необходимо не только идентифицировать данные, но и выявлять все множество близких данных, особенно это актуально применительно к нестандартным типам. Например, очевидно, что даже одно и то же графическое изображение, отсканированное два раза, из-за искажений может различаться, поэтому необходимо использование методов приближенного поиска, которые позволят выявлять такие скрытые дубли в ХД, а также позволят находить изображения близкие к данным. Такие же примеры можно привести и в отношении звуковой информации, трехмерных сцен и т.п. Такие возможности позволят как экономить время на поиске информации, так и осуществлять эти операции на новом уровне.

Диссертационная работа направлена на оптимизацию методов нечеткого поиска. Так операции поиска, сравнения и идентификации должны быть построены исходя из критериев максимальной распознаваемости и минимальной избыточности информации, а также максимальных скоростных характеристик.

Направление исследований

Основным направлением исследования, для решения поставленной задачи, были выбраны пульсационные нейронные сети специального вида. Такие сети выполняют три операции над данными:

- фильтрация;

- абстракция данных;

- ассоциация данных.

Было разработано семейство сетей с последующим сравнением их методами имитационного моделирования. Оценивались следующие параметры:

- быстродействие создания описывающего вектора;

- объем описывающего вектора;

- адекватность описания исходной информации;

- скорость поиска исходной информации по описывающему вектору.

Методика исследований

Основным методом исследований было создание математических моделей и их оценка по результатам имитационного моделирования. Как критерии были выбраны несколько параметров: быстродействие, объем описывающего вектора, адекватность описания исходной информации, скорость поиска. Результаты экспериментов сравнивались как между собой, так и с результатами работы других методов.

На защиту выносятся

1. Метод обработки данных, основанный на автоматическом абстрагировании и автоматической ассоциации данных.

2. Структура пульсационной нейронной сети.

3. Схемы функционирования пульсационной нейронной сети.

4. Примитивы абстрагирующего слоя сети.

5. Примитивы ассоциирующего слоя сети.

6. Метод индексирования СТД для адаптивного распознавания образов.

Научная новизна

1. Предложена математическая модель адаптивного распознавания образов на основе пульсационных нейронных сетей (ПНС).

2. Разработана структура, примитивы, способ функционирования специализированной ПНС.

3. Показана возможность использования ПНС для адаптивного выделения информации в целях последующих операций классификации, идентификации и сравнения СТД.

4. Разработан способ индексирования СТД, выделенных при помощи ПНС для последующего быстрого поиска, в том числе нечеткого.

Практическая полезность

1. Эмпирически доказана возможность построения универсальных систем адаптивного распознавания образов.

2. Эмпирически доказана возможность построения специализированных систем адаптивного распознавания образов на основе ПНС.

3. Эмпирически доказана возможность построения ассоциативной памяти на сотни тысяч записей СТД.

4. Эмпирически доказано ускорение операций поиска информации в хранилищах данных, в том числе нечеткого, а также операций идентификации и классификации для СТД.

Апробация работы

1. Результаты исследований были оформлены в виде программного продукта - библиотеки классов, который представляет собой реализацию описанного в диссертационной работе метода. На библиотеку было получено регистрационное свидетельство (РОСПАТЕНТ per. № 2002610360, приложение № 4). Данный программный продукт был успешно внедрен на практике, а именно: а) в системе распознавания и идентификации адреса почтового отправления в ГЦ МПП (Главный Центр Магистральных Перевозок

Почты, приложение № 2); б) В системе идентификации изменений в изображении охраняемых объектов (разработка ЗАО «РосСфера»);

Программный комплекс распознавания и идентификации адреса почтового отправления был представлен:

- на всероссийской выставке «Связь: почта, телеграф, телефон.», Москва, 8-12 сентября 2001 г.;

- на всероссийской специализированной выставке «Русская тройка», Санкт-Петербург, 22-24 сентября 2001 г.

Программный продукт, на основе данной модели, был успешно внедрен на практике. Это свидетельствует о работоспособности системы и подхода в целом, что подтверждено соответствующим актом о внедрении.

2. Был создан программный комплекс для исследования свойств пуль-сационных нейронных сетей. Он использовался как лабораторный комплекс в проведенных исследованиях.

Результаты работы используются в учебном процессе кафедры МОВС МИРЭА(ТУ) в курсе «Базы данных» (приложение № 3).

Результаты работы апробированы в докладах на конференциях и семинарах:

- 49-ая научно-техническая конференция МИРЭА (21 мая 2000 г.);

- научно-практическая конференция в рамках всероссийской программы «Электронная Россия» «Современные информационные технологии в управлении и образовании - новые возможности и перспективы» (18,19 февраля 2001 г.);

- 50-ая юбилейная научно-техническая конференция МИРЭА (10-18 мая 2001 г.);

- научно-практическая конференция в рамках всероссийской программы «Электронная Россия» «Современные информационные технологии в управлении и образовании - новые возможности и перспективы» (11,12 декабря 2001 г.);

- научно-технический семинар «Теория информационных систем», МИРЭА (23 мая 2002);

- 52-ая научно-техническая конференция МИРЭА (13 мая 2003 г.).

Основные научные результаты

1. Математическая модель адаптивного распознавания образов на основе ПНС.

2. Структура, примитивы, способ функционирования специализированной ПНС.

3. Модель использования ПНС для адаптивного выделения информации в целях последующих операций классификации, идентификации и сравнения.

4. Модель ускорения операций поиска, в том числе нечеткого, информации СТД в ХИ.

4.4. Выводы

Сравнивая модель, представленную в настоящей диссертационной работе, и результаты, полученные на вышеописанном программно - лабораторном комплексе, с системами, представленными на рынке и в печати, можно сказать, что эта разработка имеет:

- большую универсальность;

- высокую степень адаптивности;

- высокую скорость работы;

- высокую степень открытости для интеграции с другими системами;

- малый объем описывающего вектора;

- высокую степень идентификации.

В пользу того, что подобная технология нужна, говорит то, что она востребована на практике.

Заключение

Вышеописанная модель адаптивного распознавания образов доказала свою работоспособность на практике. Основное ядро технологии - абстрактно-ассоциативный метод опробован в лабораторных условиях, а также на практике показал неплохие результаты. Об этом свидетельствует внедрение результата разработки - библиотеки FUNSR (РОСПАТЕНТ per. № 2002610360) на практике. Библиотека является ядром программы распознавания почтовых адресов, что зафиксировано в соответствующем акте о внедрении. Это единственная программа распознавания, практически применяемая в почтовой отрасли в настоящее время. Это означает, что представленная модель позволяет работать с текстовыми данными не только в лабораторных условиях, но и на практике. Библиотека FUN SR используется в разрабатываемом программно-аппаратном комплексе по охране объектов. Библиотека отвечает за первичную обработку изображений, поступающих от видеокамер, а также за отсев визуально близких изображений на этапе записи в хранилище данных. Это говорит о том, что представленная модель применима на практике в системах обработки двумерных графических данных. Некоторые части модели опробованы только в лабораторных условиях, например, работа с трехмерными сценами, но с учетом того, что основная часть модели для всех типов данных общая, с большой долей вероятности можно предположить, что эта модель применима в системах, работающих с трехмерными сценами.

Несомненным достоинством метода является его универсальность. Он может использоваться практически в любой области в отличие от разного рода специализированных систем. Он разрабатывался в соответствии с концепцией УС и вследствие этого, может быть применен в современных хранилищах данных, в которых хранятся данные разного происхождения и формата, для поиска, классификации и т.п.

Метод достаточно гибок, у него много возможностей для настройки под ту или иную информацию, под разные особенности этой информации. Это позволяет на основе этого метода построить специализированные системы сравнения информации и её классификации. При этом произойдет потеря универсальности, но улучшится характеристика качества поиска и идентификации, а также скоростные характеристики. Например, данный подход может использоваться в системах слежения на предмет изменения. Именно в этой области такая система хорошо справится с задачей. Сравнивая дескриптор, получаемый в реальном режиме времени, с эталоном хранящимся в БД, можно установить соответствующие отклонения. Таким образом, можно сравнивать фотографии с метеоспутников, изображения охраняемых объектов и др. Для мобильных систем немаловажный фактор - размер оперативной памяти. Данная система наиболее выгодна с этой точки зрения, ибо дескриптор, полученный с ее помощью наиболее компактный, но информативный.

Поиск информации при помощи дескрипторов данной системы осуществляется достаточно быстро, а, значит, она может использоваться в системах, где время поиска ограничено, например, в системах, помогающих принимать оперативные решения. Аналитические системы поддержки принятия решений, на сегодняшний день, нашли применение в самых разнообразных сферах. Для выработки корректного решения в сжатые сроки системный аналитик должен получать данные из самых разных источников, в том числе, и оперативно поступающую информацию, в том числе графическую и аудио. Предложенная система может значительно ускорить обработку такой информации.

Надо заметить, что предложенный метод обработки информации только частично проверен на практике и во многом только проходит испытания. Данные о возможностях использованных методов и подходов будут уточняться и дополняться в результате дальнейших исследований. Например, работа по выработке методов индексирования данных будет продолжена, так как это самый перспективный путь развития данной технологии. Использованные методы индексирования работоспособны, но результаты экспериментов, не вошедшие в данную работу, показывают, что существуют более производительные методы, построенные на основе предложенной технологии. В дальнейшем предполагается доработка нейронной сети с целью улучшения ее характеристик. В частности, требуют улучшения скоростные характеристики. Планируется провести дополнительные исследования методов сравнения описывающих векторов. Планируется сгенерировать нейронную сеть для автоматического сравнения дескрипторов с учетом того, что сеть сможет обучаться в процессе работы. Это приведет к большей универсализации метода в целом. В дальнейшем предполагается модифицировать и опробовать модель для обработки таких данных как звук и видеоизображения. Предполагается дополнительно разработать серию входных фильтров для различного типа информаций.

Наиболее выгодно реализовать приведенную модель в виде отдельного специализированного устройства с высокой степенью параллелизма, так как нейронные сети достигают наибольшей производительности именно в таком варианте исполнения. Предполагается спроектировать устройство, выполненное частично на аналоговых элементах, что позволит существенно повысить производительность и качество первичной обработки.

Публикации

1) Федотова Д.Э., Подкосов Д.Н., Быстрый поиск в BLOB-полях абстрактно-ассоциативным методом. / Математическое обеспечение вычислительных систем. Сборник научных трудов по материалам XLIX научно-технической конференции, -Москва, МИРЭА, 2000 г.

2)Подкосов Д.Н., Федотова Д.Э. Идентификация информационных кластеров по сверткам, полученным при помощи р-нейронных пространств / Проблемы математического обеспечения, Сборник научных трудов, -Москва, МИРЭА, 2000 г.

3)Подкосов Д.Н., Свойства протонейронных пространств / Программное обеспечение ЭВМ и сетей, МИРЭА, 2001 г.

4)Подкосов Д.Н., Поиск "скрытых дублей" в базах данных / Проблемы математического обеспечения, Сборник научных трудов, МИРЭА, -Москва, 2000 г.

5)Подкосов Д.Н., Математический аппарат для поиска информации в бинарных полях баз данных / Современные информационные технологии в управлении и образовании - новые возможности и перспективы, Сборник научных трудов, ФГУП НИИ «ВОСХОД», МИРЭА, СИРИУС, -Москва, 2001 г.

6)Подкосов Д.Н., Управление работой Р-нейронной сети / Теоретические вопросы программного обеспечения, Межвузовский сборник научных трудов, МИРЭА, -Москва, 2001 г.

7)Подкосов Д.Н., Применение на практике нечеткого поиска / Современные информационные технологии в управлении и образовании в рамках всероссийской программы Электронная Россия, Сборник трудов, ФГУП НИИ «ВОСХОД», МИРЭА, СИРИУС -Москва, 2001 г.

8)Подкосов Д.Н., Математическая модель адаптивного распознавания образов на основе пульсационных нейронных сетей / Теоретические вопросы вычислительной техники и математического обеспечения, МИРЭА, -Москва, 2003 г.

1. Армстронг Дж. Р. Моделирование цифровых систем. М.:Мир, 1992,- 174 с.

2. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++: Пер. с англ 2-е изд. - М.: БИНОМ, 1999.

3. Веников В.А., Веников Г.В. Теория подобия и моделирования. М.: Высшая школа, 1984.

4. Вермишев Ю.Х. Методы автоматического поиска решений при проектировании сложных систем.-М.: Радио и связь, 1982.

5. Влиссидес Дж., Гамма Э., Джонсон Р., Хелм Р. Приемы объектно-ориентированного проектирования. Санкт-Петербург: Питер, 2001. ISBN 5-272-00355-1.

6. Вожняковский X., Трауб Дж. Общая теория оптимальных алгоритмов. М.: Мир, 1983.

7. Гаврилов Г.П. Логический подход к искусственному интеллекту. -М.: Мир, 1998.

8. Гайдышев И. Анализ и обработка данных: специальный справочник. Санкт-Петербург: Питер, 2001. ISBN 5-318-00220-Х

9. Галушкин А.И. О решении задач сортировки с использованием нейронных сетей.-М.: Нейрокомпьютер, 1994.-С.35-40.

10. Ермаков А.Е. Тематический анализ текста с выявлением сверхфразовой структуры //Информационные технологии. 2000. -N11.

11. Ермаков А.Е. Проблемы полнотекстового поиска и их решение/Мир ПК. 2001. - N 5.

12. Ермаков А.Е., Плешко В.В. Тематическая навигация в полнотекстовых базах данных//Мир ПК. 2001. - N 8.

13. Ермаков А.Е., Плешко В.В. Ассоциативная модель порождения текста в задаче классификации//Информационные технологии. 2000. - N 12.

14. Ермаков А.Е., Харламов А.А. Применение динамической нейронной сети для распознавания речи //Нейрокомпьютеры. 2000. - N 1.

15. Ефимов Е.И. Решатели интеллектуальных задач. М.: Наука ГР ФМЛ, 1982.

16. Заде J1. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

17. Зубов Н.В., Мутлу О.В. Исследование феноменологических уравнений нейродинамики. Санкт-Петербург: Изд. Санкт-Петербургского университета, 1999.

18. Йордон Э., Аргила К. Структурные модели в объектноориентированном анализе и проектировании: Пер. с англ. М.: ЛОРИ,1999.

19. Карташова Е. Об одном инструменте аналитика//Сотри1ег\уогМ 2 -1997. N22.

20. Лорьер Ж.Л. Системы искусственного интеллекта. М.: Мир,1991.

21. Марк Леон Универсальные серверы. Какая технология победит? //Computerworld 1996.-N47.

22. Муравьев И.П., Фролов А.А. Нейронные модели ассоциативной памяти.-М.: Наука, 1987.

23. Нильсон Н. Искусственный интеллект: Методы поиска решений. М.: Мир, 1973.

24. Нильсон Н. Принципы искусственного интеллекта. М.: Радио и связь, 1985.

25. Орёл Е.Н. Основы теории интеллектуальных систем. М.: МИРЭА, 1998.

26. Подкосов Д.Н. Математический аппарат для поиска информации в бинарных полях баз данных. Современные информационные технологии в управлении и образовании новые возможности и перспективы: Сборник научных трудов. ФГУП НИИ «ВОСХОД». - М.: МИРЭА, 2001.

27. Подкосов Д.Н. Поиск "скрытых дублей" в базах данных. Программное обеспечение ЭВМ. М.: МИРЭА, 2001.

28. Подкосов Д.Н. Свойства протонейронных пространств. Программное обеспечение ЭВМ. М.: МИРЭА, 2001.

29. Подкосов Д.Н., Управление работой Р-нейронной сети. Теоретические вопросы программного обеспечения. М.: МИРЭА, 2001.

30. Подкосов Д.Н., Федотова Д.Э. Быстрый поиск в BLOB-полях абстрактно-ассоциативным методом. Математическое обеспечение вычислительных систем. Сборник научных трудов по материалам XLIX научно-технической конференции. М.: МИРЭА, 2000.

31. Подкосов Д.Н., Федотова Д.Э. Идентификация информационных кластеров по сверткам, полученным при помощи р-нейронных пространств. Проблемы прикладной математики. Сборник научных трудов.- М.: МИРЭА, 2000.

32. Пугачев B.C. Лекции по функциональному анализу.-М.: МАИ, 1996.

33. Саати Т., Керне К. Аналитическое планирование. Организация систем.- М.: Радио и связь, 1991.

34. Романцев В.В., Яковлев С.А. Моделирование систем массового обслуживания. СПб.: Поликом, 1995.

35. Сборник: Классификация и кластер. М.: Мир, 1980.

36. Советов Б.Я., Яковлев С.А. Моделирование систем. М.: Высш. школа, 1998.

37. Сушков Б.Г. Нейронные сети для построения маршрутов в сетях. -М.: ВЦ РАН, 1995.

38. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

39. Фомин Н.В. Операторные методы теории линейной фильтрации случайных процессов. Санкт-Петербург: Издательство Санкт-Петербургского университета, 1996.

40. Хованов Н.В. Анализ и синтез показателей при информационном дефеците. Санкт-Петербург, Издательство Санкт-Петербургского университета, 1996.

41. Цыпкин Я.З. Информационная теория идентификации: Физмат-лит. -М,: Наука, 1995.

42. Шапиро Д.И. Принятие решений в системах организационного управления: использование расплывчатых категорий. М.: Энергоатом-издат, 1983.

43. Шеннон Р. Имитационное моделирование систем Искусство и наука. - М.: Мир, 1978. - 418 с.

44. Щербаков М.А. Искусственные нейронные сети. Пермь: ПГТУ, 1996.

45. Abrahamson S.L. Pulse Coupled Neural Networks for the Segmentation of Magnetic Resonance Brain Images, MS Thesis, Air Force Institute of Technology, Dayton, OH, USA, 1996.

46. Abrahamson S.L. Pulse Coupled Neural Networks for the Segmentation of Magnetic Resonance Brain Images, MS Thesis, Air Force Institute of Technology, Dayton, OH, USA, 1996.

47. Bishop C.M. Neural networks and pattern recognition. Oxford Press, 1995.

48. Broussard R.P., Rogers S.K. Physiologically motivated image fusion using pulse-couplet neural networks, Proc. SPIE, vol.2760, pp. 372-383, 1996.

49. Broussard R.P., Rogers S.K. Physiologically motivated image fusion using pulse-coupled neural networks. Proc. SPIE, vol. 2760, pp. 372-383, 1996.

50. Eckhorn R., Reitboeck H.J., Arendt M. and Dicke P. Feature linking via synchronization among distributed assemblies: simulation of results from cat visual cortex. Neural Computation, vol. 2, pp. 293-307, 1990.

51. Eckhorn R., Stimulus-evoked synchronization in the visual cortex: Linking of local features into global features? Neural Cooperativity, J. Kruger, (ed.), Springer, London, UK, 1989.

52. Lauterbur P.C. Image Formation by Induced Interactions: Examples Employing Nuclear Magnetic Resonance. Nature vol. 242, pp. 190-191, 1973.

53. Linblad Т., Kinser J.M. Image Processing using Pulse-Coupled Neural Networks, Springer, London, UK, pp 101-130, 1998.

54. Linblad Т., Kinser J.M. Image Processing using Pulse-Coupled Neural Networks, Springer, London, UK, pp. 101-130, 1998.

55. Talagala S.L., Lowe I.J. Introduction to Magnetic Resonance Imaging. Concepts in Magnetic Resonance, vol. 3, pp. 145-159, 1991.56. www.informix.com.ua57. www.metric.ru

56. Словарь терминов и обозначений

57. Апплет программы на Java, которые предназначены для того, чтобы загружаться посредством браузера, а затем работать в окне браузера.

58. БПР- блок принятия решения.

59. Дескриптор описывающий вектор.

60. Доверительные пределы в задачах классификации границы принадлежности вектора конкретному классу.

61. Задача кластеризации задача размещения входных векто-ров(образов) по категориям(кластерам), так чтобы близкие векторы(схожие образы) оказались в одной категории.

62. ИНС (Искусственные нейронные сети) модели биологических нейронных сетей мозга, в которых нейроны имитируются относительно простыми, часто однотипными, элементами(искусственными нейронами).

63. ИС информационная система.

64. Катридж средство расширения ядра СУБД "Oracle".

65. КУС концепция универсального сервера.

66. Мультимедиа информация аудио-визуальная информация на основе сложных типов данных.

67. Нейроинформатика (нейрокомпьютинг) научное направление, которое занимается разработкой вычислительных систем на основе принципов работы биологических нейронных сетей.

68. Номинальная переменная (нечисловая переменная, номинальный признак) переменная, которая определена на конечном множестве значений. Номинальные переменные могут быть ординальными (упорядоченными) и категориальными (неупорядоченными).

69. ОРСУБД система управления объектно-реляционными базами данных.

70. Пиксель наименьшая часть изображения, которая может быть отображена на экране компьютера.

71. Рецептивное поле множество нейронов, объединенных посредством нейронных связей.

72. РСУБД система управления реляционными базами данных.

73. СБИС сверхбольшие интегральные схемы

74. Синаптическая связь связь между нейронами НС.

75. Слой нейронной сети один или несколько нейронов, на входы которых подается один и тот же общий сигнал.

76. СУБД система управления базами данных.

77. ХД хранилище данных. Это предметно-ориентированный, интегрированный, неизменяемый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений.1. ЭС экспертная система.

78. ABSTR операция абстрагирования данных.1. Agent программный агент

79. APRP (Adaptive Pattern Recognition Processing) технология адаптивного распознавания образов.1. В-Тгее двоичное дерево

80. С++ объектно-ориентированный язык программирования.

81. DataBlade средство расширения ядра СУБД "Informix".

82. HTML (HyperText Markup Language) язык разметки гипертекста. Система кодов для разметки документов. Применяется для документов, циркулирующих в среде World Wide Web.1. идентификатор.

83. Java язык программирования.

84. I (linking leaky integrators) связывающий интегратор в примитивах PCNN. LLI регулирует коэффициент усиления, а также выдает константный уровень сигнала во время спада импульса в рецептивном поле.

85. B большие двоичные объекты (тип данных СУБД).

86. OCR система оптического распознавания.1. Offline автономный.

87. Online оперативно доступный.

88. RDF язык описания ресурсов, построенный на основе XML.1. SQL язык запросов СУБД.

89. UDF средство расширения функциональных возможностей СУБД InteBase посредством подключения пользовательских динамических библиотек и вызова процедур и функций этих библиотек в запросах и хранимых процедурах СУБД.

90. VRML (Virtual Reality Modeling Language) формат файлов описания интерактивных трехмерных объектов.