автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Модель сознательного внимания и биоподобного анализа изображений на базе ансамбля АРТ-нейросетей

САНКТ-ПЕТПРБУРГСКИИ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи

□□3493258

МИЩЕНКО Алесь Викторович

МОДЕЛЬ СОЗНАТЕЛЬНОГО ВНИМАНИЯ И БИОПОДОБНОГО АНАЛИЗА ИЗОБРАЖЕНИЙ НА БАЗЕ АНСАМБЛЯ АРТ-НЕЙРОСЕТЕЙ

Специальность 05.13.18 — Математическое моделирование, численные методы и комплексы программ.

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Санкт-Петербург - 2010

1 1 МАР 7,011

003493258

Работа выполнена на кафедре компьютерного моделирования и многопроцессорных систем факультета прикладной математики - процессов управления Санкт-Петербургского государственного университета.

Научный руководитель:

доктор физико-математических наук, профессор Андрианов Сергей Николаевич

Официальные оппоненты: доктор физико-математических наук,

профессор Флегонтов Александр Владимирович

кандидат физико-математических наук, доцент Коровкин Максим Васильевич

Ведущая организация:

Санкт-Петербургский институт информатики и автоматизации РАН.

Защита состоится «24» марта 2010 г. в 14 часов на заседании совета Д.212.232.50 по защите докторских и кандидатских диссертаций при Санкт-Петербургском государственном университете по адресу: Санкт-Петербург, 199034, В.О., Университетская наб. 7/9, Менделеевский центр.

С диссертацией можно ознакомиться в библиотеке им. М.Горького Санкт-Петербургского государственного университета по адресу: 199034, Санкт-Петербург, Университетская наб., дом 7/9. Автореферат размещен на сайте www.spbu.ru.

Автореферат разослан «|5М февраля 2010 г.

Ученый секретарь диссертационного совета доктор физ.-мат наук,

профессор

Г.И. Курбатова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность

Обработка и анализ изображений являются одной из наиболее востребованных областей применения математического моделирования и численных методов. В последнее время особую актуальность приобрело нейросетевое моделирование обработки визуальной информации в системах биологического зрения. Адаптивная резонансная теория (APT) является одним из последних крупных достижений в области создания нейросетевых моделей, действующих по принципу подобия биологическим когнитивным процессам. Основными элементами АРТ-сетей являются полные двудольные графы синапсов (рис.1), в весах которых хранятся кластеры запомненных изображений.

Рис. 1. Простейшая АРТ-сеть, состоящая из одного полносвязного классификатора (слоев

СР, СС и весов IVу ), а также модуляторов сброса-принятия (МСП), сравнения (МС) и распознавания (МР). Усиливающие связи показаны стрелками, тормозящие - «булавами».

Все чаще от алгоритмов обработки массивов изображений требуется человекоподобные навыки, такие как анализ структуры, направление внимания и возможность ассоциирования образов друг с другом. Добавление таких навыков в APT актуально как для её развития, так и для развития машинного зрения.

Практически все разработки APT моделируют многие важные аспекты восприятия. В области моделирования внимания следует отметить модель СААРТ, способную «замечать» в изображениях-кандидатах только искомый объект и «не реагировать» на остальное. Однако в реальных биологических системах реализуется не только внимание, ответственное за подавление фона. В частности, существуют также механизмы внимания, направляемого в соответствии с моделями реальности, например, в соответствии со структурой знакомых объектов. Такое внимание можно назвать сознательным. Оно соответствует нашим попыткам «увидеть» знакомую структуру в воспринимаемом изображении и является примером влияния высокоуровневого анализа изображений на низкоуровневое восприятие. Моделирование подобных процессов в биологических системах до сих пор не производилось ни в рамках APT, ни в рамках вычислительной нейрофизиологии.

Сформулируем некоторые задачи, актуальные для моделирования в рамках APT. В заданном потоке входных изображений {О, и при заданном пороге их

различимости р0 (уровне внимания), целевая нейросеть СВАК должна быть способна самостоятельно осуществлять следующие процессы: П1. Классификация объектов (изображений) в соответствии с запомненными ранее классами ({0,}^° —>№}!lft).

П2. Коррекция классов по мере поступления в них новых объектов, а так же создание новых классов для объектов, малопохожих на ранее увиденные

(W С}«"')•

ПЗ. Создание структурных и ассоциативных связей между запомненными классами (как типа «часть-целое», так и типа «две половины одного целого»

П4. Моделирование интроспективного «обдумывания» (возбуждения зрительной памяти для структурирования запомненных объектов {К,—*A = {(KI,KJ}jj"fv). П5. Направление внимания (выборочное «подчеркивание» частей изображения в соответствии с усвоенными структурными связями (А): р0—*р,(А);

В 90-х годах XX века были предложены АРТ-сети, моделирующие запоминание и классификацию образов в виде процессов П1-П2. Однако моделирование структуризации образов и сознательного внимания (ПЗ-П5) осталось за рамками исследований. Моделирование ПЗ-П5 актуально как для развития APT, так и как новый метод анализа изображений, обладающий большой степенью самостоятельности.

Назовём моделью сознательного внимания и ассоциативной классификации (СВАК) нейросеть, осуществляющую П1-П5. Модель состоит из нейросетевой архитектуры; переменных, представляющих визуальную информацию; а также психологических законов, формализованных в виде алгоритмов изменения синаптических весов.

В частности, полученная зависимость силы ассоциации от числа повторений A(tN)=A0 Z~" в комбинации с забыванием Эббингауза-Стронга A(t) = A-

B\ogz(t), обеспечивает процесс обучения разработанных нейраансамблей ассоциативного внимания (HAB). Моделирование нейрофизиологической обратной связи со стороны зрительной памяти (влияющей как на синтез «осознанности» ощущений, так и на феномен «внутреннего» или «интроспективного» видения) порождает архитектуру и процесс обучения разработанных нейроансамблей сознательного внимания (НСВ).

Множество переменных, представляющее визуальную информацию, строится с помощью биоподобного фасеточного метода, также разработанного в процессе диссертационного исследования.

Цель и задачи исследования

Целью работы является математическое моделирование механизмов внимания в процессах распознавания, классификации и анализа структуры изображений, разработка численных алгоритмов для целевой модели, а также создание комплекса нейросетевых программ, реализующих эти алгоритмы.

4

Назовем целевую нейросеть нейросетью сознательного внимания и ассоциативной классификации (СВАК-нейросетью - см. рис. 2 далее). Поставленная цель определяет следующие основные задачи.

Задача 1. Исследование предмета моделирования (стадий обработки и психологических моделей внимания в системах биологического зрения — рис.2) и соответствующее структурирование процесса обработки визуальной информации - как временное (на стадии), так и архитектурное (на подсети). Задача 2. Формализация, выбор структурных элементов и математическое моделирование на их основе подсетей, соответствующих задаче 1. Задача 3. Разработка логической структуры целевой модели (нейросети СВАК), в том числе: архитектуры и функциональности (численных алгоритмов) всех подсетей задачи 2; биоподобного представления визуальной информации; методов соединения структурных элементов в нейроансамбли, возбуждающиеся при ассоциативном и сознательном внимании. Задача 4. Реализация нейросети СВАК в виде комплекса программ на основе разработанных численных алгоритмов. Тестирование его способности к автоматическому структурированию объектов, а также выполнения условий устойчивости работы комплекса программ.

Задача 5. Проверка адекватности математической модели СВАК на основе сравнения с психологическими когнитивными экспериментами. Задача 6. Применение СВАК для решения практических задач обработки изображений (поиск и сегментация по эталону, создание тримапа для матирования, вычисление свойств материала по изображению микроструктуры). Научная новизна

• Разработан биоподобный метод фасеточного представления визуальной информации, упрощенно моделирующий сетчатку, обоснован (Теорема 1) и впервые применён для решения некоторых задач обработки изображений.

• Создана математическая модель процессов сознательного внимания и ассоциативной классификации, реализованная в виде нового типа нейросетевой архитектуры на базе APT и алгоритмов изменения её весов. Доказаны новые АРТ-теоремы о функционировании данной архитектуры.

• Предложены и численно реализованы алгоритмы работы нейроансамблей ассоциативного и сознательного внимания, т.е. новый метод соединения структурных элементов APT в единую нейросеть, впервые моделирующую как ассоциативное и сознательное внимание, так и процесс интроспективной структуризации запомненных объектов.

• Разработан программный комплекс, реализующий математическую модель сознательного внимания и ассоциативной классификации для её применения в решении некоторых задач обработки изображений (создание автоматического тримапа, поиск и сегментация объекта по его эталонному изображению, вычисление свойств материала по изображению его микроструктуры1).

1 Для последнего приложения разработан также новый численный метод оценки проницаемости пористого материала по анализу изображений его срезов.

5

Практическая значимость полученных результатов. Практические приложения разработанного метода были запатентованы и использованы в коммерческих и научно-исследовательских проектах.

Основные результаты приложения «поиск и сегментация объекта по его эталонному изображению» были выполнены автором во время работы в научно-исследовательском центре фирмы Самсунг, запатентованы и применены в рамках разрабатываемой фирмой Самсунг системы интернет-торговли.

Основные результаты приложения «вычисление свойств материала по изображению его микроструктуры» были выполнены автором в научно-исследовательском центре фирмы Корнинг. Соответствующие результаты были оформлены в виде материалов для служебного пользования и применены в рамках проекта фирмы Корнинг по созданию высоко-технологичных пористых материалов.

Разработанная в процессе диссертационного исследования математическая модель СВАК, а также результаты сравнения работы комплекса программ СВАК с психологическими экспериментами распознавания, классификации и анализа структуры изображений были использованы в дипломных исследованиях факультета психологии РГПУ им. А.И.Герцена.

Апробация и опубликованность результатов. Основные положения и результаты диссертационной работы докладывались и обсуждались на: Международной конференции компьютерной графики и машинного зрения Графикон, Россия, Н.Новгород (2001); Международной конференции Искусственного интеллекта ИАИ, Украина, Кацивели (2002, 2004); International Conference EpsMsO, Aphens, Greece, (2005); Modeling and Simulation IAESTED conference, Beijing, China, (2007), а так же на научных семинарах: Visual processing lab seminar в научном центре фирмы Самсунг (Samsung Advanced Institute of Technology), Giheung-gu, S.Korea, (2001); Modeling&Simulation meetings в научных центрах фирмы Корнинг: Corning-SP, USA и Corning-CSC, Санкт-Петербург (2004, 2007); Семинаре машинного зрения и компьютерной графики МГУ, Москва (2006, 2008); Computational neurophysiology seminar, Los-Alamos National Lab, Los-Alamos, NM, USA (2008); Семинаре секции «Кибернетика» Дома Ученых СПб (2009); Семинаре кафедры компьютерного моделирования и многопроцессорных систем факультета прикладной математики - процессов управления СПбГУ (2009).

Все новые результаты, представленные в диссертационной работе, получены автором самостоятельно. Реализация программного комплекса на некоторых типах ЭВМ была проведена совместно со специалистами в области аппаратного и программного обеспечения ЭВМ. В публикациях с соавторами вклад соискателя определяется рамками излагаемых в диссертации результатов. Руководители проектов принимали участие в постановке задач, оценке промежуточных и конечных результатов.

Благодарности. Выражаю благодарность старшему научному сотруднику Джи-Юнгу Киму и руководителю проекта Чанг-Йонгу Киму (Samsung Advanced Institute of Technology), а также старшему научному сотруднику Олушу Боратаву и руководителю проекта Филиппу Барту (Corning Incorporated) за поддержку данных исследований, предоставление необходимых материалов, постановку ряда задач и плодотворное сотрудничество.

Публикации. По материалам диссертации опубликовано 12 печатных работ, список которых приведен в конце автореферата. Из них 1 статья опубликована в издании, рекомендованном ВАК2.

Структура и объём диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения, библиографического списка и девяти приложений. Работа изложена на 226 страницах машинописного текста, включая 59 страниц приложений. Библиографический список содержит 249 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В первой главе описываются область и методы исследования,

формулируется задача построения ИНС на основе APT в соответствии с

психологическими моделями узнавания, опознания и внимания, а также описывается общее строение модели СВАК (рис. 2).

Г

Низкоуровневое зрение

критерии

опознания, модули управления, переключатели состояний

"Л <-

Образная обработка

Аналитическая обработка С Л N

Фасеточные карты

фасеточное представление образа

структурные и ассоциативные связи

анализ

структурных

связей

„

Свертка по рецептивным полям сетчатки

"V

Первичное узнавание (аморфное восприятие)

Нейроансамбль ассоциативного V внимания

Нейроансамбль сознательного внимания J

Опознание иуассоциирование

Рис. 2. Модель сознательного внимания и ассоциативной классификации (СВАК) и соответствующие ей стадии обработки визуальной информации.

Первый параграф и Приложение А представляют собой введение в искусственные нейронные сети (ИНС), их свойства и применимость к различным задачам (особое внимание уделено APT и ансамблевым нейросетям, наиболее подходящим для биоподобной обработки информации). Рассмотрены характерные

2 Также, 3 статьи были опубликованы в изданиях, рекомендованных ВАК Украины.

7

для АРТ-сетей комплексы нейронов - полносвязные классификаторы (ПК). Приведены определения нейросети (ИНС), обучения ИНС, АРТ-нейросети, АРТ-нейроансамбля.

Второй параграф посвящен временному (разделение на стадии) и архитектурному (разделение на подсети) структурированию процесса обработки визуальной информации мозгом. Образная обработка визуальной информации разделяется на первичную классификацию ({О, КГ*" —» {А", ) и ассоциирование (А={(К1,К^';'^К). Выводится зависимость силы ассоциативной связи от числа повторений: 2((„)=Л0 2, которая комбинируется с забыванием

Эббингауза-Стронга А(г)=А-В\о%г{(). Аналитическая (структурная) обработка изображения формализуется в виде древовидных структур

{К, = рагешаК^'^")}'^". Также выделяются две подсети, отвечающие соответственно за низкоуровневое (сетчатка - левая часть рис. 2) и высокоуровневое (зрительные отделы коры головного мозга) зрение.

В третьем параграфе проводится математическая формализация проблемы моделирования внимания3 и распознавания, в том числе постановка задачи моделирования и построение архитектуры нейросетевой модели. Формулируется математический аппарат нейросетевой метрической кластеризации изображений

Результатом первой главы является выполнение задач 1 и 2 исследования, а также формулирование задач моделирования ассоциативного и сознательного внимания, сознательной (интроспективной) структуризации запомненных объектов. В заключении первой главы описывается разделение нейросети СВАК на подсети (рис. 2), наполнение и функциональность которых обсуждаться в Главе 2.

Во второй главе описываются структура и функциональность подсетей СВАК-сети.

В первом параграфе описывается метод фасеточной обработки изображений {О, основанный на разделении изображения О, на прямоугольные фрагменты (фасетки ФИ<\х/Ых\\у^у}), где Ых-Иу - число фасеток, а [.] — целая часть числа) с последующим вычислением свойств Щ}'^ этих «подизображений» с помощью определяемых спецификой приложения операторов. Даны определения в-устойчивости4 и е-разделимости5 нейрокластеризации, а также определение е-соответствия множества фасеточных свойств {^К!^ и пикселей {О,}''^"6, при

3 В соответствии с психологической моделью Трейсмана-Джулеша, составляется карта свойств объекта О,- где /? - текстура, цвет, ориентация, и т.п. Высокоуровневые свойства (форма и т.п.), для упрощения, не рассматриваются.

4 \/0',0" е {бУ'Л" справедливо: если \\д'-д" \\ <е,то О',О" попадут в один кластер из {К,}1'^'

5УО.О е : если|| О' -О" || > £, то д',д" попадут в разные кластеры из^,};:;""

6 такие что: УО, е {б,};:Г°:б, = £ Н )'Н тах{||ё (||+||£,||} =£

м

которых доказана Теорема «Об эквивалентности», сформулированная следующим образом.

Теорема 1. Пусть множества векторов {О) с Я"1'" и {Р} с Л*'1"" являются е-соответствующими и существует нейросеть пиксельной кластеризации ({0}={{дх},{д2},...,{б-н}}, {д,}-*К, ), в™-разделимая и е^"-устойчивая в норме ||*|| на множестве {О} {£(," >£оТ). Тогда при выполнении условия

тах||<5^|| < (еГ-е)/тъх\\Р1\\< (£™-Е)/ты\\Р<\\ <тт||г^||, е™ >е существует и нейросеть фасеточной кластеризации ({Р }={{ Р ]},{Рг},--.,{^и}}. {Р ¡}—*К,), формирующая те же кластеры {Я",}!!*". При этом, она £Г/3 -разделима и £^Т-устойчива в норме ||«|| на множестве {Р} для любых £}СТ и £','", удовлетворяющих

(^Г-е)/аш\\Щ\\ < е™<е™<(е™-е)Мт\\Щ\\ (здесь тах||<5^|| - максимальный размер кластера, тт||<5^|| - минимальное расстояние между кластерами).

Фактически, фасетка представляет собой вычислительный аналог рецептивного поля, по которому нейроны сетчатки собирают информацию, необходимую для решения конкретной задачи. При моделировании эта информация может быть одним свойством или набором свойств {Р, У'*7. Она также может варьироваться в зависимости от решаемой задачи и выбирается априорно. Для задачи поиска и сегментации объекта по эталону это - цветовые и текстурные характеристики фасеток. Для теста обработки букв русского алфавита — бинарное свойство пикселя «буква/фон». Для оценки проницаемости пористого материала по изображениям его срезов - специфические свойства фасеток, соответствующие физическим величинам. Для сравнения производительностей СВАК-сети и СААРТ-сети -отклик детектора границ Д{0(Х>>,<т)} = А{ехр(-(л2 + уг)/2аг)/2л(г2} и вышеуказанные бинарные свойства.

Фактически, подсеть фасетизации «заменяет» фрагмент изображения набором его свойств. Всё изображение «заменяется» набором «изображений» различных свойств, называемых фасеточными изображениями (ФИ) —см. рис. 3.

Рис. 3. Подсеть фасетизации. Слева направо: фасетка; фасеточные изображения; массив ПК.

Если набор свойств достаточно полно отражает информацию фрагмента изображения, справедлива сформулированная выше Теорема «Об

эквивалентности». В противном случае, информация при фасетизации теряется. С другой стороны, если набор свойств отражает только информацию, важную для данного приложения, происходит потеря лишь несущественной информации.

Во втором параграфе описывается АК-подсеть, реализующая задачу опознания фасеточных изображений (ФИ). Сеть сконструирована на основе ансамбля ПК (каждый из которых обрабатывает свое свойство фасеток) и способна корректировать кластеры объектов по мере поступления в них новых объектов, а так же создавать новые кластеры для объектов, мало похожих на ранее увиденные.

Каждый ПК (полносвязный классификатор) — это полный двудольный граф связей между нейронами слоев сравнения и распознавания (СС и СР, см. рис. 1 ранее). Каждый нейрон слоя распознавания (СР) соответствует изображению одного свойства одной фасетки. Каждый столбец матрицы весов Wij между СС и СР (каждый индекс у) хранит одно ФИ. Оно хранится в весах синапсов, веерно соединяющих нейрон у в СР со всеми фасетками изображения в СС. Алгоритмы функционирования нейронов отдельного ПК в асимптотическом приближении «быстрого» обучения были получены Гроссбергом и Карпентер из уравнений функционирования отдельного нейрона. В диссертации используется новая система связанных ПК, соединённая общими модулями управления (МСП, МР, МС), а также ассоциативными А={{КпК]}';^к и иерархическими

Л-{К! = рагет(Ксвязями.

В случае бинарных изображений коррекция весов синапсов IVу запомненного изображения при поступлении на них входного фасеточного изображения X определяются формулами + (Х)-\), IV= 1 для синапсов,

активированных X, и . = 0 для прочих. Здесь Хк - суммарный

«вес» изображения, Ь - константа обучения нейронов. В слое распознавания (СР) тот нейрон у имеет максимальную реакцию, веса синапсов которого

максимально соответствуют исходному ФИ>: МАХ(1¥Ц • ФИ1) = МАХ^ ■ ФИ1.

Далее в параграфе производится теоретическое обоснование модели ассоциативной памяти, выводится формула для максимальной разницы сил ассоциаций (ААщх = А0/(с учётом затухания Эббингауза-Стронга и ЛАлш = А0(1 -1 /(1 -1)) в случае «идеальной» памяти). Выводятся также условия «различности» входных изображений: У^Ке {О,}^'":

< 5(1/) — С' АА^^, обсуждаются условия малости начальных значений весов: ^(¿ = 0) < Ь/{Ь-\ + 6лт{ СС )). Здесь сИт(СС) — количество нейронов СС, С - вес ассоциации относительно воспоминания, Б(Х) = + (Х)-1), ц'^ (X) - количество ненулевых

пикселей изображения X. Доказана Теорема «О воспоминаниях и ассоциациях», сформулированная следующим образом:

Теорема 2. Пусть в момент 0 сети впервые «показано» изображение 0}, которое запомнилось в синапсах нейрона CPJ слоя распознавания, далее, в

некоторый момент ¡к сети снова «показано» изображение О,. Тогда

активизация нейрона CPj превосходит активизацию прочих нейронов СРК, соответствующих как изображениям Ок, похожим на Оп так и соответствующих изображениям Ок, ассоциированным с 0Jt а так же свободных нейронов (соответствующих пустым ячейкам памяти), причём это верно во весь промежуток времени [ ¡к, KnJ ], где tmj - момент показа нового, следующего изображения, отличного от О,.

Во втором параграфе также описана архитектура и функциональность нейроансамблей ассоциативного внимания (HAB), соответствующих {F^F^'jljv/— ассоциативным комбинациям свойств, по которым в психологических моделях может направляться внимание. HAB объединяют несколько полносвязных классификаторов (ПК) в AK-подсети и моделируют непроизвольное внимание с помощью подчеркивания опознаваемых объектов по принципу ассоциации с уже опознанными объектами. В итоге, в процессе распознавания, выигрывает не один нейрон (как в случае стандартной APT, изображенной на рис. 1), а ансамбль нейронов (HAB), выигравших в каждом ФИ. Чем чаще появляются вместе два объекта, тем сильнее (в результате обучения) укрепляется НАВ-связь между ними. Подобная связь проиллюстрирована на рис. 4, где связь между сплошным ромбом и пунктирным полумесяцем соответствует увиденному в прошлом изображению «ромб с полумесяцем» - поэтому, увидев ромб, сеть будет с повышенным вниманием выискивать рядом с ним и полумесяц. Если же впредь сеть будет видеть их лишь отдельно, ассоциативная НАВ-связь между ними будет ослабевать.

Благодаря взаимному торможению внутри СР, только нейроны, соответствующие выигравшим {ФИ}}, возвращают «вспомненные» свойства обратно в СС в виде «веерных» выходов матриц весов Wu. В случае, если { ФИ;} не достаточно соответствует вспомненному образу, МСП сбрасывает его активацию и соревнование выигрывают другие нейроны. Этот процесс повторяется до тех пор, пока не встретится подходящий вспомненный образ, либо пока все образы (нейроны) в СР не окажутся перебраны. В последнем случае, в каждом СР активируется первый попавшийся нейрон, соответствующий специальному «пустому» изображению и { ФИ]} формирует новый запомненный образ.

Далее в параграфе приводится нейросетевая архитектура, связывающая процесс кластеризации {К,}',^" всех фасеточных изображений с

помощью HAB ({(F^Fj ), и доказана Теорема «О стабильности сети»:

Теорема 3. Пусть сети предъявили входное изображение X и оно активировало воспоминание J (соответствуюгцее какому-то запомненному

изображению Облизкому к X). Тогда воспоминание J остаётся активным и далее, до окончания процессов сравнения и сброса—принятия, т.е. активация нейрона CPJ остаётся максимальной в СР {J = ащ{МАХ^ IV,. ■ ФИ,} для всех ФИ

составляющих ОД

Теоремы «О воспоминаниях и ассоциациях» и «О стабильности сети» являются обобщениями соответствующих теорем Гроссберга и Карпентер, сформулированных ими для простейшей АРТ-сети (рис.1). Эти теоремы обеспечивают устойчивость численных алгоритмов, реализующих модель СВАК. Сами численные алгоритмы приведены в диссертации в виде блок-схем.

Следствием Теоремы «О стабильности сети» является возможность деактивации воспоминания только со стороны модуля сброса-принятия МСП, что означает, во-первых, устойчивость СВАК-нейросети, и, во-вторых, возможность полного контроля над сетью с помощью правил, заложенных в МСП (прежде всего, с помощью формулы расстояния ¿({ФИ'\{ФИ" ) между изображениями).

В третьем параграфе описана подсеть сознательного внимания и анализа структуры изображений (СВ-подсеть), реализующая структурирование воспринимаемого изображения и влияние запомненных структур на восприятие входного изображения. В этом же параграфе обсуждаются иерархические связи типа часть-целое в нейроансамблях сознательного внимания (НСВ). Для моделирования влияния усвоенных структур на процесс восприятия, каждый ПК расщепляется на два: на рис. 5 это - верхний ПК, отвечающий за обработку целых объектов (ПКц) и нижний ПК, обрабатывающий части объектов (ПКч).

Исходное

пиксельное

изображение

фасеточное изображение для нелого

Модуль сброса-принятия для целого

фасеточное изображение для частей

0° го

0 п 0°

---- ^—-—

1

Модуль сброса-принятия для частей

Рис. 5. Работа подсети опознания изображений с учетом структуры изображений. Сплошной нейрон соответствует изображению части, штрихованные нейроны соответствуют изображению целого в ПКц и ПКч. Пунктирные стрелки — структурным связям.

Отличаются они тем, что модуль сброса-принятия для ПКц (МСПц) имеет более низкий порог распознавания чем МСПч. С другой стороны, нейроны СРц активируются только в случае «подпитки» со стороны нейронов СРч.

В результате, если нейрон из СРч соответствует изображению, которое является частью увиденного ранее изображения, в нейрон соответствующий этому более большому изображению (в СРц), идет сигнал (на рис. 5 - дуговая пунктирная стрелка направленная вверх) - начинается «выискивание» целого по увиденной

части. Возбуждение распространяется с единичного нейрона, соответствующего наиболее проявленной части, на весь НСВ, который, как и HAB, строится по статистическому принципу.

Таким образом, влияние структуры изображений на работу подсети опознания изображений заключается в том, что теперь между проверкой достаточности соответствия воспоминания и поиском других воспоминаний присутствует еще одна фаза - фаза выискивания целого по уже найденной его части (фаза роста опознанных регионов). Эта фаза автоматически повторяется столько раз, сколько уровней иерархии появилось в результате интроспективного структурирования. Далее в параграфе доказано Утверждение, что произвольная логическая функция представима в виде комбинации нейроансамблей HAB и НСВ.

В третьем параграфе описывается процесс построения иерархических НСВ-связей между ПКц и ПКч.

При интроспективной обработке, производящейся в отсутствии входных изображений, образы из зрительной памяти (СРц, СРч слева на рис. 6) подаются (прямые пунктирные стрелки) в «сознательную область» (ПКа справа на рис. 6) и обрабатываются точно также как обрабатывались бы внешние входные изображения7. Отклики нейронов, отвечающих запомненным ранее частям целого, активизируют обучение иерархических связей между ПКч и ПКц (дуговые пунктирные стрелки). При этом более сильные отклики (более толстая стрелка на рис. 6) обеспечивает более сильную активацию и, с течением времени, формируют более сильные иерархические связи.

Рис. 6 . Обучение нейроансамбля НСВ. Нейроны, соответствующие целому объекту, обозначены клеточной, а соответствующие частям объекта - горизонтальной и вертикальной штриховками.

Результатом второй главы является решение задачи 3 исследования, в том числе следующие разработки: теоретическое обоснование и нейросетевая реализация метода фасеточного представления визуальной информации; архитектура, алгоритмы работы и обучения нейроансамблей моделирования внимания HAB и НСВ в процессах восприятия и интроспективной структуризации запомненных объектов, а также теоретическое обоснование этих алгоритмов.

В третьей главе рассматривается численная реализация сети СВАК и разработка соответствующего программного комплекса, а также обсуждается число операций СВАК при обработке NU3 входных образов. Среднее число операций

7 Нечто подобное существует и в мозге при интроспективном, сознательном анализе запомненных образов.

СВАК зависит от типа и последовательности обрабатываемых изображений и может быть оценено следующим выражением:

Nto-(MAX{2-Lm-Nm ; M-NJ4} + NnK) + M-(NJ4fr)-NnK, при M» 2-Lmax vi M» 4, оценка числа операций упрощается до

Nm-NU3-M-(l+fr)/(4-fr). Здесь M - число классов в памяти, Lm, и Lmax - соответственно средний и максимальный уровень вложенности объектов, fr — параметр, определяющий частоту анализа структуры, N„K — количество операций для выполнения ПК одной операции классификации, зависящее от числа процессоров и степени распараллеливания операции классификации. Для разных архитектур ЭВМ приведены формулы для числа операций СВАК и необходимой точности входных данных, обеспечивающей требуемую точность результата.

Далее в данной главе и Приложении Е рассматриваются варианты реализации СВАК-сети. Основное внимание уделяется реализации ПК и всей СВАК-сети в целом на параллельных архитектурах, основанных на интегральных схемах программируемой логики (ПЛИС). Рассматриваются типы ПЛИС, чип и конфигурация, обсуждается количество требуемых процессоров. Приводится быстродействие итоговой системы на некоторых задачах.

В заключении главы приводятся результаты тестирования и сравнения вычислительной сложности СВАК-нейросети с другими параллельными алгоритмами обработки изображений и кластеризации. В среднем, число операций СВАК-нейросети 0(Nm-M) линейно по двум основным параметрам: количеству данных Nia и количеству кластеров M, а также зависит от «степени распараллеливания» N„K>1, которая зависит от числа процессоров. Вычислительная сложность СВАК-нейросети сравнима со сложностью традиционных алгоритмов кластеризации, которая также линейна по количеству входных данных и количеству кластеров.

Здесь же приводятся результаты тестирования комплекса программ СВАК для проверки его способности запоминать новые образы и относить знакомые образы к существующим кластерам, а также выявлять структуру образов. Тестирование проводится на примере обучения нейросети СВАК буквам русского алфавита. Обсуждается приложение этих тестов к задаче проверки безопасности шрифтов. На этом же примере проводится тестирование комплекса программ СВАК на свойства, характерные для АРТ-сетей (прямой доступ к уже изученным образам, устойчивость поиска, устойчивость запоминания, конечность процесса запоминания), а также обсуждаются свойства СВАК-сети выявленные в процессе тестирования. Результатом третьей главы является решение задачи 4 исследования - реализации СВАК-нейросети в виде комплекса программ.

Четвертая глава посвящена сравнению СВАК с другой моделью внимания (СААРТ) и психологическими экспериментами, а также приложениям СВАК-сети к задачам обработки изображений.

В первом параграфе сравниваются, качественно и количественно, нейросеть СВАК и нейросеть селективного внимания СААРТ. Сравнение производится на двух задачах: задаче выделения «чистого» контура объекта из зашумленного фона (рис. 7.) и задаче восстановления искаженного контура объекта до его

14

запомненной, недеформированной формы (рис. 8.). Как видно из рис. 7, в процессе подавления шума, сеть СААРТ частично подавляет и исходный контур, ведя к его искажению, в то время как сеть СВАК практически идеально восстанавливает его. Как видно из рис. 8, в процессе восстановления искаженного объекта, СВАК-сеть, наоборот, уступает сети СААРТ в точности восстановления.

Рис. 7. Сравнение сетей СААРТ и СВАК на задаче шумоподавления. Слева направо: исходный запомненный сетью эталонный контур; Зашумленный контур; «Очистка» с помощью СААРТ; «Очистка» с помощью СВАК; разница эталонного и очищенного СВАК-сетью контуров.

Рис. 8. Сравнение работы СВАК-сети и СААРТ-сети на задаче восстановления искаженного объекта. Слева направо: неискаженный контур; два искажения: результат восстановления с помощью СААРТ; результат восстановления с помощью СВАК.

В диссертации обсуждаются результаты 24-х экспериментов по сравнению сетей СВАК и СААРТ, общий итог которых состоит в том, что сеть СВАК превосходит сеть СААРТ в среднем в 1.45 раз (сравнение проводилось по доле ошибочных пикселей). Визуальное же сравнение и наблюдение за работой сетей убеждают, что обе сети работают устойчиво в обеих задачах и дают удовлетворительные результаты.

В первом параграфе также проведено сопоставление СВАК-нейросети и доступных типов психологических экспериментов (ПЭ): (ПЭ1) оценка времени процессов первичного узнавания и более детального опознания, (ПЭ2) оценка влияния внимания на различные когнитивные задачи и (ПЭЗ) сравнение характеристик вызванных потенциалов, измеренных с помощью электроэнцефалографии (ЭЭГ), в процессах восприятия целой фигуры и её частей.

При сравнении СВАК-сети и ПЭ было замечено:

(1) Как в СВАК-нейросети, так и в ПЭ1, узнавание объектов требует меньшего времени, чем опознание, независимо от типа объектов.

(2) Как в СВАК-нейросети, так и в ПЭ2, внимание существенно влияет на вероятность правильного ответа и, кроме того, высокоуровневое внимание в целом медленнее, чем низкоуровневое.

(3) Как в СВАК-нейросети, так и в ПЭЗ, происходит увеличение активности и уменьшение времени реакции при переходе к восприятию целой фигуры от восприятия её частей.

Во втором параграфе обсуждаются применения СВАК-сети и метода фасеточного зрения для трех задач обработки изображений (поиск объекта по эталону, создание тримапа для матирования и вычисление свойств материала по изображению микроструктуры).

В первом пункте ставится задача поиска и сегментации объекта в массиве изображений по запомненному эталону8. Пример результата приведен на рис. 9.

Кандидат из массива изображений

Эталонное изображение

Результат

Рис. 9. Результаты поиска и выделения эталонного объекта из изображения-кандидата с помощью СВАК-нейросети. Использовалась база изображений фирмы Самсунг.

Во втором пункте ставится задача создания тримапа для матирования. Матированием называется отделение объекта переднего плана от фона на изображении: (Я,С,В) = о,(КоЬ1,СоЬрВоЬ]) + (1-а) (Я^„,С/0„,В/0П>, где а - коэффициент смешивания (0<а<1). Исходными данными для задачи матирования является задание тримапа, то есть, разделение изображения на 3 области: 100% объект, 100% фон и смешанная область (0<а<1). Тримап, в большинстве случаев, вычисляется вручную и существует мало эффективных способов автоматического вычисления тримапа. В частности, отсутствует удовлетворительный способ автоматического вычисления тримапа по какой-либо другой фотографии объекта. Задача автоматического тримапа в изображении-кандидате по запомненному изображению-эталону решается сходно задаче пункта 1. Однако, после определения внутренних, внешних и граничных фасеток, происходит не оконтуривание объекта в граничных фасетках, а сглаживание (см. рис. 10).

«Грубый тримап», сделанный вручную

Разделение на внешние и внутренние фасетки

«Аккуратный тримап», сделанный вручную

Матирование

«Автоматический тримап»

Сглаживание

1 Матирование

Рис. 10. Результаты автоматического создания тримапа (внизу) и сравнение его с «аккуратным» (в середине) и «грубым» (вверху) тримапом, созданным вручную.

8 При этом, для оптимизации взаиморасположения кандидата и эталона был разработан вспомогательный алгоритм нахождения оптимального взаиморасположения в грубом, фасеточном, разрешении.

В третьем пункте ставится задача вычисления величины проницаемости пористого материапа по изображению микроструктуры. Эта величина, по сути, является, средней скоростью потока газа или жидкости через пористый материал при приложенной к нему единичной разнице давлений9.

Хорошая проницаемость является важнейшим требованием, предъявляемым для фильтров всех типов, поскольку определяет скорость фильтрации. В данной прикладной задаче используется лишь одна подсеть СВАК, реализующая фасетизацию и вычисление свойств фасеток. Для достаточно широкого класса пор локальная скорость зависит, главным образом, от расстояния до ближайшей границы поры. Это свойство используется для оценки локальной скорости по изображениям срезов материала. В результате, свойства фасеток выбираются пропорциональными потоку газа через них. После вычисления этих свойств по изображениям срезов и их корректировки, в соответствии с законами сохранения, можно получить достаточно хорошее приближение для величины проницаемости.

В таблицах 1 и 2 приведены результаты сравнения фасеточного метода оценки проницаемости с методом усреднения среды (основным методом для вычисления проницаемости). Таблица 1 иллюстрирует ошибку (в процентах) при вычислении проницаемости в порах в виде цилиндров, прямоугольных блоков и в порах между плотноупакованными шарами. Все эти проницаемости можно вычислить с помощью формул, поэтому возможна оценка аккуратности различных численных методов вычисления проницаемости.

Таблица 1. Средняя ошибка фасеточного метода в сравнении с методом усреднения среды.

Пористый материал Метод вычисления проницаемости 50x50x50 100x100x100 200x200x200

• •• • •• • •• Фасеточный метод 10% 8% 6%

Метод усреднения среды 23% Т/о 4%

В8В ■ ■■ ■ ■■ Фасеточный метод (удачное/неудачное) расположение фасеток 5% / 9% 5% / 8% 4% / 5%

Метод усреднения среды 17% 5% 3%

Ш Фасеточный метод 50% 33% 17%

Метод усреднения среды 31% 10% 5%

Таблица 2 иллюстрирует среднюю скорость при вычислении проницаемости в изображении с разрешением 100x100x100 пикселей.

Таблица 2. Скорость фасеточного метода в сравнении с методом усреднения среды.

Фасеточный метод Метод усреднения среды

~8минут ~2 часа

Как видно из вышеприведённых таблиц, метод оценки проницаемости, основанный на разработанном в данной работе фасеточном зрении, быстрее

9 Закон Дарси: и = -к- УР/г/, где Р - давление, у- динамическая вязкость, к - проницаемость.

существующих методов, хоть и уступает им в точности. Этот метод применялся для быстрой оценки проницаемости, что позволяет инженеру исследовать качество пористых материалов и создавать новые микроструктуры материалов с увеличенными значениями проницаемости.

Результатом четвертой главы является решение задач 5 и 6 диссертационного исследования. В частности, решаются следующие подзадачи: проверка эффективности СВАК в сравнении с родственной нейросетью СААРТ; проверка адекватности модели СВАК на основе сравнения с психологическими когнитивными экспериментами; применение СВАК к различным задачам обработки изображений (создание автоматического тримапа, поиск и сегментация объекта по его эталонному изображению, вычисление свойств материала по изображению его микроструктуры).

Основные положения диссертации, выносимые на защиту

1. Биоподобный метод представления визуальной информации, отражающий особенности работы сетчатки и психологических механизмов внимания.

2. Математическая модель процессов сознательного внимания и ассоциативной классификации, её теоретическое обоснование, нейросетевая архитектура (нейроансамбли ассоциативного и сознательного внимания) и законы изменения синаптических весов.

3. Комплекс программ, реализующий численные алгоритмы для разработанной математической модели.

4. Методы адаптации математической модели сознательного внимания и ассоциативной классификации для её применения в различных задачах обработки изображений (поиск и выделение объекта по эталонному изображению; автоматическое создание тримапа для задач матирования; оценка проницаемости пористого объекта по изображению его микроструктуры).

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендуемых ВАК России

1. Мищенко A.B. Об оптимальности дискретных стратегий для поиска на графах // Вестн. МГУ. Сер. 15. 1998. Вып. 4. С. 36-40.

Публикации в других изданиях

2. Mishchenko A.V. From-edges-to-regions approach and multilayered image processing // Труды международной конференции «GraphiCon-99», M., Изд-во «Диалог-МГУ», 1999. С. 144-150.

3. Mishchenko A.V. Uniform resolution light fields // Труды международной конференции «GraphiCon-99», M., Изд-во «Диалог-МГУ», 1999. С. 74-81.

4. Мищенко A.B. Трехслойный анализ изображения и его применение для поиска и распознавания предметов по их эталонному изображению // Искусственный интеллект. 2002. № 4. С. 492-494.

5. Мищенко A.B. Искусственное сознание на основе нового алгоритма самообучения и адаптации // Искусственный интеллект. 2004. № 4. С. 212-219.

6. Мищенко A.B. Накапливание знаний в процессе сознательной деятельности: переход количества в качество // Искусственный интеллект. 2005. № 4. С. 497-506.

7. Mishchenko A.V. Improving the load distribution performance by tuning and adaptation for a particular LAN // Proceedings of «DCW-99», Germany, Rostock, 21-23 June, 1999. C. 95-102.

8. Mishchenko A.V. Facet-based image processing and representation // Труды международной конференции «GraphiCon-2001», Н.Новгород, 10-17 сентября, 2001. С. 59-62.

9. Mishchenko A.V. Modeling and optimization of viscous flow in channels with irregularities // Proceedings of «EpsMsO-2005», Greece, Aphens, 6-9 July, 2005. Vol.3. C. 98-103.

10. Ruzzene M., Mishchenko A.V., Waves propagation in network structures with imperfections // Corning REDLINES journal - Coming, 2007 - 12 p.

11. Mishchenko A.V., Ruzzene M., Smith J. Modeling of ultrasonic and acoustic waves propagation through 2D lattice structures // Proceedings of «Modeling and Simulation», China, Beijing, 8-10 October, 2007. C. 186-191.

Патенты

Mishchenko A.V., Ji-Yeun Kim, Chang-Yong Kim. Method for extraction of query object from databaseimages // Патент корейского патентного бюро 10-0408521-0000 от 2003.11.24.

Подписано к печати 05.02.10. Формат 60x84 'лб. Бумага офсетная. Гарнитура Тайме. Печать цифровая. Печ. л. 1.0. Тираж 100 экз. Заказ 4619.

Отпечатано в Отделе оперативной полиграфии Химического факультета СПбГУ 1985С4. Санкт-Петербург, Старый Петергоф, Университетский пр., 26 Тел.: (812) 428-4043, 428-6919

ВВЕДЕНИЕ

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

ГЛАВА 1. НЕЙРОСЕТЕВАЯ МОДЕЛЬ ЗРЕНИЯ И ВНИМАНИЯ

1.1. Основные элементы нейросетевой модели зрения и 14 внимания

1.1.1. Базовые определения нейросети

1.1.2. Полносвязный классификатор (ПК)

1.1.3. Нейроансамбль полносвязных классификаторов

1.2. Психология внимания и распознавания образов

1.2.1. Психологические свойства внимания

1.2.2. Современное понимание структуры внимания

1.2.3. Виды зрительной памяти

1.2.4. Этапы процесса распознавания

1.3. Формализация проблемы внимания и распознавания

1.3.1. Постановка задачи нейросетевого моделирования 24 внимания и распознавания

1.3.2. Архитектура нейросетевой модели внимания и 26 распознавания

Адаптивная резонансная теория (APT [116, 117, 158] и дополнения к ней [119-124], а также соответствующий класс АРТ-нейросетей является одним из последних крупных достижений в области создания нейросетевых моделей, действующих по принципу подобия биологическим когнитивным процессам. АРТ-сети способны как к самостоятельному (без «учителя» и заданных целевых функций) запоминанию кардинально новых образов (штринтинг), так и к классификации образов, похожих на уже запомненные {распознавание). Адаптивная резонансная теория симулирует адаптивность мозга [91] и была создана как решение дилеммы пластичности—стабильности [116, 117]. Архитектура APT (см. Рис. 1) создана по принципу биологического подобия. Как и биологические системы, сети APT сохраняют пластичность, необходимую для изучения новых образов, в то же время сохраняют стабильность, предотвращая изменение ранее запомненных образов.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Обработка и анализ изображений являются одной из наиболее востребованных областей применения математического моделирования и численных методов [21, 88, 92]. Моделирование био-подобной обработки визуальной информации традиционно производится с помощью нейросетей [30, 35, 54, 68, 80, 83, 84]. В последние два десятилетия наблюдался всплеск нейросетевых исследований в области адаптивной резонансной теории (APT). Среди приложений APT стоит отметить разработку и применение АРТ-сетей для обработки визуальной информации. Однако все чаще от алгоритмов обработки массивов изображений требуют умения анализировать структуру, которое до этого не было реализовано в рамках APT. В связи с этим, особенную актуальность приобретает задача реализации анализа структуры изображения с помощью АРТ-сетей. Она актуальна как развитие и APT, и машинного зрения. Заметим, что развитие аналитического биоподобного зрения особенно важно в долгосрочной перспективе. По прогнозам [41, 45, 51], к 2020 году объем рынка роботов, особенно обладающих интеллектуальным зрением [223], будет вторым среди высокотехнологичных рынков (после рынка нанотехнологий), а экономия крупного автозавода при оснащении роботов зрением может достигать 15000 долл. ежеминутно [238]. Применение нейросетей для интеллектуального зрения может быть одним из успешных инновационных направлений [49, 50] развития нейрокомпьютерной техники (см., например, [56, 77, 86]).

Рис. 1. Простейшая АРТ-сеть, состоящая из одного полносвязного классификатора (CP, СС, Wy) и модуляторов сброса-принятия (МСП), сравнения (МС) и распознавания (MP). Усиливающие связи показаны стрелками, тормозящие - «булавами».

Базовый вариант АРТ-сети (АРТ1 [116, 117, 158]) изображён на Рис. 1. Среди дальнейших теоретических разработок APT следует отметить АРТ2, способную обрабатывать не только бинарный, но и вещественный вход [120, 122]; более точную с биологической точки зрения АРТЗ [119] (моделирование точных биологический уравнений по концентрации Na+ и Са2+ ионов); инвариантную к малым отклонениям ДИСААРТ (Distortion Invariant Selective Attention ART [241]; модулируемую производительностью ПАРТ (Performance ART [192]); объединение АРТ-сети с сетью нечеткой логики ФАЗИАРТ (Fuzzy ART [123]) и многие другие.

Практически все эти расширения к АРТ-теории моделируют многие важные аспекты восприятия [115, 118, 151 — 157]. Поскольку одним из важнейших аспектов восприятия является внимание, то в области моделирования внимания в рамках APT следует отметить модель селективного внимания СААРТ [127, 182], способную «замечать» в изображениях-кандидатах только искомый объект и «не реагировать» на остальное. Однако реальная биологическая система внимания реализует не только и не столько подавление фона. Ее главная задача — направлять внимание в соответствии с моделями реальности, прежде всего, в соответствии со структурой знакомых объектов. Это подтверждают как психологические опыты, так и нейрофизиологические исследования [20, 24, 59, 60, 66, 100, 199].

В связи с этим, актуальным является моделирование (в рамках APT) анализа структуры изображения объекта и направление внимания на части знакомой структуры. Подобное аналитическое или «сознательное» внимание соответствует нашим попыткам «увидеть» знакомую структуру в воспринимаемом изображении. Это обратное влияние структуры запомненных образов (высший уровень зрения) на восприятие (низший уровень зрения) является перспективной темой исследования как с точки зрения теории нейросетей, так и с точки зрения вычислительной нейрофизиологии [20, 31, 130, 219, 186, 249].

Перспективность исследования. Нейронные сети широко используются как средство математического моделирования [79], однако, естественно, что наибольших успехов следует ожидать от их применения для моделирования психологических процессов и био-подобной обработки информации. В последнее, время, в связи с возросшими вычислительными мощностями и> прогрессом нейрофизиологии, наблюдается бурный всплеск интереса к моделированию сознательной деятельности [142, 177, 247]. Среди отечественных публикаций давно наблюдается рост интереса к исследованию сознания со стороны психологов [32, 208], разработаны общие концепции [2, 3] и модели некоторых аспектов и динамики развития сознательной деятельности [48, 49]. В последние годы начинают появляться публикации в области математического моделирования различных психологических процессов - как низших, так и высших, близких к сознательной деятельности [12, 14, 15, 69, 87]. В частности, исследования внимания и связанных с ним процессов ведутся уже не только в области психологии. [100, 199, 203, 205, 220, 224, 227] и концептуальных моделей [46; 47, 51, 148, 211, 233], но и в области вычислительной нейрофизиологии и искусственных нейронных сетей [25, 26, 27, 130, 133, 134, 182, 194].

Описанная в диссертации нейросеть Сознательного Внимания и Ассоциативной Классификации (нейросеть СВАК) упрощенно моделирует интроспективное структурирование запомненной информации и использование усвоенных структур для понимания поступающей информации, что является важнейшим свойством мозга, одной из основ логики и абстрактного мышления вообще. Поэтому, моделирование анализа структуры и аналитического (сознательного) внимания является важной ступенью на пути к моделированию сознательной деятельности.

Данное исследование актуально не только как моделирование внимания, но и как моделирование организации визуальной информации и её потоков в мозге. В частности, на основе соответствующих нейрофизиологических данных, описанных в Приложении В, в диссертации производится упрощённое моделирование организации восходящего потока визуальной информации от сетчатки к высшим отделам зрительной коры [213], основанное на замене исходного изображения несколькими, меньшими «изображениями вычисленных свойств». Подобная подмена массивов данных, была разработана в конце 80-х в конволюци-онных нейросетях [135, 136, 178] и применена, для распознавания звуков, широких классов временных последовательностей, а также узких классов изображений (например, для распознавания букв или лиц [102, 105, 137, 136]. Подобная модель восходящего потока информации соответствует, в частности, с первичной (iдо-саккадной) обработке визуальной информации [141, 149, 162, 166, 196, 197] и может быть сопоставлена с некоторыми гипотезами современной психологии (Приложение В). СВАК также упрощённо моделирует нисходящий поток от коры к сетчатке, управляющий восприятием и открытый в 80-х [125, 216] и по гипотезе Крика-Коха [132, 173] связанный со вниманием.

Математическая формализация. Перечислим некоторые возможности обработки визуальных образов человеческим мозгом, актуальные для моделирования в рамках APT:

• неосознанная обработка (узнавание, классификация, ассоциативная связь с другими образами, непроизвольное внимание, импринтинг)\

• сознательный анализ образов (структурирование запомненных образов, поиск знакомых структур в воспринимаемых образах);

В качестве исходной математической формализации описанных возможностей мозга можно предложить следующую последовательность.

В заданном потоке входных изображений1 и при заданном среднем пороге их различимости Ро (среднем уровне внимания), сеть СВАК (Рис. 2) должна быть способна самостоятельно производить:

1. Классификацию объектов (изображений) в соответствии с запомненными ранее классами ( К=Г* )•

2. Коррекцию классов по мере поступления в них новых объектов, а так же создание новых классов для объектов, малопохожих на ранее увиденные

Г^ЮгГ')2.

3. Создание структурных и ассоциативных связей между запомненными классами (как типа «часть-целое», так и типа «две половины одного целого» А = {(K-i, Kj Kjlf* ).

4. Моделирование интроспективного «обдумывания» (возбуждения зритель. ной памяти для структурирования запомненных объектов {^JU* А).

5. «Сознательное» направление внимания Р (подавление/подчеркивание различных частей и деталей изображения в соответствии со связями А )

Ро н» АЙ>,

1 В зависимости от приложения, используются бинарные, ч/б или полноцветные изображения. С помощью предобработки (сети фасетизации), полноцветные изображения сводятся к ч/б или бинарным, для которых в работе проведён теоретический анализ.

2 Проблемы 1,2 решены ранее в APT и лишь реализованы в СВАК. Проблемы 3-5 решены в данной работе.

3 Например, при обучении на абстрактных изображениях лица и его частей, сеть, увидев изображение части лица (глаз, носа, рта), будет пытаться «выискивать» недостающие части лица с «повышенным» вниманием (пониженным порогом).

Моделирование процессов 3-5 требует разработки новых методов конструирования и алгоритмов обучения нейросетей. Комплексное моделирование процессов 1-5 снабжает когнитивную психологию новым вспомогательным инструментом для выявления качественных закономерностей и характеристик.

В 90-х годах XX века были предложены АРТ-сети, моделирующие запоминание и классификацию образов в виде процессов 1-2. Однако моделирование структуризации образов и сознательного внимания (процессы 3-5) осталось за рамками исследований. Моделирование процессов 3-5 актуально и как развитие APT, и как новый метод анализа изображений, обладающий большой степенью самостоятельности.

Назовём моделью сознательного внимания и ассоциативной классификации (СВАК) нейросеть, осуществляющую комплексное моделирование процессов 1-5. Модель состоит из нейросетевой архитектуры; переменных, представляющих визуальную информацию; а также психологических законов, формализованных в виде алгоритмов изменения синаптических весов.

В частности, полученная зависимость силы ассоциации от числа повторений A{tN)=A0 Z"" в комбинации с забыванием Эббингауза-Стронга

A(t) = А — Blogz(t), обеспечивает процесс обучения разработанных нейроансамб-лей ассоциативного внимания (НАВ).

Моделирование нейрофизиологической обратной связи со стороны зрительной памяти (обеспечивающей в психологии, как синтез «осознанности» ощущений, так и феномен «внутреннего» или «интроспективного» видения) порождает архитектуру и процесс обучения разработанных нейроансамблей сознательного внимания (НСВ).

Множество переменных, представляющее визуальную информацию, строится с помощью с разработанного биоподобного фасеточного метода.

Цель и задачи исследования

Целью работы является математическое моделирование механизмов внимания в процессах распознавания, классификации и анализа структуры изображений, разработка численных алгоритмов для целевой модели, а также создание комплекса нейросетевых программ, реализующих эти алгоритмы.

Назовем целевую нейросеть нейросетью сознательного внимания и ассоциативной классификации (СВАК-нейросетью).

Поставленная цель определяет следующие основные задачи. Задача 1. Исследование предмета моделирования (стадий обработки и психологических моделей внимания в системах биологического зрения) и соответствующее структурирование процесса обработки визуальной информации г как временное (на стадии), так и архитектурное (на подсети). Задача 2. Формализация, выбор структурных элементов и математическое моделирование на их основе подсетей, соответствующих задаче 1. Задача 3. Разработка логической структуры целевой модели (нейросети СВАК), в том числе: архитектуры и функциональности (численных алгоритмов) всех подсетей задачи 2; биоподобного представления визуальной информации; методов соединения структурных элементов в нейроансамбли, возбуждающиеся при ассоциативном и сознательном внимании. Задача 4. Реализация нейросети СВАК в виде комплекса программ на основе разработанных численных алгоритмов. Тестирование его способности к автоматическому структурированию объектов, а также выполнения условий устойчивости работы комплекса программ. Задача 5. Проверка адекватности математической модели СВАК на основе сравнения с психологическими когнитивными экспериментами. Задача 6. Применение СВАК для решения практических задач обработки изображений {поиск и сегментация по эталону, создание тримапа для матирования, вычисление свойств материала по изображению микроструктуры).

Научная новизна

• Разработан биоподобный метод фасеточного представления визуальной информации, упрощенно моделирующий сетчатку, обоснован (Теорема 1) и впервые применён для решения некоторых задач обработки изображений.

• Создана математическая модель процессов сознательного внимания и ассоциативной классификации, реализованная в виде нового типа нейросетевой архитектуры на базе APT и алгоритмов изменения её весов. Доказаны новые АРТ-теоремы о функционировании данной архитектуры.

• Предложены и численно реализованы алгоритмы работы нейроансамблей ассоциативного и сознательного внимания, т.е. новый метод соединения структурных элементов APT в единую нейросеть, впервые моделирующую как ассоциативное и сознательное внимание, так и процесс интроспективной структуризации запомненных объектов.

• Разработан программный комплекс, реализующий математическую модель сознательного внимания и ассоциативной классификации для её применения в решении некоторых задач обработки изображений (создание автоматического тримапа, поиск и сегментация объекта по его эталонному изображению, вычисление свойств материала по изображению его микроструктуры4).

Практическая значимость полученных результатов. Практические приложения разработанного метода были запатентованы и использованы в коммерческих и научно-исследовательских проектах.

Основные результаты приложения «поиск и сегментация объекта по его эталонному изображению» были выполнены в научно-исследовательском центре фирмы Самсунг в Ю.Корее, запатентованы [44] и применены в рамках разрабатываемой фирмой Самсунг системы интернет-торговли.

Основные результаты приложения «вычисление свойств материала по изображению его микроструктуры» были выполнены в научно-исследовательском

4 Для последнего приложения разработан также новый численный метод оценки проницаемости пористого материала по анализу изображений его срезов. центре фирмы Корнинг в России и в научно-исследовательском центре фирмы Корнинг в США, оформлены в виде материалов для внутреннего пользования и применены в рамках проекта фирмы Корнинг по созданию высокотехнологичных пористых материалов.

Моделирование внимания и его сравнение с психологическими экспериментами было использовано в дипломных исследованиях факультета психологии РГПУ им. А.И.Герцена.

Апробация и опубликованность результатов. Основные положения и результаты диссертационной работы докладывались и обсуждались на международных конференциях: International Conference EpsMsO, Aphens, Greece, (2005); Международной конференции Искусственного интеллекта ИАИ (IAI), Украина, Каци-вели (2002, 2004), Международной конференции компьютерной графики и машинного зрения Графикон (GraphiCon), Россия, Москва, Н.Новгород (1999, 2001), а так же на научных семинарах: Visual processing lab seminar в центральном исследовательским центре фирмы Samsung (Samsung Advanced Institute of Technology), Giheung-gu, S.Korea, (2001); Modeling&Simulation meetings фирмы Corning в центральном научном центре Corning-SP, NY, USA и российском филиале Corning-CSC, Санкт-Петербург (2004, 2007); Семинаре машинного зрения и компьютерной графики МГУ, Москва (2006, 2008); Computational neurophysiology seminar, Los-Alamos National Lab, Los-Alamos, NM, USA (2008); Семинаре секции «Кибернетика» Дома Ученых СПб (2009); Семинаре кафедры компьютерного моделирования и многопроцессорных систем факультета прикладной математики - процессов управления СПбГУ (2009).

Все новые результаты, представленные в диссертационной работе получены автором самостоятельно. Реализация программного комплекса на некоторых типах ЭВМ была проведена совместно со специалистами в области аппаратного обеспечения ЭВМ. В публикациях с соавторами вклад соискателя определяется рамками излагаемых в диссертации результатов. Руководители проектов принимали участие в постановке задач, оценке промежуточных и конечных результатов.

По основным положениям и результатам выполненных исследований опубликовано 12 печатных работ, список которых приведен в конце автореферата. Из них 1 статья опубликована в издании, рекомендованном ВАК.

ЗАКЛЮЧЕНИЕ Краткие выводы по работе

Результаты, полученные в процессе диссертационного исследования, можно сформулировать следующим образом.

Исследованы средства (ИНС) и предмет моделирования (психологические процессы распознавания зрительных образов при наличии внимания). Определены элементы (ПК) и структура (подсети) целевой нейросети.

Разработаны нейроансамбли ассоциативного и сознательного внимания (НАВ и НСВ), на базе которых построна и численно реализована модель сознательного внимания и ассоциативной классификации СВАК.

Разработаны алгоритмы функционирования подсетей и произведено теоретическое обоснование: формулы веса ассоциаций, условия на входные изображения и начальные веса синапсов, при которых доказаны теоремы о стабильном функционировании сети.

Разработаны биоподобные методы представления и структурирования визуальной информации, произведено их теоретическое обоснование (теорема эквивалентности) и численная реализация.

Построен комплекс программ, реализующий модель СВАК, проведено его тестирование, анализ вычислительной сложности и сравнение с другими моделями нейросетевого внимания.

Произведено практическое применение комплекса программ СВАК для трёх задач обрабоки изображений (поиск объекта по эталону, создание тримапа для матирования и вычисление свойств материала по изображению его микроструктуры).

Перспективы развития

Моделирование памяти тесным образом связано с моделированием внимания и актуально и для нейросетевой науки, и для когнитивной психологии. Процессы кратковременного и длительного хранения информации, забывания, замещения воспоминаний имеют как теоретическую, так и прикладную значимость.

Моделирование человеческой памяти с помощью ИНС является в настоящее время актуальным направлением исследований вычислительной нейрофизиологии. В частности, существуют различные модели коротковременной (рабочей) памяти. Добавление моделей памяти в СВАК увеличит её адекватность и позволит моделировать более сложные психологические феномены.

Развитие модели СВАК на основе сравнения с психологическими экспериментами перспективно с точки зрения улучшения и настройки параметров модели, а так же определения границ её адекватности.

Как показывает практика, благодаря заложенным в её основу биоподобным принципам, СВАК способна качественно отражать некоторые тренды и характерные особенности восприятия визуальной информации человеком. Однако в целом, архитектура и функциональность СВАК не соответствуют структуре мозга. Усложнение архитектуры СВАК (с тем, чтобы она представляла собой упрощённый вариант реальной биологической нейросети, обеспечивающей обработку визуальной информации в мозге) позволит использовать её для некоторых исследований в области вычислительной нейрофизиологии.

Адаптация и применение модели СВАК к другим практическим задачам анализа изображений особенно перспективно в тех областях, где требуется моделирование поведения человека, а также в трудно-формализуемых областях — там, где традиционно применяются нейросетевые методы.

Как показывает опыт исследований, проведённых в фирме Самсунг, биоподобное представление визуальной информации и биоподобная обработка изображений позволяет производить анализ изображения по содержимому. Перспективным является не только нахождение изображения по содержимому, но и связывание, ассоциирование изображений друг с другом, а также оценка степени сходства изображений по характерным для человека принципам.

Как показывает опыт исследований, проведённых в фирме Корнинг, вычисление свойств фрагментов изображения (фасеток) позволяет обрабатывать не только визуальную информацию, но и выделять более глубокую содержащуюся в изображении информацию (такую как физические свойства материала по изображению его микроструктуры). Кроме вычисления проницаемости пористого материала, перспективным является вычисление других свойств микроструктуры по её изображению. Например, фасеточный метод может быть применён для вычисления эффективности фильтра, а при введении многоуровневого разрешения фасеток — и для вычисления прочности материала.

Нейророботика, нейрокомпьютерный интерфейс и нейропротезирова-ние. Создание в будущем ИНС, моделирующих особенности функциональности человеческого мозга актуально для создания роботов с биоподобным интеллектом. Поведение и самообучение данного типа роботов близко к человеческому, что позволит им в будущем более активно (по сравнению с другими моделями) взаимодействовать с человеком. В настоящее время нейророботика является одной из активно развивающихся дисциплин, успехи которой углубляют как понимание особенностей поведения человека, так и понимание возможностей искусственного интеллекта. Нейрокомпьютерный (прямой нейронный) интерфейс (НКИ) является другой важной областью взаимодействия человеческого и искусственного интеллекта. Создание ИНС, отражающих те или иные функциональные особенности человеческого мозга может облегчить в системах НКИ синхронизацию и конвертацию информации на пути от мозга к компьютеру (например, от данных ЭЭГ к системам виртуальной реальности). Кроме того, в будущем возможна организация потока информации и в противоположном направлении (от компьютера к мозгу). Биоподобные ИНС будущего, в этом случае, могут послужить основой нового типа нейропротезирования, заменяющего не только сенсоры, но и более крупные системы и отделы мозга.

Основные положения диссертации, выносимые на защиту

1. Биоподобный метод представления визуальной информации, отражающий особенности работы сетчатки и психологических механизмов внимания.

2. Математическая модель процессов сознательного внимания и ассоциативной классификации, её теоретическое обоснование, нейросетевая архитектура (нейроансамбли ассоциативного и сознательного внимания) и законы изменения синаптических весов.

3. Комплекс программ, реализующий численные алгоритмы для разработанной математической модели.

4. Методы адаптации математической модели сознательного внимания и ассоциативной классификации для её применения в различных задачах обработки изображений (поиск и выделение объекта по эталонному изображению; автоматическое создание тримапа для задач матирования; оценка проницаемости пористого объекта по изображению его микроструктуры).

1. Алиева Н. 3. Физика цвета и психология зрительного восприятия. Кыргызская Республика, Бишкек: Академия, 2008, 208 с.

2. Амосов, Н.М. Моделирование мышления и психики. — Киев: Наукова думка, 1965. — 304 с.

3. Амосов, Н.М. Искусственный разум. — Киев: Наукова думка, 1969. — 155 с.

4. Барабанщиков В. А. Психология восприятия. Организация и развитие перцептивного процесса. М: Когито-Центр, Высшая школа психологии, 2006, 240 с.

5. Барский А. Б. Логические нейронные сети. М: Бином. Лаборатория знаний, 2007, 352 с.

6. Блум, Ф., Лейзерсон, А., Хофстедтер, Л. Мозг, разум и поведение — М.: Мир, 1988.

7. Вайнштейн Л. А. Психология восприятия. Минск: Тесей, 2007, 224 с.

8. Вальдберг А.Ю., Казначеева Т.О., Красный Б.Л., Тарасовский В.П. Исследование фильтровальных свойств керамических материалов //Химическое и нефтегазовое машиностроение, 2005, N1

9. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных: Устройство архиваторов, сжатие изображений и видео. — М.: ДИАЛОГ—МИФИ, 2002. — 384 с.

10. Ватолин Д.С. Алгоритмы сжатия изображений — М.: Диалог—МГУ, 1999., ISBN 589407-041-4

11. Венда, В.Ф. Системы гибридного интеллекта. — М., Машиностроение, 1990

12. Витяев Е. Е. Логика работы мозга // Проблемы пейрокибернетики (материалы XIV-ой Международной конференции по нейрокибернетике). Том. 2. Ростов-на-Дону, 2005. С. 14— 17.

13. Винер Н. Кибернетика или управление и связь в животном и машине. — М.: Сов. радио, 1968, — 357 с.

14. Витяев Е. Е. Принятие решений. Переключающая и подкрепляющая функции эмоций // VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», М.: МИФИ, 2006. С. 24-30.

15. Витяев Е. Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов. — Новосибирск: НГУ, 2006. — 293 с.

16. Волгин, Л.И. Комплиментарная алгебра нейросетей. — Таллин, АО KLTK, 1993.

17. Гальперин П. Я. К проблеме внимания / Электронный ресурс] / библиотека по психологии «Флогистон» Режим доступа: http://flogiston.ru/library/galperinattention, свободный.

18. Гальперин П. Я. Умственное действие как основа формирования мысли и образа. Вопросы психологии. // Вопросы психологии. 1957. № 6.

19. Гендель Е., Мунерман В.И. Применение алгебраических моделей для синтеза процессов обработки файлов. // Управляющие системы и машины. — № 4. 1984.

20. Глезер В Д. Зрение и мышление. / Отв. Редактор Невская А. Рецензенты: Чистович Л. Меницкий Д. Л. М.: Наука 1985

21. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М: Техносфера, 2006, 1072 с.

22. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. — Новосибирск: Наука, 1996. 276с.

23. Грегори Р. Л. Глаз и мозг. Психология зрительного восприятия. М: Прогресс, 1970, 272 с.

24. Дубровинская Н.В. Нейрофизиологические механизмы внимания. Л.: Наука, 1985.

25. Дубынин И.А. Поиск электрофизиологических коррелятов процессов узнавания и опознания лиц с помощью искусственных нейронных сетей // Вестник государственного университета управления. 2007. №3(29). — с. 79-82.

26. Дубынин И.А. Узнавание и опознание лиц: психологические и психофизиологические механизмы : дис.канд. псих, наук : 19.00.02 / Дубынин Игнат Анатольевич ; Моск. гос. ун-т им. М.В. Ломоносова. М., 2007. - 205 л.

27. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. — М.:МИФИ, 1998. 224 с.

28. Журавлев И. В. Психология и психопатология восприятия. Пролегомены к теории "зон-, да". М: ЛКИ, 2008,128 с. >

29. Заенцев И.В. Нейронные сети: основные модели. — Воронеж: ВГУ, 1999. 157 с.

30. Зинченко В.П., Величковский Б.М., Вучетич Функциональная структура зрительной . памяти. М.: Изд-во Моск. ун-та. 1980.

31. Иваницкий A.M. Главная загадка природы: как на основе работы мозга возникают субъективные переживания // Психологический журнал. 1999. Т.20. №3. С. 93 -104.

32. Катыс Г.П., Катыс П.Г. Системы машинного видения для визуального контроля продукции. //Датчики и системы, 2001, № 1.

33. Катыс Г.П., Катыс П.Г. Интеллектуальные видеодатчики систем машинного видения. //Датчики и системы, 2001, № 9.

34. Квасный Р. Введение в нейроподобные сети Электронный ресурс], 2001 Режим доступа: http://neural.narod.ru/, свободный. - Загл. с экрана.

35. Климов А.С. Форматы графических файлов — М.: НИПФ «ДиаСофт Лтд", 1995.

36. Коскин С.А. Система определения остроты зрения в целях врачебной экспертизы: Авто-реф. дис. докт. мед. наук: 14.00.08, 03.00.13. — С-Птб., 2009. — 48 с.

37. Лапшина Т.Н. Психофизологическая диагностика эмоций человека по показателям ээг: Автореф. дис. канд. псих, наук: 19.00.02. — М., 2007. — 26 с.

38. Махотило К.В. Разработка методик эволюционного синтеза нейросетевых компонентов систем управления : дис.канд. тех. наук : 05.13.06 / Махотило К.В; ХГПУ. — Харьков., 1998. -189 л.,

39. Минский М., Пейперт С. Персептроны. — М.: Мир, 1971. —261 с.

40. Мищенко А.В. Апгрейд в сверхлюди. Технологическая гиперэволюция человека в XXI веке — М.: Издательство технической литературы УРСС. 2008.

41. Мищенко А.В. Об оптимальности дискретных стратегий для поиска на графах //Журнал «Вестник МГУ", N4, 1998. Серия 15. Вычислительная математика и Кибернетика. С. 36-40.

42. Мищенко А.В. From-edges-to-regions approach and multilayered image processing // Труды «Графикон-99", Россия, Москва, 1999. С. 144-150

43. Мищенко А.В. Method for extraction of query object from databaseimages // Патент корейского патентного бюро 10-0408521-0000 от 2003.11.24.

44. Мищенко А.В. Тенденции развития интеллекта // Труды «Интеллектуальные многопроцессорные системы». Геленжик, сентябрь 2003, С. 21-29

45. Мищенко А.В. От жизни к мысли. Моделирование сознания // Труды «Интеллектуальные многопроцессорные системы». Геленжик, сентябрь 2003, С. 44-51

46. Мищенко А.В. Искусственное сознание: от человека к мыслящей материи // Журнал «Искусственный интеллект», 2004, С.81-89

47. Мищенко А.В. Искусственное сознание на основе нового алгоритма самообучения и адаптации // Журнал «Искусственный интеллект», 2004, том.4, С. 212-219.

48. Мищенко А.В. Накапливание знаний в процессе сознательной деятельности: переход количества в качество // Журнал «Искусственный интеллект», 2005, том.4, С. 497-506.

49. Мищенко А.В. Successful innovation strategies // Труды «Innovation culture of society», Киев, 11-12 Март 2005

50. Мищенко А.В. Моделирование развития человеческого интеллекта // Труды «International Artificial Intelligence», Katsiveli, Сентябрь 2008. С. 15-24

51. Мищенко А.В. Трехслойный анализ изображения и его применение для поиска и распознавания предметов по их эталонному изображению // Искусственный интеллект. 2002. № 4. С.492-494

52. Мунерман В. И., Самойлова Т.А. Параллельные вычисления в задаче размещения БИС. // Сборник научных трудов МЭИ Смоленск, 1995. - С.85-89.

53. Муха Ю. П., Скворцов М. Г. Нейросетевые измерительные системы. Диагностика состояния сложных объектов. М: Радиотехника, 2007, 336 с.

54. Невилль A.M. Свойства бетона / сокр.пер. с англ. В. Д. Парфенова и Т. Ю. Якуб — М.: Издательство литературы по строительству, 1972

55. Нейрокомпьютеры и интеллектуальные роботы. /Под ред. Н.М. Амосова Киев, Наукова думка, 1991.

56. Нейрокомпьютеры. От программной к аппаратной реализации / М. А. Аляутдинов и др.]. Горячая Линия Телеком, 2008. - 152 с.

57. Нуркова В. В. Общая психология. В 7 томах. Том 3. Память. — Академия, 2008, 320 с.

58. Общая психология. В 7 томах. Том 4. Внимание / Под ред. Б. С. Братуся. Кыргызская Республика, Бишкек: Академия, 2006, 480 с.

59. От нейрона к мозгу / Николлс Дж. Г. и др.] М: ЛКИ, 2008, 676 с.

60. Питенко А.А. Нейросети для геоинформационных систем. //Всероссийская научно-техническая конференция «Нейроинформатика-99". Сборник научных трудов. 4.1. М.: МИФИ. 1999. С.65-68

61. Попцов А.Г., Орлов И.Я., Мелюков В.В. Цифровая система обработки тепловизионных изображений цилиндрических изделий. //Датчики и системы, 2001, № 8.

62. Потапов Е. Д., Соколова Ю. А. Аэродинамика пористых материалов. М: Палеотип, 2005, 184 с.

63. Прангишвили И.В., Виленкин С. Я., Медведев И. Л. Параллельные вычислительные системы с общим управлением. — М.: Энергоатомиздат, 1983.Conference on Pattern Recognition, Los Alamitos, CA, 1994. IEEE Computer Society Press.

64. Психология внимания / Под ред. Ю. Б. Гиппенрейтер, В. Я. Романова. М: Астрель, 2008, 656 с.

65. Психология высших когнитивных процессов / Под ред. Т. Н. Ушаковой, Н. И. Чуприко-вой. М: ИП РАН, 2004, 304 с.

66. Редько В. Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики. КомКнига, 2007, 224 с.

67. Редько В.Г. От моделей поведения к искусственному интеллекту // Серия «Науки об искусственном» / под ред. Редько В.Г. М.: УРСС, 2006. - 456 с.

68. Розенблат Т.Ф. Принципы нейродинамики. —М.: Мир. 1965.

69. Самаль Д.И. Построение систем идентификации личности на основе антропометрических точек лица // Цифровая обработка изображений. — Минск:ИТК, 1998.-С.72-79.

70. Самаль Д.И., Старовойтов В.В. Подходы и методы распознавания людей по фотопортретам — Минск, ИТК НАНБ, 1998. 54с.

71. Самаль Д.И., Старовойтов В.В. Методика автоматизированного распознавания людей по фотопортретам // Цифровая обработка изображений. Минск:ИТК, 1999.-С.81-85.

72. Самойлов М.Ю.,Самойлова Т.А, Норицина И.Ю. Распараллеливание алгоритма упаковки графической информации. // Математическая морфология. 1997. - Т. 2. - Вып. 2. - С. 99108.

73. Сван Том Форматы файлов Windows — М.: Бином, 1995.

74. Соколов, Е.Н., Вайткявичус, Г.Г. Нейроинтеллект от нейрона к нейрокомпьютеру. — М., Наука, 1989.

75. Солсо Р. Когнитивная психология — 6-е изд. — СПб.: Питер, 2006. — 589 с: ил. — (Серия «Мастера психологии»). ISBN 5-94723-182-4

76. Тархов Д А. Нейронные сети как средство математического моделирования. Книга 22, М: Радиотехника, 2006, 48 с.

77. Тархов Д. А. Нейронные сети. Модели и алгоритмы. Книга 18, М: Радиотехника, 2005, 256 с.

78. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика — М.: Мир. 1992 /Перевод на русский язык, Ю. А. Зуев, В. А. Точенов

79. Уточкин И.С. Теоретические и эмпирические основания уровневого подхода к вниманию //Психология. Журнал Высшей школы экономики, 2008. Т. 5, № 3. С. 31-66.

80. Хайкин С. Нейронные сети. Полный курс Киев: Вильяме, 2006, 1194 с.

81. Харламов А. А. Нейросетевая технология представления и обработки информации. Естественное представление знаний. Книга 19, М: Радиотехника, 2006, 88с.

82. Хокни Р., Джессхоуп К. Параллельные ЭВМ. — М.: Радио и связь, 1986.

83. Цыганков, В.Д. Нейрокомпьютер и его применение. — М., СолСистем, 1993.

84. Шамис A. JI. Пути моделирования мышления. Активные синергические нейронные сети, мышление и творчество, формальные модели поведения и "распознавания с пониманием" -М: КомКнига, 2006, 336 с.

85. Шапиро JL, Стокман Дж. Компьютерное зрение. М: Бином. Лаборатория знаний, 2006, 752 с.

86. Ширяев В. И. Финансовые рынки и нейронные сети. М: ЛКИ, 2007, 224 с.

87. Эббингауз Г., Бэн А. Ассоциативная психология. ACT-ЛТД, 1998, 528 с.

88. Эшби, У. Росс Конструкция мозга. Происхождение адаптивного поведения — М.: Издательство иностранной литературы, 1962.—398 стр.

89. Яне Б. Цифровая обработка изображений. М: Техносфера, 2007, 584 с.

90. Adams, R. and Bischof L. Seeded region growing //IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, 16(6), P. 641-647.

91. Aleksander I., Morton H. An Introduction to Neural Computing. — London: Chapman & Hall, 1990. —218 p.

92. A logical calculus of the ideas immanent in nervous activity / McCulloch W. S. et al. // Bulletin of Mathematical Biophysics. — 1943. — N 5. — P. 115—133.

93. A reliable Computation in the Presence of Noise. / Winograd S. et al. — Cambridge, MA: MIT Press, 1963.—247 p.

94. A theory of the mechanism of learning based on conditional probabilities / Uttley A. M. et al. //

95. Proc. of the 1st International Conference on Cybernetics. —Namur, Gauthier-Villars, Paris (France).1956. —P. 83—92.

96. Adaptive switching circuits / Widrow B. et al. // IRE WESCON Convention Record. — 1960. — P. 96—104.

97. Ashby W. R. Design for a Brain. — New York: Wiley, 1952. — 306 p.

98. Bashinski, H.S., and Bacharach, V.R. Enhancement of perceptual sensitivity as the result of selectively attending to spatial locations//Perception and Psychophysics 1980. vol.28, p.241— 248

99. Bashkirov O. A., Bravermann E. M., Muchnik I. B. Potential function algorithms for pattern recognition learning machines // Automation and Remote Control. — 1964. —N25. — P. 629— 631.

100. Bengio Y., Y. Le Cun, and Henderson D. Globally trained handwritten word recognizer using spatial representation, space displacement neural networks and hidden Markov models. // In

101. Advances in Neural Information Processing Systems 6, San Mateo С A, 1994. Morgan Kauf-mann.

102. Berkhin P. Survey of Clustering Data Mining Techniques. США: Accrue Software, 2002.

103. Bondarev V. N. On System Identification Using Pulse-Frequency Modulated Signal, in: EUT Report Eindhoven University of Technology, Netherlands. — ISBN 90-6144-195-1. —88-E-195. — Eindhoven, 1988. —84 p.

104. Bottou L., et al Comparison of classifier methods: A case study in handwritten digit recognition. // In Proceedings of the International Conference on Pattern Recognition, Los Alamitos, CA, 1994. IEEE Computer Society Press.

105. Bovik A. C., Clark M., and Geisler W. S. Multichannel texture analysis using localized spatial filter. // IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 12, No. 1, P. 55-73, January 1990.

106. Bovik, A. C. Analysis of multichannel narrow-band filters for image texture segmentation. // IEEE Trans, on Signal Processing, Vol. 39, No. 9, P. 2025-2043, September 1996.

107. Broadbent, D. E. Perception and communication. —New York: Oxford University Press

108. Broomhead D. S., Lowe D. Multivariable functional interpolation and adaptive networks // Complex Systems. — 1988,—N2. —P. 321—355.

109. Cajal Ramon S. Histologic du systeme nerveux de l'homme et des vertebres. — Paris: Maloine, 1911, —714 p.

110. Cannon M., Kelly P., Hush. D. Query by image example: the candid approach // Storage and Retrieval for Image and Video Databases III, Vol. 2420, P. 238-248. SPIE, 1995.

111. Carlson. B. Web still & video image content search & retrieval. // Advanced Imaging, pages 34-36,60, 1997.

112. Carpenter G., Grossberg S. ART-2: Self-organization of stable category recognition codes for analog input patterns. // Applied Optics 1987. 26(23):4919-30.

113. Carpenter G., Grossberg S. Neural dynamics of category learning and recognition: Attention; memory consolidation and amnesia, in: Brain Structure, Learning and Memory (AAAS Symposium Series) / eds. J. Davis., R. Newburgh and E. Wegman. 1986.

114. Carpenter G., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine. // Computing Vision. Graphics, and Image Processing 1987. 37:54— 115.

115. Carpenter, G.A. & Grossberg, S, Adaptive Resonance Theory. in:The Handbook of Brain Theory and Neural Networks, Second Edition / In M.A. Arbib (Ed.) США, MA, Cambridge: MIT Press. 2003. p.87-90

116. Carpenter G., Markuzon N. ARTMAP-IC and medical diagnosis: Instance counting and inconsistent cases. // Neural Networks 1998. Vol. 11(2): P. 323-336.

117. Carpenter, G.A. & Grossberg, S. ART-3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures. // Neural Networks (Publication). 1990. vol. 3, p. 129-152

118. Carpenter, G.A. & Grossberg, S., ART-2: Self-organization of stable category recognition codes for analog input patterns. // Applied Optics, 1987. vol. 26(23), p.4919-4930

119. Carpenter, G.A., Grossberg, S., & Reynolds, J.H. ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network. // Neural Networks (Publication), 1991. vol.4, p.565-588

120. Carpenter, G.A., Grossberg, S., & Rosen, D.B. ART-2-A: An adaptive resonance algorithm for rapid category learning and recognition. //Neural Networks (Publication), 1991. vol. 4, p.493-504

121. Carpenter, G.A., Grossberg, S., & Rosen, D.B. Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system. // Neural Networks (Publication), 1991. vol. 4, p.759-771

122. Casagrande, V.A. and Norton, Т. T. Lateral geniculate nucleus: A review of its physiology and function: Vision and Visual Dysfunction in: The Neural Basis of Visual Function, Vol. 4 / A.G. Leventhal, ed. MacMillan Press. 1991.

123. Chen C.H., Pau L.F., Wang P.S.P. The Handbook of Pattern Recognition and Computer Vision (2nd Edition) США: World Scientific Publishing Co., 1998. p.1004

124. Chuang, Y., Agarwala, A., Curless, В., Salesin, D. and Szeliski, R. Video matting of complex scenes. // ACM Trans. Graph., 21(3):243-248, 2002.

125. Churchland P. S. Neurophilosophy: Toward a Unified Science of the Mind/Brain. — Cambridge, MA: MIT Press, 1986.—127 p.

126. Colby, C.L., and Goldberg, M.E. Space and attention in parietal cortex //Annual Review of Neuroscience 1999. vol.22, p.319-349

127. Corbetta, M., and Shulman, G.L. Control of goal-directed and stimulus-driven attention in the brain//Nature Reviews Neuroscience 2002. vol.3: p.205-215

128. Crick, F. Function of the thalamic reticular complex: The searchlight hypothesis. // Proceedings of the National Academy of Sciences of the United States of America, 1984. 81, 4586— 4590.

129. Crick F. and Koch C. Commentary: The recent excitement about neural networks // Nature 337,129 (Jan 1989)

130. Crick F. News and views: Visual perception: rivalry and consciousness. //Nature 379, 485 -486 (Feb 1996)

131. Cun Y. Generalisation and network design strategies. Technical Report CRG-TR-89-4, / Department of Computer Science, University of Toronto, 1989.

132. Cun Y. Handwritten digit recognition with a backpropagation neural network. / In D. Tou-retzky, editor, Advances in Neural Information Processing Systems 2, P. 396—404. Morgan Kaufmann, San Mateo, CA, 1990.

133. Cun Y. and Bengio Yoshua. Convolutional networks for images, speech, and time series. in:The handbook of brain theory and neural networks /Arbib, MA, editor, pages 255-258.

134. Cybenko G. Approximation by Superpositions of Sigmoidal Function. — Urbana: University of Illinois, 1988. —280 p.

135. Daugman, J. Two-dimensional analysis of cortical receptive field profiles. // Vision Research, 1980. 20, 846-856.

136. Davidson V., Chu Т., Ryks J. Fuzzy methods for automated inspection of food products. // 18th International Conference of the, NAFIPS, 1999. Page(s): 909 -913.

137. Deubel, H. Localization of targets across saccades: Role of landmark objects. //Visual Cognition, 2004. vol. 11 (2-3), P. 173-202.

138. Dolinsky Margaret Virtual Reality: Image Structure and Consciousness Organization //Journal of Consciousness Studies, 2008, vol.21

139. Funahashi K. On the approximate realization of continuous mappings by neural networks. // Neural Networks. — 1989.—N 2. — P. 183—192.

140. Gabor, D Theory of communication. // Journal of the Institute of Electrical Engineers, 1946 vol.93, p.429—457. ^

141. Gangopadhyay Nivedita Can Attention Be the Key Towards an Understanding of Perceptual Consciousness? // In Proceedings of International Conference «Toward a Science of Conscious-ness-2008",Tucson, Arizona, USA 2008 8-12 April

142. Garcia-Perez, M. A., Peli, E. Intrasaccadic perception. //Journal ofNeuroscience, 2001., vol.21 (18), P.7313-7322.

143. Gimel G.L., Jain A.K. On retrieving textured images from an image data base. // Pattern Recognition 29:9 1996. ,1461-1483.

144. Grossberg, S. How does a brain build a cognitive code? //Psychological Review, 1980, 87, 1-51.

145. Grossberg, S. How does the cerebral cortex work? Learning, attention, and grouping by the laminar circuits of visual cortex. //Spatial Vision, 1999, 12, 163-185.

146. Grossberg, S. The link between brain learning, attention, and consciousness //Consciousness and Cognition, 1999, 8, 1-44.

147. Grossberg, S. Neural dynamics of variable-rate speech categorization //Journal of Experimental Psychology: Human Perception and Performance, 1997, 23, 481-503.

148. Grossberg, S. Neural dynamics of motion integration and segmentation within and across apertures //Vision Research, 2001, 41, 2521-2553.

149. Grossberg, S. The resonant dynamics of conscious speech: interword integration and duration-dependent backward effects //Psychological Review, 2000, 107, 735-767.

150. Grossberg, S. A neural architecture for visual motion perception: group and element apparent motion. //Neural Networks, 1989, 2, 421^50.

151. Grossberg, S., Competitive learning: From interactive activation to adaptive resonance. // Cognitive Science (Publication), 1987. 11, p.23-63

152. Guan Y., Chen W.,Liang X., Ding Z., and Peng Q. Easy matting: A stroke based approach for continuous image matting. // In Eurographics, 2006. 1, 2, 7

153. Haykin S. A comprehensive foundation. \\ Neural Networks. — New York, NY: Macmillan,1994.—696 p.

154. Hebb D. O. The organization of behavior. — New lork: Wiley. 1949

155. Henderson, J. M., Hollingworth, A. Eye movements and visual memory: Detecting changes to saccade targets in scenes. //Perception & Psychophysics, 2003., vol.65(l), P.58-71.

156. Hojjatoleslami, S. A. and Kittler J. Region growing: A new approach //IEEE Transactions on Image Processing, 1998, 7(7), P. 1079-1084.

157. Hopfield, J. J. Neural networks and physical systems with emergent collective computational abilities . // Proceedings of National Academy of Sciences, vol. 79 no. 8 1982. P. 2554—2558,

158. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators // Neural Networks. — 1989. — Vol. 2. — P. 359—366.

159. Irwin, D. E. Information integration across saccadic eye-movements. //Cognitive Psychology, 1991. ,vol. 23(3), P.420—456.

160. Jain A.K., Gimel G.L. Retrieving textured images from an image data base. // Proc. of the 9th Scandinavian Conf. on Image Analysis. June 6-9, 1995., Uppsala, Sweden. Uppsala: SSAIA1995. , 441—448.

161. Jain A.K., Murty M.N., Flynn P.J. Data Clustering: A Review // ACM Computing Surveys. -1999. vol.31, 3.p.264-323.

162. Jocelyn Cloutier Eric et al VIP: An FPGA-based Processor for Image Processing and Neural Networks //Proceedings of Fifth International Conference, 12-14 Feb. 1996 Page(s):330-336

163. Kliewer Georg A general software library for parallel simulated annealing. //In EURO Winter Institute on Metaheuristics in Combinatorial Optimisation, Lac Noir, Switzerland, 2000.

164. Koch, С . The action of the corticofugal pathway on sensory thalamic nuclei: An hypothesis. //Neuroscience, U, 1987. 399^106.

165. Kosko B. Constructing an associative memory // BYTE, Vol. 12 , Issue 10 (September 1987), P.137 144, ISSN:0360-5280

166. Kosko B. Constructing an associative memory. // BYTE, September 1987, Volume 12 , Issue 10 Pages: 137 144 — Hightstown, NJ, USA: McGraw-Hill, Inc. publ., Hightstown, NJ, USA

167. Kosko B. Bi-directional associative memories. // IEEE Transactions on Systems, Man and Cybernetics 1987. 18(l):49-60.

168. Laurence Victor We are the Worlds, Coupling via Semiotic Structures : Refraining Reality for Survival // In Proceedings of International Conference «Toward a Science of Consciousness-2008» Tucson, Arizona, USA, 2008, 8-12 April

169. Lawrence S., Giles C. L., Tsoi A. C., Back A. D. Face Recognition: A Convolutional Neural Network Approach // IEEE Transactions on Neural Networks, Special Issue on Neural Networks and Pattern Recognition, 1997. P. 1-24.

170. Lee T. S. Image representation using 2D Gabor wavelets. // IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 18, no. 10, 1996., 959 971.

171. Lee Hyoung K. and Suk I. Yoo. A neural network-based image retrieval using nonlinear combination of heterogeneous features // International Journal of Computational Intelligence and Applications, 1(2): 137-149 (2001)

172. Lippman R. P. An introduction to computing with neurals nets. // IEEE Transactions on Aco-sufics, Speech and Signal Processing, April, 1987. P. 4—22.

173. Lozzo P. Selective attention adaptive resonance theory". // Patent WO 97/04400 6.2.97

174. Lozzo P. SAART: Selective Adaptive Resonance Theory Neural Network of Neuroengineer-ing of Robust ATR Systems //IEEE International Conference on Neural Networks, 1995, Perth, Australia, P.2461-2466

175. Mahyabadi M. P., Soltanizadeh H., Shokouhi Sh. B. Facial Detection based on PCA and Adaptive Resonance Theory 2 A Neural Network» // Proceedings of The IJME INTERTECH Conference 2006.

176. Marcellin M. W., Gormish M. J., Bilgin A. and Boliek M. P., An Overview of JPEG-2000 (invited paper). // in Proc. of 2000. Data Compression Conference, P. 523-541, Snowbird, Utah, March 2000.

177. Meyer, D. E., Schvaneveldt, R. W. Facilitation in recognizing pairs of words: Evidence of a dependence between retrieval operations. //Journal of Experimental Psychology, 90, 227-234.

178. Mishchenko A.V. Facet-based Image Processing and Representation // in Proc. of «Graphi-Con-2001», Russia, N.Novgorod, 10-17.09 2001. P.59-62.

179. Moray, N. Attention in dichotic listening: Affective cues and the influence of instructions. //Quarterly Journal of Experimental Psychology, 11, 56-60

180. Neisser, U. Cognitive psychology. — Englewood Cliffs, NJ: Prentice-Hall.

181. Niblack W. et al. The qbic project: Query image by content using color, texture and shape. // In Storage and Retrieval for Image and Video Databases, P. 173-187, San Jose, 1993. SPIE.

182. Pass G. and Zabih R. Histogram Refinement for Content-Based Image Retrieval. // Workshop on Applications of Computer Vision, pp 96-102, 1996.

183. Pomplun, M., Reingold, E. M., Shen, J. Y. Area activation: a computational model ofsaccadic selectivity in visual search. //Cognitive Science, 2003., vol.27(2), P.299-312.

184. Posner, M.I., Snyder, C.R.R., and Davidson, B.J. Attention and the detection of signals //Journal of Experimental Psychology: General 109, 160-174, 1980.

185. Rajesh P. N. Rao et al Modeling Saccadic Targeting in Visual Search". // In Proceedings of Advances in Neural Information Processing Systems (NIPS-95)

186. Ratha M. K. Computer Vision Algorithms on Reconfigurable Logic Arrays : Ph.D. Dissertation / Ratha M. K.; Michigan State University, 1996.

187. Ress, D., Backus, B.T., and Heeger, D.J. Activity in primary visual cortex predicts performance in a visual detection task. //Nature Neuroscience 2000. vol.3, p.940-945

188. Rhemann C., Rother C., Rav-Acha A., and Sharp T. High resolution matting via interactive trimap segmentation. //IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2008), 24-26 June 2008, Anchorage, Alaska, USA 2008

189. Rhemann C. et al Improving Color Modeling for Alpha Matting // BMVC 2008, Leeds, UK (2008).

190. Rivaz P., Kingsbury N. Complex wavelet features for fast texture image retrieval. Image Processing. // ICIP 99. Proceedings. 1999. International Conference on, Volume: 1, 1999. Page(s): 109-113 vol.1.

191. Robert Kentridge, Tanja Nijboer; Charles Heywood Attended But Unseen: Visual Attention is Not Sufficient for Visual Awareness. //Journal of Consciousness Studies, 2008, vol.16

192. Roediger, H.L., McDermott, K.B. Effects of imagery on perceptual implicit memory tests. — The Psychonomic Society, Washington, D.C. 1993

193. Ron Chrisley Enactive Representationalism? An Expectation-Based Architecture for Perceptual Experience // In Proceedings of International Conference «Toward a Science of Conscious-ness-2008", 8-12 April 2008, Tucson, Arizona, USA

194. Rosenblatt, Frank, The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. // Cornell Aeronautical Laboratory, Psychological Review, 1958. v65, No. 6, P. 386-408.

195. Sackinger Eduard Application of the ANNA Neural Network Chip to High-Speed Character Recognition // IEEE Transactions on Neural Networks, 1992, vol.3, P.498-505

196. Schacter, D.L On the Relation Between Memory and Consciousness: Dissociable Interactions and Conscious Experience in: Varieties of Memory and Consciousness: Essays in Honour of Endel Tulving /ed. H. Roediger & F. Craik (Hillsdale, NJ: Erlbaum).

197. Schacter, D.L Stranger behind the engram: of memory and the psychology of science — Hillsdale, NJ: Lawrence Erlbaum Associates.

198. Schacter, D.L Forgotten Ideas, Neglected Pioneers: Richard Semon and the Story of Memory — Psychology Press, 2001, ISBN 184169052X

199. Schwitzgebel Eric Does Experience Outrun Attention? (And a Possible Second Demise of Consciousness Studies) //Journal of Consciousness Studies, 2008, vol.17

200. Senashova Masha Yu., Gorban Alexander N., and Wunsch Donald, "Back-Propagation of Accuracy"// Proc. IEEE/INNS International Coonference of Neural Networks, Houston, IEEE, 1997, P.1998-2001

201. Serre Т., et al A Theory of Object Recognition: Computations and Circuits in the Feedforward Path of the Ventral Stream in Primate Visual Cortex in: CBCL Memo 259, 2005 vol. 036 -Al Memo December 2005.

202. Sexton, J., Watson, J., Boswell, S. Simulated annealing — a method in finding efficient loading solutions //Land Warfare Conference, 22-24 October 2002, P. 445-453, Brisbane, Australia

203. Shepherd G. M., Koch C. Introduction to synaptic circuits // The Synaptic Organization of the Brain (G. M. Shepherd, ed.). — New York: Oxford University Press, 1990. — P. 3—31.

204. Sherman, S. M., & Koch, C. The control of retinogeniculate transmission in the mammalian lateral geniculate nucleus.//Experimental Brain Research, 1986. 63, 1-20

205. Shevelev I.A., Novikova R.V., Lazareva N. A., Tikhomirov A.S., Sharaev G.A. Sensitivity to cross-like figures in the cat striate neurons. // Neuroscience. 1995. Vol. 69: P.51-57.

206. Silc J., Ungerer Т., and B. Robic B. A survey of new research directions in microprocessors //Microprocessors and Microsystems, 2000, vol. 24, no. 4, P. 175-190.

207. Silver Michael A. Modeling the time course of attention signals in human primary visual cortex // Proceedings of SPIE Conference on Human Vision and Electronic Imaging XI; San Jose,CA(US) 2006, 16-18 January; vol.0 6057;

208. Silver, M.A., Ress, D., and Heeger, D.J. Topographic maps of visual spatial attention in human parietal cortex.//Journal of Neurophysiology 2005. vol.94 p. 1358-1371,

209. Sindeyev Mikhail, Konushin Vadim , Vezhnevets Vladimir Improvements of Bayesian Matting. : Technical Report / Department of Computational Mathematics and Cybernetics, Graphics and Media Lab. Moscow State Lomonosov University, Moscow, Russia

210. Smith J.R. and Chang S.-F. A fully automatic content-based image query system. // In Proceedings of the ACM International Conference on Multimedia, P. 87-93, New York, US, 1996. ACM Press. 54.

211. Smrcka Karel Image Processing: A Booming Market // Engineering news journal, August 2007, Creamer Media publ.

212. Stork, D. & Wilson, H. Do Gabor functions provide appropriate descriptions of visual cortical receptive fields?//Journal of the Optical Society of America-A, 1990 vol.7(9), p.1362-1373.

213. Takagi H., Sung-Bae Cho, Noda T. Evaluation of an IGA-based image retrieval system using wavelet coefficients. // Fuzzy Systems Conference Proceedings. FUZZ-IEEE '99. 1999. IEEE International, Volume: 3 , 1999. Page(s): 1775 -1780 vol.3.

214. Tootell, R.B.H., Hadjikhani, N., Hall, E.K., Marrett, S., Vanduffel, W., Vaughan, J.T., and Dale, A.M. The retinotopy of visual spatial attention.//Neuron vol.21, p.1409-1422.

215. Torres-Huitzil Cesar and Arias-Estrada Miguel FPGA-Based Configurable Systolic Architecture forWindow-Based Image Processing //EURASIP Journal on Applied Signal Processing 2005:7, 1024-1034

216. Town C. and Sinclair D. Content Based Image Retrieval using Semantic Visual Categories.: Technical Report / AT&T Labs., Cambridge, UK, 2000

217. Treisman, A Features and objects: The Fourteenth Bartlett Memorial Lecture //Quarterly Journal of Experimental Psychology, 1988, 40A, (2) 201-237.

218. Veres Zoltan Intentionality, Attention and Consciousness //Journal of Consciousness Studies, 2008, vol.19

219. Verma, В and Kulkarni, S Neural networks for content based image retrieval'. \\ in Y Zhang (ed.), Semantic-Based Visual Information Retrieval, IRM Press, Hershey, USA, 2006 P. 323402.

220. Wallace G.K. The JPEG Still Picture. Compression Standard // Communication of the ACM. 1991. V.34.№4.

221. Wang J. Z., Du Y. Scalable Integrated Region-based Image Retrieval using IRM and Statistical Clustering // Proc. ACM and IEEE Joint Conference on Digital Libraries. -Roanoke, VA, ACM, 2001, June p.268-277.

222. Wang, J. and Cohen, M. F. An iterative optimization.approach for unified image segmentation and matting. // Proc. of ICCV, vol.2, p.936-943, 2005.

223. Weimer George Robots 'See' Factory's Future. Braintech notes. // Material handling management monthly magazine, March 2002, Penton Media publ.

224. Weldon T., Higgins W. E. and Dunn D. Gabor filter design for multiple texture segmentation. // Optical Engineering, Vol. 35, No. 10, p.2852-2863, October 1995.

225. Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral science: Ph.D. Thesis. —Harvard University, Cambridge, MA, 1974. —120 p.

226. Westmacott Jason An artificial neural network for robust shape recognition in real time : M.Eng Dissertation / Westmacott J.; University of South Australia, 2000.

227. Whitaker S. The Method of Volume Averaging. Kluwer Academic Pub, 1998. 240 p.

228. Widrow B. Generalisation and information storage in networks of adaline "neurons" // Self

229. Organizing Systems (M.C. Yovitz, G.T. Jacobi, and G.D. Goldstein, eds.). — Washington, D.C.:

230. Sparta, 1962. —P. 435—461.

231. Willshaw D. J., von der Malsburg C. How patterned neural connections can be set up by self-organization // Proceedings of the Royal Society of London. — 1976. — Series B. — N 194. — P. 431—445.

232. Wu P. et al A texture descriptor for image retrieval and browsing. Content-Based Access of Image and Video Libraries. // Proceedings of CBAIVL'99, 1999. p.3 -7.

233. Wu Y. and Zhang A. A feature re-weighting approach for relevance feedback in image retrieval. // Image Processing, 2002, Vol. 2, P.581- 584.

234. Yang Jerry Does Self-Representational Theory of Consciousness necessarily involve a dual content structure? //Journal of Consciousness Studies, 2008, vol. 22

235. Zhen Zhou Wang et al Image processing algorithm for automated monitoring of metal transfer in double-electrode GMAW //Meas. Sci. Technol. 2007, vol.18 p.2048-2058

236. Zhong S., Ghosh J. A Unified Framework for Model-based Clustering // Journal of Machine Learning Research. 2003. vol.4 p.1001-1037.