автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Нейросетевой подход к интегрированному представлению и обработке информации в интеллектуальных системах

На правах рукописи

Харламов Александр Александрович

НЕЙРОСЕТЕВОЙ ПОДХОД К ИНТЕГРИРОВАННОМУ ПРЕДСТАВЛЕНИЮ И ОБРАБОТКЕ ИНФОРМАЦИИ В ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ

05 13 01 «Системный анализ, управление и обработка информации»

Автореферат диссертации на соискание ученой степени доктора технических наук

Москва 2008

ООЗ166706

003166706

Работа выполнена в Институте высшей нервной деятельности и нейрофизиологии Российской академии наук

Официальные оппоненты

доктор технических наук, профессор Галушкин Александр Иванович

доктор технических наук

Женило Валерий Романович

доктор технических наук

Лакаев Анатолий Семенович

Ведущая организация

ФГУП Научно-исследовательский институт микроэлектронной аппаратуры «Прогресс», г Москва

Защита состоится 29 апреля 2008 года в 14-00 на заседании диссертационного совета Д 212 133 01 в Московском государственном институте электроники и математики по адресу 109028, Москва, Большой 1 рехсвятитсльский пер, д

3/12

С диссертацией можно ознакомиться в библиотеке института

Автореферат разослан — 20081

Ученый секретарь

Диссертационного совета к т н, доцент

С Е Бузников

Общая характеристика работы

Актуальность темы диссертации• В настоящее время успешно решаются отдельные задачи из области распознавания образов известны коммерческие системы распознавания речи, распознавания изображений, автоматического анализа текстов Степень успешности решения этих задач зависит от степени формализованное™ описания предметной области Так. хорошо распознаются изображения символов - букв и цифр, менее успешно, но все же решена задача распознавания изображений лиц Решена задача распознавания изолированно произнесенных команд Успешно решена задача выявления грамматических и синтаксических ошибок в 1сксте

Более сложные задачи - распознавание изображений сцен, диктовка текстов с микрофона, автоматическая классификация текстов - далеки от решения Существующие системы лишь демонстрируют уровень сложности этих задач Трудности, возникающие при решении этих задач, определяются, в том числе, существенной неоднозначностью анализируемой информации, что приводит к формированию большого чиста гипотез, проверка которых, в случае обработки больших объемов информации становится нетривиальной задачей, а иногда и не решаемой в рамках разрешения применяемых методов

Естественным способом улучшить ситуацию в задачах распознавания является использование семантической и прагматической информации, которая является фильтром, позволяющим ограничить число гипотез, возникающих комбинаторно в сисгемах распознавания на нижних уровнях принятия решений 1а-кими нижними уровнями для системы распознавания изображений являются уровень элементарных представлений, уровень элементов объектов, и уровень объектов В задачах распознавания речи и анализа текстов это - морфологический, лексический и синтаксический уровни представления и обработки информации

В настоящее время сложность методов представления семантической и пра( матической информации как металингвистическими, так и образными средствами практически не позволяет эффективно использовать эту информацию для решения задач распознавания образов

В рамках научного направ тения искусственный интеллект предпринимались и предпринимаются многочисленные попытки использования семантической и прагматической информации, в основном, для решения задачи человеко-машинного общения на естественном языке Широко известна работа Попова Э В в этом направлении Однако, по его мнению, успех работы был обусловлен исключительно тем, что семантическая картина мира была заменена жесткой структурой реляционной базы, данные из которой и интерпретировались на естественном языке В настоящее время предпринимаются попытки интерпретации естественноязыковых высказываний в терминах понятий и их отношений Но большая неоднозначность этих интерпретаций, возникающая в силу многозначности языковой модели мира, не позволяет автоматически формировать модель мира на основе текстов

Менее известны способы использования семантической информации для распознавания изображений В качестве модели мира для анализа сцен использовалась квази-Зс! сцепа, на которой отдельные объемы представляются обобщенными геометрическими формами шариками, цилиндрами С помощью эк

представления осуществляется сегментация и идентификация объектов сцены, которые далее описываются метаязыковыми терминами, так же как и отношения между ними, и их динамика

Разработка методов представления информации семантического и прагматического уровней, одинаково удобных для испочьзования, как в задачах распознавания языковых образов, так и изображений, является ключевым моментом как в улучшении качества, так и в улучшении функциональности указанных систем распознавания, а также в переходе на следующий этап разработки интеллектуальных систем - этап создания интегрированных многомодальных систем обработки и хранения информации - интегральных роботов Существование этих задач заставляет искать новые подходы к методам представления и обработки информации различных модальностей - речевой, зрительной, а также надмодальной (семантической, прагматической) информации

Для решения задач такого типа необходим комплексный интегральный подход, позволяющий использовать и многомодальную и надмодальную информацию, при помощи которого можно построить общую методологию обработки информации указанных типов, сформированную на основе общей математической модели Она должна содержать методы удобного представления информации и эффективного доступа к ней, а также - структурной обработки информации, в том числе выявления внутренней структуры информации

На основании этого, составными частями такого подхода должны стать методы обработки речевой информации, обработки изображений, анализа текстовой информации, представления семантической и прагматической информации

Для практического подтверждения правильности выбранных методов необходимо отработать их применение на обработке реальной информации, для чего необходимо разработать программные реализации систем распознавания речи и изображений, а также анализа текстов, включающих представление семантической и прагматической информации Реальная интеграция представления информации различных модальностей, а также надмодальной информации может быть эффективно осуществлена на основе аппаратной реализации указанных методов

Поскольку до настояmei о времени ни один из этих вопросов не решался в совокупности со всеми остальными, можно считать, что решение такой проблемы весьма актуально

Целью диссертационной работы является Целью настоящей диссертационной работы является выявление эффективных способов представления многоуровневой структурированной информации различных модальностей (изображения, речь, текст) адекватных представляемой информации, позволяющих естественным образом воспроизводить структуру информации так, как это происходит в мозгу человека Указанные способы должны позволить осуществлять эффективное представление, как информации различных модальностей, так и надмодальной информации, в том числе, семантической и прагматической

Выбранные способы представления и обработки информации должны позволять осуществить единое интегрированное представление многомодальной и надмодальной информации, каковая, являясь многомодальной моделью мира, или

ее частью - фреймом, сценарием — позволит фильтровать комбинаторные гипотезы, возникающие на разных уровнях в разных модальностях

Достижение постав пенной цели предпочитает решение ряда задач теоретического, методического и практического характера В том числе задач

разработки теоретических основ и формализации процесса неиросе-тевой обработки информации,

формализации нейросетевого представления и обработки информации различных модальностей речи, изображений, текстов, а также надмодальной информации семантической и прагматической, разработки методов и алгоритмов для сгруктурной нейросетевой обработки изображений, речи, текстов,

разработки методов аппаратной реализации эффективного представления и нейросетевой обработки информации Для достижения поставленных задач необходимо провести следующие исследования

рассмотреть существующие подходы к обработке и распознаванию информации различных модальностей, а также надмодальной семантической и прагматической информации, и на их основе разработать единое математическое описание для представления в наиболее общей форме технологии обработки информации, описания эталонов, методов распознавания,

разработать обобщенный способ описания объектов (эталонов), включающий способы его получения и методы по которым он может быть идет ифицирован Методы исследований, применяемые в работе, основываются на испоть-зовании алгоритмов обработки изображений, алгоритмов распознавания речи, алгоритмов обработки текстовой информации, теории распознавания образов, теории Iрафов

Достоверности результатов теоретических исследований подтверждается данными, полученными при обработке реальной информации, с применением построенных системы распознавания изображений рукописных символов, системы распознавания речи, и системы анализа текстов

Научная повита работы заключается в следующем

разработаны теоретические основы и формализация процесса нейросетевой обработки информации с помощью одного класса искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов,

разработана формализация представления и нейросетевой обработки информации различных модальностей речи, изображений, текстов, а также надмодальной информации семантической и прагматической,

разработаны методы и алгоритмы для структурной нейросетевой обработки изображений, речи, текстов,

разработаны методы аппаратной реализации эффективного представления и нейросетевой обработки информации Практическая ценность диссертационной работы состоит в том, что ее результаты были использованы или могут быть использованы в разработке

систем распознавания слитной речи и систем понимания речи для построения источников знаний верхних уровней, систем распознавания изображений для структурного анализа, включая автоматическое формирование эталонов разных уровней, систем анализа текстовой информации, в том числе, информационных и информационно-поисковых систем,

блоков ассоциативной памяти, позволяющей реализовать быстрый поиск на больших массивах данных Реализация результатов Результаты исследований в виде готовых программных продуктов были использованы в организациях министерства обороны и других органах государственной власти, и на фирмах ООО «Центр Нейросетевых Технологий - Интеллектуальные Системы Безопасности», ОАО «Ангстрем-М», ООО «Юникор микросистемы»

Апробация работы. Основные положения диссертации докладывались на Международном симпозиуме «Нейронные сети и нейрокомпьютинг» NEURONET'90, Прага 1990г , на Всесоюзном семинаре «Автоматическое распознавание слуховых образов (АРСО-16)», Москва 1991г, на Международном совещании «Нейрокомпьютеры и внимание», Москва 1991г, на XI Международной конференции по нейрокибернетике, Росгов-на-Дону 1995г , на Втором международном симпозиуме «Интеллектуальные системы», С-Петербург 1996г, на IV Всероссийской конференции «Нейрокомпьютеры и их применение (НКП-98)», Москва 1998г, на Международной конференции «Информатизация правоохранительных систем», Москва 1998г, на Третьем Международном симпозиуме «Интеллектуальные системы», Псков 1998г, на IX сессии Российского акустического общества, Москва 1999г, на международной конференции-совещании "Новые информационные технологии из России", Берлин 2002г , на IV Международном социальном конгрессе, Москва 2004г, на международной конференции-совещании "Новые информационные технологии из России", Белград 2004i , на Международной научно-технической конференции «Интеллектуальные и многопроцессорные системы - 2005 (ИМС-2005)», Геленджик 2005г, на международной конференции-совещании "Новые информационные технологии из России", Будапешт 2005г , на Международной выставке «Интеллектуальные и адаптивные роботы - 2005», г Москва 2005г, на Третьем совещании Российской секции IEEE Computation Intelligence Society «Биометрические системы», Москва 2005г, на 5-х Годичных научных чтениях факультета иностранных языков РГСУ, Москва 2006г , на конференции «Нейрокомпьютеры и их применение» (Нейро-2007), Геленджик 2005г, на конференции «Digital libraries and technology-enhanced learning Call 3 information days», Люксембург 2007r

Публикации. Результаты работы опубликованы в 58 печатных научных трудах общим объемом 20 печатных листов, среди которых монографии, статьи в центральных журналах, труды и тезисы конференций

Личный вклад Лично автором получены следующие основные результаты

Разработаны теоретические основы и формализация процесса ней-росетевой обработки информации

Формализованы нейросетевое представление и обработка информации разпичных модальностей речи, изображений, текстов, а также надмодальной информации - семантической и прагматической Разработаны методы и алгоритмы для структурной нейросетевой обработки изображений, речи, текстов

Разработаны методы аппаратной реализации эффективного нейросе-тевого представчения и обработки информации

Структура и объем диссертации Диссертация состоит из введения, тести пав, заключения и списка литературы приложении Работа содержит 263 страницы текста, список литературы включав! 143 наименования

Содержание работы.

Во введении дана общая характеристика работы, отмечена ее актуальность, научная новизна и практическая ценность Приводится краткое описание работы по главам

В первой главе изложена классификация и описание некоторых методов обработки информации различных модальностей Рассмотрены существующие подходы к представлению и распознаванию речевой информации различных уровней, распознаванию зрительном информации, к обработке текстовой информации А также рассмотрены вопросы представления и использования, для распознавания речи, изображений и анализа текстов, семантической и прагматической информации

Показано, что внесение значнй в искусственно-интелтектуальные системы эффективно не моделированием отдельных интеллектуальных функций, а моделированием вычислительной среды, в которой решаются интеллектуальные задачи

Интелчектуальными системами являются системы, реализующие интел-лектуштьные функции в рамках познавательного поведения восприятие, обучение (формирование модели мира), мышление (использование модели для решения текущих задач), решение задач, прогнозирование и принятие решений языковое поведение, и т д Следовательно, к интеллектуальным системам можно отнести информационные системы, компьютерные системы обработки естественного языка, в том числе, системы обработки текстов, в том числе, системы авгоматичсско! о извлечения знаний из текстов, компьютерные системы ителлекгуального анализа данных, в том числе, системы, основанные на нейросетевых технологиях системы распознавания изображений, счсгемы распознавания, анализа и синтеза речи Некоторые из этих систем рассматриваются более подробно В первую очередь, это системы распознавания речи, изображении и анализа текстовой информации

Классификация существующих систем распознавания речи позволяет разбить их на два класса (1) одноуровневые системы, распознающие речевые события с помощью так или иначе модифицированных правил Баиеса (в том числе и реализованных на нейронных сетях), и (2) системы для структурной обработки, в том числе, использующие эмпирические лингвистические правила

В настоящее время под системой распознавания речи понимается программно-аппаратный комплекс, решающий одну из ниже перечисленных задач

Распознавание изолированных устно произносимых команд ограниченного словаря

Распознавание слитной речи Понимание речи

Обычно, системы распознавания речи имеют в своем составе следующие блоки и устройства микрофон, блок преобразования акустического сигнала в цифровую форму, блок шумоочистки, блок формирования первичного описания, блок акустико-фонетического анализа, блоки обработки верхних уровней морфологического, лексического, синтаксического, и т д

Акустический речевой сигнал, после его ввода в систему, оцифровывается, очищается от шумов, нормализуется по амплитуде и освобождается от коррелированной информации Затем начинается сравнение его фрагментов со сформированными на этапе обучения эталонами разных уровней Причем, сформированные на самом нижнем (акусгико-фонетическом) уровне гипотезы -цепочки фонем (или любых других фонемоподобных элементов), на следующих уровнях сравниваются с эталонами поуровневых словарей Например, с эталонами словаря корневых морфем - на нижнем уровне, на следующем уровне - с эталонами словаря слов, и т д Влияние более высоких уровней позволяет прекратить рост числа вероятных гипотез

В случае решения простых задач распознавания, например, команд ограниченного словаря, используются чаще всего одноуровневые статистические подходы При решении более сложных задач, например, распознавания ключевых слов в потоке слитной речи, требуется привлечение в рамках структурного подхода лингвистической информации всех уровней, от морфологического до синтаксического А также экстралингвистической информации - семантической и прагматической

Показано, таким образом, что сложность реализации систем распознавания речи заключается в необходимости интеграции в единое целое большого объема информации, имеющей различную внутреннюю структуру и требующей для ее обработки различных алгоритмов Кроме того, использование практически всех существующих решений задачи распознавания речи натыкается на психологический барьер, заключающийся в том, что от систем распознавания речи человек ожидает тех же возможностей в общении, что и в общении с человеком Решение последней задачи предполагает воссоздание, по возможности, всей системы обработки и представления информации, каковая имеется у человека Это значит, что помимо интеграции лингвистических и экстралингвистических источников знаний различных уровней, в систему необходимо интегрировать подсистемы обработки информации других модальностей, в первую очередь - зрительной Эффективная интеграция большого объема разнородной информации становится возможной в случае решения трех проблем Во-первых, необходимо использовать одинаковые алгоритмы обработки информации, имеющей различную структуру Во-вторых, желательно реализовать эти алгоритмы с наименьшими затратами, то есть с использованием специализированной (нацеленной именно на эти алгоритмы) аппаратуры, вместо универсальных процессорных средств И, в-третьих - необходимо реализовать ассоциативный способ обращения к информации

Анализ существующих систем распознавания изображений показал, что, как и в случае распознавания речи, при решении задачи распознавания изображений используются, в основном, два подхода геометрический (одноуровневый), и структурный или лингвистическии

Также как системы распознавания речи, системы распознавания изображений, помимо модуля ввода и оцифровки сигнала, имеют два основных модуля модуль предобработки и модуль распознавания Модуль предобработки с>щест-венно учитывает особенности воспринимаемого двумерного пространства, паи двумерного отображения трехмерного видимою мира Состав этого модуля чем-то похож на состав аналогичного модуля в системах распознавания речи В него также входят блок шумоочиетки, бчок нормировки, блок сжатия информации, а гакже блок кодирования, от эффективности работы которого в большой степени зависит эффективность работы всей системы Этот блок в наибольшей степени учитывает особенности двумерного сигнала, в сп чичие от одномерного в этом блоке используется тот или иной способ позиционного кодирования, который воспроизводит особенности фовеального зрения человека

Показано, что распознавание изображений имеет свои сложности, связанные с перебором больших объемов информации, сопряженным с бочьшим объемом сопутствующих вычислений, помимо той же, что и для задач распознавания речи - сложности инт рации разнородных источников знаний Как и в случае с распознаванием речи, эффективным решением может быть использование одно-роднь'х алгоритмов обработки информации, аппаратной реализации и ассоциативного доступа

Анализ существующих систем обработки текстов позволил выявшь их основные функции извлечения индекса текста, автоматического формирования множества рубрик - кластеризации множества текстов, отнесения текста к рубрике (классификация) и сравнения текстов, создания реферата, а также - формирования гипертекстового представления со средствами навигации по гипертекстовой структуре Важнейшая из этих функций - индексация - осуществляется в разных системах по-разному В основном используются два подхода

Статистический подход позволяет сформировать индекс на основе анализа частоты встречаемости слов в тексте Семантический подход использует в этих целях заранее сформированное семантическое представление в виде глобальной семантической сети, в том или ином представлении В атом стучас проекция входного текста на эту сеть и формирует индекс текста Все остальные функции являются производными от функции индексации В зависимости от качества ее реализации стоит и качество работы остальных функций Системы анализа текстов, в связи с этим, делятся на два класса

К первому классу относятся простые, быстрые, не зависящие от языка и предметной обтасти, но грубые системы, использующие статистические механизмы анализа Второй класс - реализованный на основе использования лингвистической информации - формируют достаточно изощренные, дающие хороший результат, но сравнительно медленно работающие системы Автоматизация извлечения знаний из текстов средствами формализмов искусственных языков представления знаний, встречает ряд трудностей, связанных с разнородностью используемых методов, слабой автоматизацией процессов формирования базы знаний и необходимостью привлечения экспертов - лингвистов и инженеров по знаниям - для формирования базы знании Поэтому существующие системы этого класса являются весьма громоздкими структурами с большими семантическими сетями Либо качество их работы оставляет желать пучшего

Показано, что, как и при разработке систем распознавания речи, в системах анализа текстов стоит проблема автоматического формирования источников лингвистических и экстралингвистических знаний различных уровней В наибольшей степени это относится к формированию семантических представлений, в силу большого объема используемой информации В не меньшей степени важную роль при обработке текстов играет ассоциативность доступа к информации

Проведенный анализ показывает, что реализация эффективных интеллектуальных систем оказывается возможной лишь при включении в их состав семантического компонента Существует два типа семантических представлений процедурное представление знаний, где знания о конкретной проблемной области представляются в виде набора правил, и декларативное представление знаний, когда информация представляется в виде базы данных или базы знаний Показано, что все семантические представления, так или иначе, сводятся к сетевому представлению

Ограниченность искусственно-интеллектуального подхода к представлению семантической информации заключается в невозможности полного и непротиворечивого представления семантики только метаязыковыми средствами Решение задачи интеграции информации различных модальностей позволило бы выйти из этого порочного круга

Во второй главе показана необходимость использования двух основополагающих принципов для эффективного решения задач обработки и представления информации, полученной от разных типов сенсоров и эффекторов (разных модальностей), а также обработки и представления надмодальной семантической и прагматической информации Это ассоциативность обращения к информации и структурный подход к ее обработке Ассоциативность обращения к информации позволяет быстро получить нужную информацию, независимо от объемов выборки, а структурный подход к обработке информации - автоматически восстанавливать структуру и компактно хранить полученную информацию

Рассмотрено преобразование Р двоичной последовательности А в п -

мерное пространство Л" таким образом, что каждому п -членному фрагменту

последовательности соответствует точка в Л" - а(1), с соответствующими п -

членному фрагменту координатами, а всей последовательности А соответствует последовательность то-

чек А = { ,(а(-п-1),а(-п), , в(-2)), (в(-и),в(-л + 1), ,й(-1)),

{а(-п + 1), а(-п + 2), ,я(0)),(а(-л + 2),а(-л + 3), ,а(1)),(а(-и + 3), а(-п+ 4), ,а(2), , (а(-п + +1 + /), ,а(/)), } =

= ( ,а(-2),а(-1),а(0),а(1),а(2), ,а(/), ) -траектория

А = Р(А) (2 1)

Здесь Р - обозначает отображение в сигнальное пространство Отображение Р является основой для осуществления структурной обработки информации

Преобразование Р обладает свойством ассоциативности обращения к точкам траектории А ассоциацией по п -членному фрагменту последовательности А (то есть - по его содержанию) любые п символов сразу же адресуют нас к соответствующей точке траектории В общем случае среди п -членных фраг-

ментов информационной последовательности может встретиться уже ранее встречавшийся п -членный фрагмент, и траектория в этом случае пройдет через вершину, уже принадлежащую ей, то есть пересечется с самой собой В этой точке возможно более одного продолжения траектории Для двоичнои последовательности продолжений может быть не более двух

Ассоциативность преобразования F позволяет сохранить топологию структуры преобразуемой информации Действительно, одинаковые фрагменты последоватетьпости преобразуются в одну и ту же траекторию, разные - в разные траектории

Пусть есть две синхронно разворачивающиеся последовательности А и J Траектория А несущей нос телепате тьпости А в сигнальном пространстве может быть использована для запоминания в ее точках символов синхронизированной с ней информационной последовательности J В вершинах гиперкуба Ge вводится функция памяти M , ставящая в соответствие каждой вершине

â(t) е А , соответствующей t -му символу последовательности А , двоичную переменную j(t+1), являющуюся (/ + 1)-м символом некоторой двоичной последовательности J

M{â(t),jlr + l)} = [â(t)]A»n (2 2)

Таким образом, формируется траектория À , обусловленная последовательностью / [*] - обозначает обустовленность

[A}j = M{F(A),J} (2 3)

Другими счовами, последовательность J записывается в точках траектории À (в ассоциации с траекторией А )

Можно осуществить восстановление информационной последоватетыю-

сги J по обусловленной ею траектории \_A\j и несущей последовательности А

J^M~l{{Â]j,F(A)}, (2 4)

где в каждой точке â(t) е А М'л ([â(t)]^t+l^a(i)) = j(t +1) При этом развертывание в траекторию несущей последовательности позволяет обратиться к информации, записанной в точках траектории, то есть к информационной последовательности Такой способ записи назовем гетерассоциативиой записью, а воспроизведение - гетсроассоциативным воспроизведением

Ести в качестве обуславливающей последовательности используется та же последовательность, что и несущая, то есть в точках траектории в сигнальном

пространстве записываются символы этой же последовательности, - возникает случай самообусловливания то есть, ести J = A, M{â(t),a(t + l)} = [â(0]a(i+l)

[A]a*[A] = M{F(A),A}

(2 5)

Аналогично (2 4)

A=M~l{[A],F{A)}

(2 6)

В этом случае можно восстановить исходную последовательность, начиная с одной из точек траектории

Такая запись называется автоассоциативной записью, а воспроизведение - автоассоциативным воспроизведением

Заменой триггера регистрации следующего символа a(t +1) последовательности А двумя счетчиками, фиксирующими число прохождений траекторией заданной точки в заданном направлении С0 - для переходов в "О" и С\ - для

переходов в "1", возможна реализация, наряду с функцией ассоциативной записи/воспроизведения, механизм стохастической обработки информации Введение порогового преобразования H , позволяет восстановить по значению функции H в точке многомерного сигнального пространства, опредезенной ее координатами â(t) , значение наиболее вероятного перехода в следующую точку - в "О" или в "1" a(t +1) Такой механизм памяти чувствителен к числу прохождений заданной точки в заданном направлении Он позволяет характеризовать каждую точку траектории с точки зрения частоты появления во входной информации сочетания (â(f),a(i + l))

Наряду с запоминанием - неуменьшением значений счетчиков С0 и С), возможно забывание - равномерное уменьшение значений счетчиков во времени со скоростью изменения их содержимого значительно меньшей, чем при запоминании

где » ¿г Введение забывания позволяет устранить случайные точки на траектории, не подтверждающиеся в процессе дальнейшего обучения

Механизм памяти, чувствительный к числу прохождений заданной вершины в заданном направлении (механизм статистической обработки), является инструментом для анализа входной последовательности с точки зрения повто-

A = M~l{[Â],â(t)eF(A)}

(2 7)

W{e(0,e('+i)}=[S(0] = Ca(l)(/) = = rCo(0 = Co(t-l) + d„C1(0 = C1(i-l)-</2|e(t + l) = 0,

\ с0 (0 = Со (г -1) ■- d2, С, (0 = С, (/ -1) + dx I a(t +1) = 1,

(2 8)

ряющихся ее частей Как было показано выше, одинаковые фрагменты последовательности отображаются преобразованием F в одну и ту же часть траектории

Преобразование Hhí~lMF, при взаимодействии с классом входных последовательностей {А}, формирует словарь, характеризующий состав последовательностей входного класса в терминах их повторяющихся фрагментов в пространстве данной мерносга

{.L) = HM~xMF{{A}) (2 9)

В зависимости от величины порога h преобразования Я слова словаря могут быть либо цепями, либо графами

Сформированным словарь часто встречающихся событий может быть использован для детектирования старой информации в потоке новой Для этого необходимо поглощение фрагментов входной последоватечыюсги А, соответствующих словам словаря, и пропускание новой, относительно словаря, информации В результате появляется возможность реализовать структурный подход к обработке информации

Дтя решения задачи детектирования преобразование F~l модифицируется для придания ему детектирующих свойств Преобразование F~l взаимодействует с входной последовательностью А, которая содержит, наряду со старой, некоторую новую информацию Если на основании множества входных последовательностей А ранее был сформирован словарь {В} = HM~lMF({A)), то использование преобразования F~l позволяет сформировать так называемую синтаксическую последовательность или последовательность аббревиатур - С, характеризующую связи слов В словаря {В} в последовательности А Здесь {В) есть множество подпоследовательностей, соответствующих веем цепям слов

В словаря {¿}

{B} = F-]({B}) (2 10)

В результате взаимодеиствия происходит формирование последовательности С, в которой заменяются нулями те части последовательности А, соответствующие которым части траектории А = F(A) совпадают с частями траектории А Другими словами, во входной последовательности А заменяются нулями симвопы, соответствующие которым точки траектории А совпадают с точками сформированной ранее траектории А = F(A)

С = ( ,с(-1),е(0),с(1), ,с(0, ) , где

с-/,)={«(')! а (0^5(0;

I о I §(0 = 5(0.

Здесь а{ 0 е А ,а а{ г) е Л , или в другой записи:

С=^£Г1(^(Л),ЯЛ/~!(Й))- (2-12)

Таким образом, отображение позволяет устранить из входной последовательности некоторую информацию, содержащуюся в словаре {В}. Тем самым создается предпосылка построения многоуровневой структуры для лингвистической (структурной) обработки входной информации. Синтаксическая последовательность С , содержащая только новую, по отношению к данному уровню, информацию, становится входной для следующего уровня. На следующем уровне, подобно описанному выше, из множества синтаксических последовательностей {С} формируется

словарь {£)} и множество синтаксических последовательностей следующего уровня {Е} . Мы имеем стандартный элемент многоуровневой иерархической структуры из ассоциативных процессов: такая обработка с выделением поуровневых словарей может происходить на всех уровнях. Словарь следующего уровня является, в этом случае, грамматикой для предыдущего уровня, так как его элементами, при соответствующем выборе размерностей пространств этих уровней, являются элементы связей слов

Процессы в описанной многоуровневой структуре обратимы. Информация может сжиматься при се обработке в иерархии в направлении снизу-вверх, с выделением из нее на каждом уровне поуровневых словарей (освобождением проходящей наверх информации от часто встречающихся событий соответствующей частоты встречаемости). Информация может развертываться при ее обработке в иерархии в направлении сверху вниз.

Расширением понятия преобразования К является расфокусированное преобразование Р(г\ , преобразующее каждый п -членный фрагмент символов

последовательности не в точку - вершину гиперкуба, а во множество вершин, лежащих в окрестности указанной вершины радиуса г (по Хеммингу). Исходная последовательность А , таким образом, отображается в трубку радиуса г с осью-траекторией А :

А(Г) = Р(Г)(А). (2Л9)

{Е}

Л 1£1

{С}

УЧ.

{В} I

{А}

Е

Ф

А }

ф с ф

Л [В}

Ф

А

Использование расфокусированного преобразования /•(,.) позволяет

увеличить надежность воспроизведения, если при обучении была сформирована нерасфокусированная траектория При этом, в случае ухода с траектории, в результате зашумлеиия входной информации (например, замены части символов на

противоположные), среди Сгп +1 точек г -той окрестности текущей точки траектории содержатся и точки траектории, в которых записана нужная информация При воспроизведении, на основе этой информации (информации о переходе, содержащейся в точках г -ой окрестности), а также взятой со своим весом информации о следующем символе входной последовательности, инициировавшей воспроизведение, принимается решение о следующем символе воспроизводимой последовательности

В работе предложен механизм управления активностью процессов - механизм токалыюго внимания Расфокусированное преобразование Г(г) реализуется с использованием механизма внимания с помощью управления порогом срабатывания ассоциативным процессом

Вершина гиперкуба откликается точно на свой адрес, если порог равен числу единиц в адресе (так называемый порог острой настройки) А

Изменение порога приводит к расфокусировке, есчи порог уменьшается, и к схло-пыванию зоны захвата, если порог увеличивается Изменение порога осуществляется синапсом, расположенным на тете нейрона в области триггерной зоны

Уменьшение порога на величину расфокусировки переводит процессы в режим генерализации В эгом случае радиусы сфер захвата всех вершин гиперкуба увеличиваются и они начинают откликаться на я-членные фрагменты, отличающиеся от их адреса на г символов Увеличение порога переводит процессы в режим локализации

Под распознаванием понимается процесс принятия решения о степени совпадения входной информации с ранее запомненной Распознавание предполагает предшествовавший ему процесс обучения В основе механизма распознавания лежит сравнение входной последовательности А и наиботее близкой ей, из запомненных, последовательности А, которая начинает воспроизводиться с помощью преобразования НМ~1МР в ответ на входную последовательность А , с вычислением меры близости по Хеммингу

Вычисление Вх осуществляется суммированием расстояния по Хеммингу между соответствующими п -членными фрагментами входной и воспроизводимой последовательностей, полученных на каждом шаге

(2 20)

х

(2 21)

|| 5(0 -<5(г) ||= ¿(0, О, = ]£«/(/), (2 22)

т

где Г - длина траектории Решение о совпадении с заданной степенью точности принимается сравнением с порогом по распознаванию

Отдельно рассматривается более простой механизм распознавания, реализованный на основе гетероассоциативного способа записи/воспроизведения При обучении, в качестве несущей последовательности А используется последовательность, соответствующая запоминаемому событию, а в качестве информационной последовательности 3 - последовательность символов кода, соответствующего этому событию Под распознаванием, в этом случае, понимается воспроизведение информационной последовательности J - кода события, которое инициирует входная последовательность А

Показывается, что описанные процессы обработки информации обучение, воспроизведение, формирование словаря, синтаксической последовательности, одинаково эффективны как в рамках одного ассоциативного процесса, так и в системах из ассоциативных процессов, в том числе многоуровневых Использование всех свойств ассоциативного процесса возможно лишь при включении его в иерархическую структуру, осуществляющую структурный анализ информации

При обучении в иерархической структуре, работающей в режиме анализа, происходят следующие процессы С выхода рецепторного органа на вход иерархической структуры поступает множество последовательностей {А}, характеризующих множество реализаций множества входных ситуаций, имеющих внутреннюю структуру в смысле повторяемости отдельных ее элементов

По мере поступления последовательностей из множества {А} сначала на первом уровне формируется словарь событий наибольшей частоты встречаемости Размерность и, следовательно, объем сигнального пространства первого уровня выбираются такими, чтобы в словаре хватило места для всех событий В наибольшей частоты встречаемости, содержащихся в {А}, но также и чтобы размер слов словаря соответствовал реальным событиям данной частоты встречаемости

После формирования на первом уровне иерархии словаря {В}, по мере дальнейшего поступления последовательностей из {А}, начинается их взаимодействие с элементами словаря в сигнальном пространстве с формированием на выходе первого уровня подмножества последовательностей аббревиатур {С} (синтаксических последовательностей), соответствующих последовательностям из {А}

Сформированное множество синтаксических последовательностей {С} , поступая на вход сигнального пространства второго уровня, запускает там процессы, аналогичные вышеописанным, только словарь {£>} формируется на основе множества событий В меньшей частоты встречаемости, чем В

Таким образом, при обучении заполняются сигнальные пространства всех уровней, на которых находятся соответствия элементам входных ситуаций того или иного уровня

В реальных устройствах требование к объему сигнального пространства, необходимому для размещения словаря, может оказаться в противоречии с требованием к длине адресного регистра Длина должна быть меньше длины последовательности, соответствующей слову словаря данного уровня, в противном случае слово может быть представленным в сигнальном пространстве единственной точкой Оно может быть не представленным и единственной точкой, если длина адресного регистра оказывается больше длины слова Поэтому, на каждом уровне иерархической структуры сигнальное пространство разбивается на ряд подпространств, в каждом из которых при обучении формируются подсловари, в дальнейшем используемые для распознавания, синтаксической обработки или воспроизведения

Рассматриваются особенности формирования представления о событиях, происходящих в мире, в иерархической структуре из ассоциативных процессов В иерархической структуре из ассоциативных процессов формируются две сосуществующие системы знаний о мире статическая (парадигматическая), потенциально хранящая всю доступную информацию об элементах и связях структур событий мира, и динамическая (синтагматичекая), в той или иной степени соответствуюшая конкретным ситуациям, отображаемым на иерархической структуре Первая - есть не что иное, как семантическая сеть, вторая имеет общие черты с фреймовыми структурами

Статические знания - модель мира данной модальности - представляют

собой многократно вложенный суперграф Мт На верхнем (К-ом) уровне он объединяет все графы-слова В1]К1 слочаря (подсловарей) верхнею уровня, а на всех более низких уровнях - включает в себя (в соответствующие места - по ассоциативному принципу) графы -слова В¡-1т словарей нижних уровней

Здесь и — операция объединения, К-обозначает включение на свое место в слова словаря более высокого уровня Это включение аналогично логическому сложению последовательности, соответствующей слову словаря нижнего уровня, с синтаксической последовательностью (вложению слова словаря в соответствующую купюру синтаксической последовательности)

Объединением нескольких иерархических структур, соответствующих разным сенсорным и эффекторным модальностям со сформированными на них

модальными моделями мира Мт , получается объединенный суперграф - семантическая сеть

Структуру многомодальных семантических представлений можно продемонстрировать на примере металингвистической семантической сети, построенной на основе некоторого текста, множества текстов или даже целой предметной области Такая семантическая сеть так или иначе, сводится к учету

(2 23)

у 1]К<К

(2 24)

сочетаемости слов Семантическая сеть представляется как множество понятий (слов и словосочетаний), объединенных связями Поскольку типы семантических связей в системе не определяются, такие связи представляют собой просто ассоциативные связи В качестве критерия для определения наличия семантической связи между парой понятий в тексте может быть использована частота их совместной встречаемости в одном предложении Превышение частотой некоторого порога позволяет говорить о наличии между понятиями ассоциативной (семантической) связи, а совместные вхождения понятий в предложения с частотой меньше порога считаются просто случайными

Элементы семантической (ассоциативной) сети и их связи имеют числовые характеристики, отражающие их относительный вес в данном тексте - семантический вес Для более точной оценки семантических весов понятий, они пере-считываются, при этом используются веса всех понятий, связанных с данным понятием, т е веса целого "семантического сгущения" В результате пересчета наибольший вес приобретают понятия, обладающие мощными связями и находящиеся как бы в центре "семантических сгущений"

В каждый момент времени, в ответ на входную ситуацию, в каждом графе-слове данной модальности может высветиться только одна цепь А Эти цепи на вложенном суперграфе (семантической сети) составляют динамическое знание - компоненты фрейма fm данной модальности соответствующие некоторой текущей входной ситуации (синтагмы) По аналогии с (2 23)

fm - Л,J Km J/ (2 25)

ijk<K

Компоненты фрейма могут включать в себя конкатенации цепей

i

(также по ассоциативному принципу) Здесь [ И5 ] — означает конкатенацию по ин-

j

дексу i

Каждой конкретной ситуации на семантической сети М соответствует некоторое объединение компонент фрейма отдельных модальностей - субфрейм

¿=Y/™=Y(*Vm) V V» =/iY(Y/-). (2 26)

т т ' цк<К /я*!

где /] - имя субфрейма - слово, например, в вербальной (первой) модальности

Последовательность субфреймов формирует фрейм

F = *S P=fi4*S p) = I*(*Sp), (227)

р р р

где I - имя фрейма (так же как в случае имени субфрейма) - слово, например (но не обязательно), в вербальной модальности

В третьей главе показано, что для реализации задач обработки и представления различной разномодальной информации, с ассоциативным доступом к ней, эффективно использование искусственных нейронных сетей Анализ существующих решений показал, что нейронные сети условно можно разделить на два типа - статические и динамические Классические сети из нейроподобных элементов позволяют решить задачу распознавания статических (пространственных) образов Сети, имеющие в своем составе элементы задержки, - динамические нейронные сети - могут использоваться и для распознавания динамических образов (например речевых сигналов), однако в этом случае для учета временной структуры информации прибегают к специальным приемам, например заводят на дополнительные входы сети информацию с задержками Введение в стационарную сеть обратных связей с элементами задержки с выходов сети на ее входы делает сеть рекуррентной При этом сеть начинает учитывать временной контекст входных сигналов Такие сети способны автоматически формировать эталоны динамических образов

Использование рекуррентных искусственных нейронных сетей для обработки информации, имеющей временную природу, показало хорошее качество работы таких сетей Естественная трудность, с которой сталкиваются разработчики, заключается в рутинности ручной настройки структуры нейронных сетей на распознаваемую информацию Показано, что для эффективного решения этой проблемы необходимо организовать нейронную сеть, реализующую структурную многоуровневую обработку информации

Для анализа временных последовательностей, к которым сводится представление как речевой, так и зрительной и текстовой информации, удобно использовать искусственные нейронные сети, динамические Предельным случаем сетей, учитывающих динамическую (временную) информацию, являются сети из так называемых динамических ассоциативных запоминающих устройств Такие сети представляют собой множество параллельно включенных нейроподобных элементов с временной суммацией входных сигналов Каждый из нейроподобных элементов, являясь элементом ассоциативной памяти, моделирует одну из точек сиг -нального пространства, в которое отображается и в котором запоминается в виде последовательности точек - траектории - входная последовательность

Этот тип сетей получается из более общего, который, в свою очередь конструируется из статических сетей объединением двух статических нейронных сетей, где одна из них включается в прямом направлении, а другая - в обратной связи Сначала сеть сводится к одному нейроподобному элементу, но имеющему цепочку задержек на входе Это нейрон с синапсами, имеющими передаточную функцию без нолюсов (такие синапсы можно рассматривать как обобщенные ден-дриты нейрона) и не имеющими обратной связи с выхода

В этом случае эталонная область пространства Я" сводится к одной точке Координатами этой точки в пространстве является п-членный анализируемый фрагмент последовательности Для построения эталонов образа, которые строятся как объединение точек - траектория, используется набор из таких нейронов — нейронный пучок Объединение нейронов моделирует л-мерный единичный гиперкуб в сигнальном пространстве Такая конструкция более удобна для представления информации, поскольку, в отличие от традиционной нейронной сети, где информация об образах-эталонах упрятана в весовых коэффициентах синапсов, в такой

сети входная информация представляется в удобной и наглядной форме траектории на вершинах гиперкуба Нейроны с различными распределениями синапсов на дендритах можно избирательно возбуждать, подавая на них последовательности с разным распределением в них импульсов и межимпульсных интервалов

Представлены теоретические основы построения нейросетевых технологий для обработки неструктурированной информации различных модальностей Рассматривается ассоциативная память на основе нейроподобных элементов с временной суммацией входных сигналов, в которой одним из основных свойств является ассоциативное воспроизведение с динамическим формированием адреса Такая ассоциативная память называется динамической ассоциативной памятью, а устройства на ее основе - динамическими ассоциативными запоминающими устройствами (ДАЗУ) Динамическое ассоциативное запоминающее устройство представляет собой множество объединенных параллельно нейроподобных элементов, имеющих общий вход и общий выход, и отличающихся друг от друга последовательностью знаков синаптических связей на обобщенном дендрите - адресом Вес связей равен ±1 ДАЗУ моделирует многомерный единичный гиперкуб, и осуществляет преобразование информационной последовательности в траекторию в многомерном сигнальном пространстве Наличие элемента памяти в составе нейроподобного элемента позволяет запоминать в ДАЗУ информационные последовательности с сохранением в сигнальном пространстве топологии сенсорного пространства ДАЗУ реализует частотную обработку информационных последовательностей, а также ассоциативное обращение к запомненной информации

Объединение множества из 2" нейронов с разными адресными комбинациями в единую структуру порождает модель п -мерного сигнального пространства Я" (точнее единичного гиперкуба Се е К" , если веса синапсов равны "+1" и "-1") В этом случае каждый отдельный нейрон моделирует одну из вершин гиперкуба Такая структура позволяет отобразить любую последовательность А в последовательность вершин Се - траекторию А

В четвертой главе представлен структурный подход с использованием нейросетевой технологии, который позволяет естественным образом решить задачу анализа неструктурированной информации разных модальностей языковой (речевой и текстовой), семантической информации, а также информации других модальностей, например, изображений, и интеграции их в единую структуру

Речевая и текстовая информация имеют общую часть, касающуюся представления источников знаний верхних уровней Поскольку, если оставить в стороне первичную обработку, и предположить, что текстовая информация может быть с помощью системы автоматического транскрибирования переведена в последовательность фонетических значков, таких же, какие появляются на выходе акустико-фонетического уровня обработки речевого сигнала, возможно рассматривать эти два вида информации совместно, дополняя представление одного вида информации представлением другого вида информации Для решения задачи анализа языковой (речевой и текстовой) информации, необходимо создание системы, содержащей, помимо модуля первичной обработки, источники языковых знаний различных уровней - от фонетического до синтаксического Кроме того, она должна содержать экстралингвистические источники знаний семантическии и прагматический

Анализ речевой информации предполагает введение акустико-фонетического уровня обработки На акустико-фонетическом уровне формируется представление первичных неделимых фрагментов последовательности первичных признаков, кодирующих звуковую волну На вход акустико-фонетического уровня подается параметризованная звуковая волна, подвергнутая первичной обработке с целью улучшения отношения сигнал/шум, уменьшения корреляции, а также уменьшения вариативности Для формирования словаря акустико-фонетического уровня на его вход подается обучающая выборка из реализаций слов фонетически сбалансированного словаря В процессе обучения в многомерном сигнальном пространстве акустико-фонетического уровня формируется представление речевой информации в виде словаря акустико-фонетических элементов - множества фрагментов траекторий, соответствующих размеченным сегментам реализаций слов фонетически сбалансированного словаря Наличие сформированного словаря звукотипов позволяет использовать акустико-фонетический уровень как структуру для фильтрации фонологической информации в речевом потоке

Для формирования представления морфологического уровня на вход обученного акустико-фонетического уровня подается обучающая выборка морфологического уровня, содержащая множество произнесений произвольного множества текстов На его выходе получается та же выборка, но уже в виде последовательности транзем с купюрами на месте отфильтрованных фонем Из этой последовательности транзем в многомерном сигнальном пространстве морфологического уровня формируются словари корневых морфем, аффиксов и префиксов, а также флективных морфем - окончаний, соответствующих различным грамматическим формам слов Здесь же формируется словарь предлогов Функционально (на синтаксическом уровне) он неразрывно связан со словарем флексий

Для формирования словаря лексического уровня, на вход обученно! о акустико-фонетического уровня подается обучающая выборка лексического уровня, содержащая множество реализаций слов оперативного словаря - словаря наиболее часто встречающихся слов При формировании словаря лексического уровня, аналогично предыдущему, посте фильтрации сформированным ранее словарем акустико-фронетического уровня, на его выходе получим множество реализаций слов, представленных в виде последовательностей транзем с пробелами

Подавая на вход акустико-фонетического уровня обучающую выборку, состоящую из множества предложений, после их взаимодействия со словарем фонем на акустико-фонетическом уровне и словарем основ слов на лексическом уровне, мы получим на входе синтаксического уровня множество синтаксем, состоящих из последовательностей предлогов и флективных морфем с купюрами вместо отфильтрованных корневых основ

Семантика выходит за рамки языкового представления Человек оперирует не языковой, а многомодальной моделью мира Только в таком представлении удается избежать трудностей объяснения первичных смыслов - они формируются как элементы модели мира соответствующих модальностей Однако необходимо отметить, что семантика отражается в языке, наряду с лексической и грамматической компонентами смысла, в виде сочетаемости слов, и, в конечном итоге, в виде семантической сети Поэтому, на этих уровнях формируются слова-

ри сочетаемости слов (точнее - основ слов) Семантическая сеть легко может быть получена из словаря пар слов

Отличие информации семантического и прагматического уровня заключается только в объеме сети В случае представления семантической информации сеть опосредует всю модель мира Источник знаний прагматического уровня содержит частные сети для соответствующих предметных областей (ситуаций)

Обработка зрительной информации отличается от обработки речевой информации Основное отличие заключается в наличии двух каналов обработки зрительной информации канала, ответственного за грубое интегральное описание поля зрения, и канала, ответственного за точное описание объектов Наиболее наглядно особенности нейросетевого подхода выявляются на примере точной обработки информации

Первичная обработка осуществляет улучшение, оконтуривание и сегментацию изображения Изображение подвергается двум разным видам обработки эквитекстурному анализу для реализации сегментирующей функции, и улучшению и яркоешому анализу, с целью выделения контуров

В точном канале реализуются следующие уровни обработки информации уровень элементарных представлений, уровень элементов объектов, уровень объектов, и уровень сцен Входной информацией для точного канала является оконтуренное изображение сегмента

В зрительном анализаторе имеется две формы обработки информации параллельная, характерная для нижних уровней анализа, и последовательней! Параллельная обработка заканчивается на этапе формирования словаря элементарных представлений на первом уровне иерархической структуры зрительного анализатора Последовательная обработка аналогична таковой для речевого анализа

Использование однородного нейросетевого представления информации позволяет интегрировать информацию всех уровней в процессе принятия решения Особенностью такого представления информации является возможность автоматического формирования информационных баз источников знаний на основе соответствующих обучающих выборок, при приемлемом объеме ручной работы по составлению обучающих выборок

Семантика и прагматика выходят за рамки лингвистических представлений, хотя и содержат лингвистические эквиваленты понятии - означающие Второй компонентой семантических и прагматических структур являются элементы многомодальной модели мира - означаемые В отличие от традиционного представления модели мира в виде различного типа тезаурусов, в работе предлагается использование означаемых в их естественном многомодальном представлении в виде иггтегралыюй структуры, содержащей элементы разных модальностей, как сенсорных, так и эффекторных В первую очередь это, естественно, зрительная модальность Деление единого представления на семантику и прагматику осуществляется по динамическому принципу все понятия модели мира объединяются в статическую ассоциативную сеть - модель мира На этой ассоциативной сети конкретные ситуации высвечивают им соответствующие прагматические конфигурации - фреймовые структуры И наоборот частные прагматические фреймы в совокупности формируют модель мира

Объединенное представление информации в двух полушариях можно назвать единой семантической сетью - многомодальной моделью мира, где потенци-

ально предс(авлены все события и их связи, встречавшиеся на входе системы во время ее обучения Это знание является статическим знанием

События мира в той или иной комбинации связываются в ситуации, которые высвечивают на модели мира динамически изменяющуюся структуру из слов словарей разных уровней разных модальностей - фреймовое представление 13 каждый конкретный момент в каждой модальности может высвечиваться только одно слово и объединение этих множеств слов, соответствующее некоторой ситуации, составляет динамическое знание - фрейм

Предложенная в работе интерпретация известного разделения фреймовых структур на фреймы-прототипы и фреймы экземпляры в терминах категориальных и функциональных знаний, где флективная структура фразы (в том числе неязыковой квазифразы) описывающей ситуацию, соответствует категориальной компоненте, а лексическое наполнение фразы - функциональной, позволяет использовать подмену многомодального семантического представления текстовым представлением Что в свою очередь дает эффективный методический прием при обработке текстовой информации

В результате анализа в тексте выделяются некоторые подобразы, которые в дальнейшем объединяются в более сложные образы Можно представить несколько подобных пар отношений, формируемых на текстовом представлении Рассмотрим одну из пар представлений, в которой отдельные слова текста, представленные на нижнем уровне пары, на следующем уровне объединяются в предложения текста При этом элементы нижнего уровня - слова - являются носителями лексической компоненты значений текстовых единиц, а предложения с купюрами вместо корневых основ, составленные из этих слов (без конкретного наполнения значением слов) - носителями грамматической компоненты значений В многомодальной модели мира словам соответствуют события, а предложениям -сцены

Для простоты анализа, вместо формирования флективнои структуры предложения анализируется частота попарной встречаемости слов (корневых основ) в предложении Считается, что слова из текста, встречающиеся с другими в рамках одного предложения, связаны с ними При объединении обоих текстовых компонент (слов и их попарных связей) в единое представление формируется сеть, вершинами которой являются носители лексических значений корневые основы, а связи между ними являются носителями грамматических значений

Сформированное первоначально статистическое представление текста — сеть слов с их связями - является лишь частотным портретом текста Перенормировка сети с помощью итеративной процедуры, аналогичной алгоритму сети Хоп-филда позволяет перейти от частотного портрета текста к ассоциативной сети ключевых понятии текста

+ Ъ = = /(^ЧрПр«)^) (4 1)

Р м

здесь ы1(0) = \пг1 , и>у = гу /г] и /(.у) = ст(л') = 1/(1 + , где 2, - частота встречаемости г -го слова в тексте, гу — частота совместной встречаемости 1 -го и 7 -го слов в фрагментах текста, а а -функция является нормирующим множителем

В результате такой перенормировки меняются первоначальные числовые характеристики слов Слова, которые в сети связаны со словами с большим весом, в том числе через промежуточные слова, в результате такой процедуры повышают свой вес, вес остальных слов равномерно уменьшается Полученная числовая характеристика слов - их смысловой вес - характеризует степень их важности в тексте

Ассоциативная сеть может быть сформирована, как для отдельного текста, так и для множества текстов Это множество текстов может охватывать одну предметную область или соответствовать нескольким предметным областям Ассоциативная сеть, построенная в результате такой обработки, будет содержать основные понятия предметных областей и связи между ними, ранжированные некоторыми числовыми значениями Причем, доя каждого понятия сети его ближайшие соседи являются его семантическими признаками

Такое сетевое представление может автоматически разбиваться на подсети, относящиеся к различным предметным областям Для этого пороговым преобразованием устраняются некоторые несущественные связи, и тогда целостная сеть разбивается иа несколько подсетей, объективно содержащих понятия, характерные для соответствующих предметных областей

Совершенно ясно, что если такая сеть соответствует некоторой предметной области, и если ассоциативная сеть некоторого текста вкладывается в ассоциативную сеть этой предметной области (пересекается с ней), можно говорить о том, что указанный текст относится к данной предметной области (пересекается с ней)

В пятой главе описываются программные приложения, реализованные на основе нейросетевой технологии В том числе, были реализованы системы анализа текстов, распознавания речи и распознавания изображений рукописных символов Особенностью реализаций является единый подход к обработке информации Во всех случаях существенно различаются только способы первичной обработки информации, которые определяются типом выбранной модальности

На основе нейросетевой технологии Научно-производственным инновационным центром (Микросистемы», г Москва было разработано семейства программных продуктов для автоматического смыслового анализа текстовой информации 1 ext Analyst Система реализована как инструмент для автоматического формирования баз знании на основе множества естественно-языковых текстов Ядро системы выполнено как программный компонент (mproc server), соответствующий спецификации Component Object Model (СОМ) фирмы Microsoft

Ядро системы реализует следующие функции Нормализацию грамматических форм слов и вариаций словосочетаний Автоматическое выделение базовых понятий текста (слов и словосочетаний) и их взаимосвязей с вычислением их относительной значимости Формирование представления семантики текста (множества текстов) в форме семантической сети

В состав ядра системы, помимо блока первичной обработки, входят следующие блоки пингвистическии процессор, блок выделения понятий текста, блок формирования семантической сети, блок храпения семантической сети

Блок выделения ключевых понятий предметной области (слов и словосочетаний) создан на базе программной модели иерархических структур из ДАЗУ, и реализует алгоритмы автоматического формирования частотного словаря текста

Число уровней ДЛЗУ в иерархической структуре определяет априорно заданную максимально допустимую длину понятия предметной области и равняется двадцати

Блок формирования семантической сети реализован как база данных, в которой представляются семантические связи понятий предметной области Поскольку типы семантических связей в системе не определяются, такие связи представляют собой просто ассоциативные связи В качестве критерия для определения наличия семантической связи между парой понятий используется частота их совместной встречаемости в одном предложении

Па основе результатов работы модуля индексации реализованы следующие функции обработки текстовой информации Функции формирования гипертекстовой структуры, навигации по базе знаний, формирования тематического дерева, реферирования текстов, автоматической кластеризации множества текстов, сравнения текстов (автоматической классификации текстов) Наконец реализована функция формирования ответа на смысловой зарос пользователя - формирования тематического реферата

Реализованная система анализа текстовой информации является удобным интерфейсом для представления е-кнши, а также и инструментом для ее создания Она была использована для создания электронных книг и периодических изданий Описана также реализованная система распознавания речевых единиц (слогов, слов), произносимых с паузами, с настройкой (обучением) на конкретного диктора, в которой для создания подсистемы представления эталонов была использована программная модель ДАЗУ Система распознавания речи была реализована на персональной ЭВМ в виде системы диктовки для ввода информации с голоса в текстовый редактор Данная работа была поддержана Министерством науки и технологий РФ

Система в составе двух программных модулей - модуля предобработки речевого сигнала и модуля эмуляции иерархии из ДАЗУ имеет два режима работы - обучение (формирование эталонов) и распознавание Структура системы распознавания речи включает в свой состав аналого-цифровой преобразователь, блок вычисления быстрого преобразования Фурье, блок, реализующий перцептивное сглаживание спектра, блок вычисления автокорреляционной функции, блок линейного предсказания, блок вычисления кепстральных коэффициентов, общий регистр сдви1 а нейроподобных элементов ДАЗУ, а также блок оценки

Для уменьшения количества коррелированной информации и вариативности описания речевого сигнала в системе использована априорная информация о процессе порождения речевого сигнала и о психоакустических особенностях восприятия речи человеком Для получения первичного описания речевого сигнала использован метод так называемого перцептивного линейного предсказания

Полученные в процессе первичной обработки векторы параметров далее используются при обучении для формирования фонетической базы данных Для этого, в процессе распознавания векторы параметров подвергаются процедуре автоматической классификации Для классификации используется нейронная сеть Кохонена Указанный метод классификации инвариантен по отношению к содержимому векторов Точность классификации определяется количеством нейронов выходного слоя и количеством итераций, т е величиной обучающей выборки

С помощью сети Кохонена происходит преобразование звуковой волны в акустический текст При обучении сети используется фонетически сбалансированный текст, зачитанный разными дикторами В данном случае для обучения использовался фонетически сбалансированный текст, зачитанный одним диктором Каждое значение вектора параметров кодируется двухбуквенным сочетанием Это удобно для нейросетевой обработки, описанной в разделе 4 1, а также для простоты визуальной интерпретации полученных результатов Выходом этого этапа обработки является множество векторов параметров, расклассифицированное по разделам кодовой книги

Формирование фонетической базы данных (формирование системы кластеров) происходит в полуавтоматическом режиме с помощью программы Тех1Апа1уЫ В этом случае Тсх1Апа1уз1 реализует квази-синтаксический подуровень, который интерпретирует связи квази-слов во входном акустическом тексте в рамках его устойчивых фрагментов, а также позволяет отнести некоторый фрагмент входного сообщения к определенному классу фрагментов

Выделение ключевых фрагментов осуществляется на базе программной модели иерархической структуры из ДАЗУ, и реализует алгоритмы автоматического формирования частотного словаря акустического текста Число уровней ДАЗУ в иерархической структуре определяет априорно заданную максимально допустимую длину фрагментов и равняется двадцати

После выбора классифицируемых элементов речи (фонемы, субфонемные элементы, слоги, слова и пр) дальнейшая обработка речи носит универсальный характер

Формирование эталонов слов для дикторозависимого режима работы системы распознавания речи подразумевает сохранение эталонных реализаций в параметрической форме Формирование эталонов происходит в соответствии с выбранным сценарием обучения системы В режиме распознавания использовались алгоритм динамическт о программирования и алгоритм локального поиска

Наиболее полное применение изложенной выше теории может быть проиллюстрировано на примере реализованной системы распознавания символов Рассмотренное на примере распознавания типографских символов, это представление может быть использовано и для распознавать изолированно написанных рукописных символов В краткой постановке задача распознавания символов выглядит следующим образом Исходной информацией для системы являются полутоновые изображения символов, введенные в компьютер со сканера, или с цифровой фотокамеры

Система распознавания символов включает в свои состав светочувствительную матрицу, блок предварительной обработки, два блока представления информации, состоящих из ДАЗУ (в том числе двухуровневого структурного и одноуровневого ассоциативного), а также блок принятия решения

Введенное изображение подвергается предобработке, целью которой является получение бинарного контурного изображения набора символов Набор программных средств на этапе предобработки стандартен - улучшение качества изображения, масштабирование, фильтрация, бинаризация, выделение контура, сглаживание

Далее следует этан переописания, то есть представление исходного изображения символа в виде последовательности кодов, удобных для обработки в

структуре из ДАЗУ Переописание реализуется с помощью кодирования цепным кодом Фримена (или его разновидностей) Код Фримена позволяет представить процедуру обхода контура изображения в виде последовательности кодов направлений перехода

В системе распознавания символов зрительный образ символа описывается в виде двух представлений образного и структурного Соответственно, имеется два канала обработки грубый, обрабатывающий изображение образа целиком, и точный, обрабатывающий образы фрагментов и структурные описания символов

Цепочки кодов, описывающие сжатое изображение, в режиме обучения подаются с выхода грубого канала на гребенку ДАЗУ грубого канала, где каждому символу предназначено свое ДАЗУ (в случае вариантов изображения одного и того же символа число ДАЗУ в гребенке увеличивается) С выхода точного канала цепочки кодов изображения, представленного с большим разрешением, поступают на блок структурной обработки, состоящий из гребенок ДАЗУ двух уровней, где осуществляется структурная обработка изображения В результате обработки на нижнем уровне формируется словарь статистически достоверных фрагментов изображений символов, каждый из которых записан в отдельном ДАЗУ При этом выделенные фрагменты принадлежат не какому-либо одному символу, а могу г входить в описание нескольких из них На верхнем уровне формируется словарь структурных описаний символов, характеризующих последовательность объединения фрагментов символов в их изображениях Структурное описание каждого символа также записывается в отдельном ДАЗУ

Таким образом, описание объекта представлено одновременно в образной форме в ДАЗУ грубого канала и в структурированной форме в блоке структурного описания

В шестой главе описано аппаратное решение задачи хранения, упорядочения и ассоциативного поиска информации на основе иерархии из ДАЗУ Для этого реализован аппаратно, в виде сверхбольшой интегральной схемы (СБИС), модуль ассоциативной адресации - гребенка нейроподобных элементов Основная особенность аппаратной реализации нейронной сети заключается в том, что обработка информации в ней происходит параллельно и распределенно Каждый ней-роподобныи элемент отдельно и независимо обрабатывает приходящую на него информацию В отличие от существующих вычислительных средств такая аппаратная реализация является весьма простой и эффективной по управлению, поскольку ее модули являются систолическими массивами, то есть они управляются потоком информации Управление сводится к одновременной подаче входной последовательности на общий для всех нейроподобных элементов ДАЗУ вход Кроме того, такая вычислительная среда устойчива к повреждениям выход из строя одного нейроподобного элемента не влияет на другие И, наконец, - не требуется написания универсальной и специальной математики для симуляции обработки, или требуется значительно меньше.

СБИС нейрочипа была спроектирована в базисе библиотеки стандартных элементов матричного кристалла и изготовлена на базовом матричном кристалле 1592ХМ1 разработки ОАО «Ангстрем» г Зеленоград

На основе разработанного нейрочипа осуществлена разработка и создание модуля наращиваемой и каскадируемой ассоциативной памяти в составе бло-

ка связи с управляющим компьютером, блока ассоциативного запоминающего устройства, блока запоминающего устройства и контроллера динамического ОЗУ

Описана также реализация ассоциативной памяти с использованием стандартных микросхем памяти, адресуемой по содержанию (Content Addressable Memory) В отличие от ассоциативной памяти, реализованной с использованием описанного выше нейрочипа, реализация на основе стандартных САМ больше похожа на прототип каждая ячейка САМ снабжена собственным регистром адреса Размерность моделируемого пространства соответствует длине регистра адреса Запись в такую память осуществляется отдельными событиями, которые записываются в отдельные ячейки, как в случае записи информации в колонках коры -отдельное слово в отдельную колонку

Описано также изменение конструкции микросхемы САМ, для того чтобы можно было их использовать для мягких вычислений (анализа зашумленной информации) Для этого необходимо ввести в микросхему САМ аппаратное вычисление числа совпадающих (или несовпадающих) разрядов Для этого достаточно добавить в каждый разряд адресного регистра САМ компаратор, один, общий на ячейку, аддитивный сумматор, и осуществить поразрядное сравнение с суммированием результата

В заключении кратко изложены результаты диссертационной работы Основные результаты и выводы

1 На основе анализа существующих интеллектуальных систем предложено использование структурных нейросетевых методов для интеграции представления и обработки информации различных модальностей, а также надмодаль-ной семантической и прагматической информации

2 Проведен анализ современного состояния научной области, связанной с обработкой информации разных модальностей, а также семантической и прагматической информации В результате этет о анализа предложена замена моделей интеллектуальных процессов моделями интеллектуальных процессоров для обработки информации

3 Предлагается использование одного класса искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов для представления произвольной информации в многомерном сигнальном пространстве

4 Предлагается метод обработки информации, имеющей многоуровневую временную структуру, с помощью динамических искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов

5 Предлагается создание системы источников знаний верхних уровней разных модальностей, с использованием однородною нейросетевого представления информации, что позволяет легко интегрировать информацию всех уровней в процессе принятия решения

6 Предлагается интерпретация информационных процессов в нейросетевых структурах в виде операций на графах

7 Предложен формализм динамических нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов, интерпретирующий обработку и представление двоичной, внутренне структурированной, информации в сигнальном пространстве искусственной нейронной сети, в том числе, ее запоминание, стохастическую обработку (с автоматическим структурированием внут-

реннего представления), воспроизведение и распознавание Топология сигнального пространства, моделируемого искусственной нейронной сетью, устойчива к разрушению представленной в нем информации Искусственная нейронная сеть реализует гетероассоциативное запоминание - запоминание информации в ассоциации с несущей последовательностью Если информационная и несущая последовательности тождественны, имеется автоассоциативное запоминание Введение в искусственную нейронную сеть механизма учета статистических свойств информации наряду с нелинейным преобразованием позволяет восстанавливать с его помощью словарь элементов внутренней структуры информационной последовательности Искусственная нейронная сеть со сформированным в ней словарем элементов позволяет фильтровать новую информацию в потоке старой, формируя, таким образом, информацию о связях слов словаря

8 Предложен способ представления семантической и прагматической информации с помощью многоуровневой иерархии из ДАЗУ

9 Предлагается деление единого сетевого семантического представления на семантику и прагматику по динамическому принципу. Все понятия объединяются в ассоциативную сеть - модель мира - на которой конкретные ситуации высвечивают им соответствующие прагматические конфигурации - фреймовые структуры

10 Предлагается структура модели мира на основе текстового представления в виде ассоциативной сети, которая содержит основные понятия предметных областей и связи между ними, ранжированные числовыми значениями

11 Для представления семантической информации предложена иерархия ассоциативных сетей, в которой на самом верхнем уровне представлены объекты - события и ситуации - в их взаимосвязях, уровнем ниже представлены, также в сетевом виде, модели мира отдельных объектов, которые, в свою очередь, являются двухуровневыми сетями, связанными генетивными отношениями

12 Предлагается интерпретация состава и процесса обработки зрительной информации в зрительной системе человека

13 Предлагается методика формирования многоуровневого представления языковых знаний системы распознавания речи

14 Предложена ассоциативная память на основе нейроподобных элементов с временной суммацией входных сигналов, в которой одним из основных свойств является ассоциативное воспроизведение с динамическим формированием адреса (динамическое ассоциативное запоминающее устройство) - ассоциативный процессор с памятью Динамическое ассоциативное запоминающее устройство моделирует п-мерный единичный гиперкуб

15 Предложена многоуровневая иерархия из ДАЗУ для структурной обработки информации Объединение многоуровневых структур, обрабатывающих информацию разных модальностей позволяет создать многомодальное семантическое представление

16 Представлена реализованная автором система для структурного анализа текстов Тсх1Апа1ухг

17 Представлена реализованная автором система распознавания изолированно произносимых речевых команд ограниченного словаря

18 Представлена реализованная автором система распознавания изображений символов

19 Предложено унифицированное базовое аппаратное обеспечение нейронных сетей на базе реализованной интегральной схемы адресной части ней-роподобного элемента

20 Предложена аппаратная реализация модуля ассоциативнои памяти с использованием стандартных микросхем памяти, адресуемой по содержанию (Content Addressable Memory)

Список публикаций по теме диссертации

1 АС N 1179389 (СССР) Устройство для моделирования нейрона /Харламов А А, Усманов А.Х Заявка N 3751440 от 29 марта 1984г Опубликовано 15 августа 1985г МКИ G 06 g 7/60

2 АС N 1305732 (СССР) Устройство для моделирования нейронных сетей /Харламов А А., Усманов А X, Воронов И В , Богомолов Г В Заявка N 3999328 от 27 декабря 1985г Опубликовано 22 декабря 1986г МКИ G 06 g 7/60

3 Волков В И, Жаркой Р М, Харламов А А Модель ассоциативной системы машинного зрения Приборостроение Вестник Московского государственного технического университета, N 9-10 1994 Стр 31-33

4 Харламов А А Ассоциативный процессор на основе нейроподобных элементов для структурной обработки информации Информационные технологии, N 8, 1997 Стр 40 - 44

5 Харламов А А Динамические рекуррентные нейронные сети для представления речевой информации Информационные технологии, N 10, 1997 Слр 16-22

6 Харламов А А Нейроподобные элементы с временной суммацией входного сигнала и блоки ассоциативной памяти на основе этих элементов //Вопросы кибернетики Устройства и системы Под ред Н Н Евтихиева - М МИРЭА, 1983 Стр 57 - 68

7 Харламов А А Нейросетевая технология представления и обработки информации (естественное представление знаний) - М «Радиотехника», 2006 - 89 с

8 Харламов 4 А Семантическая сеть для интеллектуальной системы на основе иерархической структуры из динамических нейронных сетей с опорой на зрительный и слуховой анализаторы /"Интеллектуальные системы Труды Второго международного симпозиума" Под ред К А Пулкова Том 2 - С-Петербург, 1996 Стр 201-208

9 Харламов А А Статические и динамические нейронные сели на примере задачи распознавания образов Приборостроение Интеллектуальные системы автоматического управления, N 1,1991 Стр 58-66

10 Харламов А А Физически реализованное многомерное сигнальное пространство - эффективная среда для структурированного хранения и ассоциативного поиска информации Искусственный интеллект, № 4, 2005 Стр 393-402

11 Харламов A A TextAnalyst - оболочка для электронного учебника //Обучение в компьютерной среде - М. Московский государственный открытый педаго1 ический университет им М А Шолохова Институт информатизации образования, 2002 Стр 55 - 62

12 Харламов А А, Аллахвердов СА, Искусственная нейронная сеть для структурного анализа информации на основе микросхем памяти, адресуемой по содержанию Информационные технологии, N 5, 2007г С 27 -33

13 Харламов А А, Аллахвердов С А, Самаев ЕС Нейрочип - нейроподоб-ный элемент с временной суммацией входных сигналов - элемент нейронной сети для структурного анализа информации «Нейрокомпьютеры разработка, применение», N 2, 2003 С

14 Харламов А А , Ермаков А Е Динамическая нейронная сеть для распознавания речевых сигналов Системы управления Вестник Московского государственного технического университета, N 1 1998г Стр 93-101

15 Харламов А А , Ермаков А Е Распознавание речи на основе динамических нейронных сетей, управляемых механизмом внимания Информационные технологии, N 9,1997г Стр 22-27

16 Харламов А А , Ермаков А Е, Кузнецов ДМ Технология обработки текстовой информации с опорой на семантические представления на основе иерархических структур из динамических нейронных сетей, управляемых механизмом внимания Информационные технологии, N 2, 1998 Стр 26-32

17 Харпамов А А , Ермаков А Е, Кузнецов ДМ TextAnalyst - комплексный нейросетевой анализатор текстовой информации Вестник МГТУ им НЭ Баумана N 1, 1998г Стр 32-36

18 Харламов А А , Ермаков А Е, Кузнецов ДМ, Блощинский ЮМ, Копосов А И Система для автоматической смысловой обработки текстов на основе нейросетевой технологи "TEXTANALYST FOR LOTUS NOTES" Информационные технологии, N 10,1999 Стр 27-29

19 Харламов А А , Жаркой Р М, Бочков В И, Мацаков ГН Система распознавания изолированных рукописных символов на основе иерархической структуры из динамических ассоциативиых запоминающих устройств //Информационные технологии, N 5, 1998 Стр 27-31

20 Харламов А А, Кнечлер Э Г Распознавание ключевых слов в потоке слитной речи на основе нейросетевых технологий Нейрокомпьютеры Разработка и применение № 8-9, 2005г Стр 88 — 97

21 Харчамов А А , Кушнир ДА Распознавание речи в базисе многомерного сигнального пространства Информационные технологии, N 5, 2005г Стр 31 -36

22 Харламов А А , Рябов Г Н Использование сигмоидной функции в нейро-подобных элементах с временной суммацией входных сигналов в составе динамической нейронной сети Информационные технологии, N 10, 1998г Стр 22-26

23 Харламов А А , Самаев Е С, Кузнецов ДМ, Джураев Э Ш Система обнаружения утечки информации в электронной форме Нейрокомпьютеры Разработка и применение, № 12,2002г,2001г Стр 53-61

24 Харламов А А , Самаев ЕС, Джураев ЭШ, Сухоносенко KB Фильтрация текстовой информации с помощью нейросетевых алгоритмов Информационные технологии, N 3, 2003г Стр 9-13

25 Харламов А А , Самаев ЕС, Рябов Г Н Многомодальные семантические представления на основе нейронных сетей Информационные технологии, N4, 200!г Стр 12-17

26 Kharlamov A A Attention Mechanism Ussage to Form Frame-Structure on a Semantic Net /"Neurocomputers and Attention Volume II Connectionism and Neurocomputers" Eds Arun V Holden, Vitalv I Kryukov -Manchester Manchester University Press, 1991

27 Kharlamov A A, Raevsky V V Networks constructed of neuroid elements capable cf temporal summation of signals /In "Neural Information Processing Research and Development", Jagath С Rajapakse and Lipo Wang, Editors, Springer-Verlag, May, 2004, ISBN 3-540-21123-3 Стр 56-76

Личный вклад автора диссертации во всех публикациях с соавторами является определяющим

Подписано в печать 26 03 2008 Печать трафаретная

Заказ № 209 Тираж 100 экз

Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш, 36 (495) 975-78-56, (499) 788-78-56 www autoreferat ru

Введение

Глава 1. Проблемы представления и обработки информации в интеллектуальных системах

1.1. Извлечение ключевой информации

1.2. Системы искусственного интеллекта

1.2.1. Тенденции развития систем искусственного интеллекта

1.2.2. Типы искусственно-интеллектуальных систем

1.3. Интеллектуальные системы

1.4. Анализ интеллектуальных систем с точки зрения эффективности обработки информации

1.4.1. Системы распознавания речи

1.4.2. Системы распознавания изображений

1.4.3. Системы анализа текстов

1.4.4. Семантические представления в интеллектуальных системах

Глава 2. Теоретические основы построения нейросетевых технологий обработки неструктурированной информации разных модальностей

2.1. Преобразование, реализующее свойство ассоциативности обращения к информации

2.1.1. Запоминание информации. Воспроизведение. Авто- и гетероассоциативность

2.1.2. Формирование статистической модели. Забывание

2.1.3. Формирование словаря

2.1.4. Формирование синтаксической последовательности. Многоуровневая структура

2.1.5. Расфокусированное преобразование

2.1.6. Механизм локального внимания

2.1.7. Распознавание

2.1.8. Топология сигнального пространства. Устойчивость к разрушению

2.1.9. Передача информации, устойчивая к потерям

2.2. Иерархия, реализующая структурную обработку информации

2.2.1. Концептуальная иерархическая структура

2.2.2. Реальная иерархическая структура

2.3. Фреймовая организация знаний на основе иерархической структуры ассоциативных процессоров обработки информации

2.3.1. Модель мира на основе иерархической структуры ассоциативных процессоров обработки информации - семантическая сеть

2.3.2. Семантические представления

2.3.3. Фрейм-структура - динамическое знание - как отклик подмножества семантической сети на входную ситуацию

2.3.4. Механизм внимания - механизм формирования фрейм-структуры на семантической сети

Глава 3. Нейронные сети для представления информации 98 3.1. Использование нейронных сетей для представления информации 98 3 11. Представление статической и динамической информации с помощью нейронных сетей 98 , 3.1.2. Использование статических нейронных сетей для представления квазидинамической информации

3.2. Использование рекуррентных (динамических) нейронных сетей для представления информации

3.2.1. Гребенки статических нейронных сетей с задержками для представления динамической информации

3.2.2. Введение обратных связей в нейронных сетях и сохранение временного контекста

3.3. Динамическое ассоциативное запоминающее устройство

3.3.1. Нейроподобный элемент с временной суммацией сигналов

3.3.2. Временная суммация сигналов - основа механизма избирательной адресации нейронов

3.3.3. Сеть из нейроподобных элементов с временной суммацией сигналов

3.3.4. Биологические предпосылки

3.4. Нейронная сеть для переупорядочивания информации

3.4.1. Архитектура гиппокампа

3.4.2. Поле СА

3.4.3. Поле СА-|. Конкурентная сеть '

3.4.4. Функция переупорядочивания информации

Глава 4. Структурный подход с использованием нейросетевой технологии -естественный путь решения задачи анализа неструктурированной информации разных модальностей и интеграции их в единую структуру

4.1. Распознавание речи

4.1.1. Многоуровневая иерархия представления лингвистической информации

4.1.2. Формирование многоуровневого языкового представления у человека

4.2. Распознавание изображений

4.2.1. Основные функции элементов зрительного анализатора

4.2.2. Иерархия механизмов обработки информации в модели зрительного анализатора

4.3. Семантический и прагматический уровни представления знаний

4.3.1. Парадигматическая и синтагматическая семантика

4.3.2. Многомодальные семантические представления

4.3.3. Прагматический уровень обработки информации на примере речевого поведения

4.4. Структурная обработка текстовой информации. Подчеркивание существенных элементов модели

4.4.1. Обработка текстовой информации человеком

4.4.2. Структурная обработка текстовой информации

4.4.2. Формирование статистического портрета текста в многомерном пространстве

4.4.3. Формирование ассоциативной сети перенормировкой весовых характеристик слов

4.4.4. Квази-семантическая картина мира на основе текстового представления

Глава 5. Программные приложения на основе нейросетевой технологии обработки информации различных модальностей

5.1. Система для структурного анализа текстов «TextAnalyst»

5.1.1. Программная реализация технологии

5.1.2. Основные функции системы «TextAnalyst»

5.1.3. Электронная книга

5.2. Система распознавания речи

5.2.1. Первичная обработка речевого сигнала

5.2.2. Акустико-фонетическое преобразование

5.2.3. Нейросетевой анализ акустического текста

5.2.4. Лексический уровень обработки информации

5.3. Система распознавания изображений символов

5.3.1. Предобработка и кодирование изображения

5.3.2. Представление и распознавание эталонов символов

Глава 6. Аппаратные реализации на основе нейросетевого подхода

6.1. Аппаратная реализация адресного блока динамического ассоциативного запоминающего устройства 222 6.1.1. Режимы обучения и распознавания

6.2. Нейрочип

6.2.1. Моделирование нейрочипа

6.2.2. Функциональное описание СБИС нейрочипа

6.2.3. Внешние выводы

6.2.4. Каскадирование приборов

6.2.5. Конструктивное исполнение

6.3. Модуль ассоциативной памяти для высокопроизводительных нейрокомпьютеров, решающих задачу обработки информации верхних уровней в системе распознавания ключевых слов в потоке слитной речи

6.3.1. Архитектура модуля ассоциативной памяти

6.3.2. Конструкция модуля ассоциативной памяти

6.3.3. Мягкие вычисления на ассоциативной памяти, реализованной с применением САМ

6.4. Модель обработки речевой информации с использованием модулей ассоциативной памяти

6.5. Ассоциативный поисковик с доступом к информации за один такт. Полнотекстовая индексация на основе динамического ассоциативного запоминающего устройства 247 Заключение , 250 Библиография 263 Приложения. Акты о внедрении

Предыстория и актуальность темы

В настоящее время теория и практика обработки больших информационных массивов имеет длительную и богатую традицию, и большой арсенал успешных решений. Это относится как к области распознавания образов различной природы, так и к области извлечения ключевой информации с целью ее компактного представления пользователю. В данном случае не рассматриваются вопросы сжатия информации для передачи по каналам связи. Рассмотрим подробнее проблему эффективного извлечения ключевой информации из источников различной природы, с целью ее компактного представления пользователю.

Сейчас успешно решаются отдельные задачи из области распознавания образов: известны коммерческие системы распознавания речи, распознавания изображений, автоматического анализа текстов [120, 119, 139]. Степень успешности решения этих задач зависит от степени формализованности описания предметной области [60]. Так, хорошо распознаются изображения символов -букв и цифр [117], менее успешно, но все же решена задача распознавания изображений лиц [119]. Решена задача распознавания изолированно произнесенных команд [120]. Успешно решена задача выявления грамматических и синтаксических ошибок в тексте [117].

Из психологических исследований известно, что до 85% новых знаний аналитики получают, изучая тексты, поэтому сначала сосредоточимся на вопросах извлечения ключевой информации из текстов [32]. К наиболее актуальным направлениям извлечения знаний из текста на сегодняшний день относятся: аннотирование документов, выполнение индексирования, построение и динамический анализ семантической структуры текстов, выделение ключевых тем и информационных объектов. К ним же можно отнести поиск в текстах объектов -фактов (атрибутивный анализ) и их взаимосвязей, что позволяет исследовать связи объектов из документов осуществлять навигацию к нужным объектам, для получения и анализа документов о связях этих объектов.

Источники информации не всегда являются текстами. Это могут быть фотографии, видеозаписи, а также речевая информация [78]. Растущий объем мультимедийной информации делает ее едва ли не самым важным объектом для обработки средствами реферирования. Соответствующие технологии должны 5 обрабатывать информацию из источников разного типа на этапе анализа, на этапе извлечения и на этапе синтеза, когда происходит интеграция информации разного типа. Это относится к выделению ключевых слов в потоке слитной речи, что позволяет вычленять из потока речевой информации нужные фрагменты, а также осуществлять контентный анализ речевой информации. Это относится также к обработке видеоряда с выявлением фрагментов, содержащих интересные события [129].

Более сложные задачи - распознавание изображений сцен, диктовка текстов с микрофона, автоматическая классификация текстов - далеки от решения. Существующие системы лишь демонстрируют уровень сложности этих задач. Трудности, возникающие при решении этих задач, определяются, в том числе, существенной неоднозначностью анализируемой информации, что приводит к формированию большого числа гипотез, проверка которых, в случае обработки больших объемов информации становится нетривиальной задачей, а иногда и не решаемой в рамках разрешения применяемых методов.

Естественным способом улучшить ситуацию является использование семантической и прагматической информации, которая является фильтром, позволяющим ограничить число гипотез, возникающих комбинаторно в системах распознавания на нижних уровнях принятия решений. Такими нижними уровнями для системы распознавания изображений являются уровень элементарных представлений, уровень элементов объектов, и уровень объектов. В задачах распознавания речи и анализа текстов это - морфологический, лексический и синтаксический уровни представления и обработки информации.

В настоящее время сложность методов представления семантической и прагматической информации как металингвистическими, так и образными средствами практически не позволяет эффективно использовать эту информацию для решения задач распознавания образов.

В рамках научного направления искусственный интеллект предпринимались и предпринимаются многочисленные попытки использования семантической и прагматической информации, в основном, для решения задачи человеко-машинного общения на естественном языке [55, 117]. Широко известна работа Попова Э.В. в этом направлении. Однако, по его мнению, успех работы был обусловлен исключительно тем, что семантическая картина мира была заменена жесткой структурой реляционной базы, данные из которой и интерпретировались на естественном языке. В настоящее время предпринимаются попытки интерпретации естественно-языковых высказываний в терминах понятий и их отношений [50]. Но большая неоднозначность этих интерпретаций, возникающая в силу многозначности языковой модели мира, не позволяет автоматически формировать модель мира на основе текстов.

Менее известны способы использования семантической информации для распознавания изображений. В качестве модели мира для анализа сцен использовалась квази-Зс! сцена, на которой отдельные объекты представляются обобщенными геометрическими формами: шариками, цилиндрами. С помощью этого представления осуществляется сегментация и идентификация объектов сцены, которые далее описываются метаязыковыми терминами, так же как и отношения между ними, и их динамика [28].

Разработка методов представления информации семантического и прагматического уровней, одинаково удобных для использования, как в задачах распознавания, так и в задачах выделения ключевой информации, является основным моментом и при улучшении качества, и при увеличении функциональности указанных систем, а также в переходе на следующий этап разработки интеллектуальных систем - этап создания интегрированных многомодальных систем обработки и хранения информации - интегральных роботов. Существование этих задач заставляет искать новые подходы к методам представления и обработки информации различных модальностей - речевой, зрительной, а также надмодальной (семантической, прагматической) информации.

Для решения задач данного типа необходим интегрированный подход, позволяющий объединять при решении задачи информацию различных типов, а также надмодальную - семантическую - информацию, при помощи которого можно построить общую методологию решения этой проблемы на основе единой математической модели. Она должна содержать методы: обработки и представления текстовой информации; обработки лингвистической и семантической информации; обработки изображений; математического описания обработки и представления информации различных типов; реализации выбранного типа представлений, в том числе с использованием аппарата искусственных нейронных сетей.

На основании этого, составными частями такого интегрированного подхода должны стать методы: обработки текстовой информации, обработки лингвистической информации, обработки изображений, извлечения ключевой информации различной природы, аппаратной поддержки таких представлений, в том числе с использованием ассоциативной памяти, эмулирующей искусственную нейронную сеть.

Для практического подтверждения правильности выбранных методов необходимо отработать их применение на обработке реальной информации, для чего необходимо разработать программные реализации систем распознавания речи и изображений, а также анализа текстов, включающих представление семантической и прагматической информации. Реальная интеграция представления информации различных модальностей, а также надмодальной информации может быть эффективно осуществлена на основе аппаратной реализации указанных методов.

Поскольку до настоящего времени ни один из этих вопросов не решался в совокупности со всеми остальными, при наложении ограничений на качество предоставляемой пользователю ключевой информации, можно считать, что решение такой проблемы весьма актуально.

Цель работы

Целью настоящей диссертационной работы является выявление эффективных способов представления многоуровневой структурированной информации различных модальностей (изображения, речь, текст) адекватных представляемой информации, позволяющих естественным образом воспроизводить структуру информации так, как это происходит в мозгу человека. Указанные способы должны позволить осуществлять эффективное представление, как информации различных модальностей, так и надмодальной информации, в том числе, семантической и прагматической.

Выбранные способы представления и обработки информации должны позволять осуществить единое интегрированное представление многомодальной и надмодальной информации, каковая, являясь многомодальной моделью мира, или ее частью - фреймом, сценарием - позволит фильтровать комбинаторные гипотезы, возникающие на разных уровнях в разных модальностях.

Задачи, решаемые в диссертационной работе

Достижение поставленной цели предполагает решение ряда задач теоретического, методического и практического характера. В том числе задач:

• разработки теоретических основ и формализации процесса нейросетевой обработки информации;

• формализации нейросетевого представления и обработки информации различных модальностей: речи, изображений, текстов, а также надмодальной информации: семантической и прагматической;

• разработки методов и алгоритмов для структурной нейросетевой обработки изображений, речи, текстов;

• разработки методов аппаратной реализации эффективного представления и нейросетевой обработки информации.

Для достижения поставленных задач необходимо провести следующие исследования:

• рассмотреть существующие подходы к обработке и распознаванию информации различных модальностей, а также надмодальной: семантической и прагматической информации, и на их основе разработать единое математическое описание для представления в наиболее общей форме технологии обработки информации, описания эталонов, методов распознавания;

• разработать обобщенный способ описания объектов (эталонов), включающий способы его получения и методы, по которым он может быть идентифицирован.

Методы исследований, применяемые в работе, основываются на использовании алгоритмов обработки изображений, алгоритмов распознавания речи, алгоритмов обработки текстовой информации, теории распознавания образов, теории графов.

Достоверность результатов теоретических исследований подтверждается данными, полученными при обработке реальной информации, с применением построенных системы распознавания изображений рукописных символов, системы распознавания речи, и системы анализа текстов.

Научная новизна работы заключается в следующем:

• разработаны теоретические основы и формализация процесса нейросетевой обработки информации с помощью одного класса искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов;

• разработана формализация представления и нейросетевой обработки информации различных модальностей: речи, изображений, текстов, а также надмодальной информации: семантической и прагматической;

• разработаны методы и алгоритмы для структурной нейросетевой обработки изображений, речи, текстов;

• разработаны методы аппаратной реализации эффективного представления и нейросетевой обработки информации.

Практическая ценность диссертационной работы состоит в том, что ее результаты были использованы или могут быть использованы в разработке:

• систем распознавания слитной речи и систем понимания речи для построения источников знаний верхних уровней;

• систем распознавания изображений для структурного анализа, включая автоматическое формирование эталонов разных уровней;

• систем анализа текстовой информации, в том числе, информационных и информационно-поисковых систем;

• блоков ассоциативной памяти, позволяющей реализовать быстрый поиск на больших массивах данных.

Реализация результатов. Результаты исследований в виде готовых программных продуктов были использованы в организациях министерства обороны и других органах государственной власти, в учебном процессе Российского государственного социального университета, и на фирмах «Интеллектуальные системы безопасности», «ОАО Ангстрем-М», «Юникор микросистемы», в Hague Centre for Strategic Studies.

Апробация работы. Основные положения диссертации докладывались на Международном симпозиуме «Нейронные сети и нейрокомпьютинг» NEURONET'90, Прага 1990г.; на Всесоюзном семинаре «Автоматическое распознавание слуховых образов (АРСО-16)», Москва 1991г.; на Международном совещании «Нейрокомпьютеры и внимание», Москва 1991г.; на XI Международной конференции по нейрокибернетике, Ростов-на-Дону 1995г.; на Втором международном симпозиуме «Интеллектуальные системы», С.-Петербург 1996г.; на IV Всероссийской конференции «Нейрокомпьютеры и их применение (НКП-98)», Москва 1998г.; на Международной конференции «Информатизация правоохранительных систем», Москва 1998г.; на Третьем Международном симпозиуме «Интеллектуальные системы», Псков 1998г.; на IX сессии Российского акустического общества, Москва 1999г.; на международной конференции-совещании "Новые информационные технологии из России", Берлин 2002г.; на IV Международном социальном конгрессе, Москва 2004г.; на международной конференции-совещании "Новые информационные технологии из России", Белград 2004г.; на Международной научно-технической конференции «Интеллектуальные и многопроцессорные системы - 2005 (ИМС-2005)», Геленджик 2005г., на международной конференции-совещании "Новые информационные технологии из России", Будапешт 2005г.; на Третьем совещании Российской секции IEEE Computation Intelligence Society «Биометрические системы», Москва 2005г., на 5-х Годичных научных чтениях факультета иностранных языков РГСУ, Москва 2006г.; на конференции «Нейрокомпьютеры и их применение» (Нейро-2007), Геленджик 2005г., на конференции «Digital libraries and technology-enhanced learning: Call 3 information days», Люксембург 2007г.; на молодежной школе «Нейрокомпьютеры 2008», Таганрог 2008г., на семинаре кафедры Искусственного интеллекта Белорусского государственного университета информатики и радиоэлектроники, Минск 2008.

Публикации. Результаты работы опубликованы в 58 печатных научных трудах общим объемом 20 печатных листов, среди которых монографии, статьи в центральных журналах, труды и тезисы конференций.

Личный вклад. Лично автором получены следующие основные результаты.

• Разработаны теоретические основы и формализация процесса нейросетевой обработки информации.

• Формализованы нейросетевое представление и обработка информации различных модальностей: речи, изображений, текстов, а также надмодальной информации - семантической и прагматической.

• Разработаны методы и алгоритмы для структурной нейросетевой обработки изображений, речи, текстов.

• Разработаны методы аппаратной реализации эффективного нейросетевого представления и обработки информации.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения и списка литературы, приложений. Работа содержит 269 страниц текста, список литературы включает 142 наименований.

Основные результаты диссертационной работы представляют собой решение научно-практической задачи эффективной интеграции представления и обработки информации различных модальностей, а также надмодальной семантической и прагматической информации, и заключаются в следующем:

1. На основе анализа существующих интеллектуальных систем предложено использование структурных нейросетевых методов для интеграции представления и обработки информации различных модальностей, а также надмодальной семантической и прагматической информации.

2. Проведен анализ современного состояния научной области, связанной с обработкой информации разных модальностей, а также семантической и прагматической информации. В результате этого анализа предложена замена моделей интеллектуальных процессов моделями интеллектуальных процессоров для обработки информации.

3. Для представления произвольной информации в многомерном сигнальном пространстве обосновано использование искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов.

4. Реализован метод обработки информации, имеющей многоуровневую временную структуру, с помощью динамических искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов.

5. Разработана архитектура системы источников знаний верхних уровней разных модальностей с использованием однородного нейросетевого представления информации, которая позволяет легко интегрировать информацию всех уровней в процессе принятия решения.

6. Разработана архитектура ассоциативного процессора с памятью на основе нейроподобных элементов с временной суммацией входных сигналов, в которой одним из основных свойств является ассоциативное воспроизведение с динамическим формированием адреса (динамическое ассоциативное запоминающее устройство). Динамическое ассоциативное запоминающее устройство моделирует n-мерный единичный гиперкуб.

7. Реализована интерпретация информационных процессов в нейросетевых структурах - динамических ассоциативных запоминающих устройствах - в виде операций на графах.

8. Разработан формализм динамических нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов, интерпретирующий обработку и представление двоичной внутренне структурированной информации в сигнальном пространстве искусственной нейронной сети, в том числе, ее запоминание, статистическую обработку (с автоматическим структурированием внутреннего представления), воспроизведение и распознавание. Топология сигнального пространства, моделируемого искусственной нейронной сетью, устойчива к разрушению представленной в нем информации. Искусственная нейронная сеть реализует гетероассоциативное запоминание - запоминание информации в ассоциации с несущей последовательностью. В случае тождества информационной и несущей последовательностей реализуется автоассоциативное запоминание. Введение в искусственную нейронную сеть механизма учета статистических свойств информации наряду с нелинейным преобразованием позволяет восстанавливать с его помощью словарь элементов внутренней структуры информационной последовательности. Искусственная нейронная сеть со сформированным в ней словарем элементов позволяет фильтровать новую информацию в потоке старой, формируя, таким образом, информацию о связях слов словаря.

9. Разработан способ представления семантической и прагматической информации с помощью многоуровневой иерархии из динамических ассоциативных запоминающих устройств.

10. Предложено деление единого сетевого семантического представления на семантику и прагматику по динамическому принципу: все понятия модели мира объединяются в ассоциативную сеть - модель мира - на которой конкретные ситуации высвечивают им соответствующие прагматические конфигурации фреймовые структуры.

11. Реализована структура модели мира на основе текстового представления в виде ассоциативной сети, которая содержит основные понятия предметных областей и связи между ними, ранжированные числовыми значениями.

12. Разработана архитектура для представления семантической информации в виде иерархии ассоциативных сетей, в которой на самом верхнем уровне представлены объекты - события и ситуации - в их взаимосвязях, уровнем ниже представлены, также в сетевом виде, модели мира отдельных объектов, которые, в свою очередь, являются двухуровневыми сетями, связанными генетивными отношениями.

13. Предложена интерпретация состава и процесса обработки зрительной информации в зрительной системе человека.

14. Предложена методика формирования многоуровневого представления языковых знаний системы распознавания речи.

15. Теоретические разработки нашли свое воплощение в реализованных системах: системе TextAnalyst для структурного анализа текстов с целью извлечения ключевой информации; распознавания изолированно произносимых речевых команд ограниченного словаря; распознавания изображений символов.

16. Предложено унифицированное базовое аппаратное обеспечение нейронных сетей на базе реализованной автором интегральной схемы адресной части нейроподобного элемента.

17. Реализован аппаратный модуль ассоциативной памяти с использованием стандартных микросхем памяти, адресуемой по содержанию (Content Addressable Memory).

Заключение

Вопрос выбора способа представления информации является решающим при ее обработке. Ассоциативное обращение к информации, наряду с заранее заданной информационной структурой хранилища, является наиболее эффективным способом доступа к информации.

С целью выбора наиболее эффективного способа решения поставленных в диссертационной работе задач, автором рассмотрены вопросы анализа, представления и хранения информации человеком. Рассмотрены способы обработки информации речевой, текстовой и зрительной модальностей. Также рассмотрены способы представления надмодальной информации: семантической и прагматической. Любая информация, попадающая в мозг человека, после специфической, характерной для данной модальности, обработки в периферических отделах анализаторов, оказывается представленной в виде множества параллельно развертывающихся последовательностей электрических импульсов. Точно также выглядят управляющие последовательности в верхних отделах эффекторов.

Автором разработан тип искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов, позволяющих эффективно обрабатывать, представлять и хранить такие последовательности. Единообразное представление информации в таких сетях позволяет интегрировать многомодальную и надмодальную информацию с формированием многомодальных семантических представлений.

Искусственные нейронные сети на основе нейроподобных элементов с временной суммацией сигналов моделируют многомерное (n-мерное) сигнальное пространство, в которое отображаются информационные последовательности, таким образом, что любые п символов последовательности являются координатами точки в этом пространстве, а последовательность таких п-членных фрагментов последовательности (координат), полученных сдвигом по последовательности на один символ, порождает последовательность точек в сигнальном пространстве - траекторию. Многомерное сигнальное пространство моделируется множеством нейронов - колонкой: один нейрон - одна точка. В силу физических ограничений колонка моделирует не все многомерное пространство, а только некоторую его часть. Поэтому адресные структуры нейронов, моделирующих сигнальное пространство, настраиваются на поступающую информацию. Это происходит до момента исчерпания пула свободных (не хранящих информацию) нейронов данной колонки. Дальнейшее заполнение в этой колонке возможно только информацией, близкой по содержанию к ранее запомненной информации.

Автором сформулирован формализм такого преобразования в многомерное пространство. Преобразование последовательности в траекторию в /7-мерном пространстве обладает фундаментальным свойством ассоциативности обращения к информации. Действительно, как только на входе появляются п символов входной последовательности - сразу же происходит адресация к соответствующей точке сигнального пространства. В этой точке (в нейроне ее моделирующем) запоминается переход к следующей точке траектории. Поэтому ранее записанная последовательность может быть воспроизведена переходом из одной ее точки в другую.

Ассоциативность обращения к информации п<?рождает другое фундаментальное свойство - свойство структурной обработки информации, которое реализуется в сигнальном пространстве (колонке нейронов коры). Если входная последовательность обладает внутренней структурой, например, является последовательностью букв текста на каком-либо языке, будучи отображенной в сигнальное пространство она формирует в нем структурированный граф. Действительно, если во входной последовательности появляется фрагмент, встречавшийся ранее, ему соответствующий фрагмент траектории в сигнальном пространстве пройдет по уже пройденному ранее участку траектории. Если такое «слово» встречается несколько раз, то с помощью порогового преобразования это «слово» выделяется автоматически. При этом убирается вся остальная, ненужная в данном случае информация.

Если какое-то множество элементов внутренней структуры входной последовательности появляется в ней приблизительно с одинаковой частотой (по сравнению с множествами других элементов, например, буквы и слова), то, задавая соответствующим образом значение порога порогового преобразования, можно выделять то или иное множество элементов: автоматически формировать словарь элементов заданной частоты встречаемости.

Сформированный таким образом словарь, при наличии забывания (наряду с обучением), динамически подстраивается под входную информацию. Если со временем меняется состав элементов данного уровня, составляющих множество входных последовательностей, меняется и состав сформированного в сигнальном пространстве словаря. Но этот процесс значительно медленнее процесса формирования словаря, и соотношение скоростей процессов зависит от соотношения скоростей обучения и забывания.

Сформированный в сигнальном пространстве словарь может быть использован как фильтр для входной информации. При его использовании во входных последовательностях отфильтровывается старая (содержащаяся в словаре) информация, и пропускается на выход новая информация. Например, если в речевом анализаторе был сформирован словарь корневых основ, после фильтрации этим словарем во входной последовательности сохраняется только ее флективная структура. Фильтруется лексическая информация и сохраняется синтаксическая информация. Другими словами, если множество входных последовательностей, отфильтрованное сформированным ранее словарем, обработать аналогичным образом в другом сигнальном пространстве, формируется словарь следующего уровня, являющийся грамматикой предыдущего уровня.

Таким образом, можно сформировать друг над другом столько пространств, сколько уровней повторяющихся событий имеется во входной информации.

Необходимо заметить, что вычленение поуровневых словарей позволяет компактно записывать информацию, но не нарушает непрерывности процессов анализа (и синтеза). В силу ассоциативности обращения к информации: как только во входной последовательности кончается слово словаря данного уровня, процесс переходит от траектории в пространстве данного уровня к траектории в пространстве (более высокого, или более низкого) уровня.

Уместно сказать, что вложение проекции входной последовательности в траекторию в сигнальном пространстве означает распознавание. Чем больше степень совпадения (в том числе, и на разных уровнях), тем больше узнавание.

Если на разных уровнях иерархии сигнальных пространств имеется множество сформированных словарей, то возможен процесс, обратный процессу анализа. Запустив воспроизведение слова словаря верхнего уровня (например, флективную структуру предложения в речевом анализаторе) и подавая ее на вход нижнего уровня, по ассоциации на его выходе мы получаем эту флективную структуру, наполненную нужными словами словаря нижнего уровня (корневыми основами) в нужных местах.

Для каждой рецепторной и эффекторной модальности (зрение, слух, управление манипулированием, перемещением) можно сформировать иерархию из сигнальных пространств, структура которой отражает структуру словарей и их отношений для данной модальности. Так для слуховой речевой модальности это будут, например, словари фонем на фонетическом уровне, корневых и флективных морфем, а также аффиксов и слогов - на морфологическом уровне, далее - корневых основ, слов и словоформ, также устойчивых сочетаний слов -на лексическом уровне, далее - синтаксем (флективных структур фрагментов предложений) - на синтаксическом, сочетаний корневых основ - на семантическом, и наконец фреймов ситуаций - на прагматическом уровне. Для зрительного анализатора это, в свою очередь, словари элементарных представлений, элементов объектов, объектов и сцен. Можно заметить, что на верхних уровнях естественно объединение в одном представлении (во фрейме) элементов словарей разных модальностей, в то время как на нижних уровнях -ассоциативная отсылка из одной модальности в другую (от слова одной модальности к слову другой модальности). Так фреймовое представление прагматического уровня может содержать как языковые компоненты лексического уровня, так и представления объектов и сцен зрительной модальности. И другие модальности могут участвовать в этом представлении тоже. За счет ассоциативной отсылки при инициировании слова одной модальности, например, при произнесении слова - имени некоторого объекта, по ассоциации инициируется представление другой модальности - представление названного объекта в зрительной модальности. И в другую сторону: при восприятии изображения объекта инициируется слово - имя объекта.

Так формируется единое многомодальное иерархическое представление, в котором по вертикали устанавливаются отношения внутри модальности, а по горизонтали - между модальностями. Верхние уровни сформированного таким образом представления являются семантической сетью, содержащей события разных модальностей различной степени сложности, а также связи этих событий. Причем, имея в виду частоты появления слов словарей разных уровней и модальностей, можно говорить как о весовых характеристиках представлений этих событий, так и о весовых характеристиках их связей.

Такая семантическая сеть содержит в себе все потенциально возможные события и ситуации с их связями. В ответ на текущую ситуацию на этой семантической сети высвечиваются цепочки разных уровней иерархий разных модальностей. Информационно они могут быть объединены в некую структуру, аналогичную фреймовой структуре. Каждая такая структура описывает отдельную ситуацию, и все вместе они составляют семантическую сеть.

Для корректной работы большого количества ассоциативно связанных сигнальных пространств необходима система управления, которая формирует мозаику возбужденных-заторможенных сигнальных пространств в ответ на входную ситуацию. Динамика возбужденных-заторможенных областей, соответствующая конкретной ситуации, возможно, замешанная специфической информацией соответствующих модальностей, запоминается (также как специфическая модальная информация в специфических иерархиях) в неспецифической иерархической структуре. Далее (как отклик на входную ситуацию) формируется некоторая динамика возбужденных-затрможенных областей, которая подстраивает специфические иерархии под воспроизведение этой ситуации. При прогнозировании некоторой активности - эта динамика подстраивает специфические иерархии под возможное восприятие.

Текущая, поступающая на вход информация, имеет максимальный вес по отношению к ранее запомненной информации, которая уже частично подверглась процессу забывания. Поэтому, для корректного включения новой информации в семантическую сеть необходим процесс переупорядочения семантической сети (пересчета весовых характеристик) включенных в сеть понятий. Для этого используется сеть Хопфилда моделирующая поле СА3 гиппокампа. В этом поле запоминаются связи событий, входящих в ситуации, которые появлялись на входе в период между переупорядочиваниями.

Использование предложенного автором представления обработки информации, и ее хранения позволяет содержательно интерпретировать обработку информации в анализаторах различных модальностей человека. А также, позволяет понять суть многомодального представления семантической информации. Такое многомодальное представление является семантической сетью - многомодальной моделью мира.

От такой интерпретации легко перейти к моделированию процессов обработки информации разных модальностей: речевой, зрительной, текстовой, что означает эффективную техническую реализацию систем выявления ключевой информации с цель ее компактного представления пользователю. Единый способ представления и обработки информации позволяет в будущем объединить эти системы обработки, что может привести к созданию, например, интегрального робота. Различаются в этом случае способы первичного описания входной информации.

На основе представленной технологии автором разработана настраиваемая на диктора система распознавания изолированно произносимых команд ограниченного словаря. В качестве первичной обработки было использовано так называемое перцептивное линейное предсказание. Линейное предсказание - это модель порождения речевой волны, в которой в качестве некоррелированных параметров используются коэффициенты уравнения линейной зависимости предсказанного отсчета речевой волны. Для улучшения качества модели (или для уменьшения порядка модели) речевая волна преобразуется в терминах обработки информации в ухе человека: частотная шкала нелинейно преобразуется в гребенку частотных полос (приведение к шкале барков), а интенсивность сигнала пересчитывается в психоакустически воспринимаемую громкость.

Далее реализуется акустико-фонетическое преобразование: первый этап, на котором порождается система гипотез, интерпретирующих непрерывную последовательность отсчетов векторов параметров в виде непрерывной же последовательности фонетических меток. В данной системе рассматривались два варианта словаря фонетических элементов, используемых для дальнейшего анализа: аллофонов и слогов. При сравнительно небольшом различии в объемах словарей (1500 и 5000 элементов, соответственно), слоги значительно лучше распознаются в силу их большей по сравнению с аллофонами длительностью.

Для анализа качества работы алгоритмов первичной обработки была реализована система покомандного распознавания ограниченного словаря с настройкой на диктора.

Применение априорной информации лингвистического и экстралингвистического характера позволяет отбросить лишние и оставить только те гипотезы, которые соответствуют последовательности слов, предположительно произнесенных диктором. Естественным образом был использован словарь системы как первый, фильтрующий гипотезы механизм.

К сожалению, источники знаний более высоких уровней не были использованы в системе. Однако в настоящее время проводятся работы по добавлению в систему в первую очередь прагматической информации. Описание ситуации является очень важным ограничением, существенно сужающим возможности выбора правильной интерпретации входных команд. Эта работа является важной, в том числе, потому, что позволяет синхронизировать акустическую и текстовую информацию, то есть является первой попыткой объединения в одной системе различных модальностей. Дело в том, что в традиционных работах по распознаванию речи все модели (в том числе и модель языка) строятся на основе только речевой акустической информации. В данном случае для построения прагматического источника знаний используется текстовая информация.

Далее будет построена модель языка (семантическая сеть). Она будет г построена как на основе речевой обучающей выборки, то есть традиционным методом, так и на основе корпуса текстов. И опять будет решаться вопрос синхронизации акустической и текстовой информации. Последним будет привлекаться к анализу синтаксический источник знаний. Синтаксическую информацию труднее всего использовать при распознавании, поскольку она, в основном, содержится в флективной структуре высказывания, которая при произнесении акцентируется слабо, а потому, распознается хуже всего. Кроме того, в спонтанной речи, в отличие от написанных текстов, обычно редко соблюдается литературный синтаксис. И, наконец, после объединения системы распознавания речи и системы распознавания изображений будут предприняты попытки построения бимодальной семантической сети, где словам речевой системы как означающим будут ставиться в соответствие, по крайней мере, некоторые образы зрительной системы.

На основе той же технологии автором была разработана система распознавания графических рукописных символов - букв и цифр русского языка. Введенное изображение подвергается предобработке, целью которой является получение бинарного контурного изображения набора символов. Набор программных средств на этапе предобработки стандартен - улучшение качества изображения, масштабирование, фильтрация, бинаризация, выделение контура, сглаживание.

Далее следует этап переописания, то есть представление исходного изображения символа в виде последовательности кодов, удобных для обработки в структуре из ДАЗУ. Переописание реализуется с помощью кодирования цепным кодом Фримена. В результате предобработки исходное градуальное изображение представляется в виде, удобном для обработки системой ДАЗУ.

В системе распознавания символов зрительный образ символа описывается в виде двух представлений: образного и структурного. Соответственно, имеется два канала обработки: грубый, обрабатывающий изображение образа целиком, и точный, обрабатывающий образы фрагментов и структурные описания символов.

Цепочки кодов, описывающие сжатое изображение, в режиме обучения подаются с выхода грубого канала на гребенку ДАЗУ грубого канала, где каждому символу предназначено свое ДАЗУ. С выхода точного канала цепочки кодов изображения, представленного с большим разрешением, поступают на блок структурной обработки, состоящий из гребенок ДАЗУ двух уровней, где осуществляется структурная обработка изображения. В результате обработки на нижнем уровне формируется словарь статистически достоверных фрагментов изображений символов, каждый из которых записан в отдельном ДАЗУ. При этом выделенные фрагменты принадлежат не какому-либо одному символу, а могут входить в описание нескольких из них. На верхнем уровне формируется словарь структурных описаний символов, характеризующих последовательность объединения фрагментов символов в их изображениях. Структурное описание каждого символа также записывается в отдельном ДАЗУ.

В режиме распознавания цепочка кодов сжатого изображения .поступает на гребенку ДАЗУ грубого канала. Если величина возбуждения в одном из ДАЗУ грубого канала превышает заданный порог по распознаванию, процесс распознавания считается успешно завершенным и символу присваивается индекс этого ДАЗУ. В противном случае осуществляется проверка соответствующих ДАЗУ точного канала как первого (по элементам), так и второго (по связям) уровня. Решение принимается по наибольшей величине совпадения структурных описаний предъявленного образа с запомненными (при этом сравнение проводится с ДАЗУ только тех образов, которые селектированы ДАЗУ грубого канала).

Необходимо заметить, что в реализованной системе представлен лишь нижний уровень распознавания - уровень распознавания символов. Уровень коррекции текста для системы распознавания букв имеет структуру такую же, как и у систем распознавания речи, и у систем анализа текста.

Представленная технология позволила автору создать эффективную систему для автоматического анализа текстовой информации, которая была разработана в фирме ООО НПИЦ «Микросистемы», г. Москва. Система реализована как инструмент для автоматического формирования баз знаний на основе множества естественно-языковых текстов. Ядро системы выполнено как программный компонент (inproc server), соответствующий спецификации Component Object Model (COM) фирмы Microsoft.

Ядро системы реализует следующие функции. Нормализацию грамматических форм слов и вариаций словосочетаний. Автоматическое выделение базовых понятий текста (слов и словосочетаний) и их взаимосвязей с вычислением их относительной значимости. Формирование представления семантики текста (множества текстов) в форме семантической сети.

На основе результатов работы модуля индексации реализованы следующие функции обработки текстовой информации. Функция формирования гипертекстовой структуры, навигации по базе знаний, формирования тематического дерева, реферирования текстов, автоматической кластеризации множества текстов, сравнения текстов (автоматической классификации текстов), и, наконец, функция формирования ответа на смысловой зарос пользователя -формирования тематического реферата.

Аппаратная реализация описанного способа представления информации позволяет подойти к созданию эффективных хранилищ информации , с автоматическим структурированием хранимой информации и с ассоциативным к ней доступом за один такт.

Автором предложено аппаратное решение задачи хранения, упорядочения и ассоциативного поиска информации на основе иерархии из ДАЗУ. Для этого автором реализован аппаратно модуль ассоциативной адресации (нейрочип) -гребенка нейроподобных элементов. Основная особенность аппаратной реализации нейронной сети заключается в том, что обработка информации в ней происходит параллельно и распределенно. Каждый нейроподобный элемент отдельно и независимо обрабатывает приходящую на него информацию. В отличие от существующих вычислительных средств такая аппаратная реализация является весьма простой и эффективной по управлению, поскольку ее модули являются систолическими массивами, то есть они управляются потоком информации. Управление сводится к одновременной подаче входной последовательности на общий для всех нейроподобных элементов ДАЗУ вход. Кроме того, такая вычислительная среда устойчива к повреждениям: выход из строя одного нейроподобного элемента не влияет на другие. И, наконец, - не требуется написания универсальной и специальной математики для симуляции обработки, или требуется значительно меньше.

На основе разработанного нейрочипа автором осуществлена разработка и создание модуля наращиваемой и каскадируемой ассоциативной памяти. Автором также предложена аппаратная реализация ассоциативной памяти с использованием стандартных микросхем памяти, адресуемой по содержанию (Content Addressable Memory). В отличие от ассоциативной памяти, реализованной с использованием описанного выше нейрочипа, реализация на основе стандартных САМ больше похожа на прототип: каждая ячейка САМ снабжена собственным регистром адреса. Размерность моделируемого пространства соответствует длине регистра адреса. При необходимости реализации нейроподобных элементов с временной суммацией для всех адресных регистров вводится единый регистр сдвига, заполняемый со входа. Запись в такую память осуществляется отдельными событиями, которые записываются в отдельные ячейки, как в случае записи информации в колонках коры - отдельное слово в отдельную колонку.

Предложенное автором использование аппаратно реализованного ДАЗУ позволяет при решении задачи полнотекстовой индексации выдать все документы по запросу за один такт. Для этого в качестве адреса нейроподобного элемента запоминается пара «слово-документ», и для каждой такой пары в регистре данных хранится адрес слова в данном документе. Это значит, что в ответ на фрагмент информационной последовательности, содержащей слово и номер документа, тут же выдается номер нейрона, хранящего информацию о паре, адресующий нас к памяти, содержащей адрес слова в документе и дополнительную информацию.

1. А.С. N 1179389 (СССР) Устройство для моделирования нейрона. /Харламов А.А., Усманов А.Х. Заявка N 3751440 от 29 марта 1984г. Опубликовано 15 августа 1985г. МКИ G 06 g 7/60

2. А.С. N 1305732 (СССР) Устройство для моделирования нейронных сетей. /Харламов А.А., Усманов А.Х., Воронов И.В., Богомолов Г.В. Заявка N 3999328 от 27 декабря 1985г. Опубликовано 22 декабря 1986г. МКИ G 06 g 7/60

3. Анил К. Джейн, Жианчанг Мао, К.М. Моиудин Введение в искусственные нейронные сети. Открытые системы №4, 1997. С. 17-24

4. Анохин П.К. Очерки по физиологии функциональных систем. М.: Медицина, 1975

5. Бабминдра В.П., Брагина Т.А. Структурные основы межнейронной интеграции. Л.: Наука, 1982

6. Белоусов В.В., Минеев Г.Ю., Климова Л.М. Принципы формального описания предметной области, Материалы XXXII конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», Украина, Крым, Гурзуф, 20-30 мая 2005

7. Беритов И.С. Структура и функции коры большого мозга. М.: Наука, 1969

8. Беркинблит М.Б., Чернавский А.В. Интеллектуальные процессы и их моделирование. -М.: "Наука", 1992. 192с.

9. Берт П. Дж. Интеллектуальное восприятие в пирамидальной зрительной машине //ТИИЭР. Т. 76, № 8, 1988. Стр. 175-186

10. Ю.Бехтерева Н.П. Мозговые коды психической деятельности. -Л.: «Наука», 1978

11. И.Бианки В.Л. Морфофункциональная организация межполушарных связей.

12. Борзенко А. Биометрические системы распознавания внешности, 2005 http://www.bytemag.ru/Article.asp?ID=1369

13. Бурлакова В.В. Синтаксические структуры современного английского языка М.: Просвещение, 1984

14. Виноградова О. С. Гиппокамп и память. М.:, 1975

15. Волков В.И., Жаркой P.M., Харламов А.А. Модель ассоциативной системы машинного зрения. Приборостроение. Вестник Московского государственного технического университета, N 9-10. 1994. Стр. 31 33

16. Выготский Л.С. Мышление и речь. //Собрание сочинений. Т.2. М.: Педагогика, 1982

17. Гаврилей Ю.К., Самарин А.И., Шевченко М.А. Активный анализ изображений в системах с фовеальным зрением. Нейрокомпьютеры: разработка, применение, N 7 8, 2002г. С. 34 - 46

18. Гаек П., Гавранек Т. Авотматическое образование гипотез. -М.: "Наука", 1984. -278 с.

19. Гельбух А.Ф. Эффективно реализуемая модель морфологии флективного естественного языка. Диссертация на соискание ученой степени кандидата технических наук, 1994

20. Гладкий А.В. Синтаксические структуры естественного языка в автоматизированных системах общения. М.: Наука 1985

21. Глезер В.Д. Зрение и мышление. -Л.:, "Наука", 1985

22. Глезерман Т.Б. Психофизиологические основы нарушений мышления при афазии, -М.: Наука, 1986

23. Гончаренко В.В., Шингарева Е.А. Фреймы для распознавания смысла текста. -Кишинев: "Штиинца", 1984. -200 с.

24. Горбатов В.А. Интеллектуальные информационные технологии и стратегии (состояние и перспективы). Информационные технологии, N 5, 1996. -С. 35 -38

25. Джордж Ф. Мозг как вычислительная машина. М.: Издательство иностранной литературы, 1963

26. Дзугаева С.Б. Проводящие пути головного мозга человека (в онтогенезе). М.: Медицина, 1975

27. Егоров А.И., Дубровский В.В. Об алфавите элементарных слуховых образов русской речи Dialogue'99, 1999

28. Жаркой P.M. (из личного сообщения), 2002

29. Завалишин Н.В., Мучник И.Б. Модель зрительного восприятия и алгоритмы анализа изображений. М.: Наука, 1974

30. Золотова Г.А. Синтаксический словарь: Репертуар элементарных единиц русского синтаксиса. Изд. 2-е, исправленное. М.: Эдиториал УРСС, 2001

31. Иерархический рубрикатор интеллектуальных систем РИС2004-02.1-И, http://www.raai.org/razrabotki/rqupiim/ris2004i.html

32. Ильин Н., Киселев С., Рябышин В., Танков С. Технологии извлечения знаний из текста //Открытые системы № 06/2006. Ресурс: http://www.osp.ru/os/2006/06/2700556/p1.html

33. Крюкова О.П., Харламов А.А. Представление знаний в человеко-машинных системах для обучения языку. В сб. «Лингвистическая полифония». -М.: «Языки славянской культуры»

34. Кузнецов В.Б., Отт А.В. Автоматический синтез речи. Алгоритмы преобразования «Буква-звук» и управление длительностью речевых сегментов.-Таллинн: «Валгус», 1989

35. Кузнецов И.П. Семантические представления. М.: Наука, 1986

36. Ладенко И.С. Интеллектуальные системы и логика. -Новосибирск: "Наука", 1973.

37. Лингвистическая прагматика, 1989

38. Логика рассуждений и ее моделирование /Под ред. Д.А.Поспелова. -М.: Вопросы кибернетики, 1986. -180с.

39. ЗЭ.Лурия А.Р. Основные проблемы нейролингвистики. М.: Издательство Московского университета, 1975. - 254 с.

40. Маркел Дж.Д., Г рей А.Х. Линейное предсказание речи: Пер с англ. / Под ред. Ю.Х. Прохорова, B.C. Звездина. ~М.: Связь, 1980

41. Маккейб Э., Уркхарт Р. -М.: Радио и вязь, 1993

42. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987

43. Мендельсон Э. Введение в математичекую логику. -М.: "Наука", 1971. -320с.

44. Минский М. Фреймы для представления знаний. Пер. с англ. -М.: "Энергия", 1979. -151с.

45. Митькин А.А. Системная организация зрительных функций. М.: Наука, 1988

46. Мурзин Л.Н., Штерн А.С. Текст и его восприятие. Свердловск, 1991

47. Никитин М.В. Курс лингвистической семантики, -С-Пб., 1996

48. Нильсон Н. Принципы искусственного интеллекта. Пер. с англ. -М.: "Радио и связь", 1985. -373с.

49. Новиков А.И. Семантика текста и ее формализация. -М., 1983

50. Осипов Г.С. Приобретение знаний интеллектуальными системами: Основы теории и технологии. М.: Наука. Физматлит, 1997

51. Плотников В.Н., Суханов В.А., Жигулевцев Ю.Н. Речевой диалог в системах управления. -М.: «Машиностроение», 1988

52. Подвигин Н.Ф., Макаров Ф.Н., Шелепин Ю.Е. Элементы структурно-функциональной организации зрительно-глазодвигательной системы. Л.: Наука, 1986

53. Поляков Г.И. Основы систематики нейронов новой коры большого мозга человека. М.: Медицина, 1973

54. Поляков И.В. Лингвистика и структурная семантика. -Новосибирск: "Наука", 1987. -191с.

55. Попов Э. В. Общение с ЭВМ на естественном языке. М.: Наука, 1982

56. Попов Э.В. Экспертные системы. -М.: "Наука", 1987. -285с.

57. Поспелов Г.С. Искусственный интеллект основа новой информационной технологиии. -М.: "Наука", 1988. -280с.

58. Потапов, А.С. Иерархические структурные методы автоматического анализа аэрокосмических изображений: Автореферат диссертации на соискание ученой степени канд. техн. наук :05.11.07 /А.С. Потапов. СПб., 2005.-22 с. ■

59. Прэтт У. Цифровая обработка изображений Кн. 2. -М.: «Мир», 1982

60. Пупков К.А. Приборостроение, N 9-10, 1994. Тематический выпуск "Интеллектуальные системы автоматического управления". С. 5-7

61. Р-система. Введение в экономический шпионаж. Практикум по экономической разведке в современном российском предпринимательстве. В 2-х книгах. М.: Изд-во «Хамтек Паблишер», 1997

62. Радченко А.Н. Моделирование основных механизмов мозга. Л.: Наука, 1969

63. Рахилина Е.В. Когнитивный анализ предметных имен: семантика и сочетаемость. М.: Русские словари, 2000

64. Рубашкин В. И. Представление и анализ смысла в интеллектуальных информационных системах. М.: Наука, 1989

65. Селиверстова. Контрастивная семантика. Попытка описания. М.: УРСС, 2003

66. Семенов В.В. Кибернетическая технология обучения. /Интеллектальные системы. Труды Второго международного симпозиума. Т. 1, -С.-Петербург:, 1996. С.50 55

67. Синельников Р.Д. Атлас анатомии человека. Т. 3. М.: Медицина, 1968

68. Система распознавания и учета автомобильных номеров Auto-TRASSIR, 2005, http://autotrassir.dssl.ru/products/

69. Системы распознавания речи http://www.agentura.ru/equipment/radio/sys/

70. Систолические структуры: пер. с англ. //Ред. У. Мур,

71. Уинстон П. Искусственный интеллект. М.: Мир, 1980

72. Филмор Ч. Фреймы и семантика понимания. //В кн.: Новое в зарубежной лингвистике. Вып. XXIII «Когнитивные аспекты языка». Ред. В.В. Петров, В.И. Герасимов М.: Прогресс, 1988. С. 52 92

73. Финн В.К. Индуктивные модели. //Представление знаний в человеко-машинных и робототехнических системах. -М.: ВИНИТИ, 1984. -с. 58 76

74. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука, 1987

75. Хан, Удо, Мани, Индерджиет Системы автоматического реферирования. «Открытые системы», 2000, № 12

76. Харламов А.А. Ассоциативный процессор на основе нейроподобных элементов для структурной обработки информации. Информационные технологии, N 8, 1997. Стр. 40-44

77. Харламов А. А. Нейроподобные элементы с временной суммацией входного сигнала и блоки ассоциативной памяти на основе этих элементов.

78. Вопросы кибернетики. Устройства и системы. Под ред. Н.Н. Евтихиева. -М.: МИРЭА, 1983. Стр.57-68

79. Харламов А.А. Нейросетевая технология представления и обработки информации (естественное представление знаний). М.: «Радиотехника», 2006. - 89 с.

80. Харламов А.А. Статические и динамические нейронные сети на примере задачи распознавания образов. Приборостроение. Интеллектуальные системы автоматического управления, N 1, 1991. Стр. 58 -66

81. Харламов А.А. Физически реализованное многомерное сигнальное пространство эффективная среда для структурированного хранения и ассоциативного поиска информации Искусственный интеллект, № 4, 2005. Стр. 393-402

82. Харламов А.А. TextAnalyst оболочка для электронного учебника //Обучение в компьютерной среде. - М.: Московский государственный открытый педагогический университет им. М.А. Шолохова. Институт информатизации образования, 2002. Стр. 55 - 62

83. Харламов А.А., Аллахвердов С.А., Самаев Е.С. Нейрочип нейроподобный элемент с временной суммацией входных сигналов - элемент нейронной сети для структурного анализа информации. «Нейрокомпьютеры: разработка, применение», N 2, 2003. С.

84. Харламов А.А., Ермаков А.Е. Динамическая нейронная сеть для распознавания речевых сигналов. Системы управления. Вестник Московского государственного технического университета, N 1. 1998г. Стр. 93-101

85. Харламов А.А., Ермаков А.Е., Кузнецов Д.М. TextAnalyst комплексный нейросетевой анализатор текстовой информации. Вестник МГТУ им. Н.Э. Баумана. N 1, 1998г. -С. 32-36

86. Харламов А.А., Жаркой P.M., Волков В.И., Мацаков Г.Н. Система распознавания изолированных рукописных символов на основе иерархической структуры из динамических ассоциативных запоминающих устройств. //Информационные технологии, N 5, 1998. Стр. 27 31

87. Харламов А.А., Кнеллер Э.Г. Распознавание ключевых слов в потоке слитной речи на основе нейросетевых технологий Нейрокомпьютеры. Разработка и применение. № 8-9, 2005г. -С. 88-97

88. Харламов А.А., Самаев Е.С., Рябов Г.Н. Многомодальные семантические представления на основе нейронных сетей. Информационные технологии, N4, 2001г.-С. 12-17

89. Чечкин А.В. Активирующая подсистема интеллектуального управления и теория функциональных систем П.К. Анохина. URL: http://www.insys.msu.ru

90. Шалютин С.М. Искусственный интеллект. -М.: "Мысль", 1985. 199 с.

91. Шапошников Д.Г. и др. Применение поведенческой модели зрения для инвариантного распознавания "лиц и дорожных знаков. Нейрокомпьютеры: разработка, применение, N 7 8, 2002г. С. 21 - 33

92. Шеннон К. Работы по теории информации и кибернетике. М.: ИЛ, 1963. Стр. 333 369

93. Школьник-Яррос Е.Г., Калинина А.В. Нейроны сетчатки. М.: Наука, 1986

94. Ющенко А.С., Михайлов Б.Б., Воротников С.А., Наджафи Ф. Концепция интеллектуальной робототехнической системы в мелкосерийном производстве. /Интеллектальные системы. Труды Второго международного симпозиума. Т. 1, -С.-Петербург:, 1996. -С.22

95. Якобсон P.O. Язык в отношении к другим системам коммуникации //Якобсон P.O. Избранные работы. -М.:, 1985. -С. 319-330

96. Ярбус А.Л. Движение глаз при восприятии сложных объектов // Хрестоматия по ощущению и восприятию. М., 1975

97. Alkon D.L. et al. Learning and memory. Brain research reviews 16, 1991. Pp. 193-220

98. Alwang G. Better (but Still Not Perfect) Speech Recognition. PC Magazine, December 3, 2002

99. Bengio Y., Symard P., Franchini P. Learning Long-Term Dependencies with Gradient Descent is Difficult, IEEE Transactions on neural networks, Vol. 5, No 2, 1994.-Pp. 157-166

100. Bianchini M, Gori M. On the Problem of Local Minima in Recurrent Neural Networks, IEEE Transactions on neural networks, Vol. 5, No 2, 1994. Pp. 167176

101. Bishop P.O., Kozak W., Levick W.R., Vakkur G.J. The determination of the projection of the visual field onto the lateral geniculate nucleus in the cat. J. Phisiol London., vol. 163, N 3, 1962. Pp. 503 539

102. Bourlard H., Wellekens C.J. Speech pattern recognition and multiplayer perseptrons Computer Speech and Language, No 3, 1989. -Pp. 1-19

103. Brown Т.Н., Zador A.M. Hippocampus. In G.M.Shepherd (Ed.), The synaptic organisation of the brain. New York, Oxford: Oxford University Press, 1990. Pp. 346-388

104. Calvin W.H. Synaptic Potential Summation and Repetitive Firing Mechanisms: Input-Output Theory for Recruitment of Neurons into Epileptic Bursting Firing Patterns. Brain Research, No. 39, 1972. Pp. 71 -94

105. Convera. URL: //www.convera.com, 2005

106. Dayhoff J.E. Neural Network Architectures. An Introduction. New York: Van Nostrand Reinhold, 1990

107. Dukrot O. Structuralissme, enonciation et semantique//Poetique. P., 1978, N 33. -109p.

108. Faber J. Isagoge to non-Linear Dynamics of Formators and Complexes in the CNS. Prague: The Karolinum Press, 2003, ISBN 80-246-0755-7

109. Feigenbaum E.A. The art of artificial intelligence. Themes and case studies of knowledge engineering.// The fifyh International Joint Conference on Artificial Intelligence. -Boston: MIT, 1977. -P. 1014-1029

110. Furui S. Speaker-independent isolated word recognition based on emphasized spectral dynamics //Int. Conf. on Acoustic, Speech and Signal Processing, Tokyo, 1986. Pp.1991-1994

111. Hansen R. Voice Recognition Software: Dragon Naturally Speaking. PC Magazine, January 22, 2003

112. Hebb D.O. The Organisation of Behavior. New York: Wiley, 1949

113. Hermansky H. Automatic speech recognition and human auditory perception // Eur. Conf. on Speech Technology, Edinburgh, 1987, Vol.1. Pp.7982

114. Hopfield, J.J. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. 79, 1982, Pp. 2554 -2558

115. Hubel D.H. Eye, brain and vision. //Scientific American Library. New York: A Division of HPHLP, 1988117. http://www.abbyy.ru/118. http://www.aot.ru/119. http://www.cognitec-systems.de/index.html120. http://www.sensory.com/

116. Kharlamov A.A. Attention Mechanism Ussage to Form Frame-Structure on a Semantic Net. /"Neurocomputers and Attention. Volume II: Connectionism and Neurocomputers". Eds. Arun V.Holden, Vitaly I. Kryukov. Manchester: Manchester University Press, 1991

117. Kohonen T. Self-organization and Associative Memory (Springer Series in Information Science 8). -Berlin: Springer, 1989

118. Lea Wane A., ed. Trends in speech recognition. -Englewood, Cliffs, New Jersey, Prentice Hall, Ink., 1980

119. Lippman R.P. Gold B. Neural-Net Classifiers Useful for Speech Recognition, IEEE 1-st International Conference on Neural Networks, Vol. 4, San Diego, Calif, 1984

120. Lienhart, R., Pfeiffer, S., and Effelsberg, W. «Video Abstracting» Comm. ACM, Vol. 40, No. 12, 1997, pp. 54-62

121. Marchiori Massimo The Quest for Correct Information on the Web: Hyper Search Engines. //In: The Sixth International WWW Conference (WWW 97). Santa Clara, USA, April 7-11, 1997

122. Midtgaard J. Processing of Information from Different Sources: Spatial Synaptic Integration in the Dendrites of Vertebrate CNS Neurons. TINS, Vol. 17, No. 4, 1994. Pp. 166 -173

123. Neural Information Processing: Research and Development, Jagath C. Rajapakse and Lipo Wang, Editors, Springer-Verlag, May, 2004, ISBN 3-54021123-3. Стр. 56-76

124. Rail W. Electrophysiology of a dendritic neuron model. Biophys. J., 2. (Suppl.), 1962. Pp. 145-167

125. Rail W. Theoretical significance of dendritic trees for neuronal input-output relations. In: Neural Theory and Modelling. (Proc. of the 1962 Ojai Symp.). Reiss R.F., ed., Stanford, Calif., Stanford University Press, 1964. Pp. 73 97

126. Robinson A.J., Fallside F. Static and dynamic error propagation networks with application to speech coding, in Neural Information Processing Systems D.Z. Anderson, Ed. American Institute of Physics, N.-Y.:1988, -Pp. 632-641

127. Rolls, E.T. Theoretical and Neurophysiological Analysis of the Functions of the Primate Hippocampus in Memory. In: Cold Spring Harbor Symposia on Quantitative Biology, Vol. LV, 1990, Cold Spring Harbor Laboratory Press. Pp. 995-1006

128. Rosenblatt F. Principles of Neurodynamics. New York, 1962

129. Rumelhart, D.E., Zipser D. Feature discovery by competitive learning. In: Parallel Distributed Processing, eds. D.E. Rumelhart and J.L. McClelland and PDP Group, 1986. Cambridge, Mass.: MIT Press. Pp. 151-193

130. Schwenk H. Efficient Training of Large Neural Networks for Language Modeling International Joint Conference on Neural Networks, 2004. Pp.: 3059 -3064

131. Shannon C.E. A Mathematical Theory of Communication, The Bell System Technical Journal, Vol. 27, pp. 379-423, 623-656, 1948

132. Sholl D.A. Dendritic organization in the neurons of the visual and motor cortices of the cat. J. Anat., 87, 1953. Pp. 387-406

133. Sullivan Dan Document Warehousing and Textmining. NY; Wiley publishing house, 2001

134. Taylor J.G., Alavi F.N. A global competitive network for attention. Neural Network World, 3, 1993. Pp. 477 502

135. Trends in Speech Recognition, W.A. LEA, (ed.), Prentice-Hall, 1980

136. Начальник отдела Начальник направления Ст. научный сотрудник

137. Г.В. Вавилов В.В. Ралдугин И.Ю. Травкинаавгуста 2007 г.1.HII

138. ОАО "Ангстрем М" 124460, I . Миски а, Зеленоград проезд 4806, дом 4, строение 8

139. Angstrcm-M OJSC Russia, 124460, Moscow Phone (095) 531 36 02 Fax (095) 531 32 70

140. Телефон (095) 531 36 02 Факс (095) 531 32 70 ИНН 7735028407

141. E-mail: generalffcangsti cm. ru

142. E-mail: genera Ifgianestrem. ru1. ЛЛ " QG 200 /* r. №1. На исх. №от

143. УТВЕРЖДАЮ» Генеральный директор1. Г"

144. ОАО «Ангстрем-М» ' Машевич П.Р.1. АКТо внедрении результатов научных исследований Харламова АЛ.

145. Полученные результаты были внедрены в проекте предприятия по созданию микросхемы памяти адресуемой по содержанию (Content Addressable Memory САМ).

146. Использование полученных результатов позволяет: реализовать нечеткий ассоциативный поиск информации в условиях появления в ней ошибок типа замен, вставок, пропусков и перекрестных замен.1. Председатель комиссии,

147. TELLIGENT SECURITY SYSTEMS 1 "9234, Москва, Ленинские Горы, Научный парк МГУ, владение 1, строение 77, офис 1027(495)930 88 60 / *7 (495) 930 80 64 / ♦7 (495) 930 88 61 / (495) 930 01 06 /www.iss.ruinfo@i5S.ru1. УТВЕРЖДАЮ

148. Директор ООО «Центр Нейросетевых Технологий -Интеллектуал! сист^мрг-ёйоласности»1. Жаркой P.M.1. АКТ О ВНЕДРЕНИИ

149. Научно обоснованы и решены актуальные прикладные задачи, расширена база математических и программно-технических средств разработок, что обеспечило возможность перехода на аппаратные решения этих прикладных задач.

150. Зам. директора по научной работеов. № Фаломкин И.И.^ Ч V1. X Юникор микрс системы

151. Общество с ограниченной ответственностью «Юникор микросистемы»

152. Адрес г Зеленоград, корп 317а а/я 61, Москва 124482

153. Телефон +7 (095) 739-0253, Факс +7 (095) 739-0254 E-mail office@unirore ru

154. Разработанная библиотека прикладных программ позволила упростить пользователю микроконтроллера его использование в разрабатываемых пользователем системах распознавания речи.

155. УТВЕРЖДАЮ» ТЕХНИЧЕСКИЙ ДИРЕКТОР ООО «Юникор микросистемы»арин С.А.1. АКТо внедрении1. Кг v ' VU.M»'•^«■UjV--^'1. Ливинцев А.Л.

156. The Hague Centre for Strategic Studiesи TNO initiative

157. О внедрении результатов работы «Нейросетевой подход к интегрированному представлению и обработке информации в интеллектуальных системах» Харламова А.А.

158. Chamber of Commerce number 272451481.nge Voorhout 16 2514 EE The Hague The Netherlands www.hcss.ti!

159. T +31 703184840 F +31 703184850 info@hcss.nl

160. Предполагается дальнейшее использование этих программ в различных проектах, а также их доработка с целью внесения дополнительней функциональности.1. Spiegeleireintolerance Transformation fagb^Centre for Strategic Studies1. Date: April 17, 2008

161. Re. Recommendation for Mr, A. Kharlamov1. Our Reference: avv/sds

162. The Standard Conditions for Research Instructions given to HCSS. as filed at the Registry of the District Court and the Chamber of Commerce in The Hague shall apply to all instructions given to HCSS;the Standard Conditions will be sent on request.