автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методы и алгоритмы интеллектуальной поддержки решений по созданию баз знаний в составе информационно-коммуникационных систем

На правах рукописи

САМКОВ Евгений Юрьевич

МЕТОДЫ И АЛГОРИТМЫ ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКИ РЕШЕНИЙ ПО СОЗДАНИЮ БАЗ ЗНАНИЙ В СОСТАВЕ ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫХ СИСТЕМ

05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 5 МОЯ 2012

Москва-2012

005054909

005054909

Работа выполнена в Федеральном государственном унитарном предприятии «Научно-исследовательский институт «Восход»

Научный руководитель: доктор технических наук Дёмин Борис Евгеньевич, заместитель директора по науке ФГУП НИИ «Восход»

Официальные оппоненты:

Карп Виктория Павловна, доктор технических наук, профессор, профессор кафедры информационных систем МГТУ МИРЭА, Герман Андрей Сергеевич, кандидат технических наук, руководитель группы по обеспечению функционирования системы видеоконференцсвязи Управления правовой информатизации Верховного Суда Российской Федерации, государственный советник Российской Федерации 2 класса

Ведущая организация: Федеральное государственное учреждение «27 Центральный научно-исследовательский институт Министерства обороны Российской Федерации»

Защита состоится «30» ноября 2012 года в 15-00 на заседании диссертационного совета Д212.131.05 при МГТУ МИРЭА по адресу: г. Москва, проспект Вернадского, д. 78, Д412.

С диссертацией можно ознакомиться в библиотеке Московского государственного технического университета радиотехники, электроники и автоматики

Автореферат разослан «29» октября 2012 г. Ученый секретарь

диссертационного совета, кандидат технических наук, доцент

Андрианова

Елена

Гельевна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Современные информационные технологии воплощаются в виде разнообразных информационно-коммуникационных систем (ИКС), которые можно определить как взаимосвязанную совокупность информационных ресурсов, математических алгоритмов, программных и технических средств, процессов и технологий, собирающих, преобразующих, распространяющих и отображающих информацию, необходимую для принятия управленческих решений в конкретных проблемных областях. Типичными примерами крупномасштабных ИКС, обладающих указанными свойствами, являются Государственные автоматизированные системы Российской Федерации «Выборы» и «Правосудие».

Неотъемлемой составной частью современных и перспективных ИКС этого типа являются интеллектуальные базы знаний. Однако существует реальное противоречие между потребностью внедрения и использования баз знаний в составе ИКС и несовершенством технологий их создания. При этом главная причина существования этого противоречия состоит в том, что в рамках традиционной технологии для представления знаний используются два типа языков: естественный язык, которым оперирует конечный пользователь и математико-программный язык, который используют разработчики баз знаний. Если исключить из рассмотрения многочисленные подробности «технического» плана, то смысл и сущность традиционной технологии заключается в непосредственном переводе описаний предметной области с естественного языка на математико-программный язык, «понятный» компьютеру. А такой перевод фактически ограничивает экспертов -специалистов в конкретной области при процессе проектирования баз знаний. Ограниченность используемых языковых средств обусловливает все те трудности, которые приходится преодолевать разработчикам проектов по созданию баз знаний.

В современной теории искусственного интеллекта происходит интенсивное развитие новых языковых средств, в частности реляционного и ролевого типов. Эти языки позволяют записывать и генерировать правила логического вывода, создавать управляющие структуры, оперировать с процедурными знаниями. Их

использование открывает возможности по описанию фактов и закономерностей предметной области, позволяет разработать современную технологию поддержки проектных решений по созданию баз знаний.

Цель диссертационного исследования заключается в повышении качества разработки и поддержки проектных решений по созданию баз знаний в составе крупномасштабных ИКС за счет разработанных алгоритмов и методов интеллектуальной поддержки и их практической реализации применительно к проекту ГАС РФ «Правосудие». Таким образом, объектом исследования является процесс создания базы знаний (БЗ), предметом - методы, обеспечивающие поддержку при управлении этим процессом.

Задачи исследования:

- исследование принципов организации общения между пользователем и базой знаний, выбор концептуальной модели машинного понимания входных текстов;

- анализ существующих и перспективных языков и методов представления знаний при выборе проектных решений по созданию баз знаний;

- разработка общего и частных алгоритмов интеллектуальной поддержки проектных решений по созданию баз знаний на основе логико-лингвистического подхода;

- определение критериев оценки качества баз знаний и выбор методов оценки качества проектных решений по созданию баз знаний;

- реализация теоретических положений применительно к поддержке проектных решений при создании базы знаний для подсистемы Банк судебных решений (судебной практики) в составе ГАС РФ «Правосудие».

Методологическую базу исследования составляют положения теории системного анализа, искусственного интеллекта, а также методы логико-лингвистического моделирования и экспертных оценок.

Научная новизна. В диссертации получены следующие результаты, обладающие научной новизной:

- предложена концептуальная модель машинного понимания входных текстов, направленная на активный поиск в тексте ключевых объектов, стимулирующих базу знаний к реакции, в

отличие от традиционной ненаправленной лингвистической обработки текстовых предложений, ориентированной на пассивную регистрацию того, «что есть в предложении»;

- исследованы языковые средства с учетом особенностей крупномасштабных ИКС систем. Рекомендован перечень языковых средств для представления знаний о предметной области при реализации баз знаний в составе ИКС;

- разработаны алгоритмы интеллектуальной поддержки решений по созданию баз знаний, которые позволяют формализовать знания о предметной области с использованием методов задания единиц знаний;

- решена проблема оценки качества проектных решений по созданию баз знаний путем комплексной оценки базы знаний по показателям качества, учитывающим социальную, функциональную, эргономическую, прагматическую, техническую и технологическую составляющие.

На защиту выносятся:

- концептуальная модель машинного понимания входных текстов, ориентированная на активный поиск во входном тексте ключевых объектов базы знаний;

- алгоритмы интеллектуальной поддержки решений по созданию баз знаний, в том числе:

- общий алгоритм поддержки проектных решений по созданию базы знаний в составе ИКС;

- алгоритм представления знаний с помощью ролевых фреймов;

- алгоритм представления знаний с помощью концептуальной и терминальной семантических сетей;

- алгоритм построения процедурного компонента базы знаний;

- система критериев и комплексная оценка качества базы знаний с использованием методов интегральной свертки;

- технические решения по созданию базы знаний в проекте ГАС РФ «Правосудие».

Достоверность выводов и положений диссертационной работы определяется комплексным подходом к постановке задач исследования, а также подтверждается положительными

результатами практического применения разработанных методов и алгоритмов.

Практическая значимость работы. Разработанные и реализованные алгоритмы интеллектуальной поддержки решений по созданию баз знаний целесообразно использовать при решении проблем для интеллектуальных экспертных систем социально-экономического профиля. Кроме того материалы диссертации могут быть использованы магистрантами ВУЗов в учебном процессе для выполнения курсовых и магистерских диссертаций.

Результаты внедрения. Методы, алгоритмы, выводы и положения, обоснованные в диссертации использованы во ФГУП НИИ «Восход» при проведении плановых научно-исследовательских и опытно-конструкторских работ по созданию БЗ подсистемы «Банк судебных решений» ГАС РФ «Правосудие». При рассмотрении и оценке основных мероприятий по подготовке технических заданий на развитие ГАС РФ «Правосудие» подход, основанный на совместном использовании идей логико-лингвистического моделирования и методов экспертных оценок, позволил повысить обоснованность параметров проекта и более точно оценить затраты на проведение работ в Судебном департаменте при Верховном Суде Российской Федерации, что подтверждено соответствующим актом.

Апробация работы. Материалы диссертации докладывались и обсуждались на выездном заседании совета судей (Астрахань, 2009); первой Всероссийской научно-технической конференции «Системы организационного поведения» (Воронеж, 2009); межрегиональной научно-технической конференции «Модели и алгоритмы интеллектуальной поддержки решений при управлении проектами» (Москва, 2009); межрегиональной научно-технической конференции «Проблемы управления в социальных и экономических системах» (Москва, 2010); Всероссийской научно-технической конференции «Управление в системах организационного поведения» (Москва,

2010); научно-практической конференции «Современные информационные технологии в управлении и образовании» (Москва,

2011); научно-практической конференции «Электронное законодательство: доступ к нормативно-правовой информации в электронной среде» (Санкт-Петербург, 2011); заседании научно-технического совета ФГУП НИИ «Восход» (Москва, 2012).

Публикации. Результаты диссертационного исследования опубликованы в 16 печатных работах, в том числе 2 работы в издании, включенном в перечень ВАК РФ и в одной монографии. В работах, написанных в соавторстве, лично соискателю принадлежат: в [1,8] - состав и алгоритм функционирования модели, в [5] - языки представления знаний, в [4,7] - схема и содержание этапов алгоритмов, в [10] - математические алгоритмы оптимизации, в [11] -алгоритмическая реализации базы знаний, в [14] - критерии и методы оценки проектных решений, в [12] - алгоритм обезличивания и публикации текстов, в том числе алгоритм обезличивания подтвержден патентом № 119485 от 03.05.2012.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и списка литературы из 65 наименований. Материал диссертации изложен на 122 страницах машинописного текста, включая 39 иллюстраций и 9 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи исследования, отражена научная новизна и практическая значимость полученных результатов, дается информация об апробации диссертации и опубликованных работах, краткая характеристика структуры и объема диссертации.

Первая глава посвящена исследованию организации общения между пользователем и базой знаний, выбору концептуальной модели машинного понимания входных текстов.

Современные базы знаний о предметной области, как правило, включают четыре компонента:

а) предметные данные - упорядоченные каким-либо способом факты и данные, отражающие модель профессиональной сферы;

б) декларативные знания - правила, модели, алгоритмы и программы, позволяющие рассчитывать определенные показатели объектов профессиональной сферы, строить цепочки логических выводов и на этой основе делать обобщения и заключения;

в) процедурные знания - управляющая и интерпретирующая структура, определяющая порядок и способы применения моделей и правил логического вывода для получения или трансформации информации;

г) лингвистические знания - правила морфологического, синтаксического и семантического анализа входных и выходных текстов, а также списки основ слов, которые используются для организации диалога между базой знаний и пользователем.

Базы знаний представляют собой дальнейшее развитие традиционного понимания баз данных по следующим основным направлениям:

- расширения понятия «данные» до уровня закономерностей, правил, алгоритмов и других операций, обеспечивающих интеллектуальную поддержку принятия управленческих решений в условиях неопределенности;

- обеспечение семантической целостности знаний и данных;

- усложнения алгоритмов обработки информации до уровня имитации интеллектуальных механизмов мышления человека;

- планирование вычислений, обеспечивающих решение сформулированных пользователем задач количественного и качественного анализа моделей проблемных ситуаций;

- интерпретация результатов решения задач в удобном для пользователя виде.

Существенным является вопрос организации общения между пользователем и базой знаний.

При полном доступе пользователю может поступать излишняя информация, на которую тратятся вычислительные и поисковые ресурсы. Время получения решения может оказаться неприемлемо большим. Этого можно избежать, если при построении базы знаний использовать принцип гибкого формирования персонально ориентированных задач с соответствующим уровнем детализации и специализацией информации, предоставляемой пользователю.

Персонально ориентированная задача строится в терминах агрегированных параметров, состав и способ построения которых может меняться в зависимости от изучаемого вопроса, от желания пользователя проследить связь между теми или иными агрегированными параметрами. Речь идет об укрупненном описании поведения параметров исходной задачи.

При реализации БЗ на основе принципа гибкого формирования персонально ориентированных задач предполагается, что из исходной задачи строятся частично агрегированные задачи, ориентированные на потребности конкретных пользователей.

Характерной чертой БЗ является ведение диалога с пользователем на проблемно ориентированном естественном языке. При изучении проблем машинного понимания естественно-языковых текстов обычно рассматривается трехкомпонентная модель машинного понимания входных текстов, представленная на рисунке 1.

В этой модели «текст» представляется как некоторая

данность. База знаний снабжается средствами лингвистического анализа текста, базой лингвистических

Рисунок 1 - Традиционная трехкомпонентная модель машинного понимания естественно-языковых текстов («текст-БЗ-смысл»)

данных и алгоритмами формирования смысла текста. Такая модель равносильна предположению, что о тексте ничего не может быть сказано заранее. В ней отсутствуют два важных компонента -пользователь, решающий с помощью базы знаний проблемно ориентированные задачи и реакция базы знаний на запрос пользователя. Без этих компонентов рассмотрение процесса машинного понимания естественно-языковых текстов является неполным. В расширенную пятикомпонентную модель вводятся два недостающих компонента. Структура пятикомпонентной модели представлена на рисунке 2.

В этой концептуальной модели критерием понимания поступающего от

пользователя текста является адекватная реакция БЗ на проблемно ориентированный вопрос пользователя. При таком подходе возможно построить утверждения о некоторых целевых объектах, из которых состоит входной текст. При этом анализ

Рисунок 2 - Расширенная пятикомпонентная модель машинного понимания естественноязыковых текстов («пользователь-текст-БЗ-реакция-смысл»)

должен ориентироваться на активный поиск в тексте ключевых объектов. Ключевые объекты стимулируют базу знаний к той или иной реакции и, тем самым, определяется смысл входного текста. База знаний вырабатывает в ответ на входной текст ожидаемую пользователем реакцию, то есть имеет место понимание базой знаний смысла вопроса.

Следует отметить, что использование расширенной пятикомпонентной модели накладывает определенные ограничения на содержание и структуру входных естественно-языковых текстов.

Во-первых, такой текст должен содержать информацию для выбора алгоритма реагирования, адекватного запросу пользователя, и данные для запуска этого алгоритма.

Во-вторых, во входном тексте должны содержаться лингвистические объекты, для которых в БЗ в числе возможных реакций имеется хотя бы одна реакция, адекватная данному запросу пользователя.

Указанные ограничения в определенной мере формализуют общение пользователя с БЗ, но одновременно делают однозначным понятие «смысл текста», связывая его с целью, которую преследует пользователь, общаясь с БЗ.

Процесс понимания предложений входного текста I в формальном представлении представлен на рисунке 3 и выглядит следующим образом:

Шаг 1. <хО)=МжЛу, 1еТ(Р);

Шаг 2. уу(^,С(р>,С(5))=>^, (1)

Шаг 3. Г; 6 Г; е Я.

На первом шаге алгоритм членения алгоритм а выделяет в тексте входного предложения I субтексты и V На втором шаге алгоритм производит по данным ^,С(р),С(5) выбор алгоритма

реагирования £ из множества Р(р). На третьем шаге алгоритм ^ с учетом субтекста ^ вырабатывает КОНКреТНуЮ реаКЦИЮ БЗ Г( , выбирая ее из класса однотипных реакций Г;. В графическом виде с учетом того, что каждый из указанных шагов может завершиться неудачей.

Введены следующие обозначения:

Т(р) - множество всех доступных БЗ предложений входного проблемно

ориентированного текста;

г; - ¡-й класс реакций БЗ на запрос пользователя;

г, - конкретная реакция из класса реакций

И. - множество всех

процесса машинного понимания естественно-языковых текстов

классов реакций БЗ, которые могут потребоваться пользователю;

£ - алгоритм формирования реакции из класса г*;

Р(р) - множество всех возможных алгоритмов формирования реакции;

- алгоритм выбора алгоритма из Р^р);

С(р) - интерпретация БЗ конкретной совокупности обстоятельств, в рамках которых анализируется запрос пользователя и выдается ответ;

С(5) - интерпретация пользователем совокупности обстоятельств, в условиях которых функционирует БЗ;

I - предложение входного текста из Т(р);

^ - часть («субтекст») текста ^ предназначенная для обеспечения выбора алгоритма из Р(р) («код» выбора алгоритма реагирования);

^ - часть («субтекст») текста 1, содержащая значения («код» выбора конкретной реакции в классе г, однотипных реакций);

а - алгоритм членения текста входного предложения на субтексты ^ и V

Основные трудности практической реализации рассмотренного процесса машинного понимания естественно-языковых текстов связаны с тремя обстоятельствами:

а) алгоритм а, выделяя в тексте входного предложения I субтексты ^ и и, может допускать ошибки, что обусловлено неоднозначностью и расплывчатостью понятий естественного языка;

б) отображение множества всех субтекстов ^ на множество Р(р), которое осуществляет алгоритм в общем случае может быть неоднозначным: при разных комплексах обстоятельств с(р) и сводному и тому же входному предложению (и в его составе одному и тому же субтексту О могут быть адекватны различные типы реакций;

в) алгоритм вырабатывая конкретную реакцию п из класса однотипных реакций гь может допускать ошибки, обусловленные тем, что одно входное предложение (и в его составе один и тот же субтекст 1у) может ассоциировать различные реализации реакций БЗ.

Преодоление этих трудностей при практическом построении БЗ возможно двумя путями.

Во-первых, путем жесткой формализации предложений входных текстов, до уровня, когда все запросы пользователя к БЗ

составляются по заранее определенным формам и с использованием унифицированного тезауруса.

Во-вторых, путем организации специальной процедуры обучения БЗ, заключающейся в том, что в память компьютера заранее записываются корреляционные правила вида: (сЧс^К^еЯ; (Ц,)=>г; б!}.

Правила вида (2) называются предписывающими и читаются так: если имеет место (С(р),С(!!)), то при наличии субтекста 4 из множества возможных типов реакций Я следует выбирать реакцию из класса гк; если имеет место субтекст ц, то из класса Г| следует выбирать конкретную реакцию .

Помимо предписывающих, возможно использование рекомендующих правил (например, если ^ то лучше гь но можно г2 или г3) и запрещающих корреляционных правил (например, если то недопустимы Г|, г2,..., гм), а также их всевозможных комбинаций. В совокупности эти правила образуют процедурную часть БЗ, которая после обучения может пополняться и корректироваться в процессе эксплуатации БЗ.

Во второй главе проводится системный анализ существующих и перспективных языков и методов представления знаний при создании БЗ, по результатам которого выбираются те из них, которые позволяют достичь цели исследования.

В качестве объектов анализа рассматривались: логические языки; тензорный язык Крона; язык нечетких множеств; контекстно-свободный плекс-язык; язык ЫХ-кодов; язык семантических сетей; язык ролевых фреймов. На рисунке 4 приведена диаграмма, отражающая результаты такого анализа. На этой диаграмме языки упорядочены по двум критериям, определяющим возможности их практического использования при создании БЗ. Первый критерий, названный семантической силой языка, отражает его описательные возможности, то есть возможности адекватного и полного описания проблемных областей. Второй критерий, названный мощностью инструментальных средств языка, отражает его возможности по построению эффективных систем эквивалентных преобразований предложений языка, то есть аппарата, позволяющего (за конечное число шагов) однозначно определять синтаксическую и

Мощность инструментальных средств

ТЕНЗОРНЫЙ язык КРОНА

КЛАССИЧЕСКИЕ ЛОГИЧЕСКИЕ ЯЗЫКИ

ЯЗЫК

НЕЧЕТКИХ МНОЖЕСТВ

КОНТЕКСТНО-СВОБОДНЫЙ ПЛЕКС-ЯЗЫК

ЯЗЫК RX КОДОВ

ЯЗЫК СЕМАНТИЧЕСКИХ СЕТЕЙ

ЯЗЫК РОЛЕВЫХ ФРЕЙМОВ

ЕСТЕСТВЕННЫЙ ЯЗЫК

Min 0 0,5 Мах 1,0

Семантическая сила

Рисунок 4 - Диаграмма сравнительных характеристик языков представления знаний по мощности инструментальных средств и семантической силе

семантическую правильность предложений. На диаграмме помимо анализируемых языков приведены естественные языки, имеющие предельные значения указанных критериев.

Из диаграммы видно, что требования выразительности и мощности инструментальных средств языка являются противоречивыми: чем выше семантическая сила языка, тем ниже мощность его инструментальных средств и, наоборот, с ростом мощности инструментальных средств семантическая сила языка падает. Отсюда следует, что для проектирования и создания БЗ невозможно выбрать какой-либо один язык, адекватно удовлетворяющий указанным требованиям. Речь может идти о некоторой совокупности языковых средств, которые совместно могут обеспечить как требуемый уровень выразительных возможностей БЗ, так и обеспечить необходимую «суммарную» мощность ее инструментальных средств.

Мах 1,0

0,5

В таблице 1 указаны предпочтительные области применения рассматриваемых языков применительно к проектированию БЗ в составе ИКС.

Таблица 1 - Предпочтительные области применения языков представления знаний при создании БЗ в составе ИКС_

Тип языка Область применения при создании БЗ

Тензорный язык Крона Перспективные исследования по развитию методологии управления проектами создания БЗ в ИКС

Классические логические языки Разработка моделей анализа и оптимизации структуры БЗ. Создание моделей обеспечивающих функционирование БЗ

Язык нечетких множеств Как одна из основных форм учета неопределенности знаний пользователя об объектах и процессах предметной области

Контекстно-свободный плекс-язык Представление в БЗ структур различных объектов. Анализ структур на полноту, непротиворечивость и достаточность

Язык ЮС-кодов Ограниченное применение, как частный случай языка семантических сетей

Язык семантических сетей Язык ролевых фреймов Построение общей и частных технологий поддержки проектных решений при создании БЗ в составе ИКС

Естественный язык Представление знаний о предметной области в виде текстов, таблиц, графиков, диаграмм и т.п. Справочники, инструкции и другие документы, необходимые пользователю

Проведенный анализ позволил заключить, что лишь языки семантических сетей и ролевых фреймов, обладая достаточной выразительностью (приближающейся к свойствам естественного языка) позволяют строить относительно эффективные процедуры эквивалентных преобразований, близких к аналогичным процедурам классических математических языков. Кроме того, эти языки позволяют записывать и генерировать правила логического вывода (то есть работать с декларативными знаниями), а также создавать управляющие структуры (то есть оперировать с процедурными

знаниями). Указанные обстоятельства и определяет более широкое применение данных языков при проектировании баз знаний в составе современных ИКС, а, следовательно, их целесообразно положить в основу при разработке технологий поддержки проектных решений по созданию БЗ.

Третья глава посвящена разработке общего и частных алгоритмов интеллектуальной поддержки проектных решений по созданию БЗ на основе логико-лингвистического подхода.

Общая схема этапов поддержки решений по созданию БЗ представлена на рисунке 5.

ПРЕДМЕТНАЯ ОБЛАСТЬ

I

ЭТАП ЧАСТНЫЕ АЛГОРИТМЫ И РЕЗУЛЬТАТ ИСПОЛНИТЕЛИ

1 4 ПОЛЬЗОВАТЕЛЬ (ЭКСПЕРТ) РУКОВОДИТЕЛЬ ПРОЕКТА

АЛГОРИТМ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ НА ОСНОВЕ РОЛЕВЫХ ФРЕЙМОВ

1

Ж ФРЕЙМОВОЕ ОПИСАНИЕ ЗНАНИЙ Д 1 О ПРЕДМЕТНОЙ ОБЛАСТИ Ш

і

II ПОЛЬЗОВАТЕЛЬ (ЭКСПЕРТ) СИСТЕМНЫЙ ПРОГРАММИСТ

АЛГОРИТМ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ НА ОСНОВЕ КОНЦЕПТУАЛЬНОЙ СЕМАНТИЧЕСКОЙ СЕТИ

і

в ОПИСАНИЕ ЗНАНИЙ О ПРЕДМЕТНОЙ ОБЛАСТИ В ВИДЕ Д 1 КОНЦЕПТУАЛЬНОЙ СЕМАНТИЧЕСКОЙ СЕТИ 1

III СИСТЕМНЫЙ ПРОГРАММИСТ ПРОГРАММИСТ

АЛГОРИТМ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ НА ОСНОВЕ ТЕРМИНАЛЬНОЙ СЕМАНТИЧЕСКОЙ СЕТИ

( ОПИСАНИЕ ЗНАНИЙ О ПРЕДМЕТНОЙ ОБЛАСТИ В ВИДЕ Д 1 ТЕРМИНАЛЬНОЙ СЕМАНТИЧЕСКОЙ СЕТИ 1

IV СИСТЕМНЫЙ ПРОГРАММИСТ

АЛГОРИТМ ПОСТРОЕНИЯ ПРОЦЕДУАЛЬНОЙ КОМПОНЕНТЫ БЗ

БАЗА ЗНАНИЙ О ПРЕДМЕТНОЙ ОБЛАСТИ

Рисунок 5 - Общая схема этапов поддержки решений по созданию БЗ в составе ИКС

Он базируется на четырех частных алгоритмах, а именно: представления знаний на основе ролевых фреймов; представления

знаний на основе концептуальной семантической сети (сокращенно -КСС); представления знаний на основе терминальной семантической сети (сокращенно - ТСС); построения процедурного компонента базы знаний.

Суть алгоритма представления знаний на основе ролевых фреймов заключается в переходе от естественно-языкового описания предметной области к ее фреймовому описанию (рисунок 6). Для компьютерной реализации такого перехода предложено использовать А.-конверсии. Для конструирования ^.-выражений предложено использовать набор типовых фреймов, включающий: фрейм-состав; фрейм-соединение; фрейм-назначение; фрейм-параметр и фрейм-функция.

КОНЕЧНЫЙ ПОЛЬЗОВАТЕЛЬ

ФРЕИМ-COCTAB

I

ФРЕИМ-СОЕДИНЕНИЕ

ФРЕИМ-НАЗНАЧЕНИЕ

ФРЕИМ-ПОРАМЕТРЫ

ФРЕИМ-ФУНКЦИЯ

ЗАПОЛНЕНИЕ РОЛЕВЫХ ФРЕЙМОВ СОГЛАСНО ФОРМАМ

ФОРМАЛИЗАЦИЯ ФРЕЙМОВ С ПОМОЩЬЮ Л-КОНВЕРСИЙ

/ФРЕЙМОВОЕ ОПИСАНИЕ^

ЗНАНИЙ О ПРЕДМЕТНОЙ V ОБЛАСТИ J

Рисунок б - Алгоритм представления знаний с помощью ролевых фреймов

Фрейм-состав (FC) отражает ситуацию: «объект х содержит объекты yl, у2,..., уп, которые имеются в объекте х в количествах с 1, с2,..., сп, соответственно»:

FC = (...(Хх: Dx, yl:Dl,...,yn: Dn. CONTAIN (<ch, x), <v, у 1),..., <v, yn)));A.: yl: Dl, clDl*. QUANTITY (<ch, yl>, <v, cl»)...tyn:Dn, cnDn*. QUANTITY «ch, yn), <v, yn))) conv (3)

Xx: Dx. CONTAIN «ch, x), <v,tyl: Dl, cl: Dl*. QUANTITY ((ch, yl), <v, cl))),..., (v, Xyn: Dn, cn: Dn*. QUANTITY ((ch, yn), <v, cn)))), где записи вида x:Dx (и аналогичные) означают, что переменная х имеет сорт Dx. Через ch и v обозначены падежные отношения («характеристика» и «значение характеристики», соответственно).

Фрейм-соединение (Fs) отображает ситуацию «субъект х соединяет объект у с объектом z» и описывается ¿.-выражением вида: Fs= X {х: Dx, у: Dy, z: Dz. CONNECT «s, x), (о, у), <о, z»}, (3) где s и о - падежные отношения, соответственно «кого соединяют» (то, что производит действие) и «с кем соединяют» (то, над чем совершается действие), D - имя или сорт объекта (субъекта). Нетрудно заметить, что фреймы типа (3) легко вкладываются друг в друга, что позволяет использовать их для описания иерархических структур.

Фрейм-назначение (FN) служит для представления знаний о предназначении объектов через их функции и описывается X-выражением вида:

Fn= Ш: Dr, х: Dx, у: DY, w: Dw,z: Dz. R«s, x),(o, y), <u, w>,(d, z>), (4) где und- падежные отношения «быть входом» и «быть выходом».

Фрейм-параметры (FP) используется для представления знаний о параметров какого-либо объекта в дискретные моменты времени. X-выражение для этого вида фреймов аналогично (2) с добавлением падежного отношения «быть моментом времени».

Фрейм-функция (Fp) описывает порядок расчета параметров pj некоторого объекта при заданной функции p,(t) = f [(аь а2, ... ,aN), t], где aj - аргументы, к которым применяется функция, t - текущее время. Обобщенное Х-выражение для фреймов этого типа имеет вид: Ff = Цр: Dp, t: D„ f: Df, ai:Db...,aN: DN. CALCULATE «res, p), (x, t» = «vf, f» «arg, a,),...,<argNaN»}, (5) где res - результат применения функции, arg - аргумент, vf -падежное отношение «вид функции», X - падежное отношение «быть моментом времени», а запись х: Dx означает, что переменная х имеет имя или сорт Dx.

Суть алгоритма представления знаний на основе концептуальной семантической сети (рисунок 7) заключается в реализации перехода от фреймовых описаний предметной области к концептуальным семантическим сетям. Введем ряд определений.

Определение 1. Концептуальной семантической сетью (КСС) будем называть граф, узлы которого принадлежат множеству X = {х}, а дуги (то есть ориентированные бинарные связи) - множеству Я = {г}.

Элементы множества X

соответствуют обобщенным

семантическим категориям - описаниям абстрактных понятий. Элементы множества Я относятся к отношениям типа «быть элементом», «содержать»», «иметь имя», «быть функцией», «быть агентом», «быть акцией» и другим отношениям, которые поясняются далее. На рисунке 8 в качестве иллюстрации представлен фрагмент КСС применительно к предметной области «судебное делопроизводство», обозначенной цифрой 1. Остальные цифры означают: 2 - функции суда; 3 -документ суда (решение, приговор, постановление и т.д.); 4 - входная информация; 5 - сотрудник суда; 6 - судопроизводство; 7 -публикация; 8 - судья; 9 - сотрудник суда; 10 - жалобы заявления; 11 - нормативные акты (законы, кодексы, судебная практика, постановления и т.д.).

Рисунок 7 - Алгоритм представления знаний с помощью КСС

Рисунок 8 - Фрагмент КСС предметной области «судебное делопроизводство»

Определение 2. Окрестностью первого порядка (или 1-окрестностью) относительно Xj€ X будем называть множество пар {г1'1, х'1} = таких, что {ri'I} = R1'1 представляет собой множество

ИСХОДЯЩИХ ИЗ Xj отношений (связей), а {х|,1} = Х1,1 - множество узлов концептуальной семантической сети, присоединенных К X; связями irUl

Таким образом, все узлы окрестности ^ на графе КСС отделены от Xj путем

единичной длины (рисунок 9). Узлы к-го уровня, отделенные от х; путями длины к обозначим х''к, а отношения к-го уровня, присоединяющие {х1к} к узлам {х1,к_1}, обозначим {г''к}. Соответствующие множества получают Х1,к = {х1,к} обозначения и R'-k ={г1,к}. Тогда окрестность k-го порядка относительно Xj (или k-окрестностью) будет объединение множеств узлов и отношений, входящих в к - 1 окрестность относительно X; со всеми I окрестностями узлов множества X :

^rufe),^. (6)

n=l

Определение 3. Фреймом-отображением fj назовем информационную структуру, соответствующую 1-окрестности узла Xj в КСС.

Соответствие между X; И fj ОПреДвЛИМ зависимостью fi = G(Xi), где функция G задает отображение множества узлов X и отношений R, образующих КСС, на множество фреймов F, образующих фактуальную часть базы знаний G: (X, R) ->F.

Введем в рассмотрение предикат Рг(х^), принимающий

значение TRUE, если в рассматриваемой КСС к узлу х, посредством отношения rk присоединен узел Xj. Формально во введенных обозначениях соответствие между фрейм-отображениями и узлами КСС выражается так:

Рисунок 9 - К понятию окрестности КСС

е Р)Эх;(х; е X) :{($ = С(х{) & (Vxj(xj е Xй) (7)

Э^ е^Р сЗД =0(хр&Р,. (х^-)]}.

Это соотношение означает, что всякий фрейм соотносимый с узлом X;, связывается с подмножеством «подчиненных» фреймов Б1, элементы которого = Р' соответствуют узлам {Xj} = Х-"'1, I-окрестности узла Xj.

Алгоритм представления знаний на основе терминальной

семантической сети. Суть этой технологии (рисунок 10) заключается в реализации перехода от описания предметной области в виде КСС к так называемой терминальной

семантической сети (ТСС).

В процессе решения конкретных задач пользователи оперируют понятиями, отражающими реальные объекты, факты, события и другие единицы знаний. Когда БЗ сообщается (или выводится ею в процесс функционирования) новый факт или описание нового объекта, его можно представить конъюнкцией предикатов

(8)

где сЯ, I = 1, 2,..., к - связи (отношения) в КСС, а элементы {х1,х2,...,хк+1}(_х _ терминальные величины, соответствующие либо наименованию определенного объекта, либо числу, либо тексту, либо стандартной комбинации терминальных величин (множество, вектор, матрица, структурная запись из полей, заполненных терминальными величинами).

Таким образом, в процессе представления новой единицы знаний происходит активизация некоторых фрагментов КСС, выражающаяся в том, что вместо абстрактных символов {х(} подставляются терминальные величины Очевидно, что при обработке

очередной единицы знаний, активизируемый участок КСС является связным компонентом графа (X, Я). В этом случае удобно из исходной КСС выделять активизируемые фрагменты и формировать из них так называемую терминальную семантическую сеть (ТСС),

Рисунок 10 - Алгоритм представления знаний с помощью ТСС

РГ1(х„х2) & РГ1 (Х2, х3) &... & РГк (хк,хк+1),

установив соответствие между узлами {xf} и конкретизирующими их значениями {х;}. Такие соответствия можно задать специальными связями типа «иметь имя» и «иметь значением», которые присоединяют любой символ х; в ТСС к соответствующему узлу Xi в КСС. Следовательно, МОЖНО ввести предикат Р(Х;Х;), истинность которого указывает на наличие указанного типа связей между Xj и xf (P(XjXi)= true, если между Xj и Xj существует связь типа «иметь имя» и «иметь значением»). Учитывая введенный формализм, можно считать ТСС некоторым продолжением КСС и рассматривать ее как единую семантическую сеть, содержащую как абстрактные понятия, так и терминальные величины. Однако с практической точки зрения удобнее рассматривать раздельно КСС и ТСС, имея в виду, что при решении задач информационного поиска множество терминальных величин, описывающих конкретную предметную область, представляет собой некоторую базу данных в ее традиционном понимании.

Поскольку всякое входное сообщение БЗ содержит некоторое понятие - тему высказывания, то такому понятию соответствуют определенный узел Xj в КСС и фрейм fj в базе знаний. Некоторые из фигурирующих в высказывании величин {х,} указывают на Xj либо непосредственно (с помощью связей «иметь имя» и «иметь значением»), либо косвенно, ссылаясь на узлы из окрестности ^ .

Будем говорить, что из таких величин образуется экземпляр фрейма

fi, обозначаемый ^.

Определение 4. Экземпляром фрейма fj назовем информационную структуру fj, которая образуется из терминальных величин {xj} и связей {г}, соответствующих (может быть и

неполной) I-окрестности узла =G 'М, где G_1 - функция, обратная G. Соответствие между £ и fj обозначается зависимостью f; = W(f,).

Каждое высказывание об объекте, факте, событии или процессе можно представить в БЗ совокупностью взаимосвязанных экземпляров {fj}c=F, соответствующих подмножеству {fj} cF. В конечном счете, вся ТСС может быть представлена в базе знаний множеством экземпляров F, описывающих некоторый фрагмент предметной области.

Таким образом, ТСС БЗ состоит из совокупности взаимосвязанных фреймов-отображений, образующих

пользовательский уровень знаний, и совокупности взаимосвязанных фреймов-экземпляров, образующих прагматический уровень.

Алгоритм построения процедурного компонента БЗ. Эта

технология(рисунок 11) применяется на

завершающем этапе проектирования БЗ.

Представление предметной области в виде КСС и ТСС позволяет описывать статические отношения между объектами и терминальными единицами предметной области. Однако в практических приложениях этого недостаточно, поскольку зачастую требуется описать динамику процесса, в частности, условия формирования новых фрагментов ТСС. Это становится возможным, если ввести правила привязки к некоторым элементам КСС.

Определение 5. Правилом привязки ст назовем тройку (с, э, с1), в которой «с» - условие применимости данного правила, «5» -следствие, содержащее список операций, подлежащих выполнению в момент применения правила, «с1» - задержанное действие, содержащее список операций, которые должны быть выполнены по окончании обработки всех правил.

Условие «с» формируется в терминах состояния ТСС. Оно предлагает выполнение некоторых характеристик терминальных величин или некоторых конъюнкций предикатов вида Р(х;х;),

позволяющих установить существование связей между объектами в КСС и терминальными величинами в ТСС. Следствие «э» задает последовательность операций, таких как формирование или

Рисунок

[ - Алгоритм построения процедурной компоненты БЗ

модификация фрагментов ТСС, инициирование новых правил и т.п. Задержанное действие «ё» отражает последовательность операций другого рода. Они могут состоять в обращениях к некоторым прикладным программным модулям (ППМ), составляющим пользовательский уровень базы знаний.

Все множество правил {су} можно разбить на некоторые подмножества связываемые с дугами г; в КСС. Тогда при обработке фрагмента сети, включающего дугу гь происходит инициирование всех связанных с ней правил В результате этого порождаются два процесса. Первый, обусловленный обработкой пар {(с,б)}, приводит к дополнительной модификации ТСС. Второй обусловлен накоплением задержанных действий {с!}. В результате формируется некоторая траектория активации ППМ, соответствующая входному запросу.

Множество правил отражается в процедурной части БЗ информационными структурами, которые назовем фреймами-закономерностями ^ стЁ. Каждый фрейм-закономерность объединяет группу правил связанных с дугой гь и проецирует пары {г;, £;} на множество следствий:

(9)

где ц - квантор нечеткости, принимающий, например, значения «почти всегда», «иногда», «в исключительных случаях»; О; - сигнал, свидетельствующий о реализации данного правила.

Таким образом, четверка {х,Я,Х,е}в совокупности с (9), которой

в фактуальной части БЗ сопоставляется множество фреймов-отображений и фреймов-экземпляров, а в процедурной части -множество фреймов-закономерностей и ППМ, определяет все необходимые компоненты знаний для построения, модификации и анализа модели предметной области, в которой функционирует данная ИКС.

Как уже отмечалось, в процессе функционирования базы знаний происходит инициализация некоторых фрагментов КСС и ТСС, а также некоторой совокупности правил {п, Е;}, связанных с дугами указанных сетей. В правилах = {сь в;, нас будут интересовать задержанные действия (1Ь связанные с работой ППМ, являющихся неотъемлемой составной частью базы знаний ИКС. Увязка условий с; и следствий б; с <1; осуществляется тем, что их обработка (с; и вО

производится параллельно с инициализацией фрагментов КСС и ТСС. В момент завершения инициализации образуется некоторый перечень ППМ, выполнение которых и завершает решение прикладной задачи (пользователь получает мотивированный ответ на поставленный вопрос). Если количество ППМ мало (< 10) и они слабо связаны по входам и выходам, то принципиальных трудностей не возникает. Однако для реальных ИКС характерно наличие большого числа ППМ, которые жестко связаны по входам и выходам.

В четвертой главе определяется система критериев оценки качества БЗ и применяются методы интегральной оценки качества проектных решений по их созданию. Результаты определения типовых критериев качества применительно к управлению проектом создания БЗ в составе ГАС «Правосудие» приведены в таблице 2.

Таблица 2 - Критерии качества БЗ (на примере ГАС «Правосудие»)

Социальные (Р^ Рост доверия к результатам судебных решений (Рц); повышение оперативности работы судов (Р12); открытость судопроизводства для средств массовой информации и граждан (Р13)

Функциональные (Р2) Функциональная полнота (Р20; структурная полнота (Р22); отсутствие структурного дублирования (Р23); информационная безызбыточность (Р24); информационная достаточность (Р25); ресурсная обеспеченность (Р26); ресурсная согласованность (Р27); структурная связность (Р28)

Эргономические(Рз) Качество пользовательского интерфейса (Рзі); комфортность работы пользователя (Р32)

Прагматические(Р4) Степень удовлетворения БЗ своего предназначения

Технические(Р5) Уровень технического совершенства БЗ и ее компонентов (подсистем, комплексов)

Технологические(Рб) Уровень алгоритмов, использованных при проектировании БЗ и ее компонентов

Эксплуатационные^)

Удобство настроек (Р70; профилактик (Р72); регламентных работ (Р7з)

Надежность и своевременность представления информации пользователям (Р»)

Полнота выходной информации (Р9)

Достоверность информации (Рю)

Сохранение конфиденциальности информации (Рп)

Защищенность от несанкционированного доступа (Р^)

Защищенность от опасных программно-технических воздействии

(Рп)__

Интегральная оценка заключается в том, что зная множество частных критериев качества БЗ получить обобщенную оценку проекта, учитывающую совокупность частных показателей полученных экспертным путем. Для решения задачи предложено использовать методы математической свертки (аддитивной, мультипликативной, метрической, матричной и дихотомической). Однако такой подход не всегда приемлем поскольку: а) критерии проектов задаются не только числовыми, но и качественными критериями; б) связи между критериями реальных проектов не всегда удается выразить в виде математических уравнений, вместе с тем, они достаточно адекватно задаются с помощью словесных выражений. Отмеченные обстоятельства вынуждают изыскивать новые подходы, позволяющие использовать качественную информацию. Наиболее полно таким требованиям отвечает подход, основанный на совместном использовании идей логико-лингвистического моделирования и методов экспертных оценок.

Такую оценку предложено осуществлять с учетом тринадцати критериев, приведенных в табл. 2.0ценка по каждому из указанных критериев (и их составляющих) дается по десятибалльной шкале (10-высшая, 1-низшая оценка), а интегральная оценка рассчитывается по формулам:

3 8

(0,ЗЗХцилНРИ) + (0,1255>2^Р2;) + ¡=1 ¡=1 2 6 3 13

¡=1 ¡=4 ¡=1 ¡=8

П0(Р0)«0,07

;(Ю)

Ло(Ро) =

(11)

"'з 1 Г 8 1 ( 6 ПинЛнРн х П^Т12;Р21 х ПшлЛ

V 1=1 У V 1=1 У М=4

'13 1 (2 3 < П^Д х П^^З! х 1>7^Р71

41=8 ) V 1=1 ) V ¡=1

где Цу- коэффициенты, отражающие относительную значимость соответствующих составляющих интегральной оценки; г|у - функции принадлежности, отражающие степень уверенности экспертов в оценке составляющих.

В пятой главе описывается практическая реализация теоретических положений разработанных алгоритмов и методов, применительно к проекту создания и развития ГАС РФ «Правосудие». Была разработана подсистема «Банк судебных решений» (БСР), в составе которой создана база знаний (рисунок 12).

лйиршййчпский'

ПРОЦЕССОР

5 2 <

Шпі

иТ о

мех о"

<ь> X X X

л ^

X о

< 5 х <їх

О ь х п ? і

< ? < из 1" ш < и < 2 со X

ч С

ПЕРВИЧНЫЙ ОБРАБОТКА ЭЛЕКТРОННЫХ

ВВОД КОПИЙ

ПОИСК, ПРОСМОТР И ОБЕЗЛИЧИВАНИЕ

РЕДАКТИРОВАНИЕ И ПУБЛИКАЦИЯ

РЕЗЕРВНОЕ КОПИРОВАНИЕ]

ЭКСПОРТ МАТЕРИАЛОВ И ВОССТАНОВЛЕНИЯ СИСТЕМЫ

КОНТРОЛЬ ЗА ДЕЙСТВИЯМИ УПРАВЛЕНИЕ

ПОЛЬЗОВАТЕЛЕЙ СИСТЕМОЙ

ВЕДЕНИЕ ЛОКАЛЬНЫХ ВНЕШНИЙ

СПРАВОЧНИКОВ ИНФОРМАЦИОННЫЙ ОБМЕН

Рисунок 12 - Состав и структура БЗ СПиСР

Основное назначение подсистемы БСР - это автоматизация сбора судебных решений, формирование единого банка судебных решений, обеспечение механизма для систематизации сведений по судебным прецедентам, аналитическая обработка и формирование судебной практики для последующего тиражирования, автоматизированное обезличивание судебных актов для публикации в средствах массовой информации. База знаний СПиСР обеспечивает автоматическое аннотирование документа на основе специализированного тезауруса, правил морфологического и синтаксического анализа и разбор входных текстов судебных документов. Распознавание персональных данных в тексте судебных актов, маркировку, обезличивание с последующей публикацией на интернет сайте. Интеллектуальный поиск судебной практики и ряд других вспомогательных функции.

С использованием разработанных методов проведена оценка качества проекта по созданию БЗ СПиСР в структуре ГАС РФ «Правосудие», по результатам которой сформулированы следующие выводы:

1) вероятность достижения целей данного проекта составляет не менее

94%;

2) по качеству своих параметров рассматриваемый проект на 84% соответствует эталонным требованиям.

В целом полученные оценки позволили перейти к опытно-конструкторским работам по практической реализации предложенного проекта по созданию БЗ СПиСР в структуре ГАС РФ «Правосудие».

ЗАКЛЮЧЕНИЕ

Диссертация посвящена разработке алгоритмов и методов интеллектуальной поддержки решений по созданию баз знаний в составе крупномасштабных ИКС и их практической реализации применительно к проекту ГАС РФ «Правосудие», что соответствует специальности 05.13.11 -математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей.

Исследования, получившие отражение в диссертации, выполнены в соответствии с планами научно-исследовательских и опытно-конструкторских работ ФГУП НИИ «Восход» (г. Москва) в рамках Федеральной целевой программы развития судебной системы.

Наиболее существенные научные результаты, полученные лично автором:

- сформулированы принципы построения базы знаний, положенные в основу пятикомпонентной модели, ориентированной на организацию общения между пользователем и базой знаний;

- выбраны языковые средства представления знаний с учетом особенностей крупномасштабных ИКС;

- разработаны алгоритмы интеллектуальной поддержки решений по созданию баз знаний, которые позволяют формализовать знания о предметной области с использованием методов задания единиц знаний;

- решена проблема оценки качества проектных решений по созданию баз знаний путем комплексной оценки по показателям, учитывающим социальную, функциональную, эргономическую, прагматическую, техническую и технологическую составляющие;

- реализованы теоретические положения применительно к проектированию базы знаний в составе ГАС РФ «Правосудие». По качеству своих параметров, предлагаемый автором проект по созданию БЗ СПиСР в структуре ГАС РФ «Правосудие», на 84% соответствует эталонным требованиям и может быть реализован с вероятностью не менее 94%.

Результаты исследования нашли применение во ФГУП НИИ «Восход» при проведении плановых научно-исследовательских и опытно-конструкторских работ и применялись на всех этапах создания ГАС РФ «Правосудие» в части создания базы знаний по судебной практике и судебным решениям.

Основное содержание материалов диссертационного исследования отражено в следующих публикациях:

Статьи в изданиях, определенных ВАК РФ:

1 Дёмин Б.Е., Новосельцев В.И., Самков Е.Ю. Модели машинного понимания входных текстов / Вестник Воронежского государственного технического университета, т.6, 33,2010. С. 124-127.

2 Самков Е.Ю. Синтаксический анализ текстов с помощью аппарата нейронных сетей / Вестник Воронежского государственного технического университета, т.2, №1, 2012. С. 104-105.

Монографии:

3 Самков Е.Ю. Технологии и методы поддержки проектных решений по созданию интеллектуальных баз знаний на основе логико-лингвистических средств искусственного интеллекта: монография - Воронеж: Изд-во «Научная книга», 2010.- 130 с.

Статьи в прочих изданиях, материалы конференций:

4 Дёмин Б.Е., Самков Е.Ю. Общая технология проектирования интеллектуальных баз знаний / Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (SOB'2009)». - Воронеж: ВГАСУ, 2009. С. 67-74.

5 Дёмин Б.Е., Самков Е.Ю. Представление знаний на основе ролевых фреймов / Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (SOB'2009)». - Воронеж: ВГАСУ, 2009. С. 75-79.

6 Самков Е.Ю. Представление знаний с помощью концептуальных семантических сетей Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (SOB'2009)». - Воронеж: ВГАСУ, 2009. С. 80-81.

7 Дёмин Б.Е., Самков Е.Ю. Основная концепция управления проектами по созданию и развитию интеллектуальных компьютерных сетей / Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (SOB'2009)». - Воронеж: ВГАСУ, 2009. С. 144-149.

8 Новосельцев В.И., Самков Е.Ю. Модели машинного понимания входных текстов при проектировании интеллектуальных баз знаний / Сб. тр. межрегион, научн.-технич. конф. «Модели и алгоритмы интеллектуальной поддержки решений при управлении проектами» (ПРОЕКТ-2009). - М: НПЦ «Модуль», 2009. С. 24-28.

9 Самков Е.Ю. Контекстно-свободный плекс-язык как средство представления знаний в информационно-коммуникационных системах / Сб. тр. межрегион, научн.-технич. конф. «Модели и алгоритмы интеллектуальной поддержки решений при управлении проектами» (ПРОЕКТ-2009). - М: НПЦ «Модуль», 2009. С. 28-32.

10 Дёмин Б.Е., Самков Е.Ю. Технология построения процедуальной компоненты базы знаний в составе информационно-коммуникационных систем / Сб. тр. межрегион, научн.-технич. конф. «Модели и алгоритмы интеллектуальной поддержки решений при управлении проектами» (ПРОЕКТ-2009). - М: НПЦ «Модуль», 2009. С. 33-37.

11 Дёмин Б.Е., Самков Е.Ю. Интеллектуальная база знаний «Банк судебных решений (судебная практика)» в составе ГАС РФ «Правосудие» / Сб. тр. межрегион, научн.-технич. конф. «Модели и алгоритмы интеллектуальной поддержки решений при управлении проектами» (ПРОЕКТ-2009). - М: НПЦ «Модуль», 2009. С. 48-63.

12 Самков Е.Ю., Сбоев A.A. Технология обезличивания и публикации текстов судебных документов в Интернет-портале ГАС «Правосудие» / Сб. тр. Межрегион, научно-технич. конф. «Проблемы управления в социальных и экономических системах». - М: НПК «АтомТехноПром», 2010. С. 173-174.

13 Самков Е.Ю. Понятие интеллектуальной базы знаний / Сб. тр. Всеросс. научно-технич. конф. «Управление в системах организационного поведения». - М: АтомТехноПром, 2010. С.95-97.

14 Клочков В .В., Самков Е.Ю. Методы интегральной оценки качества крупномасштабных ИКС / Сб. научн. тр. Десятой науч.-практ. конф «Современные информационные технологии в управлении и образовании».-М: ООО "Издательство "Проспект" -Ч.1., 2011. С. 104-107.

15 Самков Е.Ю. Технология предоставления доступа к текстам судебных документов в ГАС РФ «Правосудие»/сб.ст. междунар. науч.-практ. конф. «Электронное законодательство: доступ к нормативно-правовой информации в электронном виде». - СПб.: ФГБУ «Президентская библиотека имени Б.Н. Ельцина», 2011. С.240-244.

Патент:

16 Автоматизированная система интеллектуального обезличивания персональных данных в тексте документа. Патент на полезную модель №119485 от 20.08.2012.

Подписано в печать: 24.10.2012 Объем: 1,0 пл. Тираж: 100 экз. Заказ № 668 Отпечатано в типографии «Реглет» 119526, г. Москва, пр-т Вернадского, д. 39 (495) 363-78-90; www.reglet.ru

ВВЕДЕНИЕ

1. ОБОСНОВАНИЕ СПОСОБОВ ОРГАНИЗАЦИИ ОБЩЕНИЯ МЕЖДУ ПОЛЬЗОВАТЕЛЕМ И БАЗОЙ ЗНАНИЙ. ВЫБОР МОДЕЛИ МАШИННОГО ПОНИМАНИЯ ВХОДНЫХ ТЕКСТОВ

1.1. Уточнение понятия базы знаний

1.2. Обоснование способа организации общения между пользователем и базой знаний

1.3. Выбор модели машинного понимания входных текстов 13 Выводы

2. АНАЛИЗ ЯЗЫКОВЫХ СРЕДСТВ И МЕТОДОВ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ ПРИ ВЫБОРЕ ПРОЕКТНЫХ РЕШЕНИЙ ПО СОЗДАНИЮ БАЗ ЗНАНИЙ

2.1. Обзор языков и методов представления знаний

2.2. Сравнительная характеристика языков и методов представления знаний 44 Выводы

3. РАЗРАБОТКА АЛГОРИТМОВ ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКИ ПРОЕКТНЫХ РЕШЕНИЙ ПО СОЗДАНИЮ БАЗ ЗНАНИЙ

3.1. Алгоритм фреймового представления знаний

3.2. Алгоритм представления знаний на основе концептуальной семантической сети

3.3. Алгоритм представления знаний на основе терминальной семантической сети

3.4. Алгоритм построения процедурной компоненты базы знаний

Выводы

4. ВЫБОР КРИТЕРИЕВ КАЧЕСТВА БАЗ ЗНАНИЙ И РАЗРАБОТКА МЕТОДОВ ИНТЕГРАЛЬНОЙ ОЦЕНКИ ПРОЕКТНЫХ РЕШЕНИЙ

4.1. Критерии оценки качества баз знаний как компоненты информационно-коммуникационных систем

4.2. Сущность интегральной оценки качества проектных решений по созданию баз знаний

4.3. Интегральная оценка на основе аддитивной свертки

4.4. Интегральная оценка на основе мультипликативной свертки

4.5. Интегральная оценка на основе метрического критерия

4.6. Интегральная оценка на основе матрицы потерь

4.7. Интегральная оценка методом иерархической дихотомии

4.8. Интегральная оценка на основе нечетких множеств 83 Выводы

5. РЕАЛИЗАЦИЯ ТЕОРЕТИЧЕСКИХ ПОЛОЖЕНИЙ ПРИМЕНИТЕЛЬНО К ПРОЕКТИРОВАНИЮ БАЗЫ ЗНАНИЙ В СОСТАВЕ ГОСУДАРСТВЕННОЙ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ РФ «ПРАВОСУДИЕ»

5.1. Назначение, роль и место БЗ в структуре

ГАС РФ «Правосудие»

5.2. Функциональные возможности БЗ

5.3. Комплекс средств автоматизации БЗ

5.4. Состав и структура БЗ

5.5. Взаимодействие БЗ с другими подсистемами ГАС

РФ «Правосудие»

5.6. Иллюстративный пример интерфейса

5.7. Результаты оценки качества проекта 106 ЗАКЛЮЧЕНИЕ 115 СПИСОК ЛИТЕРАТУРЫ

Актуальность темы. Текущий период времени характеризуется тотальным внедрением компьютерных технологий управления и обработки информации практически во все сферы человеческой деятельности. Ожидается, что такая тенденция будет прогрессировать. На практике эти технологии реализуются в виде информационно-коммуникационных систем (ИКС), типичным представителем которых является Государственная автоматизированная система Российской Федерации (ГАС РФ) «Правосудие». Неотъемлемой составной частью систем этого типа являются базы знаний (БЗ). В настоящее время, для их построения используются готовые программные продукты типа Oracle, MSSQL, DB2 и другие, дополняемые различными программными модулями, в которые по схеме «естественный язык —> компьютерная программа» закладываются знания о проблемной области. В результате первичной выступает программная среда, а знания пользователя отражаются постольку, поскольку это допускают возможности данного программного продукта. Если исключить из рассмотрения многочисленные подробности «технического» плана, то смысл и сущность традиционной технологии заключается в непосредственном переводе описаний предметной области с естественного языка на математико-программный язык, «понятный» компьютеру. Ограниченность используемых языковых средств обусловливает все те трудности, которые приходится преодолевать разработчикам проектов по созданию баз знаний. В результате на выходе проекта он получает не то, что ему нужно для обеспечения профессиональной деятельности, а то, что могут сделать программисты-разработчики, используя имеющиеся программные платформы.

Таким образом, в настоящее время существует противоречие между потребностью широкого внедрения и использования БЗ и применяемыми технологиями поддержки проектных решений. Главная причина этого противоречия состоит в том, что в рамках традиционной технологии для представления знаний используются два типа языков: естественный язык, которым оперирует конечный пользователь и математико-программный язык, который используют разработчики баз знаний. Именно ограниченность палитры используемых языковых средств и бессистемный взгляд на проектирование БЗ обусловливает трудности, которые приходится преодолевать разработчикам проектов по созданию БЗ. Вместе с тем, в современной теории искусственного интеллекта интенсивно развиваются новые языковые средства, в частности, реляционного и ролевого типов. Их использование открывает новые возможности по описанию фактов и закономерностей предметной области, и позволяет предложить более совершенный алгоритм поддержки проектных решений по созданию БЗ, свободный от указанного выше недостатка.

Исследования, получившие отражение в диссертации, выполнены в соответствии с планами научно-исследовательских и опытно-конструкторских работ ФГУП НИИ «Восход» (г. Москва) в рамках Федеральной целевой программы развития ГАС РФ «Правосудие».

Цель диссертационного исследования заключается в повышении качества разработки и поддержки решений по созданию баз знаний в составе крупномасштабных ИКС систем за счет разработанных алгоритмов и методов интеллектуальной поддержки и их практической реализации применительно к управлению проектом ГАС РФ «Правосудие». Таким образом, объектом исследования является процесс создания базы знании, предметом - методы, обеспечивающие поддержку этого процесса.

Задачи исследования:

1. Исследование принципов организации общения между пользователем и БЗ, выбор модели машинного понимания входных текстов.

2. Анализ существующих и перспективных языков и методов представления знаний при выборе проектных решений по созданию БЗ.

3. Разработка общего и частных алгоритмов интеллектуальной поддержки проектных решений по созданию баз знаний на основе логико-лингвистического подхода.

4. Определение критериев оценки качества баз знаний и выбор методов оценки качества проектных решений по созданию баз знаний.

5. Реализация теоретических положений применительно к поддержке проектных решений при создании базы знаний для подсистемы «Банк судебных решений» (судебной практики) в составе ГАС РФ «Правосудие».

Методологическую базу исследования составляют положения теории системного анализа, искусственного интеллекта, а также методы логико-лингвистического моделирования и экспертных оценок.

Научная новизна. В диссертации получены следующие результаты, обладающие научной новизной:

1) Предложена концептуальная модель машинного понимания входных текстов, направленная на активный поиск в тексте ключевых объектов, стимулирующих базу знаний к реакции, в отличие от традиционной ненаправленной лингвистической обработки текстовых предложений, ориентированной на пассивную регистрацию того, «что есть в предложении».

2) Исследованы языковые средства с учетом особенностей крупномасштабных ИКС. Рекомендован перечень языковых средств для представления знаний о предметной области при реализации баз знаний в составе ИКС.

3) Разработаны алгоритмы интеллектуальной поддержки решений по созданию баз знаний, которые позволяют формализовать знания о предметной области с использованием методов задания единиц знаний.

4) Решена проблема оценки качества проектных решений по созданию баз знаний путем комплексной оценки базы знаний по показателям качества, учитывающим социальную, функциональную, эргономическую, прагматическую, техническую и технологическую составляющие.

Достоверность выводов и положений диссертационной работы определяется комплексным подходом к постановке задач исследования, а также 6 подтверждается положительными результатами практического применения разработанных алгоритмов и методов.

Практическая значимость работы. Разработанные и реализованные алгоритмы и методы поддержки решений при создании БЗ целесообразно использовать при решении проблем для интеллектуальных экспертных систем социально-экономического профиля. Кроме того, материалы диссертации могут быть использованы магистрами ВУЗов в учебном процессе для выполнения курсовых и магистерских диссертаций.

Результаты внедрения. Алгоритмы, методы, выводы и положения, обоснованные в диссертации, использованы во ФГУП НИИ «Восход» при проведении плановых научно-исследовательских и опытно-конструкторских работ по созданию БЗ подсистемы «Банк судебных решений» ГАС РФ «Правосудие». При рассмотрении и оценке технических заданий на развитие ГАС РФ «Правосудие» подход, основанный на использовании методов экспертных оценок, позволил обосновать параметры проекта и наиболее точно оценить затраты на проведение работ в Судебном департаменте при Верховном Суде Российской Федерации, что подтверждено соответствующим актом.

Апробация работы. Материалы диссертации докладывались и обсуждались на: научн.-практ. конф. «Современные информационные алгоритмы в управлении и образовании» (Москва, 2001); выездном заседании совета судей (Астрахань, 2009); первой Всеросс. научн.-техн. конф. «Системы организационного поведения» (Воронеж, 2009); межрегион, научн.-технич. конф. «Модели и алгоритмы интеллектуальной поддержки решений при управлении проектами» (Москва, 2009); межрегион, научн.-технич. конф. «Проблемы управления в социальных и экономических системах» (Москва, 2010); Всеросс. научн.-технич. конф. «Управление в системах организационного поведения» (Москва, 2010); научн.-практ. конф. «Современные информационные технологии в управлении и образовании» (Москва, 2011); научн.-практ. конф. «Электронное законодательство: доступ к нормативно-правовой информации в электронной среде» (Санкт-Петербург, 2011); заседание научн.-технич. совета ФГУП «НИИ «Восход» (Москва, 2012).

Публикации. Результаты диссертационного исследования опубликованы в 16 печатных работах, в том числе 2 работы в издании, включенном в перечень ВАК РФ и в одной монографии. В работах, написанных в соавторстве, лично соискателю принадлежат: в [48] алгоритмическая реализации базы знаний, в [50]- критерии и методы оценки проектных решений в [51] модели машинного понимания входных текстов, в [52] - состав и алгоритм функционирования модели, в [56] - языки представления знаний, в [53,54] -схема и содержание этапов алгоритмов, в [59] - математические алгоритмы оптимизации, в [61] - алгоритм обезличивания и публикации текстов, в том числе алгоритм обезличивания подтвержден патентом № 119485 от 03.05.2012.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложения (акты реализации и внедрения результатов работы) и списка литературы из 81 наименования. Материал диссертации изложен на 126 страницах машинописного текста, включая 40 иллюстраций и 10 таблиц.

Результаты исследования нашли применение в ФГУП НИИ «Восход» при проведении плановых научно-исследовательских и опытно-конструкторских работ, и применялись для поддержки решений на всех этапах создания БЗ по судебной практике и судебным решениям в составе ГАС РФ «Правосудие».

ЗАКЛЮЧЕНИЕ

Диссертация посвящена разработке методов и алгоритмов интеллектуальной поддержки проектных решений по созданию БЗ в составе крупномасштабных ИКС и их практической реализации применительно к проекту ГАС РФ «Правосудие», что соответствует паспорту специальности 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей.

Исследования, получившие отражение в диссертации, выполнены в соответствии с планами научно-исследовательских и опытно-конструкторских работ ФГУП НИИ «Восход» (г. Москва) в рамках Федеральной целевой программы развития судебной системы.

Лично автором получены следующие научные результаты.

Определены принципы построения БЗ в составе ИКС типа ГАС РФ «Правосудие» в части организации общения между пользователем и БЗ, модели машинного понимания входных текстов.

Исследованы языковые средства с учетом особенностей крупномасштабных ИКС. Рекомендован перечень языковых средств для реализации БЗ в составе ИКС.

Разработаны алгоритмы интеллектуальной поддержки решений по созданию баз знаний, которые позволяют формализовать знания о предметной области с использованием методов задания единиц знаний.

Решена проблема оценки качества проектных решений по созданию БЗ путем оценки по показателям, учитывающим социальную, функциональную, эргономическую, прагматическую, техническую и технологическую составляющие;

Реализованы теоретические положения исследования применительно к проектированию БЗ в составе ГАС РФ «Правосудие». По качеству своих параметров предлагаемый автором проект по созданию БЗ СПиСР в структуре

ГАС РФ «Правосудие» на 84% соответствует эталонным требованиям и может быть реализован с вероятностью не менее 94%.

1. Аржаков М.В., Дёмин Б.Е., Новосельцев В.И. Анализ функциональной работоспособности организационно-управленческих структур / Системы управления и информационные алгоритмы, № 11 (23), 2006. С. 109-112.

2. Аржаков М.В., Дёмин Б.Е., Тарасов А.К., Новосельцев В.И. Оценка работоспособности организационно-управленческих систем / Надежность, № 3, 2005, С.18-24.

3. Брябрин В.М. и др. Диалоговые системы в АСУ. М.: Машиностроение, 1983.-286 с.

4. Бурков В.Н., Новиков Д.А. Как управлять проектами. М.: Синтег, 1997. - 188 с.

5. Ван Дейк Т. Язык, познание, коммуникация. М.: Прогресс, 1989.

6. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 1977. - 479 с.

7. ГОСТ 24.702-1985 Единая система стандартов автоматизированных систем управления. Эффективность АСУ. Основные положения.

8. ГОСТ 28195-1989 Оценка качества программных средств. Общие положения.

9. ГОСТ Р 50739-1995 Средства вычислительной техники. Защита от несанкционированного доступа. Общие технические требования.

10. Дёмин Б.Е. Методологические основы и модели обоснования проектов крупномасштабных информационно-коммуникационных систем / Б.Е.Дёмин. Воронеж: Изд-во Научная книга, 2006. - 332 с.

11. Дёмин Б.Е. Основные положения методологии проектирования информационных систем на опыте ГАС «Выборы-М» / Тр. научно-технической конференции «Информационные алгоритмы» (ИТ-2005), Воронеж, ВГТУ, 2005.

12. Дёмин Б.Е., Голиков В.К., Новосельцев В.И., Тарасов Б.В. Теоретические основы системного анализа / Под ред. В.И. Новосельцева / М.: Изд-во Майор, 2006. - 592 с.

13. Интеллектуальные системы в морских исследованиях и алгоритмах / Под ред. Ю.И. Нечаева. Санкт-Петербург, ГМТУ, 2001

14. Инфокоммуникации XXI века: алгоритмы, услуги, качество / Под ред. Л.Д. Реймана и JI.E. Варакина. М.: МАС, 2001.

15. Крон Г. Исследование сложных систем по частям диакоптика. - М.,1972.

16. Кузнецов В.И. Системное проектирование радиосвязи. Часть 1 (Системотехника). Воронеж: Воронежский научно-исследовательский институт связи, 1994.278 с.

17. Липаев В.В. Обеспечение качества программных средств. М.: СИНТЕГ,2001.

18. Литвак Б.Г. Экспертная информация: методы получения и анализа. М.: Радио и связь, 1982. 184 с.

19. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. -271 с.

20. Лукацкий A.B. Атаки на информационные системы. «Электроника Наука Алгоритмы и Бизнес», №1, 2000.

21. Мальцев А.И. Алгебраические системы. М.: Наука, 2001, 320 с.

22. Маркова Е.В., Чеботарева Н.Г. Методоориентированная система по планированию и анализу эксперимента ПЛАНЕКС // Приборы и системы управления. 1989.№1, с.7-9.

23. Математическая статистика /В.М. Иванов, В.Н. Калинин, Л.А. Неклумов и др.- М.: Высшая школа, 1981.-371 с.

24. Нечаев Ю.И. Искусственный интеллект: концепции и приложения. -Санкт-Петербург: ГМТУ. 2001.

25. Нечеткие множества в задачах управления и искусственного интеллекта / Под ред. Д.А.Поспелова -М.: Наука, 1986.

26. Новосельцев В.И. Системный анализ: современные концепции / изд. 2-е испр. и дополн. Воронеж: Кварта, 2003. 360 с.

27. Новосельцев В.И., Тарасов Б.В. и др. Логико-лингвистические модели в военных системных исследованиях. М.: Воениздат, 1988. 232 с.

28. Питер Джексон. Введение в экспертные системы — 3-е изд. — М.: «Вильяме, 2001. —С. 624

29. Поспелов Д.А. Ситуационное управление: теория и практика М.: Наука, 1986. 288 с.

30. Рыков A.C. Модели и методы системного анализа: принятие решений и оптимизация. М.: МИСИС, 2005. 552 с.

31. Рындин A.A., Хаустович A.B., Долгих Д.В., Мугалев А.И., Сапегин C.B. Проектирование корпоративных информационных систем. Воронеж: Кварта, 2003. 320 с.

32. Самков Е.Ю. Методы интегральной оценки качества крупномасштабных ИКС / В.В. Клочков, Е.Ю. Самков / Сб. научн. тр. Десятой науч.-практ. конф «Современные информационные технологии в управлении и образовании».-М: ФГУП НИИ «Восход», 2011. С. 104-107.

33. Самков Е.Ю. Модели машинного понимания входных текстов / Б.Е. Дёмин, В.И. Новосельцев, Е.Ю. Самков / Вестник Воронежского государственного технического университета, т.6, 33, 2010. С. 124-127.

34. Самков Е.Ю. Общая технология проектирования интеллектуальных баз знаний / Б.Е.Дёмин, Е.Ю. Самков / Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (80В'2009)». Воронеж: ВГАСУ, 2009. С. 6874.

35. Самков Е.Ю. Понятие интеллектуальной базы знаний / Сб. тр. Всеросс. научно-технич. конф. «Управление в системах организационного поведения». М: АтомТехноПром, 2010. С.95-97.

36. Самков ЕЛО. Представление знаний на основе ролевых фреймов / Б.Е.Дёмин, Е.Ю. Самков / Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (80В'2009)». Воронеж: ВГАСУ, 2009. С. 75-79.

37. Самков Е.Ю. Представление знаний с помощью концептуальных семантических сетей. / Сб. тр. первой Всеросс. научн.-техн. конф. «Системы организационного поведения (80В'2009)». Воронеж: ВГАСУ, 2009. С. 80-81.

38. Самков Е.Ю. Синтаксический анализ текстов с помощью аппарата нейронных сетей / Е.Ю. Самков / Вестник Воронежского государственного технического университета, т.2, №1, 2012. С. 104-105.

39. Самков ЕЛО., Сбоев A.A. Технология обезличивания и публикации текстов судебных документов в Интренет-портале ГАС «Правосудие» / Е.Ю.Самков,

40. A.А.Сбоев / Сб. тр. межрегион, научн.-технич. конф.«Проблемы управления в социальных и экономических системах». М: НГЖ «АтомТехноПром», 2010. С. 173174.

41. Силич М. П. Использование объектно-ориентированного подхода для формирования предложений на естественном языке // М. П. Силич // Научно-техническая информация. Сер. 2. Информационные процессы и системы. 2005. -№2.-С. 8-12.

42. Силич М. П. Инструментальный комплекс для создания экспертных систем, использующих модели функциональных отношений / М. П. Силич, Н.Ю. Ха-бибулина // Известия Томского политехнического университета. 2005. - Т. 308, № 2. - С. 149-152.

43. Системный анализ и его приложения: учебное пособие / С.А. Баркалов,

44. B.Н. Бурков, П.Н. Курочка, В.И. Новосельцев, В.В. Шульгин Воронеж: «Научная книга», 2008. - 439 с.

45. Сырцов В.А., Тарасов Б.В. Модели и механизмы конкурсного управления региональными проектами по охране окружающей среды. Воронеж: Научная книга, 2008. - 300 с.

46. Уинстон П. Искусственный интеллект. М.: Мир, 1980.

47. Уэно X., Исидзука М. Представление и использование знаний / Пер. с англ. М.: Наука, 1989. - 228 с.

48. Фаин B.C. Новые аспекты машинного понимания сообщений. Известия АН СССР. Техническая кибернетика, №5, 1990, С. 100-112.

49. Форсайт Р. Экспертные системы. М., Радио и связь, 1987. 224 с.

50. Франк Д. Семь грехов прагматики: тезисы о теории речевых актов, анализе речевого общения, лингвистике и риторике/ Зарубежная лингвистика.Н,— М.: Прогресс, 1999.

51. Химмельблау Д. Анализ процессов статистическими методами. М.: Мир, 1973.-957 с.

52. Хиршман И.И., Уиддер Д.В. Преобразования типа свертки. М.: ИЛ, 1958.-350 с.

53. Шенк Р. Обработка концептуальной информации М.: Энергия, 1990.

54. Яцук В.Я. Использование Я-фреймов и метода продукций при построении интеллектуальных систем принятия решений. В кн.: Материалы международного симпозиума по искусственному интеллекту. Л., 1982.

55. Яцук В.Я. Логико-алгебраический язык с привлечением А,-конверсий для представления знаний в сложных технических системах. В кн.: Интеллектуальные банки данных, 1982.

56. Church A. The calculi of À-conversion. Princeton, 1941.

57. Minsky M. A. Framework for Representing Knowledge, in The Psychology of Computer Vision, P.H. Winston (éd.), McGraw-Hill, 1975.

58. Proceedings of the Seventh International Joint Conference on Artificial Intelligence. Canada, 1981. - In two volumes.

59. Zadeh L. Fuzzy logic, neural networks and soft computing // Fuzzy sys-tems.v.37. №3.1994. p.p.77-84.348 c.