автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Модели интеллектуального анализа данных в предметно-ориентированной информационной системе

кандидата технических наук
Макаров, Михаил Михайлович
город
Пенза
год
2008
специальность ВАК РФ
05.13.17
Диссертация по информатике, вычислительной технике и управлению на тему «Модели интеллектуального анализа данных в предметно-ориентированной информационной системе»

Автореферат диссертации по теме "Модели интеллектуального анализа данных в предметно-ориентированной информационной системе"

г.>? , Росс /с*7г У^ *'4''''

На правах рукописи

□□3457463

МАКАРОВ Михаил Михайлович

МОДЕЛИ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ В ПРЕДМЕТНО-ОРИЕНТИРОВАННОЙ ИНФОРМАЦИОННОЙ СИСТЕМЕ

Специальности: 05.13.17 - Теоретические основы информатики; 05.13.11 - Математическое и программное

обеспечение вычислительных машнн, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

1 2 лгн 2Г>пп

ПЕНЗА 2008

003457463

Работа выполнена на кафедре «Вычислительная техника» государственного образовательного учреждения высшего профессионального образования «Пензенский государственный университет».

Научный руководитель - доктор технических наук, профессор

Вашкевич Николай Петрович. Научный консультант - кандидат технических наук, доцент

Зиикин Сергей Александрович. Официальные оппоненты: доктор технических наук, профессор

Ведущая организация - ОАО «НЛП "Рубин"», г. Пенза.

Защита диссертации состоится «23у> 2008 г., в часов,

на заседании диссертационного совета Д 212/186.01 в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет» по адресу: 440026, г. Пенза, ул. Красная, 40.

С диссертацией можно ознакомиться в библиотеке государственного образовательного учреждения высшего профессионального образования «Пензенский государственный университет», с авторефератом - на сайте: www.pnzgu.ru

Автореферат разослан «2£_» _ио_ л 2008 г.

Лебедев Виктор Борисович;

кандидат технических наук, доцент Пикулин Василий Васильевич.

Ученый секретарь диссертационного совета доктор технических наук, профессор

Гурии Е. И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время активно ведется научная работа в сфере создания интеллектуальных информационных систем (ИС) различного прикладного назначения. Специфика реализации предметно-ориентированных ИС состоит в том, что для конкретных сфер применения не существует четких алгоритмов формализации постановки и решения нетривиальных задач. Поэтому приоритетной целью в этой области является повышение степени интеллектуальной составляющей в проектировании и разработке ИС.

Для решения задачи создания интеллектуальных ИС анализа данных необходим комплекс математических методов и алгоритмов по формализации исходных данных и интеллектуального вывода. Построение интеллектуальных ИС является задачей первостепенной важности особенно в области медицины. Поэтому в данной диссертационной работе вопрос создания предметно-ориентированной ИС решается с уклоном на инфраструктуру лечебно-профилактического учреждения (ЛПУ). Компенсация недостатка исходных данных в этой области состоит в применении алгоритмов искусственного интеллекта, позволяющих максимально сгладить последствия возможных ошибок в анализе. Исследования в области применения прикладной информатики и искусственного интеллекта в медицине проводились и проводятся Edward Shortliffe (США, университет колледжа штата Аризона при Колумбийском университете, Феникс), Natasha F. Noy (США, университет в Стэнфорде, центр исследований биомедицинской информатики). В России этой проблеме посвящены работы П. О. Сафонова (ВГТУ, Воронеж), В. А. Нагина (МГИЭТ (ТУ), Москва) и др. Анализ этих работ показал, что необходимо проведение дальнейших исследований с целью повышения эффективности методов представления и управления знаниями о предметной области (ПО).

Создание моделей предметно-ориентированных интеллектуальных ИС для принятия решений в медицине является актуальной задачей, и данное диссертационное исследование направлено на ее решение.

Целью диссертационной работы являются исследование методик построения интеллектуальных ИС, научное обоснование, разработка алгоритмов моделей представления и аналитической обработки исходных данных на примере ИС «Электронная история болезни».

Для достижения поставленной цели решаются следующие задачи:

1 Анализ методик моделирования и построения интеллектуальных предметно-ориентированных ИС.

2 Разработка семантической и алгоритмической моделей интеллектуальной ИС для формализации процессов проектирования и разработки ИС «Электронная история болезни».

3 Разработка алгоритма и семантической модели для реализации системы поддержки принятая решения (СППР) молодым специалистом в выбранной ПО.

4 Разработка модели базы знаний (БЗ) СППР для решения задачи управления знаниями о ПО.

5 Разработка методики оценки необходимых вычислительных ресурсов для функционирования БЗ СППР.

Объектом исследования является информационная система для стационарного отделения ЛПУ.

Предмет исследования - семантические модели ИС «Электронная история болезни» и СППР «В помощь молодому специалисту».

Методологической основой диссертационной работы являются теория реляционных баз данных; теория объектно-ориентированного проектирования; теория исчисления предикатов высшего порядка, нечеткая логика, а также теория сетей фреймов.

Научная новизна работы:

1 Разработаны семантические модели для ИС и СППР, позволяющие получить новый формальный аппарат создания ИС в выбранной ПО.

2 Разработана и реализована новая методика представления знаний в иерархическом фрейме, позволяющая повысить гибкость представления исходных данных для логического вывода и снизить потребление вычислительных ресурсов.

3 Описана методика нечеткого вывода, использующая БЗ на основе иерархического фрейма, позволяющая ускорить процесс вывода за счет упрощения получения исходных посылок в сравнении с другими методиками.

4 Предложена методика оценки и сравнения потребления вычислительных ресурсов базой знаний СППР в сравнении с классической реализацией БЗ в виде продукций.

Достоверность результатов работы подтверждена в ходе использования результатов данной работы в реальной разработке ИС «Электронная история болезни».

Практическая ценность работы состоит в создании алгоритмического и программного обеспечения для ИС «Электронная история болезни», которая позволяет повысить эффективность решения задач сбора и анализа информации.

Реализация и внедрение результатов. Информационная система «Электронная история болезни» внедрена в Медицинском институте Пензенского государственного университета, а также в Областной больнице им. Н. Н. Бурденко.

На защиту выносятся:

1 Семантическая модель ИС «Электронная история болезни».

2 Семантическая модель для СППР.

3 Модель организации предметно-ориентированной БЗ.

4 Методика представления предметно-ориентированных знаний в иерархическом фрейме с возможностью формального представления исходных посылок в виде предикатных выражений произвольного порядка.

5 Методика оценки и сравнения потребления вычислительных ресурсов в семантической модели СППР.

Апробация работы. Основные результаты докладывались и обсуждались на международных научно-технических конференциях: «Новые информационные технологии и системы» (НИТИС) в Пензенском государственном университете в 2005 и 2006 гг., XXXIII Международной научно-технической конференции в Пензенском артиллерийском инженерном институте и Всероссийской конференции памяти А. Ф. Блинохватова в Пензенской государственной сельскохозяйственной академии (ПГСХА),

Публикации. По теме диссертации было опубликовано 10 печатных работ, в которых отражены основные результаты научной работы. Две статьи опубликованы в изданиях, рекомендованных ВАК.

Структура и объем работы. Диссертация содержит введение, четыре главы, список литературы и приложения. Объем работы: 119 страниц, 28 рисунков, 12 таблиц, 3 приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении отражены актуальность темы, цель и задачи диссертации, новизна и практическая ценность полученных результатов, структура диссертации и основные положения, выносимые на защиту.

В первой главе данной работы проводится обзор основных тенденций в сфере интеллектуальной обработки данных; анализируются методологии разработки интеллектуальных систем и современные системы сбора и анализа данных.

В ходе анализа были рассмотрены следующие элементы интеллектуального анализа и обработки данных:

- методики организации БЗ, включающие алгоритмы формализации исходных («сырых») данных, накопления и представления знаний о данной ПО;

- методики интеллектуального логического вывода, позволяющие применять сведения из БЗ для обработки «сырых данных» в предметно-ориентированных информационных системах.

Проведенный анализ позволил сделать вывод о том, что единого оптимального метода для решения поставленных задач не существует и модель должна быть построена на базе составной (гибридной) методики. Кроме того, необходимо проведение дальнейших исследований методик и алгоритмов интеллектуального анализа с целью повышения скорости вывода и экономии ресурсов хранения. Наиболее перспективной является модель с применением нечеткого вывода в предметно-ориентированной сфере. В силу особенностей выбранной ПО база знаний строится на основе иерархической фреймовой модели, а для формализации постановки задачи логического вывода используются предикаты произвольных порядков.

Вторая глава работы содержит описание семантического моделирования ИС «Электронная история болезни» и СППР «В помощь молодому специалисту», в ходе которого был решен ряд задач:

1 Проведено математическое моделирование ИС, включающее:

- разработку семантической модели ИС;

- разработку автоматной модели ИС.

2 Проведено моделирование СППР «В помощь молодому специалисту», включающее три подуровня:

- семантическое моделирование СППР;

формальное описание алгоритма логического вывода СППР;

- разработку автоматной модели СППР.

3 Разработана модель БЗ СППР для выбранной ПО.

Определим агентов и сущности модели ИС в виде семантической

сети (рисунок 1). В диаграмме представлены объекты внешней среды (агенты): «Пользователь» - молодой специалист, работающий с ИС, и «Эксперт» - профессионал в выбранной ПО. Сущность (внутренний объект) «ИС» представлена вместе с «СППР» - системой поддержки принятия решений; между ними существует связь по данным, обеспечивающая взаимодействие с агентами «Эксперт» и «Пользователь». Таблица 1 содержит кодировки названий основных объектов и связей модели ИС.

Рисунок 1 - Семантическая сеть ИС «Электронная история болезни»

Таблица 1 - Кодировка сущностей и связей семантической модели ИС «Электронная история болезни»

Сущность Конечное множество

«Пользователь» U = {иъи2,...,ип}

«ИС» S = fo}

«СППР» Е = {е,}

«Эксперт» P = {PhPl,~,Pl)

«Решение» D = {d\,d2>->dj}

«Пациент» О - {oho2,...,ot}

Предикатное обозначение связей в семантической сети ИС

«принимает» A(sop,dop)

«взаимодействует» In(sop,dop)

«содержит» С (sop, dop)

«сохраняет» Sv(sop, dop)

«влияет» If (sop, dop)

«лечит» Cr(sop,dop)

«контролирует» Ct(sop,dop)

Используя значения таблицы , можно формализовать основные

задачи и аксиомы семантической модели ИС. Задача агента «Пользователь»:

ЗигУо;Сг(нг-,ог) г Зщ1п(щ,1п{з\,е{)) д ЗоД^о,-) л , (1)

задача для сущности «Эксперт» описывается предикатным выражением:

Зр^1п(рие{) = 3й^п^^ехА)). (2)

Накопление знаний в СППР представимо формулой

^Р{МРье0 = Щ1п{еъ8у(ех^1)) . (3)

Для спецификации процесса решения той или иной задачи введен набор формальных аксиом вида (4), по которым строится логика взаимодействия агентов и объектов модели при поиске решения:

3 л \7'огЭм/-5'у(мг-,о;) —>

3;щ1п{иье\) л ->• 1/{иь^)\

3рХ^ре^л/и^!,^)^/«^,^); (4)

Э^-СЦ-, <?1) л Зрг- , ^ ) -> .//'(о,, ¿/¿);

З^ф^С^.ы,) = 1/{р1,с1д-Автоматная модель ИС описана моделью автомата Мура в виде графа и прямой таблицы переходов и выходов.

В семантической модели ИС была определена сущность «СППР», состав которой необходимо детализировать. Для этого введем формальное описание семантической модели СППР (рисунок 2).

Рисунок 2-Семантичсская сеть модели СППР «В помощь молодому специалисту»

Сущности «Постановка задачи», «Словарное сопоставление» и «Ввод условий» играют роль сопряжения агентов и внутренних объектов модели, обеспечивая логико-семантическую связь внешней среды и СППР. Эта связь представлена также сущностями «Интер-

претация», «Коррекция» и «Решение». Описание смысловой основы модели вводится сущностями «Логический вывод», «Знания», «Фаз-зификацш» и «Решение». Их основное назначение заключается в логическом связывании всех внутренних объектов модели СППР и формальной спецификации процесса решения задач, возлагаемых на СППР. Сущность «Дефаззификация» представляет процесс приведения к четкости результата.

Для семантической сети СППР введем обозначения множеств экземпляров всех сущностей и связей.

Таблица 2 - Кодировка сущностей и связей семантической модели СППР «В помощь молодому специалисту»_

Сущность Конечное множество

«Пользователь» 1/= {щ,и2,...,ип}

«Интерпретация»

«Ввод условий» С = {сьс2,...,с„}

«Постановка задачи» Е = {е ье2,...,еп}

«Эксперт» Р={РЪР2>->Р1}

«Решение»

«Словарное сопоставление» Т = {^,¿2,-Л)

«Фаззификация» II

«Логический вывод» Ь = {к)

«Дефаззификация» Я = {п)

«Коррекция» * II ¡Г

«Знания» В = {Ъ[,Ъъ-,ЪС1}

Предикатное обозначение связей в семантической сети СППР

«генерирует» Ог{$ор,йор)

«использует» и${иор,<1ор)

«видоизменяет» Мс1(яор,с1ор)

«исправляет» С1{хор,с1ор)

Используя обозначения таблицы 2, представим формальные задачи «Пользователя» и «Эксперта» соответственно:

\fui3ci¡Ог(и^с1, ) = 3(1ЗеП1ЗЬ2Зск ,,ет) л

л,ск))) л ,./[) л ЗЬ2,Ьг);

Зд-Зс/гО(/?„4) = 3 сДОг с;) л а(с„^)). (6)

Для решения задач агентов введем систему аксиом, позволяющих выстраивать вывод к целям (5) и (6):

з^ск/ь^) з^йл) л №(/,/) л а

Как видно из системы (7), аксиомы модели СППР обеспечивают исходные данные о связях сущностей и агентов, которые необходимы для обеспечения обмена данными и управляющими сигналами между компонентами реальных систем. Алгоритм модели СППР описан автоматом Мура в виде графа и прямой таблицы переходов.

Для описания поведения семантической модели СППР в работе разрабатывается формальное описание логического вывода. Введем отображение множества некоторых лингвистически выраженных фактов ПО F на их предикатные выражения Р:

(8)

В соответствии с (8) в качестве исходных посылок получим систему некоторых предикатных формул:

Ух1Зу1Р^2\хъу1) v 3/2(Р2(2)(Р3(2)) з Р3(2) ^ Р4(2)(/2))...-» ->Зд2У22в\2\д2,г2У, (9)

ЗхпЗупУдпР{п\хп,уп,дп) -> Зг^ л 3ЧпВ({\дп).

Примем систему (9) за предикатное описание исходных условий, которое включает и-местные предикаты произвольного порядка (в данном примере - второго). В правых частях каждого из имплика-тивных отношений стоят следствия, истинность которых была доказана или принята в данной ПО.

Построим матрицу выводов для (9), содержащую С« из правых

частей системы (9), 1 = 1,п , у = 1,2. В результате имеем вектор выводов:

2>® =

Д

0) (2)

(и)

(10)

где каждая из строк £>

описывает логические следствия каждой

из посылок.

Сущность «Решение» семантической модели СППР представима некоторым процессом, направленным на получение ¿-мерного вектора решений :

£>(«+1)=(£)("+1) . (И)

где к - конечное целое неотрицательное число, ^ 0, а

могут быть нулевыми, при условии к > 1.

Таким образом, с учетом (9), (10) и (11) задается система правил и цель нечеткого вывода:

Эх^ОсО л Ух^/^Схьл) Л... Эл^Р^,); \/х2Зу2Р^\х2,у2) v => Р3(2) = Р4(2)(Ь)) v... ->

-►з^ггЯр^г^г); (12)

Р„+1(Х,7,...,0 3гп^ф\п+1\гп+х) л... v 4"+1>(2„+1)), где Р(Х,У,...,()) - «-местный предикат, представляющий собой формулу или лингвистическое заключение, которое следует доказать в ходе логического вывода, в правой части правила показан вектор вида (11).

Анализ формальных алгоритмов логического вывода в нечетких системах показал, что главным отличием каждого из них является вид графика для функции принадлежности правой части исходных посылок. В случае если система (12) содержит предикатные лингвистические переменные в правых частях правил, то для описания

каждого из решений вводится лингвистическая переменная

вида:

(13)

где Л^ - имя лингвистической переменной; Т^ е - множество термов, принадлежащее универсальному множеству ; С?^ -

операции над термом-множеством - семантическая про-

цедура, генерирующая нечеткие переменные для термов, сгенерированных . При этом для каждого вектора решений верно:

(14)

С целью формализованного представления БЗ СППР введем описание фрейма:

F = (15)

где 5- множество слотов; Ь - множество связей; С - множество условий применимости; О - множество операций (действий) над фреймами.

Множество Б содержит четыре элемента-слота второго уровня: = «Пациент», = «Диагноз», = «Лечение», .у^ = «Препарат». Слоты , где / = 1,4, будем называть понятийными, поскольку они расположены в заголовке субфреймов, которые описывают четыре базовых понятия выбранной ПО.

Множество связей Ь представляет собой набор объектов, которые устанавливают отношения слотов по вертикали в каждом из субфреймов в ^ - от более «обобщенного» понятия к «детализированному». Любая /,■ е Ь связывает пару слотов (я*,^.^) е Б, т. е. в общем виде:

Каждое условие применимости сд. е С, устанавливаемое для слота я^р е , описывается логическими выражениями на языке исчисления предикатов.

Для добавления и изменения знаний, представленных во фрейме вида (15), вводится несколько операций и действий, представляемых множеством О. Состав лингвистических значений множества О показан в выражении:

добавление _ слота ","добавление связи

0 =

" добавление условия применимости ", "изменение __ значения _ слота", "изменения ^условия _ применимости

(17)

"изменение связи ", "удаление связи ", " удаление _слота ", "сопоставление " Обозначим операции добавления слота за A(sop,dop), удаления слота/связи/условия применимости - D(op), изменения связи/условия применимости/слота - М{ор), где sop , dop - операнды источника и назначения (для двухместных операций), ор - обозначение операнда для одноместной операции. В случае добавления слота роль sop играет некоторый слот е S, под который присоединяется новый Sj. Операции изменения и удаления имеют по одному операнду (операнд назначения), на месте которого могут стоять элементы множеств S, L или С . Добавление слота st, связи /,• и условия применимости с(- можно определить как A(si,), Д/г-,.уг) и A(chSi) соответственно. При удалении все слоты, для которых уровень вложенности относительно ^о выше, также удаляются.

Во избежание нежелательных затрат ресурсов предлагается способ и-мерного связывания слотов во фрейме БЗ. Суть его

заключается в том, что последовательность слотов sjjP, s^, л^3'1 и 44) (где m,k,l,h пробегают значения 1 ,п) некоторого фрейма

/] е Т7 объединяется некоторой сетью подобия тогда и только тогда, если каждое условие применимости с,-, г = 1, п имеет в своем составе общие предикатные последовательности.

Любая сеть подобия представима в виде матрицы, элементами которой являются индексы (номера) сетей:

с\ с2 - сп

Л /2

хц х12 Х2\ х2{

/п хп\ хп2

х2п

(18)

где Ху - признак принадлежности условия применимости с^ субфрейму /у е Р, г, У е 1,«.

В третьей главе предложена методика проверки результатов, полученных в ходе семантического моделирования ИС и СППР. Для экспериментального обоснования эффективности построенных моделей необходимо решить следующие задачи:

- разработать архитектуру стенда и алгоритм для решения задач моделирования;

- предложить метод оценки параметров потребления моделью БЗ СППР вычислительных ресурсов (время обработки и объем расходуемой памяти).

Архитектуру стенда и алгоритм моделирования можно представить в виде диаграмм прецедентов и последовательности (рисунки 3 и 4 соответственно). На рисунке 3 представлено пять сущностей: «Постановка задачи 1», «Постановка задачи 2», «Постановка задачи 3», «ХМЬ-фрейм», «Результат работы». Диаграмма определяет действия в ходе сбора результатов для сравнения.

Последовательность работы стенда описана диаграммой последовательностей на рисунке 4. Для каждой из тестируемых моделей организации СППР необходима разработка отдельного шаблона, который описывает структуру и принцип организации БЗ СППР. Объект «ХМЬ-документ» содержит тестовые данные, которые ана-

лизируются объектом «Программа». Результаты моделирования сохраняются в объекте «Файл результатов».

Рисунок 3 - Диаграмма Use Case стенда для моделирования БЗ СППР "Запуск";

Пользователь

"Запрос данных" 1

¡Шаблон Хм£| ] Файл результатов] I I

"Запрос сведений о разметке" ]

"Возврат данных"

"Возврат" "Фиксирование результатов"

I

Ж

Рисунок 4 - Диаграмма последовательности стенда для моделирования БЗ СППР

При оценке быстродействия необходимо учесть, что одной из наиболее частых операций во фрейме является сопоставление по образцу, когда некоторый набор данных накладывается на БЗ. В этом случае скорость работы БЗ определяется преимущественно скоростью операции считывания знаний. Для оценки времени чтения и добавления знаний введем два параметра: Тч - среднее время чтения знаний из фрейма; Тл - среднее время добавления факта во фрейм. Для вычисления Тч определим формулу:

Ь(

T4=^— + tc, (19)

п

где tf - время доступа к слоту /-го уровня вложенности, i = \,n; tc - время, затрачиваемое на словарное сопоставление. Тогда формула оценки Тд будет выглядеть следующим образом:

h?

+ (20) где / - порядок предикатного выражения условия применимости для добавляемого факта; tf - время доступа к i -й продукции БЗ; i3an -

время записи данных в слот. В предельном случае, когда п = /, справедливо следующее равенство:

ТЧ=ТЛ-^. (21)

Обозначим t{ и tf в виде т/0С1уп и 7^ступ соответственно. Тогда оценка времени доступа Т^оступ для фреймовой (п = 2) модели

может быть представлена как сумма математических ожиданий для слотов 1 -го и 2-го уровней иерархии:

4¡суп = 5> xipftf) + (22)

/=I j=n-k+1

^доступ ~ + Ч ■

В случае с продукционной моделью время 7доСТуП определяется

как математическое ожидание равномерного дискретного распределения значений времени доступа к ] -й продукции в БЗ

N

(23) /=1

где ру - вероятность обращения к у -й продукции за время tj ; -

время декодирования предикатных посылок в каждой продукции.

Для оценки объема, занимаемого БЗ на основе фреймовой модели, введем значение отношения объема продукционной и фреймовой баз с одинаковыми наборами знаний:

гр

(24)

где Ур - объем множества продукций БЗ; Гу - объем, занимаемый

множеством слотов. Экспериментальное значение отношения Ку и

Ур приводится в таблице 3 для семантически равнозначных БЗ на

основе фреймовой и продукционной моделей. На основании этих результатов можно утверждать, что продукционная модель не будет уступать по эффективности только в случае, если начальные условия логического вывода полностью совпадут с набором предикатов в условной части продукции.

Количество диагнозов (количество составных подвидов) Объем БЗ СППР, Кб Объем БЗ в виде продукций, Кб Процент экономии

5(4) 1 180 1 255 6

8(8) 1 459 1 704 17

11(8) 2 575 2 813 9

Среднее значение 10,3

Результаты экспериментальной проверки времени доступа к слоту приведены в таблице 4. Использовалась фреймовая БЗ, состоящая из 11 записей, с целью показать повышение эффективности в случае представления знаний в виде иерархического фрейма.

Таблица 4 - Оценка времени сопоставления по образцу в БЗ СППР в сравнении с БЗ на основе продукций__

Количество Время для Время для про- Соотношение (U)

диагнозов модели БЗ дукционной моде-

(количество СППР, ед. ли, ед. времени

составных подвидов) времени

П(8) 19,86 22,599 1,14

Таким образом, скорость вывода для БЗ СППР из 11 записей может превышать на 14 % скорость вывода в продукционной базе такого же объема. Используемый в БЗ набор диагнозов содержит 8 записей, представляющих собой уточнения общих диагнозов (например, несколько видов холецистита).

В четвертой главе производится функциональное моделирование и проектирование объектной модели ИС «Электронная история болезни» и модуля СППР «В помощь молодому специалисту». В качестве языка выбран унифицированный язык моделирования (Unified Modeling Language, UML), поскольку наряду с наглядностью он обладает широкими выразительными возможностями описания объектно-ориентированных систем.

На рисунке 5 показан актер «Пользователь», а функциональные возможности представлены в виде прецедентов фрейма «Клиентское приложение для базы данных "Электронная история болезни"».

Рисунок 5 - Диаграмма прецедентов (Use Case) для БД «Электронная история болезни»

Для проектирования модуля СППР вводится UML-описание, представленное на рисунке б в виде диаграммы Use Case.

Рисунок 6 - Диаграмма прецедентов (Use Case) модуля СППР «В помощь молодому специалисту»

Пользователями модуля являются несколько внешних актеров: «Молодой специалист», «Эксперт-администратор» и «ИС». Для организации нечеткого вывода в модель вводятся прецеденты, изображенные в составе фрейма «СППР "В помощь молодому специалисту"». Взаимодействие прецедентов описано семантическими сетями ИС и СППР.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1 Построена формальная модель ИС «Электронная история болезни», которая позволяет учесть семантику взаимодействия объектов ИС с позиций решения прикладных задач специалистами в выбранной ПО.

2 Построена семантическая модель СППР, которая позволяет организовать логический вывод, требующий меньшего потребления ресурсов хранения данных и процессорного времени.

3 Разработана модель организации БЗ, которая позволяет описывать знания системы с применением предикатных выражений любых порядков. Использование такого описания упрощает реализацию сбора и хранения знаний, а также позволяет ускорить нечеткий вывод на этапе составления исходных посылок.

4 Предложена методика оценки параметров предметно-ориентированной БЗ СППР, в сравнении с базой знаний продукционного типа.

5 Методика применения предикатного представления знаний во фреймах может быть использована и в других ПО, где знания представляют собой большие классификации объектов и понятий ПО.

6 На основании полученных результатов оценки предметно-ориентированной БЗ, было показано, что целесообразна минимизация времени записи в слот, позволяющая выравнять время выполнения основных операций с БЗ с наименьшими потерями времени; предложенная реализация БЗ СППР позволяет сэкономить до 17 % ресурсов хранения, и ускорить логический вывод на 14 %.

7 Спроектирована, реализована и внедрена ИС «Электронная история болезни», позволяющая организовать совместный доступ к данным о пациентах стационарного отделения с 15 рабочих мест.

Прикладная реализация ИС выполнена в модульной архитектуре на основе объектно-ориентированной парадигмы. Это позволяет расширять и дополнять функциональность приложения в соответствии с требованиями различных ЛПУ.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных ВАК

1 Макаров, М. М. Методика интеллектуального анализа в системах поддержки принятия решений / М. М. Макаров // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2008. - № 1. -С. 53-61.

2 Макаров, М. М. Применение методологии и принципов нечеткой логики в информационной системе «Электронная история болезни» / Н. П. Вашкевич, С. А. Зинкин, М. М. Макаров // Вопросы радиоэлектроники. - 2007. - Вып. 2. - С. 5-14.

Публикации в других изданиях

3 Макаров, М. М. Архитектура «клиент-сервер» для моделирования вероятностных автоматов / М. М. Макаров // Юбилейные X Туполевские чтения: тез. докл. - Казань, 2002. - С. 24.

4 Макаров, М. М. Построение систем искусственного интеллекта на основе перспективных Java-технологий для применения при антикризисном управлении / М. М. Макаров // Антикризисное управление в России в современных условиях: тез, докл. V Всерос. молодежной науч.-практ. конф. - М.: МГТУ им. Н. Э. Баумана, 2003. - С. 215- 216.

5 Макаров, М. М. Виртуальный массив хранения данных / М. М. Макаров // Актуальные проблемы современной науки. Естественные науки. Информатика, вычислительная техника и управление : тр. 5-й Меж-дунар. конф. молодых ученых и студентов. - Самара: СамГТУ, 2004. -Ч. 18-6.-С. 6-7.

6 Макаров, М. М. Использование интеллектуального анализа данных для повышения эффективности использования информации в реляционных базах данных / С. А. Зинкин, М. М. Макаров, А. В. Нестеров // XXXIII Меж-вуз. Междунар. науч.-техн. конф. ПАИИ : сб. науч. тр. - Пенза, 2005. -С. 355.

7 Макаров, М. М. Интеллектуальный анализ данных в информационной системе «Электронная история болезни» / С. А. Зинкин, М. М. Макаров, А. В. Нестеров // Всерос. науч.-практ. конф., посвященная памяти профессора А. Ф. Блинохватова: сб. материалов конф. - Пенза, 2005. - С. 120-121.

8 Макаров, М. М. Анализ данных в информационной системе «Электронная история болезни» /М. М. Макаров // Современная методологическая основа совершенствования подготовки военных инженеров : науч.-метод. сб. № 34 (по материалам 47-й науч.-метод, конф. институт^. - Пенза, 2006.-С. 237-240.

9 Макаров, М. М. Обеспечение безопасности хранения и обмена информацией в системах В2В / М. М. Макаров // Реформы в России и проблемы управления : материалы 17-й Всерос. науч. конф. молодых ученых и студентов. - Вып. 1. - М.: ГУУ, 2002. - С. 277.

10 Макаров, М. М. Применение технологии Java-servlets в Internet-банкинге /М. М. Макаров // Реформы в России и проблемы управления : материалы 18-й Всерос. науч. конф. молодых ученых и студентов. - Вып. 2. -М.: ГУУ, 2003. - С. 50-51.

Макаров Михаил Михайлович

Модели интеллектуального анализа данных в предметно-ориентированной информационной системе

Специальности: 05.13.17 - Теоретические основы информатики; 05.13.11 - Математическое и программное

обеспечение вычислительных машин, комплексов и компьютерных сетей

Редактор О. Ю. Ещина Технический редактор Н. А. Въялкоеа

Корректор Ж. А. Лубенцоеа Компьютерная верстка М. Б. Жучковой

ИД №06494 от 26.12.01

Сдано в производство 25.11.2008. Формат 60x84^/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1,16. Заказ № 689. Тираж 100.

Издательство Пензенского государственного университета. 440026, Пенза, Красная, 40.

Оглавление автор диссертации — кандидата технических наук Макаров, Михаил Михайлович

Введение.

Глава 1. Анализ формальных методик построения интеллектуальных систем

1.1. Общие положения об интеллектуальных системах.

1.2. Обзор основных методологий интеллектуального анализа.

1.2.1. Метод, основанный на алгоритме Байеса.

1.2.2. Метод Шортлиффа.

1.2.3. Редукционные модели.

1.2.4. Исчисление предикатов.

1.2.5. Нечеткий вывод.

1.2.6. Генетические алгоритмы.

1.2.7. Нейронные сети.

1.3. Анализ методов представления знаний.

1.3.1. Продукционная модель.

1.3.2. Предикатные модели.

1.3.4. Модели на основе нечеткой логики.

1.3.5. Семантические сети.

1.3.6. Сети фреймов.

1.4. Сравнение методик построения интеллектуальных систем.

1.5. Выводы по главе 1.

Глава 2. Проектирование формальных моделей ИС «Электронная история болезни» и СППР «В помощь молодому специалисту».

2.1. Постановка задачи.

2.2. Разработка математической модели ИС.

2.2.1. Семантическое моделирование объектов ИС.

2.2.2. Автоматная модель ИС.

2.3. Разработка математической модели СППР.

2.3.1. Семантическое моделирование СППР.

2.3.2. Автоматная модель СППР.

2.3.3. Формальное описание математической модели логического вывода в СППР.

2.4. Разработка фреймовой модели схемы БЗ.

2.5. Выводы по главе 2.

Глава 3. Оценка результатов семантического моделирования ИС и СППР.

3.1. Выбор методики моделирования.

3.2. Архитектура имитационной модели.

3.3. Алгоритм имитационной модели БЗ СППР ИС «Электронная история болезни».

3.4. Описание методики имитационного моделирования.

3.6. Оценка результатов и основные выводы.

Глава 4. Функционально-алгоритмическое проектирование моделей ИС «Электронная история болезни» и СППР «В помощь молодому специалисту»

4.1. Постановка задачи.

4.2. Разработка функциональной модели ИС на языке UML.

4.3. Диаграммы функциональной модели модуля СППР.

4.4. Функциональное моделирование источников данных.

4.4.1. База данных ИС «Электронная история болезни».

4.4.2. База знаний и словарь модуля СППР «В помощь молодому специалисту».

4.5. Выводы по главе 4.

Введение 2008 год, диссертация по информатике, вычислительной технике и управлению, Макаров, Михаил Михайлович

Актуальность темы. В настоящее время активно ведется научная работа в сфере создания интеллектуальных информационных систем (ИС) различного прикладного назначения. Специфика реализации предметно-ориентированных ИС состоит в том, что для конкретных сфер применения не существует четких алгоритмов формализации постановки и решения нетривиальных задач. Поэтому приоритетной целью в этой области является повышение степени интеллектуальной составляющей в проектировании и разработке ИС.

Для решения задачи создания интеллектуальных ИС анализа данных необходим комплекс математических методов и алгоритмов по формализации исходных данных и интеллектуального вывода. Построение интеллектуальных ИС является задачей первостепенной важности особенно в области медицины. Поэтому в данной диссертационной работе вопрос создания предметно-ориентированной ИС решается с уклоном на инфраструктуру лечебно-профилактического учреждения (ЛПУ). Компенсация недостатка исходных данных в этой области состоит в применении алгоритмов искусственного интеллекта, позволяющих максимально сгладить последствия возможных ошибок в анализе. Исследования в области применения прикладной информатики и искусственного интеллекта в медицине проводились и проводятся Edward Shortliffe (США, университет колледжа штата Аризона при Колумбийском университете, Феникс), Natasha F. Noy (США, университет в Стэнфорде, центр исследований биомедицинской информатики). В России этой проблеме посвящены работы П. О. Сафонова (ВГТУ, Воронеж), В. А. Нагина (МГИЭТ(ТУ), Москва) и др. Анализ этих работ показал, что необходимо проведение дальнейших исследований с целью повышения эффективности методов представления и управления знаниями о предметной области (ПО).

Создание моделей предметно-ориентированных интеллектуальных ИС для принятия решений в медицине является актуальной задачей, и данное диссертационное исследование направлено на ее решение.

Целью диссертационной работы являются исследование методик построения интеллектуальных ИС, научное обоснование, разработка алгоритмов моделей представления и аналитической обработки исходных данных на примере ИС «Электронная история болезни».

Для достижения поставленной цели решаются следующие задачи:

1. Анализ методик моделирования и построения интеллектуальных предметно-ориентированных ИС.

2. Разработка семантической и алгоритмической моделей' интеллектуальной ИС для формализации процессов проектирования и разработки ИС «Электронная история болезни».

3. Разработка алгоритма и семантической модели для реализации системы поддержки принятия решения (СППР) молодым специалистом в выбранной ПО.

4. Разработка модели базы знаний (БЗ) СППР для решения задачи управления знаниями о ПО.

5. Разработка методики оценки необходимых вычислительных ресурсов для функционирования БЗ СППР.

Объектом исследования является информационная система для стационарного отделения ЛПУ.

Предмет исследования - семантические модели ИС «Электронная история болезни» и СППР «В помощь молодому специалисту».

Методологической основой диссертационной работы являются: теория реляционных баз данных; теория объектно-ориентированного проектирования; теория исчисления предикатов, нечеткая логика, а также теория сетей фреймов.

Научная новизна работы:

1. Разработаны семантические модели для ИС и СППР, позволяющие получить новый формальный аппарат создания ИС в выбранной ПО.

2. Разработана и реализована новая методика представления знаний в иерархическом фрейме, позволяющая повысить гибкость представления исходных данных для логического вывода и снизить потребление вычислительных ресурсов.

3. Описана методика нечеткого вывода, использующая БЗ на основе иерархического фрейма, позволяющая ускорить процесс вывода за счет упрощения получения исходных посылок в сравнении с другими методиками.

4. Предложена методика оценки и сравнения потребления вычислительных ресурсов базой знаний СППР в сравнении с классической реализацией БЗ в виде продукций.

Достоверность результатов работы подтверждена в ходе использования результатов данной работы в реальной разработке ИС «Электронная история болезни».

Практическая ценность работы состоит в создании алгоритмического и программного обеспечения для ИС «Электронная история болезни», которая позволяет повысить эффективность решения задач сбора и анализа информации.

Реализация и внедрение результатов. Информационная система «Электронная история болезни» внедрена в Медицинском институте Пензенского государственного университета, а также в Областной больнице им. Н. Н. Бурденко.

На защиту выносятся:

1. Семантическая модель ИС «Электронная история болезни».

2. Семантическая модель для СППР.

3. Модель организации предметно-ориентированной БЗ.

4. Методика представления предметно-ориентированных знаний в иерархическом фрейме с возможностью формального представления исходных посылок в виде предикатных выражений произвольного порядка.

5. Методика оценки и сравнения потребления вычислительных ресурсов в семантической модели СППР.

Апробация работы. Основные результаты докладывались и обсуждались на международных научно-технических конференциях: «Новые информационные технологии и системы» (НИТИС) в Пензенском государственном университете в 2005 и 2006 гг., на XXXIII Международной научно-технической конференции в Пензенском артиллерийском инженерном институте и Всероссийской конференции памяти А. Ф. Блинохватова в Пензенской государственной сельскохозяйственной академии (ПГСХА) в 2005 году.

Публикации. По теме диссертации было опубликовано 10 печатных работ, в которых отражены основные результаты научной работы. Две статьи опубликованы в изданиях, рекомендованных ВАК.

Структура и объем работы. Диссертация содержит введение, четыре главы, список литературы и приложения.

Заключение диссертация на тему "Модели интеллектуального анализа данных в предметно-ориентированной информационной системе"

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Построена формальная модель ИС «Электронная история болезни», которая позволяет учесть семантику взаимодействия объектов ИС с позиций решения прикладных задач специалистами в выбранной ПО.

2. Построена семантическая модель СППР, которая позволяет организовать логический вывод, требующий меньшего потребления ресурсов хранения данных и процессорного времени.

3. Разработана модель организации БЗ, которая позволяет описывать знания системы с применением предикатных выражений любых порядков. Использование такого описания упрощает реализацию сбора и хранения знаний, а также позволяет ускорить нечеткий вывод на этапе составления исходных посылок.

4. Предложена методика оценки параметров предметно-ориентированной БЗ СППР, в сравнении с базой знаний продукционного типа.

5. Методика применения предикатного представления знаний во фреймах может быть использована и в других ПО, где знания представляют собой большие классификации объектов и понятий ПО.

6. На основании полученных результатов оценки предметно-ориентированной БЗ, было показано, что целесообразна минимизация времени записи в слот, позволяющая выровнять время выполнения основных операций с БЗ с наименьшими потерями времени; предложенная реализация БЗ СППР позволяет сэкономить до 17 % ресурсов хранения, и ускорить логический вывод на 14 %.

7. Спроектирована, реализована и внедрена ИС «Электронная история болезни», позволяющая организовать совместный доступ к данным о пациентах стационарного отделения с 15 рабочих мест. Акты,

110 подтверждающие внедрение ИС «Электронная история болезни» представлены в приложении В.

Прикладная реализация ИС выполнена в модульной архитектуре на основе объектно-ориентированной парадигмы. Это позволяет расширять и дополнять функциональность приложения в соответствии с требованиями различных ЛИ У.

ЗАКЛЮЧЕНИЕ

В ходе теоретических и экспериментальных исследований, выполненных в диссертационной работе, получены следующие научные и практические результаты:

Библиография Макаров, Михаил Михайлович, диссертация по теме Теоретические основы информатики

1. Кузин J1.T. Основы кибернетики: В 2-х т. Т.2. Основы кибернетических моделей. Учеб. Пособие для вузов. - М.: Энергия, 1979. - 584 с.

2. Джексон П. Введение в экспертные системы.: Пер. с англ. : Учебное пособие М.: Издательский дом "Вильяме", 2001. - 624 с.

3. Перспективы развития вычислительной техники: В 11 кн.: Справ, пособие / Под ред. Ю.М. Смирнова. Е.С. Кузин, А.И. Ройтман, И.Б. Фоминых, Г.К. Хахалин. -М.: Высш. шк., 1989. 159 с. (новый номер -8)

4. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.-388с.

5. Д.А. Поспелов. Интеллектуальные интерфейсы для ЭВМ новых поколений. //Электронная вычислительная техника. Сборник статей./ Под ред. В.В. Пржияловского. М.: Радио и связь, 1989. - Выпуск 3 -С. 4 - 18.

6. Башлыков А.А. Проектирование систем принятия решений в энергетике. -М.: Энергоатомиздат, 1986. 120 с.

7. Ивашина И.В. Информационная система поддержки профориентации в инженерном образовании / Ивашина И.В., Рудакова Г.М.// Наука и образование. Электроннное научно-техническое издание. 2007. - №1

8. Перспективы развития вычислительной техники: В 11 кн.: Справ, пособие / Под ред. Ю.М. Смирнова. Е.С. Кузин, А.И. Ройтман, И.Б. Фоминых, Г.К. Хахалин. -М.: Высш. шк., 1989. 159 с.

9. Целищев В.В. Язык математики и цели математического дискурса // Философия науки.-2003.-№ 1(16)-С. 18-45.

10. Ю.Такеути Г. Теория доказательств. Пер. с англ. Соболева С. К. под ред. Адяна С.И. М.: Мир, 1978 412 с.

11. П.Блюмин СЛ. Шуйкова И.А. Введение в математические методы принятия решений. Липецк.: Липецкий Государственный Педагогический Институт, 1999 100 с.

12. Гаврилова Т.А. Хорошевский, В.Ф. Базы знаний интеллектуальных систем. Учебник. СПб.: Питер, 2000. - 384 с.

13. Заде Л., Белман Р. Вопросы анализа и процедуры принятия решений./Сборник переводов //под ред. к.ф-м.н И.Ф. Шахнова. М.: Мир, 1976-С. 173-191.

14. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети: Учебное пособие. М.: Издательство Физико-математической литературы, 2001. — 224 с.

15. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000 352 с.

16. Барсегян А. и др. Методы и модели анализа данных: OLAP и Data Mining. СПб.: БХВ, 2004. - 336 с.

17. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского. М.: Горячая линия - Телеком, 2006. - 452 с.

18. Успенский В.А., Верещагин Н.К., Плиско В.Е. Вводный курс математической логики. 2-е изд. - М.: ФИЗМАТЛИТ, 2004. - 128 с.

19. Маркин В.И. Логика предикатов. «Новая философская энциклопедия», в 4-х томах, т.2. М.: Мысль, 2000 С. 285-287.

20. Новиков Ф.А. Дискретная математика для программистов. СПб: Питер, 2000. - 304 с.

21. Лихтарников Л.М., Сукачева Т.Г. Математическая логика. Курс лекций. Задачник-практикум и решения. Серия «Учебники для вузов.

22. Специальная литература.» / Оформление обложки C.JI. Шапиро, А.А. Олексенко. СПб.: Издательство «Лань», 1999 - 288 с.

23. Карпенко А.С. // Logical Studies (Online Journal). 2000. - № 5. - P. 1-50

24. Слейгл Дж. Искусственный интеллект. М.: Мир, 1973. 320 с.

25. БатыршинИ.З. Основные операции нечеткой логики и их обобщения. -Казань: Отечество, 2001. 100с.

26. Заде Л. Математика сегодня (сборник статей). Основы нового подхода к анализу сложных систем и процессов принятия решений. М.: Знание, 1974-с. 549.

27. Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости. М. Диалог-МГУ, 1998

28. О.Поспелов Д. А. Логико-лингвистические модели в системах управления. М.: Энергоатомиздат, 1981 -232 с.

29. Аверкин А.Н. и др. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А. Поспелова. М.: Наука, 1986.-312 с.

30. Асаи К., Ватада Д., Иваи С. и др.; под ред. Тэрано Т., Асаи К., Сугэно М. Прикладные нечеткие системы: Пер. с япон. М.: Мир, 1993. - 368 с.

31. Захарова Л.Е. Алгоритмы дискретной математики: Уебное пособие. -М.: Московский институт электроники и математики, 2002. 120 с.

32. Кристофидес Н. Теория графов. Алгоритмический подход. /Пер. с англ. 2-е изд. М.: Мир, 1978. - 429 с.

33. Мишенин А.И. Теория экономических информационных систем: Учебник. 4-е изд., доп. и перераб. - М,: Финансы и статистика, 2002.- 240 с.

34. Ершов E.JL, Палютин Е.А. Математическая логика: Учеб. пособие для вузов. 2-е изд., испр. и доп. - М.: Наука. Гл. ред. физ.-мат. лит., 1987. -366 с.

35. Кесс Ю.Ю. Анализ и синтез фреймовый моделей АСУ. М.: Энергоатомиздат, 1986 - 168 с.

36. Fifth International Joint Conference on Artificial Intelligence. Proceedings of the Conference, v. 1, 2 MIT, Cambridge, Massachussets, USA, 1977.

37. Bobrow D.G., Kaplan R.M., Kay M., Norman, D.A., Thompson, H., Winograd, T. GUS, a frame driven dialog system. Artificial Intelligence, 1977, v. 8, №2, p. 612-629.

38. Kurt Zeilenga, Richard Krukar, etc. Электронный ресурс.: OpenLDAP home page / OpenLDAP Community Электрон, дан. - Minden NV,USA- 2007. Режим доступа: www.openldap.org, свободный. Яз. англ.

39. Zeilenga Ed К. Lightweight Directory Access Protocol (LDAP) Электронный ресурс.: RFC 4510 / OpenLDAP Foundation. Электрон, дан. - Minden NV,USA - 2006. Режим доступа: http://www.rfcs.org, свободный. - Яз. англ.

40. Майоров С.А., Новиков Г.И. Принципы организации цифровых машин. Л., «Машиностроение» (Ленингр. отд-ние), 1974., 432 с.

41. Вашкевич Н.П., Сергеев, Н.П. Основы вычислительной техники. М.: Высшая школа, 1988. 311с.

42. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику. Сообщество пользователей Matlab и Simulink. Режим доступа: http//matlab.exponenta.ru, свободный. Заглавие с экрана. - Яз. рус,

43. Мински М. Фреймы для представления знаний. М.: Энергетика, 1979. — 151 с.

44. Кох Д, Дэвидсон, К. XML. Огромные возможности и легкость изучения; пер. с англ. Чайкина А.И. М.: НТ Пресс, 2007. - 256с.

45. Бенькович Е. С., Колесов Ю. Б., Сениченков Ю. Б. Практическое моделирование динамических систем — СПб.: БХВ-Петербург, 2002. -464 с.

46. Буч Г., Рамбо Дж., Джекобсон А. Язык UML. Руководство пользователя- М.: ДМК, 2000. 432 с.

47. Леоненков А. Самоучитель UML. СПб.: БХВ-Петербург, 2001. 304 с.

48. Мацяшек, Лешек А. Анализ требований и проектирование систем. Разработка информационных систем с использованием UML. : Пер. с англ. — М. : Издательский дом "Вильяме", 2002. 432 с.

49. Хорев П.Б. Методы и средства защиты в компьютерных системах. -Ярославль: Академия, 2005. 256 с.

50. Rivest R. The MD5 Message-Digest algorithm. RFC 1321. Электронный ресурс.: MIT Laboratory for Computer Science and RSA Data Security Inc. Электрон, дан. - Bedford MA, USA - 1992. Режим доступа: http://www.rfcs.org, свободный. - Яз. англ.

51. Маклаков С.В. BPWin и ERWin. CASE-средства разработки информационных систем. М.: Диалог-МИФИ, 1999. 256 с.

52. Дейт К. Дж. Введение в системы баз знаний, 7-е издание.: Пер с англ. -М.: Издательский дом «Вильяме», 2001. 1072 с.

53. Гладков М., Шибанов С.В. Сложные структуры в реляционных базах данных Электронный ресурс.: «Открытые системы» №2 , 2004. Режим доступа: http://www.osp.ru/os/2004/02/183939/, свободный.

54. Пушников А.Ю. Введение в системы управления базами данных. Часть 2. Нормальные формы отношений и транзакции: Учебное пособие / Изд-во Башкирского ун-та. Уфа: 1999. 138 с.

55. Хант Э. Искусственный интеллект. М.: Мир, 1978. 558 с.

56. Фридл Дж. Регулярные выражения. Библиотека программиста. СПб., Питер - 352 с.

57. Microsoft Corporation. Проектирование и реализация баз данных Microsoft SQL Server 2000. Учебный курс MCAD\MCSE,MCDBA / Пер. с англ. 2-е изд., испр. - М.: Издательско-торговый дом «Русская редакция», 2003. — 512 с.

58. Артемов Д.В. Microsoft SQL Server. Новейшие технологии. М.: Издательско-торговый дом «Русская редакция», 2001. - 576 с.

59. Уэйт М., Прата С., Мартин, Д. Язык Си. Руководство для начинающих: пер. с англ.,М.: Мир, 1988 512 с.

60. Подбельский В.В. Язык Си ++. Учеб. Пособие. 5 изд.М.: Финансы и статистика, 1998 — 560 с.

61. Лафоре Р. Объектно-ориентированное программирование на Си++. СПб.: Питер, 2006. 928 с.

62. Макаров, М. М. Методика интеллектуального анализа в системах поддержки принятия решений / М. М. Макаров // Известия высших учебных заведений. Поволжский регион. Технические науки. 2008. -№ 1. - С. 53-61.

63. Макаров, М. М. Применение методологии и принципов нечеткой логики в информационной системе «Электронная история болезни» / Н. П. Вашкевич, С. А. Зинкин, М. М. Макаров // Вопросы радиоэлектроники. — 2007. Вып. 2. - С. 5-14.

64. Макаров, М. М. Архитектура «клиент-сервер» для моделирования вероятностных автоматов / М. М. Макаров // Юбилейные X Туполевские чтения : тез. докл. Казань, 2002. — С. 24.

65. Макаров, М. М. Виртуальный массив хранения данных /

66. М. М. Макаров // Актуальные проблемы современной науки. Естественные науки. Информатика, вычислительная техника и управление : тр. 5-й Междунар. конф. молодых ученых и студентов. -Самара : СамГТУ, 2004. Ч. 18-6. - С. 6-7.

67. Макаров, М. М. Обеспечение безопасности хранения и обмена информацией в системах В2В / М. М. Макаров // Реформы в России и проблемы управления : материалы 17-й Всерос. науч. конф. молодых ученых и студентов. Вып. 1. - М.: ГУУ, 2002. - С. 277.

68. Макаров, М. М. Применение технологии Java-servlets в Internet-банкинге / М. М. Макаров // Реформы в России и проблемы управления : материалы 18-й Всерос. науч. конф. молодых ученых и студентов. -Вып. 2. -М. : ГУУ, 2003. С. 50-51.