автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка моделей, методов и средств решения комплекса задач управления персоналом

кандидата технических наук
Сорокина, Марина Игоревна
город
Санкт-Петербург
год
2007
специальность ВАК РФ
05.13.01
Диссертация по информатике, вычислительной технике и управлению на тему «Разработка моделей, методов и средств решения комплекса задач управления персоналом»

Автореферат диссертации по теме "Разработка моделей, методов и средств решения комплекса задач управления персоналом"

На правах рукописи

СОРОКИНА Марина Игоревна

РАЗРАБОТКА МОДЕЛЕЙ, МЕТОДОВ И СРЕДСТВ РЕШЕНИЯ КОМПЛЕКСА ЗАДАЧ УПРАВЛЕНИЯ ПЕРСОНАЛОМ

Специальность 05.13 01 - Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

0031-731Т1

Санкт-Петербург 2007

003173171

Работа выполнена в Петербургском государственном университете путей сообщения

Научный руководитель -

доктор технических наук, профессор Микони Станислав Витальевич

Официальные оппоненты

Ведущая организация -

доктор технических наук, профессор Тимофеев Адичь Васильевич

доктор технических наук, профессор Еремеев Александр Павлович

Санкт-Петербургский государственный университет водных коммуникаций

Защита диссертации состоится « » 1ихл8(ХР 2007 г в на заседании диссертационного совета Д.002 19901 при Санкт-Петербургском институте информатики и автоматизации РАН по адресу 199178, Санкт-Петербург, В О , 14-я линия, д 39

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского института информатики и автоматизации РАН

Автореферат разослан « // » <^О-Р2007 г

Ученый секретарь

диссертационного совета Д 002 199 01 кандидат технических наук / ЬОА Л Ронжин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. С развитием экономики и внедрением новых технологий все большее влияние на работу организаций оказывает человеческий фактор В связи с этим ужесточаются требования к компетентности работников и эффективности их труда Это касается любых аспектов трудовых отношений приема на работу, обучения, стимулирования труда

Задачи, решаемые в сфере управления персоналом сложны и разнообразны Их объединяет то, что в качестве исходных данных используется конечное множество оцениваемых объектов (работников, обучаемых, подразделений и пр ), характеризуемых структурируемой совокупностью разнородных признаков Необходимо отнести каждый оцениваемый объект к одной из заданных категорий (классов), а также упорядочить объекты по степени принадлежности к каждому классу Для отнесения объекта к классу используются как ограничения, предъявляемые к значениям признаков, так и логические решающие правила Как правило, число классов ограничено, и существует возможность упорядочения их по качеству В этом случае по результатам классификации дополнительно может решаться задача сквозного упорядочения объектов

Анализ комплекса задач управления персоналом позволяет говорить о том, что они находятся на стыке методов многокритериальной классификации и логического вывода заключений. Задачи многокритериальной классификации решаются с помощью распознающих систем, а задачи логического вывода - с помощью экспертных систем Следовательно, для решения задач в сфере управления персоналом требуется разработка гибридных систем, сочетающих свойства распознающих и экспертных систем

Решению задач многокритериальной классификации (распознавания образов), в том числе в сфере управления персоналом, посвящено много работ отечественных и зарубежных учёных Среди отечественных учёных, внесших вклад в это научное направление, отметим НГ Загоруйко, ЮИ. Журавлева, А Б Янковскую, А И Гедике, А П Еремеева, О В Виноградова Ими исследовались статистические, алгебраические, матричные, геометрические и логические методы решения задач многокритериальной классификации

Для создания распознающих систем, реализующих эти методы, разработаны инструментальные средства, такие как ЭКСНА, ЛОРЕГ, ЭКСИЛОР, ИМСЛОГ, ЭЙДОС, ПРИЗМА, СИМПР, DISC Отличительной особенностью этих систем является ориентация на конкретный метод решения задачи Ярким тому примером служит методика Томаса, реализованная в системе DISC Кроме того, ни одно из перечисленных инструментальных средств не удовлетворяет всем необходимым для решения поставленных задач требованиям, основными из которых являются необходимость сквозного упорядочения объектов по качеству, детализация задачи путем её разбиения на подзадачи и структурирования множества признаков, совместное использование методов многокритериального упорядочения и логического вывода

Задачи, в которых используется логический вывод, обычно решаются в рамках технологии экспертных систем, которые некоторому состоянию объекта

з

ставят в соответствие одно из возможных заключений (принцип «состояние/действие») Классические экспертные системы (ЭС) рассчитаны на логический вывод и плохо приспособлены к решению задач многокритериальной классификации

Анализ состояния разработок в рассматриваемой области позволяет сделать вывод об актуальности разработки гибридных систем, сочетающих методы многокритериальной классификации и обработки знаний Интерпретация классов оценками на шкале качества дает основание называть такие системы оценивающими экспертными системами (ОЭС) Учитывая отмеченные особенности ОЭС, актуальной является задача разработки инструментальной системы, предназначенной для их создания и использования

Целью диссертационной работы является повышение эффективности работы организационных систем путем автоматизации решения комплекса задач у правления персоналом

Объектом исследования являются организационные системы, содержащие подсистемы управления персоналом

Предметом исследования являются методы и средства решения задач многокритериальной классификации и логического вывода с целью их совместного использования для решения задач управления персоналом

Для достижения поставленной цели в диссертационной работе решаются следующие задачи-

1 Анализ существующих методов и средств решения задач многокритериальной классификации и логического вывода для оценки возможности их использования в сфере управления персоналом

2 Разработка моделей и методов решения задач управления персоналом

а разработка модели, объединяющей решение задач классификации и

упорядочения объектов в пространстве признаков, Ь нахождение условий различимости образцов в пространстве признаков

для различных видов неопределённости и полноты системы образцов, с разработка методов решения задач классификации и упорядочения объектов в иерархической модели оценивания

3 Разработка инструментальной системы, поддерживающей принятие решений в сфере управления персоналом

4 Разработка технологии построения ОЭС и построение на её основе 3-х прикладных ОЭС специализация интернов ВМедА, отбор студентов на военную кафедру ТПУ, стимулирование структурных подразделений Октябрьской железной дороги по результатам выполнения плана Результаты выполненных в работе исследований и проектных работ

базируются на использовании методов системного анализа, теории множеств, теории графов, линейной ашебры, математической статистики, искусственного интеллекта

Основные положения, выносимые на защиту:

1 Модель совмещенного представления данных и знаний в структурируемой совокупности разнотипных признаков, в том числе условия различимости образцов для различных видов неопределённости и полноты системы образцов

2 Модель многокритериальной классификации и упорядочения объектов на основе разработанной модели представления знаний и данных, в том числе алгоритмы сквозного упорядочения объектов с использованием обобщенной меры их близости классам, упорядоченным по качеству

3 Алгоритм и формулы определения вклада признака в общую оценку объекта с целью объяснения результата классификации

4 Три ОЭС, решающие комплекс задач управления персоналом специализация, профессиональный отбор, стимулирование по итогам выполнения плана

Научной новизной обладает 1. Модель совмещенного представления данных и знаний, отличающаяся от существующих моделей:

а инвариантностью к типам используемых признаков и их структуре, Ь использованием более общих условий различимости образцов для различных видов неопределенности и полноты системы образцов

2 Модель многокритериальной классификации и упорядочения объектов, отличающаяся от существующих моделей возможностями

а совместного использования различных методор классификации объектов

как в рамках одной таблицы, так и во всей иерархии таблиц, Ь метод сквозного упорядочения объектов с использованием меры их близости классам, упорядоченным по качеству

3 Разработанная и реализованная подсистема объяснений общей оценки с использованием средств когнитивной графики Отличие от существующих средств заключается в методе анализа вклада признака в результат оценки объекта, вычисленной по произвольной формуле

4. Три ОЭС, решающие комплекс задач управпения персоналом, и инструментальная система, отличающаяся удобствами экспериментирования на этапе отладки и использования ОЭС

Достоверность научных положений и выводов обеспечивается выбором и соответствующим применением методов исследования и подтверждена теоретическими и экспериментальными доказательствами основных положений работы и результатами использования систем оценивания при решении практических задач

Апробация работы. Результаты исследований докладывались на неделях науки ПГУПС (2001, 2002, 2007 гг), научных сессиях МИФИ (2002, 2006), международных конференциях «Мягкие вычисления и измерения (БСМ)» (2002, 2003, 2005, 2007), «Новые информационные технологии в исследовании сложных структур» (2002, 2004, 2006), «Информационные технологии в науке, образовании, телекоммуникации и бизнесе (1Т+8&Е)» (2005, 2006), а также Санкт-Петербургской конференции «Региональная информатика» (2006)

Публикации. По материалам диссертационной работы имеется 13 публикаций, в том числе 2 статьи в журнале, рекомендованном ВАК

Практическая значимость диссертации состоит в использовании разработанной автором инструментальной системы СВИРЬ для поддержки принятия решений в сфере управления персоналом и в учебном процессе, что подтверждается следующими документами о внедрении

1. Разработана ОЭС для распределения выпускников Военно-медицинской академии по специальностям (акт внедрения от 27 06 2007)

2 Разработана ОЭС для отбора студентов для обучения на военной кафедре ТПУ (акт от 08 06 2007)

3 Разработана ОЭС для определения рейтинга структурных подразделений Октябрьской железной дороги по итогам выполнения планов (акт внедрения от 08 06 2007),

4 Инструментальная система СВИРЬ используется для выполнения лабораторных работ и курсового проектирования в дисциплинах «Теория принятия решений», «Методы и алгоритмы принятия решений» и «Основы САПР» (акт внедрения от 26 06 2007)

Структура и объем диссертации. Диссертация состоит из введения, 5-и глав с выводами, заключения, списка литературы, включающего 88 наименований и 4-х приложений Общий объём работы составляет 158 страниц, включающих 39 иллюстраций и 15 таблиц, а также 4 приложения на 25 страницах, включающих 34 иллюстрации

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается аюуальность темы и формулируется её цель, приводятся основные положения и результаты, выносимые на защиту, отмечается их научная новизна и практическая значимость; приводится краткое содержание работы по главам и сведения о внедрении результатов, апробации работы и публикациях по теме диссертации

В первой главе описываются три практические задачи принятия решений в области управления персоналом специализация интернов в области военной медицины, профессиональный отбор студентов на военную кафедру и упорядочение структурных подразделений по результатам выполнения плана На основе анализа этих задач определена их принадлежность к задачам распознавания и выявлены следующие общие черты

1 Классы (образцы объектов) задаются экспертами.

2 Оцениваемый объект отождествляется с образцом в общем для них пространстве признаков

3 Задача в общем случае разбивается на подзадачи, решаемые различными способами, что является основанием структуризации множества признаков

4 Признаки, участвующие в классификации, в общем случае разнотипны и могут иметь индивидуальные границы принадлежности к классам

5 Определение принадлежности к классу в общем случае требует совместного применения методов многокритериальной классификации и логического вывода

6 Объекты должны упорядочиваться по степени приближения к образцам

7 Для обеспечения эффективного восприятия больших объемов информации и объяснения результатов должны применяться удобные и наглядные механизмы визуализации с применением когнитивной графики Рассмотрены некоторые существующие инструментальные системы создания

распознающих и экспертных систем, реализующие либо методы многокритериальной классификации, либо методы логического вывода

б

заключения Выявлено, что ни одна из существующих инструментальных систем не обладает всеми перечисленными свойствами, необходимыми для решения поставленных задач

Описывается технология создания экспертных систем (ЭС), обосновывается ее общность с технологией оценивающих экспертных систем (ОЭС), предназначенных для решения рассматриваемых задач, и определяется различие Общность заключается в том, что база данных ЭС интерпретируется значениями признаков, характеризующих оцениваемые объекты в ОЭС, описание образцов в пространстве признаков соответствуют декларативной базе знаний экспертной системы, а совокупность методов многокритериальной классификации и логического вывода соответствуют процедурной базе знаний экспертной системы Поскольку рассматриваемые задачи плохо формализуемые, ОЭС, как и ЭС, нуждаются в наличии подсистемы объяснения результатов Различия технологий ЭС и ОЭС перечислены ниже

1 ОЭС характеризуется большим объемом предварительно собранных разнотипных данных, среди которых преобладают численные оценки.

2 Правила Ситуация/Действие классических ЭС сводятся в ОЭС к правилам Свойства/Оценка, а образцы сущностей - к образцам-оценкам Вывод заключения дополняется определением меры близости к образцам-оценкам

3. Декларативные знания и данные в ОЭС характеризуются одной и той совокупностью признаков с их одинаковым структурированием при разбиении задачи на подзадачи

4 Для решения различных подзадач могут использоваться разные процедуры вывода заключения (классификации), что обеспечивает гибкость в определении способа вывода общей оценки

5 В ОЭС необходимо упорядочение образцов относительно объектов и объектов относительно образцов

6 Для определения достоверности оценки объекта необходимо пояснение не только логики вывода, но и объяснение вклада отдельных признаков в полученную оценку

7 В классических ЭС велика доля лингвистической компоненты Подсистема общения с пользователем использует естественный язык для получения ответов на вопросы о свойствах объекта В рассматриваемых задачах лингвистический аспект минимален и присутствует лишь при качественной оценке признаков объектов, что делает избыточными механизмы работы с естественным языком

В соответствии с назначением ОЭС, её модель должна совмещать методы многокритериальной классификации, оптимизации и логического вывода Для отражения всех присущих этим методам свойств за основу примем теоретико-множественную модель выбора и упорядочения объектов следующего вида

Му=<Х,У,И,Р,Р> (1)

В ней X - множество оцениваемых объектов, У - область значений признаков, а А представляет собой и-мерный вектор значений идеального либо требуемого объекта Вектор йио (идеальный объект) содержит экстремальные значения признаков, а вектор йго - значения признаков, заданные экспертом Множество .Р включает следующие функции /„, /к, /в, Измерительная

функция Х—*У определяет значение _/-го признака 1-го объекта. Роль кодирующих функций /к: Q-*Z сводится к переводу значений некоторой измерительной функции из номинальной в порядковую или интервальную шкалу Вычислительные функции /в Гх хГ—служат для дополнения совокупности признаков вычисляемыми на основе имеющихся признаками Критериальные функции , являющиеся частным случаем вычислительных, используются для перехода от векторной к скалярной оценке Во множество предикатов предпочтения Р=РаиР„ включены все двухместные предикаты нижнего уровня РН={<Д>,>,=} На их основе конструируются предикаты верхнего уровня Рв, используемые для сопоставления векторных оценок объектов

При решении задач классификации обычно используется более чем 1 образец, поэтому единственный образец й в модели (1) заменяется множеством образцов Н Дополнительно к предикатам предпочтения включаются предикаты соответствия объекта образцу Рс, который также подразделяются на предикаты нижнего и верхнего уровня Для представления логических правил множество ^ дополняется множеством логических функций {V, л, -1, ->}. С учетом расширения носителя А=<Х, У, Н> до А'=<Х, У, Н> и сигнатуры Е=<Р, Р> до 1Г=<Р\ Р~>, где Р'-РиГц, Р'-РиРа теоретико-множественная модель ОЭС приводится к следующему виду:

Мэосг<Х,У,Н,Г,Г> (2)

Состав её сигнатуры позволяет реализовать все операции, необходимые для применения методов многокритериальной классификации, оптимизации и логического вывода заключения

Во второй главе описывается совмещенная модель данных и знаний, характеризуемых структурируемой совокупностью признаков. Множества ХиУ из модели (2) находятся в отношении определяемое/определяющее Я<^ХхУ Это бинарное отношение естественным образом реализуется в виде таблицы «объекты/признаки». Таким образом, в качестве базовой модели представления данных в ОЭС принимается реляционная модечь данных (см рис 1)

УН УП уз' <3

XI «1С«) упЫ уз-Оп?

X; ръЬЬ и'М

X» таМ. упЪЯ и" Г&н)

И

УШ Л» |у|" 1 Л1 У2' п

XI УЩ£ !> Л«0ч) ¡1 Л'Сч) XI У21(С1) чСч)

II

Х( умЪд пСО х, Уяй) У2<я)

X» пШ х>г У2>Ы п'Ы

первичные и вычисляемые признаки

Рис 1 Реляционная модель данных

Строка, включающая п признаков, характеризующих объект х,еХ,

описывается вектором значений признаков ■> у/хг), ^„(х,)),

непосредственно измеренных или вычисленных При необходимости решения задачи по частям признаки группируются, образуя столько таблиц «объекты/признаки», сколько выделено подзадач Таблицы нижнего уровня, согласно принятому ЛПР способу получения общего решения задачи, объединяются на следующем уровне, образуя иерархию таблиц В каждой s-ой таблице используется свой метод оценивания с получением оценок у,\х,) и, при необходимости, упорядочением объектов с использованием полученных оценок В последнем столбце s-ой таблицы на рис 1 приводятся полученные ранги объектов rs(x,) Оценки ys (х,) передаются в таблицу следующего уровня в качестве значения промежуточного признака Если оценка является численной, то на следующем уровне она используется для дальнейшего обобщения Если оценка представляет собой образец (несколько образцов), то на следующем уровне она участвует в логическом выводе

Совмещение базы знаний с базой данных осуществляется следующим образом Структура признаков базы данных остается неизменной, а строки таблиц вместо объектов описывают образцы из множества H={h\, ,hk, Л»}> т> 1 (таблицы «образцы/признаки») Содержимое таблицы «образцы/признаки» представляет собой совокупность векторов допустимых значений признаков c(hk)=(cku ,ckj, ,ск„), где су имеет четкий, нечеткий или вероятностный характер В клетки столбца общей оценки в таблицах базы данных (см. рис 1) помещается общий предикат соответствия объекта образцу p(x„hk) Для задач многокритериальной классификации он представляет собой вектор двухместных предикатов соответствия по каждому признаку p(*,,A*)=(pO'ii>c*i)> ,р(Уу,ск/), , р(у,„,ск„)), а для задач логического вывода - решающее правило как логическая функция предикатов р(х„Ьк)=Лр(у0,ск;)),/еГц

Для численных признаков p(y,j,ckJ)e{Q, L, М, fiQ.L.M)}, где Q - предикат равенства уч=скр L - предикат ограничения сверху уу<сц, М - предикат ограничения сверху y,j>ckj, a /eF„ При использовании логического вывода для символьных и промежуточных признаков применяются предикаты p(y,j,ckj)e {Equal, Exist, Cross}, где Equal - предикат совпадения y,j=ckJ, Exist -предикат принадлежности множеству ууеск, a Cross - предикат непустого пересечения y,/^ckJ Следует отметить, что в общем случае множества образцов в различных таблицах не обязательно одинаковы

При формировании декларативной базы знаний решается задача обеспечения различимости образцов и полноты системы образцов При отождествлении объекта х, с образцом hk должны выполняться условия утверждений 1 и 2

Утверждение 1 Два образца hk, hteH различимы по j-му признаку, если соответствующие им интервалы (множества) допустимых значений не пересекаются (см рис 2)

Утверждение 2 Образцы из множества H={h\, . ,hk, ,hm) различимы, если каждая пара образцов различима хотя бы по одному признаку.

Утверждение 3 Множество образцов полное, если любая комбинация значений признаков попадает в соответствующие интервалы (множества) допустимых значений хотя бы одного образца

ск}тт

C/j min Ckjma>

Сцтах

X

05

Рис 2 Случай пересечения интервалов и его нечеткая интерпретация

При невыполнении условий различимости ближайший образец определяется как, arg max Лк (у j {xt)) где ~ мера близости, оценка соответствия

объекта х, образцу Л* по признаку у; В зависимости от принятой модели неопределенности меры близости вычисляются как

• дополнение нормированного отклонения 1-5*(у/х,)) от опорных точек для случая четкого задания границ образов,

• значение функции принадлежности ßiSy/x,)) для случая нечеткой неопределенности,

• вероятностная мера PkCy/xi)) для случая стохастической неопределенности Вычисленные меры близости iify/x,)) имеют одинаковый смысл и

используются в методах многокритериальной классификации одинаково На рис 2 показана интерпретация пересечения интервалов допустимых значений двух образцов нечеткостью

В третьей главе рассматривается процедурная база знаний ОЭС, включающая методы мнопмфитериальной классификации и логического вывода Предлагается комбинированный способ вывода заключения в иерархии таблиц с использованием критериев классификации и логического вывода Определяется возможность комбинирования различных критериев классификации по уровням иерархии Обсуждаются вопросы управления выводом в иерархии

Процедуры вывода заключения в ОЭС отражает сигнатуру модели (2) классификации и упорядочения Используются следующие операции

• вычисление аргументов оценивающих функций (в тех случаях, когда экспертные оценки выносятся не по первичным, а по вычисленным на их основе признакам),

• оценивание объектов в таблице,

• упорядочение объектов по результатам классификации,

• оценивание объектов по совокупности таблиц,

• управление выводом оценки.

К операциям вычисления аргументов оценивающих функций относятся сложение, вычитание, умножение, деление, возведение в степень, логарифмирование, вычисление тригонометрических и агрегатных функций, таких как поиск минимума, максимума, среднего и т д

ю

К операциям оценивания объектов в таблице относятся методы классификации объектов, уточненные с учетом вышеизложенного подхода к формулированию образцов знания Методы систематизируются по способу использования меры близости кк(у/х,)), и не зависят от природы неопределенности

1 Точная классификация объекта имеет место, если для объекта найдётся образец Л* с единичной мерой близости по всем признакам (3Л*е// Уу^еК МУу(*|))=1)) и различимый с другими хотя бы по одному признаку

2 При невыполнении условий полной классификации объекта выполняется его приближенная классификация Ближайший к объекту образец АкеЯ определяется по максимальной обобщенной мере близости Мл)> которая вычисляется как функция частных мер близости Хк(х,)=/(ку(у((*,■)),. ДкО'/х,)),.. , Хк(у„(х,))) В зависимости от роли частных мер близости Х^(у/х,)) в отождествлении объекта с образцом выбирается один из следующих критериев классификации максиминный, мажоритарный, средневзвешенной меры близости (с аддитивной или с мультипликативной сверткой)

На основе общей оценки близости «-го объекта к-иу образцу Хк(х,) выполняются следующие виды упорядочения

• объектов относительно выбранного образца А*,

• образцов относительно выбранного объекта хь

• объектов на шкале качества (для упорядоченных по качеству образцов)

В 1-ом и 2-ом случаях упорядочение сводится к одномерной сортировке по убыванию При упорядочении объектов относительно образца А* сортируются компоненты вектора Я* = (ЯДл;,), Д^л1,), Л*(%)). Упорядочению могут подвергаться как все объекты, так и только те из них, которые отождествлены с рассматриваемым образцом При упорядочении образцов относительно объекта х, сортируются компоненты вектора Ц*,) = (Х|(Х(), .Д*0с,•),... А.т(д:,))

Сквозное упорядочение объектов по качеству возможно только в случае предварительного упорядочения образцов Пусть каждому образцу А* из множества Н={к\, ,А*, ,Ат} сопоставлен ранг »"(А*)- целое число от 1 до т Предложенный С В Микони базовый алгоритм сквозного упорядочения выполняется в 2 этапа

а) определяется нестрогий порядок объектов в соответствии с рангами образцов г(г,)<ф:,), если г(А*)<г(А/), Я^(х,)=шах5(ХХх,)), Х/(ху)=тах!(Х/ху))

б) ранги объектов уточняются внутри каждого образца в соответствии с мерой близости образцу (чем больше мера близости, тем лучше ранг)'

г(х,)<К^), если Хк(х,)< Хк(ху), Х.4(х,)=шах5(Х5(х()),

Этот алгоритм является наиболее быстрым в условиях большого количества образцов и объектов, но раздельное рассмотрение образцов и мер близости к ним объектов может влиять на точность результатов упорядочения Предложенные в работе 2 алгоритма упорядочения объектов основаны на совместном использовании приоритета образцов по качеству и мер близости объектов к каждому из образцов

1 Векторное упорядочение объектов по обобщенным мерам близости к образцам использует метод упорядочения по приоритету критериев В качестве

критериев используются ранги (места) образцов на шкале качества в направлении их убывания Для упорядочения объектов внутри каждого образца используется обобщённая мера близости к нему

Объекты сначала упорядочиваются по убыванию обобщенной меры близости наиболее приоритетному по качеству образцу, а затем порядок последовательно уточняется с помощью мер близости к менее приоритетным образцам, вплоть до получения линейного порядка или полного перебора всех образцов

2 Скалярное упорядочение объектов использует свёртку обобщенных мер близости к образцам с учётом значимости образцов Значимость реализуется в виде весовых коэффициентов многокритериальной функции полезности и измеряется в более информативной интервальной шкале. В простейшем случае в качестве весовых коэффициентов берутся нормированные приоритеты образцов В качестве многокритериальной функции полезности используется любая из известных формул свертки (аддитивная, мультипликативная и т д )

В табл 1 показан пример упорядочения объектов по результатам классификации с использованием изложенных алгоритмов В столбцах 2-4 показаны обобщенные меры близости семи объектов к трём образцам Пусть образцы упорядочены следующим образом г(А]>=1, г(й2)=2, г(/г3)=3 Базовый алгоритм определяет первые 3 места объектам Х\, х2, и х« в соответствии с убыванием обобщенной меры близости к наиболее приоритетному образцу причем г(Х|)=г(д:2)=1, а г(хЛ)=2, тк /^(х^/'чСхг^О 7, а ^(х*)^) 5<Х](х2) Аналогичным образом ранжируются объекты х^, х5, отнесённые к образцу И2 Объекту хъ отнесённому к наименее приоритетному образцу йз, двухшаговый алгоритм отводит последнее место

Упорядочение объектов по результатам классификации_Таблица 1

X Мх,) Мх,) Двухшаговый алгоритм Ве упо! кторное гадочение Скалярное упорядочение

XI 0,7 0,5 0,3 X 1 1 1 0,566 1

Х2 0,7 0,3 0,5 1 1 2 2 0,534 2

X) 0,5 0,7 0,3 3 2 3 3 0,532 3

Х4 0,5 0,3 0,4 2 2 4 4 0,417 4

X, 0,2 0,5 0,3 5 3 5 5 0,316 5

Хб 0 0,6 0,4 4 4 6 б 0,266 6

Х7 0 0,4 0,5 6 4 7 7 0,217 7

Веса 0,5 0,33 0,17 1 2 3 ФП ранг

Шаги

Процесс векторного упорядочения показан в столбцах 6-8 В столбце 6 приводятся результаты упорядочения объектов по убыванию меры близости Я./г,) к наиболее приоритетному образцу /ц Полученный нестрогий порядок объектов уточняется с использованием меры близости Х2(х,) к образцу Ь2 Поскольку результирующий порядок объектов оказывается строгим, образец к3 для упорядочения не используется

При скалярном упорядочении объектов приоритеты образцов выражаются в более информативной интервальной шкале (см последнюю строку в столбцах 24) Полученные с использованием соответствующих весовых коэффициентов

значения аддитивной функции полезности приведены в предпоследнем столбце табл 1 В примере порядок объектов при векторном и скалярном упорядочении совпал Он в большей степени отражает взаимосвязь оценок по образцам, чем порядок, полученный с помощью базового алгоритма

Логический вывод заключения основывается на использовании решающих правил Допускается использовать конъюнктивные, дизъюнктивные решающие правила и их комбинации В качестве переменных используются предикаты соответствия объекта образцу по признакам таблицы Решающее правило может содержать предикаты соответствия не всем признакам таблицы Набор образцов в таблицах иерархии (а значит, и количество решающих правил) необязательно одинаков

Признаки верхних уровней иерархии при логическом выводе заключения рассматриваются как символьные Их значениями являются имена классов (образцов), выведенных в таблицах нижнего уровня иерархии. Значение символьного признака yj может быть пустым множеством (в подгаблице для объекта не было выведено ни одного заключения), единственным значением или множеством символьных значений (при неоднозначном выводе в подгаблице) Для таких признаков используются предикатыpi^yj,cJ)e {Equal, Cross, Exist}.

В табл 2 показан пример формулирования решающих правил для отбора студентов на военную кафедру по результатам психогеометрического теста.

Правила для отбора студентов по результатам психогеометрического теста Таблица 2

ПОГ p(p(yi=l w>(y3=5)) vp(p(y,=l>Ap(yj=5) v p(p(yt =1)л/>(У)=5)) v (р(у4=1)лр(у5 =5))

г р(р0,=1)лр(у4=5)) vp(p(y,=l)Ap(y2=5)) vpO(y4=l)Ap(>,=5)) v р(р(у4=1)лр(у!=5)) v р(р(У2=1)лр(У5=5)) V р(р(уг=1)лр(у3=5))

УГ р(Уз=1) V р(р(У2=1 )лр(у 1=5)) v р(р(у2= 1 )лр(у,=5))

НГ P(VS=1)

НД UPG0=0)

Здесь переменными з'ь...^ обозначены соответственно квадрат, круг, прямоугольник, треугольник и зигзаг, а значениями этих переменных являются места геометрических фигур в установленном тестируемым студентом порядке Заключение «ПОГ» (годен в первую очередь) выводится, например, в том случае, когда студент поставил квадрат или треугольник на первое место, а прямоугольник или зигзаг - на пятое (последнее) Если зигзаг оказался на первом месте - выводится заключение «НГ» (не годен) Последнее заключение «НД» (нет данных) выводится тогда, когда хотя бы один признак имеет нулевое значение

Свобода управления выводом заключения определяется возможностями

• выбора способа обхода иерархии сверху-вниз (обратная цепочка вывода) или снизу вверх (прямая цепочка),

• комбинирования различных критериев классификации,

• комбинирования критериев классификации и логического вывода,

• использования в решающих правилах условных вычисляемых признаков (формула вычисления признака зависит от заключения, выведенного в подгаблице) с целью изменения пути обхода иерархии В четвертой главе приводятся требования к инструментальной системе создания и реализации ОЭС для решения рассмотренного класса задач За основу инструментальной системы была принята разработанная в ПГУПС под руководством профессора Микони С В система выбора и ранжирования объектов СВИРЬ, предназначавшаяся для решения рейтинговых задач и реализующая все операции модели (1) Функциональность системы была расширена в соответствии с моделью (2) с целью обеспечения возможности проектирования ОЭС для решения рассмотренного класса задач.

К оригинальной разработке относится подсистема объяснений результатов работы ОЭС, использующая средства когнитивной графики и цветовой стандарт качества, единый для системы СВИРЬ В подсистему объяснения входят.

1 Подсистема объяснения логического вывода

Учитывая небольшое количество решающих правил в каждой таблице с ограниченным количеством предикатов соответствия, для объяснения полученных результатов указываются решающие правила, получившие оценку true, и признаки, предикаты соответствия которым обеспечивают их истинность

2 Подсистема объяснения результатов классификации

Вычисление обобщенной меры близости Л^{х,) влечёт потерю информации о влиянии каждого признака на общую оценку Для объяснения результатов многокритериальной классификации необходимо знать частные меры близости kk(y/x,)) по всем признакам для каждого из образцов Одной из форм представления этой информации являются сводные таблицы «объекты-образцы» (для признака у/) и «объекты-признаки» (для образца /г*). В этих таблицах выделяются максимальные по строкам и столбцам значения мер близости Кроме того, для критерия максимизации средневзвешенной меры близости (как в наибольшей степени непрозрачного для пользователя) необходимо предусмотреть средства анализа влияния каждого отдельного признака у} на обобщенную меру близости Я.*0>/х,)) В диссертационной работе разработан универсальный алгоритм расчета вклада признака в обобщенную меру близости, рассчитанную по произвольной формуле

В табл 3 показаны выведенные в диссертационной работе формулы анализа вклада признака в обобщенную меру близости для 3-х способов обобщения частных мер близости по признакам (аддитивного и 2-х мультипликативных)

Формулы расчета вклада признака для разных способов обобщения Таблица 3

Формула обобщения Л >0 АО-А» 1-1 н

Вклад признака "V 0) log^iW*')^)

Вывод формул осуществлялся с помощью интерпретации отношения «целое-часть» для слагаемых и множителей и с учетом свойств монотонности, однозначности и нормировки значений вклада К/Д^х,)).

Вклад признаков в оценку, вычисленную по смешанной формуле, оценивается с помощью следующей методики:

1. Формула рекурсивно разбивается на однородные с точки зрения агрегации подформул единым математическим оператором. В итоге формула преобразуется в дерево, которое для агрегации ветвей одного узла использует единый оператор.

2. Дерево обходится сверху внйз. По формулам, выведенным для агрегирующего оператора (см. табл. 3) рассчитывается вклад ветвей каждого узла в оценку этого узла.

3. к-ая часть формулы, вклад которой в общую оценку равен Уь рассматривается как самостоятельная формула, а ¥к принимается за условную единицу. А-ая части делится на однородные элементы, для каждого вычисляется вклад н значение Ук. Сумма вкладов равна Ук,

4. Процесс останавливается, когда очередная анализируемая часть формулы элементарна и равна взвешенной нормированной характеристике объекта по ]-ому признаку^- (*;).

Помимо определения фактического вклада признака в обобщенную меру близости объекта образцу полезен сравнительный анализ вкладов одного признака в обобщенную меру близости разных объектов одному образцу. Наиболее информативен сравнительный анализ вкладов относительно некоторого базисного значения, единого для множества объектов. В качестве базисной величины используется средний вклад у'-го признака в общую оценку объектов из заданной выборки или вес (значимость) критерия в функции полезности. Результат сопоставления фактического и базисного вклада приводится в виде круговой диаграммы с использованием цветового стандарта качества.

Иисянв

Г'!1П План

Мврвчвш. пдонтвяей Промподнтельнйсть л... ' ••

| Средний рос преада.д>... " -

ТэкничвСКАН СКОРОСТЬ----Т».|М,М

Удвльмьм нормы росли---

тч-и

Моего о тввнни: 1

Т а М'К'1 ъ числовых анмми д $пЮо1ЬЮ Я фВДЛДИ? | ЛРДИДх ФаХ7

Прсвихимно; 5.93ВТ <гг шкалы пЭЩп.

Ом пекмак. (гжсояшаме!: 25-000* ( ШИ-З

ФжтшпнВ нмк 1прввмшонио) 21,9665: У

| Сечу ш> твАлмиа иьпояо! ...

1.......,„„ Закрыть.........

Рис.З. Вклад признаков в оценку объекта 15

На рис 3 показано окно анализа вклада признака в обобщенную меру близости в таблице «Эксплуатация» в задаче оценивания структурных подразделений Октябрьской железной дороги В качестве меры близости используется обобщенный процент выполнения плана, вычисляемый с применением мультипликативной степенной функции полезности, причём каждый из объектов имеет свой образец (план)

В левой части расположены имена всех признаков таблицы «Эксплуатация» и требования к ним для текущего образца «План» Выбран признак «Средний вес поезда». В правой верхней части окна показаны линейные диаграммы выполнения плана по всем признакам Каждая линейная диаграмма показывает диапазон выполнения плана, точку 100% выполнения, зоны невыполнения и перевыполнения, среднее невыполнение и перевыполнение плана, расположение значения выполнения плана выбранным объектом и степень вклада (влияния) признака на обобщенную меру близости.

В правой нижней части окна показана круговая диаграмма вклада выбранного признака Она показывает перевыполнение (превышение) или недовыполнение (нарушение) плана в процентах, фактический вклад в процентах (различаются вклады в превышение и в нарушение), базисное значение вклада и отношение фактического вклада к базисному Базисный вклад показан не закрашенным сектором на круговой диаграмме Цвет контура определяется степенью выполнения плана при перевыполнении контур зеленый, при недовыполнении - красный Фактический вклад показан закрашенным сектором, цвет сектора определяется в соответствии с единым цветовым стандартом качества На рисунке сектор желтый, т к фактический вклад меньше базисного не более чем на 20%

В пятой главе описывается технология построения ОЭС в разработанной инструментальной системе. Эффективность предлагаемой технологии, обосновывается сокращением временных затрат на построение и отладку моделей сложных задач, обычно решаемых с привлечением разных средств Описывается решение задач, поставленных в первой главе специализация интернов в области военной медицины, отбор студентов на военную кафедру, определение рейтинга структурных подразделений железной дороги по результатам выполнения плана

Основой принятия кадровых решений при рациональном распределении выпускников Военно-медицинской академии (ВМедА) по конкретным военно-врачебным специальностям служит информация, полученная в результате проведения профессионально-психологической экспертизы (ППЭ) выпускников Результаты ППЭ содержат значения более 30 психофизиологических характеристик испытуемого и ответы (в форме оценки в 10-ти бальной шкале) на 196 вопросов профессиографического вопросника, разработанного проф ВН. Корзуниным. В качестве образцов используются эталонные (усредненные экспертные) ответы на те же вопросы Требуется отобрать пригодных к обучению в интернатуре выпускников ВМедА, для отобранных выпускников найти ближайший профиль специальности и упорядочить специальности по степени близости к выпускнику, а выпускников - по степени близости к специальности. Предварительный отбор производится с использованием

решающих правил, специализация - по максимизации обобщенной взвешенной меры близости образцов (эталонных отвесов) и объектов (ответов студентов). В качестве критерия истинности метода используется соответствие результатов специализации тестовой выборки результатам экспертной специализации.

В задачу экспертной системы по зачислению студентов на военную кафедру ТПУ входят выработка с использованием экспертных решающих правил следующих рекомендаций: «годен в первую очередь» (ПОГ), «годен» (Г), «годен условно» (УГ) и «не годен»- (НГ), как по каждому из выбранных критериев оценки, так и по всем вместе. В качестве признаков используются медицинские показатели, показатели успеваемости, уровень физического развития, а также результаты психологических тестов: тест Люшера, тест на определение копииг-стратегий, тест на определение социотипа (Кейрси). мотив анионный тест и психогеометрический тест. Требуется определить степень пригодности студентов х обучению на военной кафедре и очередность зачисления студентов на военную кафедру. На рис.5 показан пример иерархии признаков в задаче зачисления студентов на военную кафедру.

Стимулирование структурных подразделений железной дороги осуществляется на основе оценки эффективности их деятельности. В силу неоднородности деятельность структурных подразделений регламентируется индивидуальными планам!*, которые трактуются как образцы подразделений. Сопоставление подразделений осуществляется по итогам выполнения ими планов в процентах. Процент выполнения пиана по каждому признаку вычисляется на основе отклонения фактического значения показателя от планового. Проценты выполнения по всем признакам объединяются в общий показатель, характеризующий деятельность подразделения, с помощью модифицированной мультипликативной функции полезности. Рейтинг подразделений, определяемый по обобщенному проценту выполнения плана, используется для материального стимулирования их работников.

В приложениях 1-3 содержатся иллюстрации решения 3-х задач оценивания, описанных в четвертой главе В приложении 4 описывается цветовой стандарт качества, принятый в системе СВИРЬ

ОСНОВНЫЕ НАУЧНЫЕ И ПРАКТИЧЕСКИЕ РЕЗУЛЬТАТЫ

Основные научные результаты диссертационного исследования

1. Модель совмещенного представления данных и знаний в структурируемой совокупности разнородных признаков

2 Условия различимости образцов и полноты системы образцов

3 Комбинированный способ вывода заключения путем совместного использования различных критериев классификации и логического вывода

4 Алгоритм сквозного упорядочения объектов с использованием обобщенной меры их близости классам, упорядоченным по качеству

5 Методы и средства анализа результатов классификации с использованием когнитивной графики, в том числе алгоритм определения вклада признака в оценку, вычисленную по формуле произвольной структуры.

К практическим результатам относятся

1 Созданное на базе системы выбора и ранжирования объектов СВИРЬ инструментальное средство для разработки и реализации ОЭС, включающее программную реализацию предложенных методов и средств

2 Разработанные и внедренные 3 ОЭС, решающие задачи в сфере управления персоналом (специализация, профессиональный отбор и стимулирование по итогам выполнения плана)

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Микони С В, Берестнева О Г., Сорокина М И Реализация экспертной системы по профессиональному отбору студентов в инструментальной системе СВИРЬ // Вестник Томского государственного университета Приложение. Материалы научных конференций, симпозиумов, школ, проводимых в ТПУ — Томск Изд-во Томского государственного университета, август 2006, №18, с 237-242

2 Микони С.В, Бураков Д П, Сорокина М И Автоматизация решения управленческих задач на инструментальной системе СВИРЬ // Материалы X-й Санкт-петербургской конференции Региональная информатика-2006 -СПб: Политехника, 24-26 октября 2006, с 183

3 Микони С.В, Бураков ДП, Сорокина МИ // Сборник докладов международной конференции по мягким вычислениям и измерениям 8СМ'2007, Том 1 - СПб. СПбГЭТУ, 25-27 июня 2007, с 243-249

4 Микони С В, Бураков Д П, Сорокина М И Реализация принципов эргономичности и интеллектуальности в системе СВИРЬ // Проблемы теории и практики управления Программные продукты и системы - 2002, №3, с 2832

5 Микони С.В, Бураков Д П, Сорокина М И Универсальная среда для решения задач многокритериальной оптимизации и идентификации //

Материалы международной конференции Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT+S&E'05, Гурзуф -Запорожье ЗНУ,2005,с 103-105

6 Микони С В, К А Найденова, М И Сорокина Автоматизация создания системы рационального распределения выпускников Военно-Медицинской Академии с помощью инструментальной системы поддержки принятия решений «СВИРЬ» Материалы XXXIII межд конф Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT + S&E'06, Гурзуф, 20-30 05 2006 -Запорожье ЗНУ, 2006, с 111-113

7 Микони С В, Сорокина М И Идентификация сущностей в пространстве свойств на основе табличной модели представления знаний // Вестник Томского государственного университета Приложение Материалы научных конференций, симпозиумов, школ, проводимых в ТПУ - Томск Издательство Томского государственного университета, №9 (II), август 2004, с 52-55

8 Микони С В , Сорокина М И Испочьзование когнитивной графики в системе многокритериальной оценки объектов // Вестник Томского государственного университета - Томск Издательство Томского государственного университета, №1, сентябрь 2002, с 161-166

9 Микони С В, Сорокина М И Конструирование методов выбора и ранжирования на основе функционального базиса // Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2003, Том 1 - СПб СПбГЭ'ГУ, 25-27 июня 2003, с 119-122

10 Микони С В, Сорокина М И Ранжирование объектов с иерархической системой признаков на основе нечеткой классификации // Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2002,Том 1 -СПб СПбГЭТУ, 25-27 июня2002, с 206-209

11 Микони СВ., Сорокина МИ Решение управленческих задач в системе СВИРЬ // Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2005, Том 2 - СПб • СПбГЭТУ, 27-29 июня 2005, с 59-62

12 Сорокина М И Вклад признака в общую оценку объекта при использовании произвольных функций полезности // Известия ПГУПС - СПб . ПГУПС, Выпуск 3(8), 2006, с 144-150

13 Сорокина МИ Применение методов многокритериальной идентификации объектов в экспертных системах // Известия ВУЗов Приборостроение -СПб Издательство СПГУИТМО, №1, 2007, с 9-14

Подписано в печать 09 10 2007 Формат 60 х 84 1/16

Ризография Бумага для множит апп Печ л. 1,5 Тираж 100 экз Заказ № 9{9

Типография ПГУПС, 190031, Санкт-Петербург, Московский пр, д 9

Оглавление автор диссертации — кандидата технических наук Сорокина, Марина Игоревна

ВВЕДЕНИЕ.

1. АКТУАЛЬНОСТЬ ПРОБЛЕМЫ И ПОСТАНОВКА ЗАДАЧИ.

1.1.Комплекс задач управления персоналом.

1.1.1. Специализация интернов в области военной медицины.

1.1.2. Профессиональный отбор студентов на военную кафедру.

1.1.3. Определение рейтинга структурных подразделений по результатам выполнения плана.

1.1.4. Общие черты комплекса задач управления персоналом.

1.2.Состояние разработок в области многокритериальной классификации.

1.3.Архитектура и технология разработки экспертных систем.

1.3.1. Свойства классической экспертной системы.

1.3.2. Архитектура экспертной системы.

1.3.3. Представление знаний в экспертной системе.

1.3.4. Языки представления знаний.

1.3.5. Вывод заключения.

1.3.6. Технология проектирования ЭС.

1.3.7. Анализ применимости архитектуры и оболочек экспертных систем для решения задач управления персоналом.

1.4.0бобщённая модель оценивающей экспертной системы.

1.5.Выводы по главе 1.

2. БАЗЫ ДАННЫХ И ЗНАНИЙ ОЭС.

2.1.Модель представления данных ОЭС.

2.2.Модель представления знаний ОЭС.

2.3.Условия различимости и полноты образцов знания.

2.3.1. Точные границы между соседними образцами.

2.3.2. Границы с допусками (порогами).

2.3.3. Нечёткие границы.

2.3.4. Вероятностная мера принадлежности образцу.

2.4.Выводы по главе 2.

3. ПРОЦЕДУРНАЯ МОДЕЛЬ БАЗЫ ЗНАНИЙ ОЭС.

3.1.Операции вычисления аргументов оценивающих функций.

3.2.0ценивание объектов в таблице.

3.2.1. Точная классификация.

3.2.2. Приближенная классификация.

3.2.3. Упорядочение объектов по результатам классификации.

3.2.4. Логический вывод заключения.

3.3.Оценивание объектов в иерархии таблиц.

3.3.1. Точная классификация.

3.3.2. Приближенная классификация.

3.3.3. Логический вывод заключения.

3.3.4. Управление классификацией в иерархии таблиц.

3.4.Выводы по главе 3.

4. ИНСТРУМЕНТАЛЬНАЯ СИСТЕМА СВИРЬ-К.

4.1.Требования к инструментальной системе.

4.2.Представление данных в инструментальной системе СВИРЬ-К.

4.3.Представление знаний в системе СВИРЬ-К.

4.3.1. Представление декларативных знаний.

4.3.2. Формирование декларативных знаний.

4.3.3. Представление процедурных знаний.

4.3.4. Формирование процедурных знаний.

4.4.Подсистема объяснения оценок.

4.4.1. Подсистема объяснения логического вывода.

4.4.2. Подсистема объяснений при выводе с использованием критериев классификации.

4.4.3. Вклад признака в общую оценку объекта и графическая подсистема объяснений.

4.5.0собенности программной реализации инструментальной системы создания и реализации ОЭС на базе СВИРЬ.

4.5.1. Модификация структуры классов системы СВИРЬ.

4.5.2. Программная реализация методов многокритериальной классификации и подсистемы объяснений.

4.6.Выводы по главе 4.

5. РЕШЕНИЕ ПРИКЛАДНЫХ ЗАДАЧ В ИНСТРУМЕНТАЛЬНОЙ СИСТЕМЕ СВИРЬ-К.

5.1.Технология построения ОЭС в инструментальной системе СВИРЬ-К.

5.2.Распределение выпускников ВМедА по специальностям.

5.2.1. Постановка задачи.

5.2.2. Решение задачи рационального распределения выпускников ВМедА по основным врачебным специальностям.

5.2.3. Решение задачи рационального распределения выпускников ВМедА по основным врачебным специальностям в системе СВИРЬ-К.

5.3.0ценка пригодности студентов для обучения на военной кафедре.

5.3.1. Постановка задачи.

5.3.2. Исходные данные.

5.3.3. Модель задачи.

5.3.4. Решающие правила.

5.4.Оценивание структурных подразделений железной дороги.

5.4.1. Постановка задачи выполнения планов.

5.4.2. Этапы решения задачи.

5.4.3. Задание физической шкалы показателя.

5.4.4. Задание процентной шкалы показателя.

5.4.5. Расчёт процента выполнения/перевыполнения плана.

5.4.6. Вычисление общего процента выполнения плана.

5.5.Эффективность использования СВИРЬ-К для решения задач управления персоналом.

5.6.Выводы по главе 5 ЗАКЛЮЧЕНИЕ Список литературы Приложения

Введение 2007 год, диссертация по информатике, вычислительной технике и управлению, Сорокина, Марина Игоревна

С развитием экономики и внедрением новых технологий все большее влияние на работу организаций оказывает человеческий фактор. В связи с этим ужесточаются требования к компетентности работников и эффективности их труда. Это касается любых аспектов трудовых отношений: приема на работу, обучения, стимулирования труда.

Задачи, решаемые в сфере управления персоналом сложны и разнообразны. Их объединяет то, что в качестве исходных данных используется конечное множество оцениваемых объектов (работников, обучаемых, подразделений и пр.), характеризуемых структурируемой совокупностью разнородных признаков. Необходимо отнести каждый оцениваемый объект к одной из заданных категорий (классов), а также упорядочить объекты по степени принадлежности к каждому классу. Для отнесения объекта к классу используются как ограничения, предъявляемые к значениям признаков, так и логические решающие правила. Как правило, число классов ограничено, и существует возможность упорядочения их по качеству. В этом случае по результатам классификации дополнительно может решаться задача сквозного упорядочения объектов.

Анализ комплекса задач управления персоналом позволяет говорить о том, что они находятся на стыке методов многокритериальной классификации и логического вывода заключений. Задачи многокритериальной классификации решаются с помощью распознающих систем, а задачи логического вывода - с помощью экспертных систем. Следовательно, для решения задач в сфере управления персоналом требуется разработка гибридных систем, сочетающих свойства распознающих и экспертных систем.

Решению задач многокритериальной классификации {распознавания образов), в том числе в сфере управления персоналом, посвящено много работ отечественных и зарубежных учёных. Среди отечественных учёных, внесших вклад в это научное направление, отметим Н.Г. Загоруйко [18], Ю.И. Журавлева [15], А.Е. Янковскую [71], А.И. Гедике [72], А.П. Еремеева [14]. Среди зарубежных ученых - Д. Неймана, О. Моргенштерна [51], Р. Форсайта [80], Е. Шортлиффа [86]. Ими исследовались статистические, алгебраические, матричные, геометрические и логические методы решения задач многокритериальной классификации.

Для создания распознающих систем, реализующих эти методы, разработаны инструментальные средства, такие как ЭКСНА, ЛОРЕГ, ЭКСИЛОР, ИМСЛОГ, ЭЙДОС, ПРИЗМА, СИМПР, DISC. Отличительной особенностью этих систем является ориентация на конкретный метод решения задачи. Ярким тому примером служит методика Томаса, реализованная в системе DISC. Кроме того, ни одно из перечисленных инструментальных средств не удовлетворяет всем необходимым для решения поставленных задач требованиям, основными из которых являются: необходимость сквозного упорядочения объектов по качеству; детализация задачи путем её разбиения на подзадачи и структурирования множества признаков; совместное использование методов многокритериального упорядочения и логического вывода.

Задачи, в которых используется логический вывод, обычно решаются в рамках технологии экспертных систем, которые некоторому состоянию объекта ставят в соответствие одно из возможных заключений (принцип «состояние/действие»). Классические экспертные системы (ЭС) рассчитаны на логический вывод и плохо приспособлены к решению задач многокритериальной классификации.

Анализ состояния разработок в рассматриваемой области позволяет сделать вывод об актуальности разработки гибридных систем, сочетающих методы многокритериальной классификации и обработки знаний. Интерпретация классов оценками на шкале качества дает основание называть такие системы оценивающими экспертными системами (ОЭС). Учитывая отмеченные особенности ОЭС, актуальной является задача разработки инструментальной системы, предназначенной для их создания и использования.

Целью диссертационной работы является повышение эффективности работы организационных систем путем автоматизации решения комплекса задач управления персоналом.

Объектом исследования являются организационные системы, содержащие подсистемы управления персоналом.

Предметом исследования являются методы и средства решения задач многокритериальной классификации и логического вывода с целью их совместного использования для решения задач управления персоналом.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

1. Анализ существующих методов и средств решения задач многокритериальной классификации и логического вывода для оценки возможности их использования в сфере управления персоналом.

2. Разработка моделей и методов решения задач управления персоналом: a. разработка модели, объединяющей решение задач классификации и упорядочения объектов в пространстве признаков, b. нахождение условий различимости образцов в пространстве признаков для различных видов неопределённости и полноты системы образцов, c. разработка методов решения задач классификации и упорядочения объектов в иерархической модели оценивания.

3. Разработка инструментальной системы, поддерживающей принятие решений в сфере управления персоналом.

4. Разработка технологии построения ОЭС и построение на её основе 3-х прикладных ОЭС: специализация интернов ВМедА, отбор студентов на военную кафедру ТПУ, стимулирование структурных подразделений Октябрьской железной дороги по результатам выполнения плана. Результаты выполненных в работе исследований и проектных работ базируются на использовании методов системного анализа, теории множеств, теории графов, линейной алгебры, математической статистики, искусственного интеллекта.

Основные положения, выносимые на защиту:

1. Модель совмещенного представления данных и знаний в структурируемой совокупности разнотипных признаков, в том числе условия различимости образцов для различных видов неопределённости и полноты системы образцов.

2. Модель многокритериальной классификации и упорядочения объектов на основе разработанной модели представления знаний и данных, в том числе алгоритмы сквозного упорядочения объектов с использованием обобщенной меры их близости классам, упорядоченным по качеству.

3. Алгоритм и формулы определения вклада признака в общую оценку объекта с целью объяснения результата классификации.

4. Три ОЭС, решающие комплекс задач управления персоналом: специализация, профессиональный отбор, стимулирование по итогам выполнения плана.

Научной новизной обладает:

1. Модель совмещенного представления данных и знаний, отличающаяся от существующих моделей: a. инвариантностью к типам используемых признаков и их структуре, b. использованием более общих условий различимости образцов для различных видов неопределённости и полноты системы образцов.

2. Модель многокритериальной классификации и упорядочения объектов, отличающаяся от существующих моделей возможностями: a. совместного использования различных способов классификации объектов как в рамках одной таблицы, так и во всей иерархии таблиц, b. сквозного упорядочения объектов с использованием меры их близости классам, упорядоченным по качеству.

3. Разработанная и реализованная подсистема объяснений общей оценки с использованием средств когнитивной графики. Отличие от существующих средств заключается в алгоритме анализа вклада признака в результат оценки объекта, вычисленной по произвольной формуле. 4. Три ОЭС, решающие комплекс задач управления персоналом, и инструментальная система, отличающаяся удобствами экспериментирования на этапе отладки и использования ОЭС. Достоверность научных положений и выводов обеспечивается выбором и соответствующим применением методов исследования и подтверждена теоретическими и экспериментальными доказательствами основных положений работы и результатами использования систем оценивания при решении практических задач.

Апробация работы. Результаты исследований докладывались на неделях науки ПГУПС (2001, 2002, 2007 гг.), научных сессиях МИФИ (2002, 2006), международных конференциях: «Мягкие вычисления и измерения (SCM)» (2002, 2003, 2005, 2007), «Новые информационные технологии в исследовании сложных структур» (2002, 2004, 2006), «Информационные технологии в науке, образовании, телекоммуникации и бизнесе (IT+S&E)» (2005, 2006), а также Санкт-Петербургской конференции «Региональная информатика» (2006)

Публикации. По материалам диссертационной работы имеется 13 публикаций, в том числе 2 статьи в журнале, рекомендованном ВАК.

Практическая значимость диссертации состоит в использовании разработанной автором инструментальной системы СВИРЬ для поддержки принятия решений в сфере управления персоналом и в учебном процессе, что подтверждается следующими документами о внедрении:

1. Разработана оценивающая экспертная система для распределения выпускников Военно-медицинской академии по специальностям (акт внедрения от 27.06.2007).

2. Разработана оценивающая экспертная система отбора студентов для обучения на военной кафедре ТПУ (акт от 08.06.2007).

3. Разработана оценивающая экспертная система определения рейтинга структурных подразделений Октябрьской железной дороги по итогам выполнения планов (акт внедрения от 08.06.2007);

4. Инструментальная система СВИРЬ используется для выполнения лабораторных работ и курсового проектирования в дисциплинах «Теория принятия решений», «Методы и алгоритмы принятия решений» и «Основы САПР» (акт внедрения от 26.06.2007).

Структура и объем диссертации. Диссертация состоит из введения, 5-и глав с выводами, заключения, списка литературы, включающего 88 наименований и 4-х приложений. Общий объём работы составляет 158 страниц, включающих 39 иллюстраций и 15 таблиц, а также 4 приложения на 25 страницах, включающих 34 иллюстрации.

Заключение диссертация на тему "Разработка моделей, методов и средств решения комплекса задач управления персоналом"

5.6. Выводы по главе 5

1. В работе принята технология создания классических ЭС, уточненная применительно к специфике оценивающих экспертных систем.

2. Новизной в решении задачи «Распределение выпускников ВМедА по специальностям» обладает:

• метод сопоставления ответов выпускников с профилем специальности,

• установление очерёдности претендентов на каждую из специальностей относительно близости ответов к профилю,

• автоматизация расчёта весовых коэффициентов 196-ти профилей вопросника.

3. К новизне в решении задачи «Оценка пригодности студентов для обучения на военной кафедре» относится решение проблемы логического вывода при разных наборах заключений в первичных таблицах методом мультиплицирования образцов, соответствующих дизъюнктивным членам формулы вывода.

4. Новизной в решении задачи «Оценивание структурных подразделений железной дороги» обладает:

• автоматическое построение процентных шкал для всех видов числовых предикатов,

• метод вычисления кусочно-монотонных планов,

• метод упорядочения подразделений относительно собственных планов,

• предложение мультипликативной свёртки, отражающей величину и равномерность показателей и нечувствительной к нулевому выполнению плана.

5. Эффективность технологии построения ОЭС в инструментальной системе СВИРЬ-К обосновывается решением разнообразных задач управления персоналом в рамках единой системы, в отличие от используемых для этой цели программных систем различного назначения.

ЗАКЛЮЧЕНИЕ

Анализ экспертных систем общего назначения выявил их неэффективность, а зачастую и непригодность для решения задач оценивания, имеющих следующие особенности:

• имеется конечное число объектов, характеризуемых структурируемой совокупностью символьных или числовых признаков,

• объекты оцениваются ограниченным числом образцов-оценок, характеризуемых теми же признаками,

• наряду с оцениванием требуется упорядочение объектов,

• общая оценка объекта требует анализа вклада в неё всех участвующих в оценивании свойств объекта.

В диссертационной работе предложены экспертные системы нового класса - оценивающие экспертные системы. Оценивающие экспертные системы имеют следующие особенности:

• специализированы на оценивании объектов по их свойствам;

• имеют общий язык представления объектов и их образцов;

• позволяют совместно использовать методы оптимизации, многокритериальной классификации и логического вывода;

• выполняют оценивание не одного, а множества объектов, данные о которых собраны предварительно;

• выполняют упорядочение объектов относительно образца, образцов относительно объектов и объектов по качеству (при условии упорядоченности по качеству образцов);

• содержат упрощенные средства объяснения результата логического вывода в силу небольшой сложности продукционных систем, применяющихся для решения современных экспертных задач;

• содержат средства объяснения результата не только для логического вывода, но и для критериев классификации, использующих обобщенную меру близости объекта и образца;

• не имеют подсистемы обработки естественного языка в силу отсутствия необходимости общаться с пользователем в режиме «вопрос-ответ» как на этапе создания базы знаний, так и на этапе оценивания объектов. Основные научные результаты диссертационного исследования:

1. Модель совмещенного представления данных и знаний в структурируемой совокупности разнородных признаков.

2. Условия различимости и полноты образцов.

3. Комбинированный способ вывода заключения путем совместного использования различных критериев классификации и логического вывода.

4. Алгоритм сквозного упорядочения объектов с использованием обобщенной меры их близости классам, упорядоченным по качеству.

5. Методы и средства анализа результатов классификации с использованием когнитивной графики, в том числе алгоритм определения вклада признака в оценку, вычисленную по формуле произвольной структуры.

К практическим результатам относятся:

1. Созданное на базе системы выбора и ранжирования объектов СВИРЬ инструментальное средство для разработки и реализации ОЭС, включающее программную реализацию всех вышеперечисленных методов и средств.

2. Разработанные и внедренные 3 ОЭС, решающие задачи в сфере управления персоналом (специализация, профессиональный отбор и стимулирование по итогам выполнения плана).

Библиография Сорокина, Марина Игоревна, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике: Учебник. 2-е изд., доп. и перераб. - М.: Финансы и статистика, 2004. - 464 с.

2. Прикладные нечеткие системы / Асаи К., Ватада Д., Иван С. и др. пер. с япон. - М.: Мир, 1993. - 368 с.

3. Асанов А.А., Кочин Д.Ю. Выявление подсознательных экспертных решающих правил в задачах многокритериальной классификации // Труды VIII конф. по искусственному интеллекту, КИИ'2002, том 2. М.: Физматлит, с. 534-544.

4. Батыршин И.З., Скворцов В.В. О полезностной интерпретации функции принадлежности/Модели выбора альтернатив в нечеткой среде/Тезисы докладов межреспубликанской научной конференции Рига, 1984. - С. 100-102.

5. Беллман Р., Заде J1. Принятие решений в расплывчатых условиях. В кн.: Вопросы анализа и процедуры принятия решений. - М.:Мир, 1976. - С. 172-215.

6. Берестнева О.Г., Ленский В.Н. Разработка технологии профессионального отбора студентов для обучения на военной кафедре//Лингвистические и культурологические традиции образования: Материалы международной конференции. Томск: Издательство ТПУ, 2005.

7. Программная система распознавания ЛОРЕГ/ Богомолов В.П., Виноградов А.П., Борончихин В.А., Журавлев Ю.И., Катериночкина Н.Н., Ларин С.Б., Рязанов В.В., Сенько О.В. Москва, ВЦ РАН, 1998. - 64 с.

8. Борисов А.Н., Глушков В.И. Использование нечеткой информации в экспертных системах. Новости искусственного интеллекта, 3, 1991, с. 13-41

9. Экспертные системы. Принципы работы и примеры / Брукинг А., Джонс П., Кокс Ф. и др. Пер. с англ. - М.: Радио и связь, 1987. - 224 с.

10. Ю.Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М.: Наука, 1974.-487 с.

11. П.Введенская Н.А., Бойчук Ю.О. Поддержка процессов принятия решений в экспертных системах БД // Научно-производственный журнал УСиМ. -1992.-№5/6,-С. 35-42.

12. Гаврилова Т.А., Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992. - 200 с.

13. Еремеев А.П. Когнитивная компьютерная графика в интеллектуальных системах поддержки принятия решений//Виртуальная реальность в психологии и искусственном интеллекте. -М.: Российская ассоциация искусственного интеллекта, 1998.

14. Еремеев А.П. Экспертные модели и методы принятия решений. Учебное пособие. -М.: Издательство МЭИ, 1995.

15. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок.//Кибернетика, 1971, №3.- С. 1-11.

16. Журавлев Ю.И., Гуревич И.Б. Распознавание образов и анализ изображений// Искусственный интеллект. Кн. 2. Модели и методы/ Под ред. Д.А. Поспелова. -М.: Радио и связь, 1990. С. 149-190.

17. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

18. Зенкин А.А. Когнитивная Компьютерная Графика. М.: Наука, 1991.

19. Казанцев B.C. Задачи классификации и их программное обеспечение. -М.: Наука, 1990. 135 с.

20. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения Пер. с англ. - М.: Радио и связь, 1981 - 560 с.

21. Корзунин В.А. Закономерности динамики профессионально важных качеств военных врачей в процессе профессионализации. Дис. докт. психол.наук. - СПб.: ВМедА, 2002. - 555 с.

22. Кофман А. Введение в теорию нечётких множеств. М.: Радио и связь, 1982.

23. Литвак Б.Г. Экспертная информация: методы получения и анализа. -М.: Радио и связь, 1981.

24. Практическое введение в технологию искусственного интеллекта и экспертных систем с иллюстрациями на Бейсике/ Левин Р., Дранг Д., Эделсон Б.: Пер. с англ. -М.: Финансы и статистика, 1991.-231 с.

25. Мальцев А.И. Алгебраические системы, М.: Наука, 1970

26. Макаров И.М., Виноградская Т.М., Рубчинский А.А., Соколов В.Б. Теория выбора и принятия решений. -М.: Наука, 1982.

27. Мартынов В.В., Бойко И.М., Глуминский А.П. Построение баз знаний в системах для решения интеллектуальных задач (на английском языке) // Научно-производственный журнал УСиМ. 1992. - № 5/6. - С. 101-104.

28. Микони С.В. Методы мягкого выбора // Труды конф. КИИ-2000, том 2. -М.: Изд-физ.мат.лит-ры, 2000, с.472^179.

29. Микони С.В. Модели и базы знаний: Учебное пособие. СПб: ПГУПС, 2000.- 155 с.

30. Микони С.В. Теория и практика рационального выбора: Монография. -М.: Маршрут, 2004. 463 с.

31. Микони С.В. Универсальный решатель задач выбора // Труды конфЛЕЕЕ AIS'04 и CAD-2004, Дивноморское, 3-10.09. 2004, М: Наука, Физматлит, 2004, с. 311-318.

32. Микони С.В., Сорокина М.И. Графический интерфейс системы выбора и ранжирования СВИРЬ // Сборник научных трудов: Научная сессия МИФИ-2002, Том 3. М.: Издательство МИФИ, 2002. - с. 174-175

33. Микони С.В., Бураков Д.П., Авраменко К.А., Сорокина М.И., Сорокин А.С. Модернизация системы СВИРЬ для оценки деятельности кафедр университета. Отчёт о НИР Рег.№ 3919. СПб.: ПГУПС, 2001.

34. Микони С.В., Бураков Д.П., Сорокина М.И. Реализация принципов эргономичности и интеллектуальности в системе СВИРЬ // Программные продукты и системы. 2002, №3, с. 28-32

35. Микони С.В., Сорокина М.И. Использование когнитивной графики в системе многокритериальной оценки объектов // Вестник Томского государственного университета. Томск: Издательство Томского государственного университета, №1, сентябрь 2002, с. 161-166

36. Микони С.В., Сорокина М.И. Конструирование методов выбора и ранжирования на основе функционального базиса // Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2003, Том 1. СПб.: СПбГЭТУ, 25-27 июня 2003, с. 119-122

37. Микони С.В., Бураков Д.П., Сорокина М.И., Капарис А.О. Общесистемное и сервисное развитие системы выбора и ранжирования СВИРЬ. Отчёт о НИР Рег.№ 4070. СПб.: ПГУПС, 2003.

38. Микони С.В., Бураков Д.П., Сорокина М.И., Капарис А.О. Разработка реконфигурируемой системы выбора и ранжирования СВИРЬ. Отчёт о НИР Рег.№ 4249. СПб.: ПГУПС, 2004.

39. Микони С.В., Сорокина М.И. Решение управленческих задач в системе СВИРЬ // Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2005, Том 2. СПб.: СПбГЭТУ, 27-29 июня 2005, с. 59-62

40. Микони С.В., Бураков Д.П., Сорокина М.И. Автоматизация решения управленческих задач на инструментальной системе СВИРЬ // Материалы Х-й Санкт-петербургской конференции: Региональная информатика-2006. СПб.: Политехника, 24-26 октября 2006, с. 183

41. Миллер Г. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию. В кн.: Инженерная психология. -М.: Прогресс, 1964, С. 192-225.

42. Нейман Д., Моргенштерн О. Теория игр и экономическое поведение. -М.: Наука, 1970.

43. Орловский С.А. Проблемы принятия решения при нечёткой исходной информации.-М.: Наука, 1981.

44. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ. М.: Высшая школа, 1989.

45. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. Томск: Издетельство научно-технической литературы, 1997

46. Подиновский В.В. Многокритериальные задачи с упорядоченными по важности критериями // Автоматика и телемеханика, 1976, №11.

47. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. Статические и динамические экспертные системы. -М.: Финансы и статистика, 1996.

48. Петрушин В.А. В.В. Яценков, С.Т. Андрианов. TRAPEZIUM инструментальная экспертная система для диагностики в условиях нечёткости и неопределенности //Управляющие системы и машины, 1994, № 1/2.

49. Нечёткие множества в моделях управления и искусственного интеллекта. Под редакцией Д.А.Поспелова. М.: Наука, 1986.

50. Рыбина Г.В. Проектирование систем, основанных на знаниях: Учебное пособие. М.: МИФИ, 2000. - 104 с.

51. Сафонов В.О. Экспертные системы интеллектуальные помощники специалистов. - СПб: Санкт-Петербургская организация общества "Знания" России, 1992. - 196 с.

52. Сорокина М.И. Использование когнитивной графики для визуализации результатов в системе выбора и ранжирования СВИРЬ, Программа и тезисы докладов: Неделя науки 2002. СПб.: ПГУПС, 2002. - с. 362-363

53. Сорокина М.И. Ранжирование объектов на основе нечёткой классификации // Программа и тезисы докладов: Неделя науки 2002. -СПб.: ПГУПС, 2002.-с. 363

54. Сорокина М.И. Вклад признака в общую оценку объекта // Программа и тезисы докладов: Неделя науки 2001. СПб.: ПГУПС, 2001. - с. 325-326

55. Сорокина М.И. Вклад признака в общую оценку объекта при использовании произвольных функций полезности // Известия ПГУПС. -СПб.: ПГУПС, Выпуск 3(8), 2006, с. 144-150

56. Сорокина М.И. Применение методов многокритериальной идентификации объектов в экспертных системах // Известия ВУЗов. Приборостроение. -СПб.: Издательство СПГУИТМО, №1,2007, с. 9-14

57. Стернин М.Ю., Шепелёв Г.И. Метод представления знаний в интеллектуальных системах поддержки экспертных решений//Новости искусственного интеллекта, 2003, №4.

58. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.-388 с.

59. Фрумкин А.А. Психологический отбор в профессиональной и образовательной деятельности.- СПб.: Речь, 2004.

60. Шрейдер Ю.А., Шаров А.А. Системы и модели. М.: Радио и связь, 1982.

61. Ярушкина Н.Г. Основы теории нечетких и гибридных систем. М.: Финансы и статистика, 2004.

62. Янковская А.Е., Гедике А.И., Аметов Р.В. Конструирование прикладных интеллектуальных систем на базе инструментального средства ИМСЛОГ2002 // Вестник Томского гос.университета Томск: Сентябрь 2002, №1, с. 185-190.

63. Янковская А.Е., Аметов Р.В., Гедике А.Е. Инструментальное средство ИМСЛОГ-2002//Труды VIII конф. по искусственному интеллекту КИИ'2002, том 2. -М.: Физматлит, с.683-691.

64. Codd E.F. A relational model of Data for Large Shared Databanks, Communications oh the ACM, June 1970, c. 377-387

65. Davis R. and King J. (1977). An overview of production systems. In Machine Intelligence 8 (Elcock E. W. and Michie D., eds.), p. 300-332. New York: Wiley.

66. Delgado M., Gomez-Skarmeta A.F., Vila A. On the use of hierarchical clustering in fuzzy modeling. Int. J. Of Approx. Reasoning, №14, 1996, p. 237257

67. Dombi J. Membership function as an evaluation. Fuzzy Sets and Systems, 35, 1990, p. 1-21.

68. Feigenbaum E. A. (1977). The art of artificial intelligence: themes and case studies of knowledge engineering. In Proc. 5th International Joint Conference on Artificial Intelligence, p. 1014-1029.

69. Findler N. V., eds. (1979). Associative Networks. New York: Academic Press.

70. Fishburn P.C. Utility Theory for Decision Making. New York: John Wiley & Sons, 1970

71. Forsyth R. (Ed.) Expert systems. Principles and case studies. London: Chapman and Hall, 1984

72. PRIZM: a Generator of Image Understanding System/ Gribkov I.V., Koganov A.V., Koltsov P.P., Kotovich N.V., Kravchenko A.A., Kutsaev A.S., Nikolaev V.K. and Zakharov AN.II Pattern Recognition and Image Analysis Systems. -2000-Vol. 10,No. l.-Pp. 143-149.

73. Kandel A., Martins A., Pacheco R. Discussion: On the veiy real distinction between fuzzy and statistical methods. Technometrics, v. 37, №3, 1995, p. 276-281.

74. Kowalski R. A. (1979). Logic for Problem Solving. Amsterdam: North-Holland.

75. Mikoni S. Method of choice by approximation to a pattern//Proceedings of Conf. NITE'2000, -Minsk: Belarus State Edonomic University, 2000, pp. 156159.

76. Shortliffe Е. Н. (1976). Computer-Based Medical Consultations: MYCIN. New York: Elsevier.

77. Ribeiro R.A. Fuzzy multiple attribute decision making: a review and new preference elicitation techniques. Fuzzy Sets and Systems, №78, 1996, p. 155-181.

78. Winston P. H. (1992). Artificial Intelligence, Reading, MA: Addison-Wesley. (Русский перевод первого издания: Уинстон П. Искусственный интеллект. — М.:Мир, 1980. —519с.)