автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка методов квалиметрии баз знаний промышленных экспертных систем на основе теории неаксиоматической логики и графоаналитического моделирования

На правах рукописи

Жиров Владимир Валерьевич

РАЗРАБОТКА МЕТОДОВ КВАЛИМЕТРИИ БАЗ ЗНАНИЙ ПРОМЫШЛЕННЫХ ЭКСПЕРТНЫХ СИСТЕМ НА ОСНОВЕ ТЕОРИИ НЕАКСИОМАТИЧЕСКОЙ ЛОГИКИ И ГРАФОАНАЛИТИЧЕСКОГО МОДЕЛИРОВАНИЯ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

Автореферат

диссертации на соискание учёной степени кандидата технических наук

- 8 ДЕК 2011

Самара - 2011

005004013

Работа выполнена на кафедре информационных технологий Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Самарский государственный технический университет».

Научный руководитель:

доктор технических наук, профессор Батищев Виталий Иванович

Официальные оппоненты:

заслуженный деятель науки РФ, доктор технических наук, профессор Дилигенскнй Николай Владимирович

Ведущая организация:

кандидат технических наук Петров Максим Владимирович

ФГОБУ ВПО «Поволжский государственный университет телекоммуникаций и информатики» (г. Самара)

Защита диссертации состоится 23 декабря 2011 г. в 9-00 на заседании диссертационного совета Д 212.217.03 ФГБОУ ВПО «Самарский государственный технический университет» по адресу: г. Самара, ул. Галакгионовская, 141, корпус 6, ауд. 33.

Отзывы по данной работе в: двух экземплярах, заверенные печатью, просим направлять по г адресу: Россия, 443100, Самара, ул. Молодогвардейская 244, главный корпус, на имя учёного секретаря диссертационного совета Д 212.217.03; факс: (846) 278-44-00.

С диссертацией можно ознакомиться в библиотеке Самарскою государственного технического университета (ул. Первомайская, 18)

Автореферат разослан 21 ноября 2011 г.

Учёный секретарь

диссертационного совета Д 212.217.03

Общая характеристика работы

Актуальность работы. Управление предприятием в современных условиях связано с контролем постоянно возрастающего числа внутренних и внешних показателей, на изменение которых необходимо своевременно реагировать принятием соответствующих решений. Именно поэтому важным элементом системы управления предприятием являются автоматизированные системы поддержки принятия решений. Высокая сложность и комплексный характер задач управления предприятием требуют использования знаний экспертов из различных предметных областей, что приводит к необходимости применения интеллектуальных систем поддержки принятия решений, построенных на основе технологии экспертных систем (ЭС), и использующих для своего функционирования базы знаний (БЗ).

Высокая скорость изменения среды, в которой функционирует предприятие, и возрастающий объём информации, необходимой для принятия решений, приводят к формированию новых требований к используемым ЭС. Для обеспечения актуальности принимаемых решений в быстро меняющихся условиях необходимо увеличение объёма и повышение частоты обновления БЗ. В то же время, актуальной задачей остаётся оценка соответствия ЭС предъявляемым требованиям. Поскольку соответствие предъявляемым требованиям является основным критерием качества ЭС, указанная задача представляет собой задачу оценки качества, или квалиметрии, ЭС. Новые требования к ЭС порождают новые требования к системам квалиметрии ЭС. Увеличение частоты обновления баз знаний требует более частого проведения квалиметрии, что приводит к необходимости автоматизации процесса квалиметрии. Увеличение объёма баз знаний требует использования методов квалиметрии, эффективных с точки зрения временных затрат на её проведение. Кроме того, направленность новых требований на базы знаний как на ключевой компонент ЭС требует использования методов квалиметрии, учитывающих особенности баз знаний как объекта квалиметрии.

В качестве методологической основы квалиметрии баз знаний ЭС можно рассматривать известные исследования по нескольким направлениям. Первым из таких направлений является общая теория квалиметрии, подробно рассмотренная в работах Г. Г. Азгальдова, А. Г. Варжапетяна, М. М. Калейчика. и др. Общая квалиметрия выделяет основные принципы квалиметрии и предлагает обобщённый алгоритм численной оценки качества. Однако, особенности оценки качества баз знаний и вопросы автоматизации оценки качества остаются за пределами рассмотрения обшей квалиметрии. Вторым направлением является оценка качества знаний специалистов, используемая в сфере образования и в сфере управления кадрами. Это направление включает работы А.И. Субетто, А. Н. Майорова, В. С. Аване-сова, Д. Н. Шмелёва, Л. М. Спенсер, С. Уиддет, и др. В рамках квалиметрии знаний специалистов рассматриваются важные особенности знаний как

объекта квалиметрии, а также методы автоматизации квалиметрии знаний. Однако, специфика этого направления заключается в том, что единственным рассматриваемым носителем знаний является человек. В результате, методы квалиметрии знаний специалистов не могут быть использованы в неизменном виде для оценки качества знаний в технических системах, каковыми являются БЗ ЭС. Третьим направлением является тестирование программного обеспечения, которому посвящены работы Дж. Макгрегора, С. Канера, и др. В рамках этого направления рассматриваются методы квалиметрии программных систем, в том числе методы автоматизации такой квалиметрии. Однако, исследования в сфере тестирования программного обеспечения не учитывают специфику систем, основанных на использовании баз знаний, в результате чего методы тестирования программного обеспечения невозможно использовать в неизменном виде для квалиметрии БЗ ЭС. Таким образом, ни одно из рассмотренных направлений не предлагает готовых к использованию методов оценки качества баз знаний ЭС.

Вместе с тем, исследования в области квалиметрии знаний специалистов показывают, что в сложных предметных областях существует проблема увеличения числа тестов, необходимых для проведения квалиметрии знаний. Увеличение числа тестов, в свою очередь, приводит к увеличению затрат времени и вычислительных ресурсов, задействованных в процессе квалиметрии. Для сокращения таких затрат необходима оптимизация набора проводимых тестов, что требует построения соответствующей модели качества знаний. Перспективными методами, которые можно использовать при построении такой модели, являются методы теории неаксиоматической логики П. Вана, а также методы графоаналитического моделирования.

В связи с вышесказанным представляется актуальной разработка формальных методов автоматизированной квалиметрии баз знаний ЭС, с одной стороны, основанных на положениях общей теории квалиметрии, теории квалиметрии знаний специалистов и теории тестирования программного обеспечения, и с другой стороны, учитывающих специфику оценки качества БЗ ЭС. Также представляется аюуальным решение комплекса задач, связанных с сокращением затрат на проведение квалиметрии БЗ ЭС на основе оптимизации набора проводимых тестов.

Целью настоящей диссертационной работы является разработка методов автоматизированной квалиметрии баз знаний экспертных систем, а также методов сокращения затрат на проведение такой квалиметрии путём оптимизации набора проводимых тестов.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Проводится анализ положений общей квалиметрии, обобщённого алгоритма численной оценки качества и общих проблем их применения к оценке БЗ ЭС;

2. Проводится анализ методов квалиметрии, используемых в смежных предметных областях (технической диагностике, контроле качества

программного обеспечения, профессиональном образовании, управлении персоналом) с целью выявления способов решения общих проблем, обнаруженных при оценке БЗ ЭС;

3. Проводится анализ специфики квалиметрии БЗ ЭС и выявляются частные проблемы - неоднозначность при выборе интерфейса взаимодействия с ЭС, а также необходимость сокращения временных и вычислительных затрат на проведение квалиметрии с помощью оптимизации набора проводимых тестов;

4. Проводится морфологический анализ ЭС с целью поиска интерфейсов взаимодействия с системой и сравнительный анализ найденных интерфейсов с точки зрения возможности их применения для квалиметрии БЗ;

5. Формулируются требования к информационному обеспечению процесса квалиметрии БЗ, необходимому для оптимизации набора проводимых тестов;

6. Разрабатывается модель качества знаний, соответствующая информационным потребностям задачи оптимизации состава проводимых тестов;

7. Предлагается методика квалиметрии БЗ ЭС с использованием модели качества знаний, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами;

8. Предлагаются методы сокращения затрат на проведение квалиметрии БЗ ЭС на основе интервального прогнозирования значений комплексных оценок, а также на основе выявления и использования нетаксономических связей между тестами.

9. На основе предложенных методов сокращения затрат разрабатывается комбинированный алгоритм оптимизации набора проводимых тестов;

10. Рассматривается программная реализация предложенных методов.

Основными методами исследования являются методы системного

анализа, графоаналитические методы, методы теории множеств, теории неаксиоматической логики, интервального анализа, «жадные» алгоритмы, метод ветвей и границ, методы объектно-ориентированного программирования.

Научная новизна:

1. Предложена методика квалиметрии баз знаний экспертных систем, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами, в отличие от существующих, позволяющая проводить автоматизированную оценку качества баз знаний независимо от способа представления знаний внутри системы.

2. Разработана модель качества знаний, отличающаяся от известных моделей использованием направленного графа суждений с представлением истинностных значений суждений с помощью теоретического аппарата неаксиоматической логики П. Вана, позволяющая прогнозировать значения

комплексных оценок качества на основе общего числа тестов и результатов проведённых тестов.

3. Предложены методы уменьшения числа проводимых тестов при квалиметрии БЗ ЭС, отличающиеся от известных интервальным прогнозированием значений комплексных оценок, а также выявлением и использованием нетаксономических связей между тестами, позволяющие сократить временные и вычислительные затраты на проведение квалиметрии знаний.

4. Предложен комбинированный метод оптимизации набора проводимых тестов, отличающийся от известных комплексным использованием нескольких методов уменьшения числа проводимых тестов, а также метода ветвей и границ в сочетании с «жадным» алгоритмом оптимизации, позволяющий сократить временные и вычислительные затраты на проведение квалиметрии знаний.

Практическая значимость заключается в возможности применения полученных методов при решении задач квалиметрии баз знаний промышленных экспертных систем с целью повышения качества разработки таких систем и оценки их применимости для решения новых классов задач.

Реализация и внедрение результатов работы. Разработанное программное обеспечение системы квалиметрии баз знаний было применено в ОАО «ТЯЖМАШ» (г. Сызрань) для мониторинга качества базы знаний, входящей в состав системы поддержки принятия решений по управлению производством. Результаты работы также были использованы в учебном процессе ФГБОУ ВПО «Самарский государственный технический университет» на кафедре информационных технологий. Кроме того, система квалиметрии баз знаний была использована на кафедре педагогики, психологии и психолингвистики ГБОУ ВПО «Самарский государственный медицинский университет» для оценки качества базы знаний экспертной системы «Галатея», предназначенной для контроля профессиональных знаний специалистов в различных предметных областях. Положения, выносимые на защиту:

1. Методика квалиметрии баз знаний экспертных систем, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами.

2. Модель качества знаний, основанная на направленном графе суждений с представлением истинностных значений суждений с помощью теоретического аппарата неаксиоматической логики П. Вана.

3. Методы уменьшения числа проводимых тестов при квалиметрии БЗ ЭС, основанные на интервальном прогнозировании значений комплексных оценок, а также на выявлении и использовании нетаксономических связей между тестами.

4. Комбинированный метод оптимизации набора проводимых тестов, отличающийся от известных комплексным использованием нескольких методов уменьшения числа проводимых тестов, а также метода ветвей и границ в сочетании с «жадным» алгоритмом оптимизации.

Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на конференциях: Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2005), Международная научно-техническая конференция «Современные информационные технологии». Весенняя сессия (Пенза, 2005), научные сессии Московского инженерно-физического института (Москва, 2006, 2007, 2008, 2010, 2011), V и VIII Всероссийские научные конференции с международным участием «Математическое моделирование и краевые задачи» (Самара, 2008, 2011), XI Симпозиум «Квалиметрия в образовании: методология, методика, практика» (Москва, 2006), Десятая Всероссийская конференция-семинар «Проектирование, контроль и управление качеством продукции и образовательных услуг» (Москва-Тольятти-Сызрань, 2007), Международная научно-техническая конференции «Синергетика природных, технических и социально-экономических систем» (Тольятти, 2007), Всероссийская научно-методическая конференция «Роль гуманитарных наук в системе современного высшего образования» (Самара, 2008), Всероссийская научно-практическая конференция учёных и педагогов-практиков «Актуальные проблемы развития высшего и среднего образования на современном этапе» (Самара, 2008), Международная научно-практическая конференция «Инновация-2010» (Ташкент, 2010).

Публикации. По теме диссертации опубликовано 20 печатных работ, в том числе 1 статья в журнале из перечня, рекомендованного ВАК РФ, а также получено три свидетельства об официальной регистрации программы для ЭВМ.

Объем и структура диссертационной работы. Диссертация состоит из введения, 4 глав, заключения и выводов, списка использованных источников из 100 наименований, приложений. Работа изложена на 108 страницах, содержит 8 таблиц и 21 рисунок.

Содержание работы

Во введении обоснована актуальность исследуемой проблемы, сформулирована цель и основные задачи работы, аргументирована научная новизна исследований, показана практическая значимость полученных результатов, представлены выносимые на защиту основные положения.

В первой главе проведён анализ положений общей теории квалиметрии, подходов к определению качества и обобщённою алгоритма оценки качества. В результате анализа выявлены основные проблемы применения известных подходов к оценке качества знаний. Первая проблема заключается в том, что знания не являются материальным объектом, и прямое измерение их свойств невозможно. В результате возникает задача поиска объекта оценки, который позволял бы проводить прямые измерения свойств, и свойства которого были бы связаны со свойствами знаний известной зависимостью. Вторая проблема заключается в неочевидности набора свойств знаний. Для её решения требу-

ется выявление свойств знаний, определяющих качество, которые могут быть косвенно измерены или оценены. Третья проблема заключается в отсутствии объективного, очевидного эталона знаний. В результате требуется поиск таких способов определения базовых значений выявленных свойств, и определение соответствующей функции оценки качества.

Для решения возникших проблем был проведён анализ методов квали-метрии знаний в сферах образования, управления персоналом, методов оценки качества программного обеспечения в сфере информационных технологий, а также анализ частных методов квалиметрии в сфере технической диагностики. В результате такого анализа были выявлены общие закономерности, свойственные методам квалиметрии во всех тех сферах, где объектом оценки являются знания:

-оценка знаний в этих сферах происходит путём оценки деятельности, поскольку именно в процессе деятельности происходит проявление знаний;

— деятельность рассматривается как преобразование некоторых входных данных в выходные данные (тестовое задание - ответ, ситуация - поведение, контрольное логическое утверждение - результат проверки);

-деятельность имеет сложную структуру и подвергается функциональной декомпозиции на множество элементарных действий, каждое из которых также характеризуется входными и выходными данными;

— декомпозиция деятельности проводится таким образом, чтобы каждое действие могло быть оценено с точки зрения соответствия выходных данных целям действия, и чтобы такая оценка была двузначной («соответствует» или «не соответствует», «истина» или «ложь»);

— процедуры оценки соответствия, состав и вид используемых эталонов различны для разных действий, однако декомпозиция деятельности организована таким образом, чтобы число типов используемых процедур было конечным, и, по возможности, минимальным;

— помимо функциональной декомпозиции деятельности, проводится смысловая декомпозиция знаний предметной области с образованием таксономической структуры знаний;

— результаты оценки действий сопоставляются с таксонами, что позволяет использовать связи между таксонами для агрегации оценок и расчёта комплексной оценки.

В соответствии с выявленными закономерностями структурная схема компонентов, задействованных в процессе оценки знаний может быть изображена следующим образом (рисунок 1).

После выделения компонентов, задействованных в процессе квалиметрии знаний необходимо было выявить эквивалентные им компоненты, входящие в состав систем поддержки принятия решений. Для этого был проведён морфологический анализ существующих интеллектуальных ЭС. В связи с труднодоступностыо конкретных реализаций ЭС, в качестве исходных данных для анализа использовались шесть обобщённых структурных схем интеллектуальных систем, предложенных в разное время

(1979-2010) разными авторами. В результате анализа были составлены два собственных варианта обобщённой структурной схемы ЭС, выделены интерфейсы взаимодействия ЭС со средой, произведена классификация эгих интерфейсов и сделан вывод о целесообразности оценки ЭС через интерфейс диалога с пользователем.

Рисунок 1 - Схема компонентов, задействованных в процессе оценки знаний

В этом случае действия, подвергаемые непосредственной оценке, заключаются в обработке ЭС запроса пользователя, входными данными I являются собственно запросы, выходными данными О - ответы ЭС на запросы, при этом аргументами функция оценки ТР являются ответы ЭС и эталонные значения В ответов или их частей.

Детализация оценок действий и таксономической структуры знаний требовала обращения к основным целям квалиметрии знаний в БЗ ЭС:

1. оценка возможности применения ЭС при заданных требованиях к принимаемым решениям;

2. выявление недоработок в ЭС и гшанирование мероприятий по их устранению.

Поскольку возможность применения ЭС определяется количеством и характером недоработок, для достижения поставленных целей необходимо выполнение следующих задач:

— классификации недоработок ЭС;

— определение связи между классами недоработок и оценками действий;

— определение допустимого числа недоработок для каждого класса недоработок.

При этом выбор критериев классификации недоработок обусловлен информативностью этих критериев для локализации и устранения недоработок. Например, в качестве критериев могут использоваться:

— связь недоработки с определённым фрагментом БЗ ЭС;

— связь недоработки с определённым этапом формирования БЗ ЭС;

— связь недоработки с определённым видом принимаемых решений;

— степень негативного влияния недоработки на процесс принятия решений.

Таким образом, при оценке знаний в БЗ ЭС, целесообразен переход от использования структуры знаний к использованию структуры недоработок БЗ в качестве основы для системы комплексных оценок. Поскольку структура базы знаний не зависит от результатов проведённых тестов, изменение формулировки со «структуры показателей качества» на «структуру недоработок» в данном случае не имеет значения.

С учётом приведённых выше примеров критериев классификации недоработок, можно выделить следующие особенности структуры недоработок:

— наличие нескольких, критериев классификации;

— возможность многоуровневой классификации по отдельным критериям . с образованием таксономической структуры классов;

Такие структурные особенности приводят к значительному росту числа классов при увеличении сложности оцениваемой ЭС. Поскольку оценки классов недоработок являются комплексными и основаны на дифференциальных оценках действий, увеличение числа классов недоработок приводит к увеличению необходимого числа дифференциальных оценок. В результате число действий, подвергаемых непосредственной оценке оказывается достаточно большим, чтобы поставить проблему сокращения временных и вычислительных затрат на проведение оценки.

Во второй главе рассмотрена модель качества знаний, предназначенная для использования в процессе квалиметрии знаний в БЗ ЭС. Требования к модели были разделены на две группы:

1. требования, обусловленные особенностями квалиметрии знаний;

2. требования, обусловленные информационными потребностями алгоритма оптимизации набора проводимых тестов.

Требования, обусловленные особенностями квалиметрии знаний включают:

— использование в качестве дифференциальных оценок множества результатов тестов 77?^ = {77?(|г = 1 ..Ы}; 7Де{0,1} , полученных сравнением выходных данных системы {(?,|/=1..КГ} с эталонными выходными данными {5,|/= при заданных входных данных {/,-)/= 1..М} .

-представление результата в виде множества ОКБ комплексных оценок, соответствующих классам недоработок БЗ ЭС;

- использование в качестве основы для расчёта комплексных оценок многокритериальной классификации недоработок БЗ ЭС, сформированной экспертами;

Требования, обусловленные информационными потребностями алгоритма оптимизации набора проводимых тестов включают: -возможность расчёта текущих значений комплексных оценок на основе любого подмножества результатов тестов;

- возможность интервального прогнозирования окончательных значений комплексных оценок на основе текущих значений;

- возможность пересчёта текущих значений комплексных оценок и уточнения прогнозов по мере пополнения множества результатов тестов.

Основой модели является направленный ациклический граф оценок качества О = <СУ, СЕ>, включающий три типа вершин СУ (рисунок 2):

1. истоки 5, соответствующие дифференциальным оценкам действий ()5;

2. стоки Я, соответствующие комплексным оценкам по классам недоработок ^/М;

3. промежуточные вершины А, соответствующие комплексньм оценкам по подклассам недоработок.

классификация недоработок БЗ СОЗ

по критерию А по критерию В

© © © (R4) результирую щие оценки классов недоработок

Ш) («) (АЗ) (А4) (А5) (дв) (м) (Ав) \ ^ и s\ (Aim промежуточные оценки классов недоработок

[Sl| [S2~| [S3l [S4l [S5l [S6| fS7| [i ¡] [si] ЩЩ оценки действий

Рисунок 2 - Направленный граф оценок качества

В зависимости от необходимой степени детализации оценки, вершины из множества А могут переходить в множество R, и наоборот, при соблюдении условия R 4- 0. Состав множества S постоянен и определяется набором имеющихся тестов для оценки действий. Вне зависимости от типа, каждой вершине V графа соответствует суждение Jv о максимальном значении оценки. Под суждением в данном случае подразумевается высказывание, для которого можно оценить степень его истинности. Для представления истинностных значений суждений используется подход, предложенный П. Ваном в работах, посвященных теоретическому аппарату неаксиоматической логики. В качестве меры истинности суждения используется число свидетельств (weight of evidence) в поддержку или в опровержение этого суждения,

обозначаемые соответственно ч/+ и V/.. Общее число свидетельств для суждений определено как и> =-и>++н>-, и для представления информации о свидетельствах достаточно любых двух из трёх рассмотренных величин. Значение и достоверность оценки выражены функциями от числа свидетельств, предложенными П. Ваном - частотой суждения / и уверенностью в суждении с соответственно:

0)

\viJy) VI у

с„=с(./„)= к=сош, ¿е[1,ос] (2)

' " + к и>у+к 11

Начальное число всех типов свидетельств для всех вершин равно нулю. С каждой вершиной V €5 связан тест Ту, положительный результат которого увеличивает на единицу число свидетельств а отрицательный результат - число свидетельств и-у

Дуги ОЕ графа оценок качества однотипны и используются для перераспределения свидетельств между вершинами. При перераспределении свидетельств число свидетельств, соответствующее вершине V рассчитывается как сумма свидетельств, соответствующих вершинам, непосредственно связанным с К входящими в V дугами £■€(?£ :

Указанный способ расчёта используется для всех типов свидетельств -как в поддержку, так и в опровержение Использование понятия числа простых путей ЫРТ(Х, V) от вершины X до вершины V позволяет записать формулу перераспределения свидетельств между истоками и стоками графа О в следующем виде:

м/

(4)

По сравнению с неаксиоматической логикой П. Вана, где отсутствуют ограничения на число свидетельств относительно суждений, и и'€[0 , при квалиметрии баз знаний с помощью тестов максимальное число свидетельств ч>,„ах ограничено количеством доступных тестов:

(5)

1, V 65

X и'Л-мм, V еАи 11

Х:ЗЕ= { А",;

Такое ограничение позволяет на любом этапе процесса квалиметрии на основе текущих значений числа свидетельств и м/у сделать интервальный прогноз \yvlv*; окончательного значения числа свидетельств, которое будет получено по завершении процесса квалиметрии на этапе 8ТМ (рисунок 3, а и б).

»■ем

И*.

-|-1-1-1-1--- 2Т&»

а)

1-г

■ЛТ€!Ы

лт, л г 57- 5Г, ЭТ. - ЛТД/

3)

Рисунок 3 - Графическая интерпретация прогнозируемых значений числа свидетельств

Применение формулы (1) к значениям границ интервала [и>1?+; и-Л^] позволяет получить интервальный прогноз ; 0,Н?\ значения оценки ¿V:

И',.

(6)

В третьей главе рассмотрены методы сокращения затрат на проведение квалиметрии баз знаний с помощью тестов. В первую очередь, были выделены две группы таких методов сокращения затрат:

1. методы, основанные на уменьшения затрат на проведение тестов;

2. методы, основанные на уменьшения числа фактически проводимых тестов.

Использование первой группы методов затруднено, поскольку затраты на выполнение запросов внутри ЭС не могут быть компенсированы системой оценки, а повышение эффективности входящих в состав теста процедур оценки определяется выбранным интерфейсом взаимодействия с конкретной ЭС, и потому не имеет общей реализации, применимой к любой ЭС.

В то же время, использование методов второй группы, основанных на уменьшении числа фактически проводимых тестов позволяет получить такую общую реализацию. В этой группе были выделены два метода:

1. метод, основанный на прогнозировании значений комплексных оценок;

2. метод, основанный на выявлении и использования нетаксономических связей между тестами.

Метод, основанный на прогнозировании значений комплексных оценок предполагает, что целью квалиметрии знаний является отнесение объекта оценки - БЗ ЭС - к одному из заранее определённых классов качества на основе значений комплексных оценок. При этом для определения фактического класса качества ()СЛ БЗ ЭС используется цепочка расчётов «значения оценок» - «частные значения классов качества по значениям оценок» -«фактический класс качества»: {QAI/£R}->{QCA¡r\УeR}->QCA . С помощью рассмотренной в главе 3 модели качества знаний, на основе результатов проведённых тестов возможно интервальное прогнозирование значения комплексных оценок, заключающееся в определении интервала QFv, гарантированно включающего точное значение оценки <2у. Это позволяет заменить цепочку расчётов фактического класса качества на новую: «прогнозируемые интервалы значений оценок» - «прогнозируемые интервалы частных значений класса качества» - «прогнозируемый интервал фактического класса качества»: \ ГеЯ} -»{(2САРу\УеК} -*0САР , <2САГ = [()СА1,(2САН] . Такая замена осуществляется применением формул первоначальной цепочки расчётов к границам прогнозируемых интервалов. Особенности расчёта фактического класса качества обеспечивают возможность схождения интервала ^СЛ/7 в точку прежде, чем сойдутся в точку все интервалы значений оценок {б^И УеЯ) . Таким образом, выполнение условия £)САЬ = ()САН в процессе квалиметрии позволяет сделать вывод о фактическом классе качества БЗ ЭС и не проводить тесты, результаты которых ещё неизвестны.

Метод, основанный на выявлении и использования нетаксономических связей между тестами предполагает, что в конкретных случаях квалиметрии между результатами отдельных тестов существует взаимосвязь, которая может быть выявлена экспертами при формировании тестов и позволяет на основании положительного или отрицательного результата одного теста сделать вывод о результате другого, связанного с первым, теста. В случае наличия такой взаимосвязи, целесообразна проверка связей между тестами в процессе квалиметрии знаний, и исключение из множества запланированных к проведению тестов тех, результаты которых можно прогнозировать на основе результатов ранее проведённых тестов.

Сочетание рассмотренных методов сокращения затрат на проведение квалиметрии знаний позволило разработать комбинированный метод оптимизации набора проводимых тестов. При этом использовалась следующая постановка задачи оптимизации. Даны:

1. множество тестов ТБ = {Ту \ УеБ | ;

2. множество классов качества БЗ ЭС (УСБ = {0С,-|г = 1,<2С,КГ} ;

3. граф О, определяющий связь между множеством результатов тестов ТЯБ и множеством прогнозируемых интервалов значений комплексных оценок = ;

4. множество классифицирующих интервалов QCRS классов качества для всех комплексных оценок - OCRS = {QCR'X|i=1 ,QCN, XeR} - определяющее связь между прогнозируемыми значениями QFS комплексных оценок и прогнозируемыми значениями QCAL и QCAH фактического класса качества QCA.

Каждый тест TV имеет результат TRV, связанный с прогнозируемыми значениями QFS комплексных оценок формулами перераспределения свидетельств в соответствии с конфигурацией графа G, а также формулами расчёта прогнозируемых значений оценки. На основе прогнозируемых значений QFS комплексных оценок и границ классифицирующих интервалов QCRS определяются прогнозируемые значения QCAL и QCAH фактического класса качества QCA БЗ ЭС. Каждому тесту 7V соответствует известная величина абсолютных затрат TAC{TV). Необходимо найти такое упорядоченное подмножество тестов ATS = {АГу \j -1, ATN}, AT ¡eTS , проведение которого обеспечит равенство QCAL = QCAH при наименьших суммарных абсолютных затратах ATSAC на проведение тестов, где

ATM

ATSAC = ^ТАС[ ATj) (7)

Решение поставленной задачи оптимизации затрудняется тем, что результат TRV любого теста Ту становятся известен только после проведения этого теста. Вследствие этого, прогнозируемые значения комплексных оценок и прогнозируемые значения фактического класса качества уточняются после проведения каждого теста. Таким образом, информация, необходимая для поиска глобального оптимума становится доступной в полном объёме только по окончании процесса квалиметрии, когда множество ATS тестов уже известно и не подлежит изменению.

Преодоление указанной трудности возможно путём использования для решения задачи оптимизации «жадного» алгоритма. Для этого решение разбивается на последовательность шагов, и на каждом шаге делается локально оптимальный выбор, при этом предполагается, что итоговое решение также будет оптимальным. На каждом шаге / = 1, A TN алгоритма производится выбор очередного проводимого теста АТу. из множества всех возможных вариантов APT. Множество APT представляет собой множество TS, из которого исключены тесты с известными результатами:

APT-TS \ {Ту\ V&S, j TRS,. 14-1TRAS y | > NTRV } (8)

Результаты тестов, исключаемых из множества APT могут быть известны как за счёт проведения этих тестов, так и за счёт косвенного определения на основе частичных связей между результатами тестов.

После определения множества возможных вариантов очередного теста APT для поиска оптимального варианта используется метод ветвей и границ. Ветвление заключается в разделении множества APT на три подмножества тестов: неактуальных ВРТ, актуальных МРТ, и приоритетных GPT:

BPT = {Ty\TvGAPT, \fQxeQS(Tv) QxeQBS} GPT={TV\T^APT, 3QxeQS(Ty): QxsQ0S) MPT=APT\(BPTUGPT)

QS(TV)-{QX | XeR, NPT{V,X)>0} (9)

QBS={QX\ XeR, QCALX-QCAH x}

QGS={Qx I XeR, QCALxr-QCAH x, QCALe[QCAL x; QCAH x}}

Тесты, принадлежащие множеству ВРТ гарантированно не входят в оптимальное решение, поскольку их проведение не изменит значений QCAL и QCAH. Тесты принадлежащие множеству МРТ способны изменить только верхнюю границу QCAH прогнозируемого интервала значений фактического класса качества. При этом, проведение тестов только из множества МРТ не позволяет обеспечить выполнение целевого равенства QCAL = QCAH. В то же время, проведение тестов из множества ОРТ, в зависимости от результатов тестов, способно изменить обе границы QCAL и QCAH прогнозируемого интервала значений фактического класса качества, и также способно обеспечить выполнение целевого равенства. Таким образом, по крайней мере один тест из множества GPT гарантированно входит в оптимальное решение, поскольку без проведения тестов из множества GPT невозможно получение любого решения, в том числе оптимального. Множество МРТ не обладает таким свойством, оно может не содержать ни одного теста, входящего в оптимальное решение. На основе вышесказанного можно считать множество GPT предпочтительным при выборе очередного теста.

В качестве критерия при поиске локально оптимального решения в множестве GPT целесообразно использовать величину удельных затрат на проведение теста. Величина удельных затрат TSC(Tv) определяет размер абсолютных затрат, приходящийся на единицу квалиметрической ценности TW{Tv) теста Ту.

<10>

Квалиметрическая ценность теста 77f(7V) определяет «степень принадлежности» теста Ту множеству GPT, и основывается на количестве простьк путей от вершины V до всех вершин, связанных с оценками, изменение которых способно изменить обе границы QCAL и QCAH, и обеспечить выполнение целевого равенства QCAL = QCAH:

Ш(Ту)= X КРТ{У,Х)

л': <2геос$

(П)

С использованием приведённых определений квалиметрической ценности и величины удельных затрат, целесообразно выбирать в качестве очередного такой тест, принадлежащий множеству ОРТ, удельные затраты на проведение которого минимальны.

В четвёртой главе рассмотрена программная реализация системы автоматизированной квалиметрии баз знаний, приведены алгоритмы предложенных методов оптимизации набора проводимых тестов, а также структуры данных, используемые для представления модели качества знаний в рамках парадигмы объектно-ориентированного программирования. Разработана архитектура системы квалиметрии баз знаний, структурная схема которой представлена на рисунке 4.

Рисунок 4 - Структурная схема системы квалиметрии знаний

Анализ разработанных методов оптимизации состава проводимых тестов, а также эксперименты, проведённые с использованием программной реализации показали, что эффективность методов в значительной степени определяется конфигурацией классифицирующих интервалов классов качества и фактическими показателями качества системы. В конкретных случаях

квалиметрии было достигнуто снижение затрат на проведение тестов на 24

процента от первоначального уровня затрат, без снижения достоверности

оценок качества.

В заключении приведены основные научные результаты работы.

Основные результаты и выводы

1. На основе анализа положений общей квалиметрии и обобщённого алгоритма численной оценки качества выявлены общие проблемы их применения к оценке знаний в БЗ ЭС.

2. На основе анализа методов квалиметрии, используемых в смежных предметных областях (профессиональном образовании, управлении персоналом, технической диагностике и контроле качества программного обеспечения) выявлены способы решения общих проблем, связанных с применением общей квалиметрии и обобщённого алгоритма численной оценки качества к оценке знаний в БЗ ЭС;

3. На основе анализа специфики квалиметрии знаний в БЗ ЭС выявлены частные проблемы, возникающие в процессе квалиметрии - неоднозначность при выборе интерфейса взаимодействия с ЭС, а также необходимость сокращения временных и вычислительных затрат на проведение оценки знаний с помощью оптимизации набора проводимых тестов.

4. На основе морфологического анализа ЭС и сравнительного анализа найденных интерфейсов взаимодействия сформулированы критерии выбора интерфейса для организации взаимодействия с системой в процессе оценки знаний.

5. Сформулированы требования к информационному обеспечению процесса квалиметрии БЗ, необходимому для оптимизации набора проводимых тестов;

6. Разработана модель качества знаний, соответствующая информационным потребностям задачи оптимизации набора проводимых тестов;

7. Предложена методика квалиметрии БЗ ЭС с использованием модели качества знаний, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами;

8. Предложены методы сокращения затрат на проведение квалиметрии БЗ ЭС на основе прогнозирования значений комплексных оценок, а также на основе выявления и использования нетаксономических связей между тестами.

9. На основе предложенных методов сокращения затрат разработан комбинированный метод оптимизации набора проводимых тестов;

10.. Рассмотрена программная реализации предложенных методов.

Опубликованные работы по теме диссертации

Публикации в изданиях из перечни ВАК:

1. Автоматизация решения задачи расстановки кадров предприятия на основе системы компетенций [Текст] / В.В. Жиров // Вестн. Сам. гос. техн. ун-та. Сер.: Технические науки. - Самара, 2010. - №2 (26). -С. 74-79

Публикации в других изданиях:

2. Разработка модели качества знаний с учётом динамики процесса квали-метрии [Текст] / В.И. Батищев, В.В. Жиров // Математическое моделирование и краевые задачи. Труцы восьмой Всероссийской научной конференции с международным участием . - Самара: СамГТУ, 2011 . - С.130-134

3. Автоматизированная квалиметрия баз знаний на основе тестирования программного обеспечения систем поддержки принятия решений [Текст] / В.В. Жиров // Научная сессия НИЯУ МИФИ-2011. Аннотации докладов . - М.: МИФИ, 2011. - Т.З . - С.69

4. Система оценки знаний с использованием нечетких представлений [Текст] / В.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2006. Сб. научных трудов . - М.: МИФИ, 2006. - Т.З . - С.148-149

5. Проектирование системы оценки знаний с нечетким представлением информации [Текст] / В.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2007. Сб. научных трудов . - М.: МИФИ, 2007. - Т.З . - С.90-91

6. Оптимизация объёма модели знаний предметной области на ограниченном множестве семантик [Текст] / В.В. Жиров // Математическое моделирование и краевые задачи. Труды пятой Всероссийской научной конференции с международным участием. Ч. 4: Информационные технологии в математическом моделировании. - Самара: СамГТУ, 2008. -С.51-54

7. Способы организации адаптивного тестирования в автоматизированной системе оценки качества знаний [Текст] / Á.H. Краснов, В.В. Жиров // Международная научно-практическая конференция «Инновация-2010». Сборник научных статей. - Ташкент, 2010. - С.283-284

8. Распределенный учебный программный комплекс [Текст] / В.В. Жиров, Т.М. Егорова // Радиоэлектроника, электротехника и энергетика. Двенадцатая международная научно-техническая конференция студентов и аспирантов. Тезисы докладов. Том 1. - М., 2005. - С.438-439

9. Комплекс программных средств для создания электронных учебных пособий [Текст] / Т.М. Егорова, В.В. Жиров // Современные информационные технологии. Сборник статей международной научно-технической конференции. Выпуск 2. - Пенза, 2005. - С.138-139

10. Объединение баз знаний [Текст] / В.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2008. Сб. научных трудов М.: МИФИ, 2008. -Т. 10: Интеллектуальные системы и технологии . - С. 107-108

11. Применение базы знаний для диагностики состояния производственного комплекса [Текст] / В.Г. Жиров, В.В. Жиров // Научная сессия НИЯУ МИФИ-2009. Аннотации докладов . - М.: МИФИ, 2009. - Т.З: Нанофи-зика и нанотехнологии . - С.66

12. Применение базы знаний для оценки состояния однородных объектов [Текст] / В.Г. Жиров, В.В. Жиров // Научная сессия НИЯУ МИФИ-2010. Аннотации докладов . - М.: МИФИ, 2010. - Т.З . - С.83

13. Формирование стандартной языковой картины предметной области как основа теоретической подготовки студентов [Текст] / А.Н. Краснов, О.Н. Моисеева, Е.А. Слоева, А.Н. Меркушев, С.А. Никаев, В.В. Жиров, И.С. Мошков И Актуальные проблемы развития высшего и среднего образования на современном этапе: Материалы Всероссийской научно-практической конференции ученых и педагогов-практиков. Т. 1. - Самара: Изд-во Самарского научного центра РАН, 2008. - С.271-273

14. Некоторые проблемы разработки традиционной тестовой технологии для диагностики качества теоретической подготовки студентов медицинского вуза по клиническим дисциплинам [Текст] / А.Н. Краснов, В.В. Жиров, Я.А. Краснов, A.A. Юрин // XI Симпозиум «Квалиметрия в образовании: методология, методика, практика». Сборник №2 «Общие проблемы квалиметрии в образовании» Часть 1. - М.: Исследовательский центр проблем качества подготовки специалистов, 2006. - С. 18-29

15. ЭС «ГАЛАТЕЯ» как прототип технологии контроля теоретических знаний ближайшего будущего [Текст] / А.Н. Краснов, А.Н. Меркушев,-С.А. Никаев, В.В. Жиров, Т.С. Краснова // Проектирование, контроль и управление качеством продукции и образовательных услуг. Материалы десятой Всероссийской конференции-семинара. Тезисы докладов. Часть I. - Москва-Тольятти-Сызрань, 2007. - С.236-240

16. Отдаленная эффективность когнитивного подхода к обучению при его применении в медицинском ВУЗе [Текст] / А.Н. Краснов, А.Ф. Амиров, О.Н. Моисеева, Е.Е. Липатова, Т.С. Краснова, В.В. Жиров // Проектирование, контроль и управление качеством продукции и образовательных услуг. Материалы десятой Всероссийской конференции-семинара. Тезисы докладов. Часть I. - Москва-Тольятги-Сызрань, 2007. - С.224-228

17. Понятийный подход к управлению качеством образовательного процесса в медицинском университете [Текст] / А.Н. Краснов, О.Н. Моисеева, А.Н. Меркушев, Т.С. Краснова, В.В. Жиров // Проектирование, контроль и управление качеством продукции и образовательных услуг. Материалы десятой Всероссийской конференции-семинара. Тезисы докладов. Часть I. - Москва-Тольятти-Сызрань, 2007. - С.228-232

18. Ближайшая эффективность синергетического подхода при его применении в образовательном процессе в медицинском университете [Текст] / А.Н.Краснов, А.Ф. Амиров, О.Н.Моисеева, Е.Е.Липатова, Т.С. Краснова, В.В. Жиров // Синергетика природных, технических и социально-экономических систем. Сборник статей Международной научно-технической конференции. Часть 1. - Тольятти, 2007. - С.74-77

19. Проблемы разработки тестовых заданий открытого типа для оценки профессиональных знаний [Текст] / В.В. Жиров // Роль гуманитарных наук в системе современного высшего образования: материалы Всероссийской научно-методической конференции. - Самара: ООО «МатриКС», 2008. - С. 87-89

20. Проблемы совместного использования тестовых заданий открытого и закрытого типов при оценке профессиональных знаний [Текст] / В.В. Жиров // Роль гуманитарных наук в системе современного высшего образования: материалы Всероссийской научно-методической конференции. - Самара: ООО «МатриКС», 2008. - С.89-91

Программы, зарегистрированные в Реестре программ для ЭВМ:

21. Программный комплекс для формирования электронных и мультимедийных учебников и выборки данных, соответствующих тематическому запросу пользователя («Ментор-1»). - Свидетельство об официальной регистрации программы для ЭВМ №2005611571, заявка №2005611008 от 11 мая 2005 г.. Зарегистрировано в Реестре программ для ЭВМ 27 июня 2005 г. / А.Н. Краснов, Н.Ю. Куваев, A.B. Дидик, В.В. Жиров, А.П. Журавлев, A.A. Юрин

22. Программный комплекс для контроля уровня знаний в электронных и мультимедийных учебных пособиях гуманитарного и естествеино-науч-ного типов («Квестор-1»). - Свидетельство об официальной регистрации программы для ЭВМ №2006612899, заявка №2006611939 от 13 июня 2006 г. Зарегистрировано в Реестре программ для ЭВМ 11 августа 2006 г. / А.Н. Краснов, Н.Ю. Куваев, В.В. Жиров, A.A. Юрин

23. Программа для оценки знаний в различных предметных областях по ответам на набор вопросов («Квестор-2»), - Свидетельство об официальной регистрации программы для ЭВМ №2008615267, заявка №2008614286 от 15 сентября 2008 г.. Зарегистрировано в Реестре программ для ЭВМ 31 октября 2008 г. / И.Л. Давыдкин, А.Н. Краснов, Н.Ю. Куваев, В.В. Жиров

>

-м

Автореферат отпечатан с разрешения диссертационного совета Д212.217.03 ФГБОУ ВПО «Самарский государственный технический университет» (протокол № 6 от 16 ноября 2011 г.)

Заказ №1115 . Тираж 100 экз.

Отпечатано в типографии. ФГБОУ ВПО «Самарский государственный технический университет» Отдел типографии и оперативной печати 443100 г. Самара ул. Молодогвардейская, 244, корпус 8

Введение.

1 Анализ объектов и методов автоматизированной квалиметрии знаний. Анализ моделей качества знаний.

1.1 Анализ положений общей квалиметрии, существенных при проведении квалиметрии знаний.

1.2 Анализ методов квалиметрии знаний в различных предметных областях

1.2.1 Выделение предметных областей.

1.2.2 Сфера технической диагностики.

1.2.3 Сфера контроля качества программных систем.

1.2.4 Сфера образования.

1.2.5 Сфера управления персоналом.

1.2.6 Сравнение методов квалиметрии знаний в рассмотренных предметных областях.

1.3 Анализ специфики квалиметрии знаний в базах знаний экспертных систем.

1.3.1 Структурный анализ систем, основанных на знаниях.

1.3.2 Выбор системы оценок качества знаний.

1.4 Выводы.

2 Разработка модели качества знаний на основе теории неаксиоматической логики и графоаналитического моделирования.

2.1 Формулировка требований к модели.

2.2 Графовая интерпретация модели качества знаний.

2.3 Нейросетевая интерпретация модели качества знаний.

2.4 Сравнение модели качества знаний с традиционной моделью представления квалиметрических оценок.

2.5 Описание методики квалиметрии баз знаний экспертных систем с использованием модели качества знаний.

2.6 Выводы.

3 Разработка методов сокращения затрат на проведение квалиметрии с помощью оптимизации набора проводимых тестов.

3.1 Классификация методов сокращения затрат на проведение квалиметрии знаний.

3.2 Описание метода уменьшения числа проводимых тестов, основанного на интервальном прогнозировании значений комплексных оценок.

3.3 Описание метода уменьшения числа проводимых тестов, основанного на использовании нетаксономических связей между тестами.

3.4 Описание комбинированного метода оптимизации процесса квалиметрии знаний с использованием жадного алгоритма выбора очередного теста.

3.5 Выводы.

4 Программная реализация, оценка эффективности и практическое применение системы квалиметрии баз знаний.

4.1 Программная реализация системы квалиметрии баз знаний.

4.2 Оценка эффективности системы квалиметрии баз знаний.

4.3 Практическое применение системы квалиметрии баз знаний.

4.4 Выводы.

Управление предприятием в современных условиях связано с контролем постоянно возрастающего числа внутренних и внешних показателей, на изменение которых необходимо своевременно реагировать принятием соответствующих решений. Именно поэтому важным элементом системы управления предприятием являются' автоматизированные системы поддержки принятия решений. Высокая сложность и комплексный характер задач управления' предприятием требуют использования знаний экспертов из различных предметных областей, что приводит к необходимости применения интеллектуальных систем поддержки принятия решений, построенных на основе технологии экспертных систем (ЭС), и использующих для своего функционирования базы.знаний (БЗ).

Высокая скорость изменения среды, в которой функционирует предприятие, и возрастающий объём информации, необходимой для принятия решений, приводят к формированию новых требований к используемым ЭС. Во-первых, ЭС должны"обеспечиватьаюуальность принимаемых решений в быстро меняющихся условиях, для этого необходимо повышение частоты обновления БЗ. Во-вторых, ЭС должны сохранять способность к функционированию в критических ситуациях, вызванных выходом наблюдаемых показателей за предусмотренные значения. Для этого требуется увеличение объёма БЗ за счёт знаний, необходимых для реализации логического вывода в условиях большого разброса значений показателей.

С другой стороны, актуальной задачей остаётся оценка соответствия ЭС предъявляемым требованиям. Поскольку соответствие предъявляемым требованиям является основным критерием качества ЭС, указанная задача представляет собой задачу оценки качества, или квалиметрии, ЭС. Новые требования к ЭС порождают новые требования к системам квалиметрии ЭС. Увеличение частоты обновления баз знаний требует более частого проведения квалиметрии, что приводит к необходимости автоматизации процесса квалиметрии. Увеличение объёма баз знаний требует использования методов квалиметрии, эффективных с точки зрения временных затрат на её проведение. Кроме того, направленность новых требований на базы знаний как на ключевой компонент ЭС требует использования методов квалиметрии, учитывающих особенности баз знаний как объекта квалиметрии.

В качестве методологической основы квалиметрии баз знаний ЭС можно рассматривать известные исследования по нескольким направлениям. Первым из таких направлений является общая теория квалиметрии, подробно рассмотренная в работах Г. Г. Азгальдова, А. Г. Варжапетяна, М. М. Калейчика. Юг П. Адлер, В. Г. Велик, 3. Н. Крапивенского, Ю. П. Кураченко, Г. Н. Бобров-никова, А. В. Гличева, В. В. Кочетова, Г. Н. Солод, А. В: Субето, А. Г. Суслова, М. В. Федорова, И'. Ф: Шишкина, Д. М. Шпектрова и др. Общая квалиметрияг выделяет основные принципы квалиметрии, справедливые при оценке качества любых объектов, и предлагает обобщённый алгоритм численной оценки качества. Однако, особенности оценки качества баз знаний и вопросы автоматизации оценки качества остаются за пределами рассмотрения общей квалиметрии. Вторым направлением является оценка качества знаний специалистов, используемая* в сфере образования и в сфере управления кадрами. Это направление включает работы А.И. Субетто, А. Н. Майорова, В. С. Аванесова, Д. №. Шмелёва, М. Б. Челышковой, Л. М. Спенсер, С. М. Спенсер, С. Уидцет, С. Холлифорд, и др. В рамках квалиметрии знаний специалистов рассматриваются важные особенности знаний как объекта квалиметрии, а также методы автоматизации квалиметрии знаний. Однако, специфика этого направления заключается в том, что единственным рассматриваемым носителем знаний является человек. В результате, методы квалиметрии знаний специалистов не могут быть использованы в неизменном виде для оценки качества знаний в технических системах, каковыми являются БЗ ЭС. Третьим направлением является тестирование программного обеспечения, которому посвящены работы Дж. Макгрегора, Д. Сайкса, С. Канера, Дж. Фолка, Е. Нгуена, Э. Брауде, Л. Тамре, и др. В рамках этого направления рассматриваются методы квалиметрии программных систем, в том числе методы автоматизации такой квалиметрии. Однако, исследования в сфере тестирования программного обеспечения не учитывают специфику систем, основанных на использовании баз знаний, в результате чего методы тестирования программного обеспечения невозможно использовать в неизменном виде для квалиметрии БЗ ЭС. Таким образом, ни одно из рассмотренных направлений не предлагает готовых к использованию методов оценки качества баз знаний ЭС.

Вместе с тем, исследования в области квалиметрии знаний специалистов показывают, что в сложных предметных областях существует проблема увеличения числа тестов, необходимых для-проведения квалиметрии знаний; Увеличение числа тестов, в свою очередь, приводит к увеличению затрат времени и вычислительных, ресурсов^ задействованных в. процессе квалиметрии; Для1 сокращения« таких затрат необходима; оптимизация набора проводимых тестов, что требует построения соответствующей модели качества знаний. Перспективными методами, которые можно использовать при; построении такой модели^ являются методы теории неаксиоматической логики П. Вана, а также методы, графоаналитического моделирования;.

В связи с вышесказанным/' представляется актуальной разработка формальных методов автоматизированной квалиметрии баз знаний ЭС, с одной стороны, основанных на положениях общей теории квалиметрии, теории квалиметрии знаний специалистов; и теории тестирования программного обеспечения, и с другой стороны, учитывающих специфику оценки качества БЗ ЭС. Также представляется актуальным решение комплекса задач, связанных с сокращением- затрат на проведение квалиметрии БЗ ЭС на основе оптимизации набора проводимых тестов.

Целью настоящей диссертационной работы является разработка методов автоматизированной' квалиметрии баз знаний экспертных систем, а также методов сокращения затрат на, проведение такой:; квалиметрии путём оптимизации набора проводимых тестов;

Для достижения поставленной цели в работе решаются следующие задачи:

1) Проводится анализ положений общей квалиметрии, обобщённого алгоритма численной оценки, качества и общих проблем: их применения к оценке БЗ ЭС;

2) Проводится анализ методов квалиметрии, используемых в смежных предметных областях (технической диагностике, контроле качества программного обеспечения, профессиональном образовании, управлении персоналом) с целью выявления способов решения общих проблем, обнаруженных при оценке БЗ ЭС;

3) Проводится анализ специфики квалиметрии БЗ ЭС и выявляются частные проблемы - неоднозначность при выборе интерфейса взаимодействия с ЭС, а также необходимость сокращения временных и вычислительных затрат на проведение квалиметрии с помощью оптимизации набора проводимых тестов;

4) Проводится морфологический анализ ЭС с целью поиска интерфейсов. взаимодействиям системой и сравнительный анализ найденных интерфейсов с точки зрения возможности-их применения для квалиметрии БЗ;

5) Формулируются требования к информационному обеспечению' процесса квалиметрии БЗ, необходимому для оптимизации набора проводимых тестов;

6) Разрабатывается модель качества знаний, соответствующая информационным потребностям задачи оптимизации состава проводимых тестов;

7) Предлагается» методика квалиметрии БЗ ЭС с использованием модели качества знаний, основанная на сравнении- результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами;

8) Предлагаются методы сокращения затрат на-проведение квалиметрии БЗ ЭС на основе интервального прогнозирования значений комплексных оценок, а также на основе выявления и- использования нетаксономических связей между тестами;

9) На основе предложенных методов сокращения затрат разрабатывается комбинированный алгоритм оптимизации набора проводимых тестов;

10) Рассматривается программная реализация предложенных методов.

Основными методами исследования являются методы системного анализа, графоаналитические методы, методы теории множеств, теории неаксиоматической логики, интервального анализа, «жадные» алгоритмы, метод ветвей и границ, методы объектно-ориентированного программирования.

Научная новизна:

1) Предложена методика квалиметрии баз знаний экспертных систем, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами, в отличие от существующих, позволяющая проводить автоматизированную оценку качества баз знаний независимо от способа представления знаний внутри системы.

2) Разработана модель качества знаний, отличающаяся от известных моделей использованием направленного графа суждений с представлением истинностных значений суждений с помощью теоретического аппарата неаксиоматической логики П. Вана, позволяющая прогнозировать значения комплексных оценок, качества на основе общего числа тестов и результатов проведённых тестов.

3) Предложены методы уменьшения числа проводимых тестов при квалиметрии БЗ; ЭС, отличающиеся от известных интервальным прогнозированием' значений, комплексных оценок, а также выявлением и использованием нетаксономических связей между тестами, позволяющие сократить временные и вычислительные затраты на проведение квалиметрии знаний.

4)- Предложен комбинированный метод оптимизации набора проводимых тестов, отличающийся от известных комплексным использованием нескольких методов уменьшения числа проводимых тестов, а также метода ветвей и границ в сочетании с «жадным» алгоритмом оптимизации, позволяющий сократить временные и вычислительные затраты ,на проведение квалиметрии знаний.

Практическая значимость заключается в возможности применения« полученных методов при решении' задач квалиметрии баз знаний промышленных экспертных систем с целью повышения ^ качества разработки« таких систем и оценки их применимости для решения новых классов задач.

Положения, выносимые на защиту:

1) Методика квалиметрии баз знаний экспертных систем, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами.

2) Модель качества знаний, основанная на направленном графе суждений с представлением истинностных значений суждений с помощью теоретического аппарата неаксиоматической логики П. Вана.

3) Методы уменьшения числа проводимых тестов при квалиметрии БЗ ЭС, основанные на интервальном прогнозировании значений комплексных оценок, а также на выявлении и использовании нетаксономических связей между тестами.

4) Комбинированный метод оптимизации набора проводимых тестов, отличающийся от известных комплексным использованием нескольких методов уменьшения числа проводимых тестов, а также метода ветвей и границ в сочетании с «жадным» алгоритмом оптимизации.

Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на конференциях: Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва; 2005), Международная научно-техническая конференция «Современные информационные технологии». Весенняя сессия (Пенза, 2005), научные сессии Московского инженерно-физического института (Москва, 2006, 2007, 2008, 2010; 2011), V и VIII Всероссийские научные конференции с международным участием «Математическое моделирование и краевые задачи» (Самара, 2008, 2011), XI Симпозиум «Квалиметрия в образовании: методология, методика, практика» (Москва, 2006), Десятая Всероссийская конференция-семинар «Проектирование, контроль и управление качеством продукции и образовательных услуг» (Москва-Тольятти-Сызрань, 2007), Международная научно-техническая конференции «Синергетика природных, технических и социально-экономических систем» (Тольятти, 2007); Всероссийская научно-методическая конференция «Роль гуманитарных наук в системе современного высшего образования» (Самара, 2008), Всероссийская научно-практическая конференция ученых и педагогов-практиков «Актуальные проблемы развития высшего и среднего образования на современном этапе» (Самара, 2008), Международная научно-практическая конференция «Инновация-2010» (Ташкент, 2010).

Публикации. По теме диссертации опубликовано 20 печатных работ, в том числе 1 статья в журнале из перечня, рекомендованного ВАК РФ, а также получено три свидетельства об официальной регистрации программы для ЭВМ.

Объем и структура диссертационной работы. Диссертация состоит из введения, 4 глав, заключения и выводов, списка использованных источников из 100 наименований, приложений. Работа изложена на 108 страницах, содержит 8 таблиц и 21 рисунок.

4.4 Выводы

1) Для проверки работоспособности, оценки эффективности и практического применения, предложенных модели качества знаний, методики автоматизированной квалиметрии' БЗ ЭС и методов сокращения затрат на проведения квалиметрии выполнена программная реализация указанных модели и методов.

2) Выделены факторы, определяющие эффективность предложенных методов и условия повышения такой эффективности.

3) С использованием программной реализации проведены эксперименты, подтверждающие эффективность предлагаемых методики, модели и методов.

Заключение

В диссертационной работе была поставлена и решена задача разработки методов автоматизированной квалиметрии баз знаний промышленных экспертных систем, а также задача сокращения временных и вычислительных затрат на проведение такой квалиметрии. Были получены следующие основные результаты:

1) На- основе анализа положений общей квалиметрии и обобщённого алгоритма численной оценюг качества выявлены общие проблемы их применения.к оценке знаний в БЗ ЭС;

2)1 На основе анализа методов квалиметрии, используемых в смежных предметных областях (профессиональном образовании, управлении персоналом, технической диагностике и контроле качества программного обеспечения) выявлены способы решения общих проблем, связанных с применением общей квалиметрии и обобщённого алгоритма численной оценки качества к оценке знаний в БЗ ЭС;

3) На основе анализа; специфики квалиметрии знаний в БЗ ЭС выявлены частные проблемы, возникающие в процессе квалиметрии - неоднозначность при* выборе интерфейса взаимодействия с ЭС, а также необходимость сокращения временных и вычислительных затрат на проведение оценки знаний с помощью оптимизации набора проводимых тестов;

4) На основе морфологического анализа ЭС и сравнительного анализа найденных интерфейсов» взаимодействия сформулированы критерии выбора интерфейса для организации взаимодействия-' с системой в процессе оценки знаний;

5) Сформулированы требования к информационному обеспечению процесса квалиметрии БЗ, необходимому для оптимизации! набора проводимых тестов;

6) Разработана модель качества знаний, соответствующая информационным потребностям задачи оптимизации набора проводимых тестов;

7) Предложена методика квалиметрии БЗ ЭС с использованием модели качества знаний, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами;

8) Предложены методы сокращения затрат на проведение квалиметрии БЗ ЭС на основе прогнозирования значений комплексных оценок, а также на основе выявления и использования нетаксономических связей между тестами;

9) На основе предложенных методов сокращения затрат разработан комбинированный метод оптимизации набора проводимых тестов;

10) Рассмотрена программная реализации предложенных методов.

1. Азгальдов, Г.Г. О квалиметрии Текст. / Г.Г. Азгальдов, Э.П. Райхман . -М.: Изд-во стандартов, 1973 . 172 с.

2. Алефельд, Г. Введение в интервальные вычисления Текст. /

3. Г. Алефельд, Ю. Хердбергер ; пер. с англ. Г.Е. Минца, А.Г. Яковлева, под ред. Ю.В. Матиясевича . М.: Мир, 1987 . - 360 с.

4. Барский, А.Б. Нейронные сети: распознавание, управление, принятие решений Текст. / А.Б. Барский . -М.: Финансы и статистика, 2004 . 176 с.

5. Биргер, И.А. Техническая диагностика Текст. / И.А. Биргер . — М.: «Машиностроение», 1978 . -240 с.

6. Брауде, Э. Технология разработки программного обеспечения Текст. / Э. Брауде ; пер. с англ. Е. Бочкарева, Д. Солнышков . СПб.: Питер, 2004*. -655 с.

7. Буканов, Ф.Ф. Квалиметрия профессиональных знаний

8. Текст. / Ф.Ф. Буканов, А.Н. Меркушев, Е.В. Погорелова; Самар.гос.техн.ун-т.-Самара, 1996.-99 с.

9. Буч, Г. Язык UML. Руководство пользователя. 2-е изд. Текст. / Г. Буч, Д. Рамбо, И. Якобсон ; пер. с англ. Н. Мухин . М.: ДМК Пресс, 2006 . - 496 с.

10. Вагин, В.Н. Достоверный и правдоподобный вывод в интеллектуальных системах Текст. / В.Н. Вагин, Е.Ю. Головина, A.A. Загорянская, М.В. Фомина ; под ред. В.Н. Вагина, Д.А. Поспелова . -М.: ФИЗМАТЛИТ, 2004 . 704 с.

11. Варжапетян, А.Г. Квалиметрия: Учебное пособие Текст. / А.Г. Варжа-петян . СПб.: СПбГУАП, 2005 . - 176 с.

12. Гаврилова, Т.А. Базы знаний интеллектуальных систем Текст. / Т.А. Гаврилова, В.Ф. Хорошевский . СПб.: Питер, 2000 . - 384 с.

13. Гончаров, E.H. Исследование операций. Примеры и задачи. Учебное пособие Текст. / E.H. Гончаров, А.И. Ерзин, В.В. Залюбовский . — Новосибирск: Новосибирский государственный университет, 2005 . — 78 с.

14. Горностаев, С. Проблемы использования метода экспертной оценки в процедурах оценки персонала Текст. / С. Горностаев // Управление персоналом . 2006. - №3 . - С.44-47

15. Губанов,,Н;Г. Структура, модели и анализ системы формирования базы профессиональных знаний специалистов промышленного производства Текст. : Дис. канд. техн. наук: 05.13.01 / Самар.гос.техн.ун-т. — Защищена 28.04.03. -Самара, 2003-. 124 с.

16. Дастин, Э. Автоматизированное тестирование программного обеспечения. Внедрение, управление и эксплуатация Текст. / Элфрид Дастин; Джефф Рэшка, Джон Пол ; пер. с англ. Е. Молодцова, М: Павлов . — М.: Издательство «ЛОРИ», 2003 . 592 с.

17. Джарратано, Д. Экспертные системы: принципы разработки и программирование Текст. / Джозеф Джарратано, Гари Райли, пер. с англ. К.А. Птицына . М.: ООО «И.Д. Вильяме», 2007 . - 1152 с.

18. Джексон, П. Введение в экспертные системы Текст. / Питер Д жексон . -М.: Издательский дом «Вильяме», 2001 . 624 с.

19. Жиров, В.В. Автоматизация решения задачи расстановки кадров предприятия на основе системы компетенций Текст. /В.В. Жиров // Вестн. Сам. гос. техн. ун-та. Сер.: Технические науки . Самара, 2010. - №2 (26) . - С.74-79

20. Жиров, В.Г. Объединение баз знаний Текст. /

21. B.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2008. Сб. научных трудов . — М.: МИФИ, 2008. Т.10: Интеллектуальные системы и технологии . - С.107-108

22. Жиров, В.Г. Проектирование системы оценки знаний с нечетким представлением информации Текст. / В.Г. Жиров, В.В. Жиров // Научная сессия1 МИФИ-2007. Сб. научных трудов . -М.: МИФИ, 2007. Т.З: Интеллектуальные системы и технологии . - С.90-91

23. Жиров, В.Г.,Система оценки знаний с использованием нечетких представлений Текст. / В.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2006. Сб. научных трудов . М.: МИФИ, 2006. - Т.З: Интеллектуальные системы и технологии .-С.148-149

24. Зыкову A.Ai Основы теории графов-Текст. / A.A. Зыков . М.: Наука, 1987.-384 с.

25. Калейчик, М.М; Квалиметрия: Учебное пособие. 5-е изд., стереотипное Текст. / М.М. Калейчик . - М.: МГИУ, 2007 . - 200 с.

26. Калмыков, С.А. Методы интервального анализа Текст. /

27. C.А. Калмыков, Ю.И. Шокин, З.Х. Юлдашев . Новосибирск: Наука, 1986 . -222 с.

28. Канер, С. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений Текст. / Сэм Канер, Джек Фолк, Енг Кек Нгуен ; пер. с англ . К.: Издательство «ДиаСофт», 2001 . - 544 с.

29. Кормен, Т.Х. Алгоритмы: построение и анализ

30. Текст. / Томас X. Кормен, Чарльз И. Лейзерсон, Рональд JI. Ривест, Клиффорд Штайн ; пер. с англ. Н. Орехова, В. Романов, И. Красиков . М.: Издательский дом «Вильяме», 2011 . - 1296 с.I

31. Краснов, Ä.H. Некоторые проблемы разработки традиционной > тестовой технологии-для диагностики качества теоретической подготовки* студентов медицинского вуза по клиническим дисциплинам Текст. /

32. Краснов, А.Н. Понятийный подход к управлению качеством образовательного процесса в медицинском университете Текст. / А.Н. Краснов,

33. Краснов, А.Н1 Способы организации адаптивного тестирования в автоматизированной системе оценки качества знаний Текст. / А.Н. Краснов,

34. В.В. Жиров // Международная научно-практическая' конференция «Инновация-2010». Сборник научных статей . Ташкент, 2010ч - С.283-284

35. Краснов, А.Н: Формирование стандартной языковой, картины-предметной области как основа-теоретической подготовки студентов Текст. /

36. A.Н. Краснов; О.Н. Моисеева, Е.А. Слоева, А.Н. Меркушев; С.А. Никаев,

37. Краснов, А.Н. ЭС «ГАЛАТЕЯ» как прототип технологии.контроля теоретических знаний-ближайшего будущего Текст. / А.Н. Краснов,

38. Кристофидес, Н. Теория графов. Алгоритмический подход / Пер. с англ. Текст. / Н. Кристофидес . М.: Мир, 1978 . - 432 с.

39. Круглов, В.В. Искусственные нейронные сети. Теория и практика Текст. /В.В. Круглов, В.В. Борисов . М.: Горячая линия — Телеком, 2002 . -382 с.

40. Кузин, Л.Т. Основы кибернетики: В 2-х т. Т.2. Основы кибернетических моделей Текст. / Л.Т. Кузин . М.: Энергия, 1979 . - 584 с.

41. Проект требований к результатам освоения основной образовательной программы основного общего образования Электронный ресурс. /

42. A.A. Кузнецов, O.E. Лебедев. — Режим доступа: http://standart.edu.ru/catalog.aspx7CatalogkH238.

43. Майоров, А.Н. Теория и практика создания тестов для системы образо вания Текст. / А.Н. Майоров . М.: «Интеллект-центр», 2001'. - 296 с.

44. Макгрегор, Дж. Тестирование объектно-ориентированного программного обеспечения. Практическое пособие' Текст. / Джон Макгрегор, Девид Сайке ; пер. с англ . К.: ООО «ТИД «ДС», 2002 . - 432 с.

45. Мишин, В:М. Управление-качеством: учебник для студентов вузов, обучающихся по специальности «Менеджмент организации» (061100) Текст. / В.М. Мишин . М.: ЮНИТИ-ДАНА, 2005 . - 463 с.

46. Ope, О. Теория графов Текст. / О. Ope ; пер. с англ. И.Н. Врублевской, под ред. H.H. Воробьева . М.: Наука, 1980 . - 336 с.

47. Осовский, С. Нейронные сети для обработки информации Текст. / С. Осовский ; Пер. с польского И.Д. Рудинского . М.: Финансы и статистика, 2002 . - 344 с.

48. Погорелова, Е.В. Система автоматизированного формирования и квалиметрического анализа профессиональной базы знаний Текст.1: Дис. канд. техн. наук: 05.11.16; 05.25.05 / Самар. политехи, ин-т им. В.В.Куйбышева. — Защищена 22.12.92. Самара, 1992. - 223 с.

49. Попов Э.В. Статические'и динамические экспертные системы: Учеб. пособие Текст. / Э:В. Попов, И?Б. Фоминых, Е.Б. Кисель, М.Д; Шапот . М:: Финансы и статистика; 1996 . - 320 с.

50. Рутковская, Д: Нейронные сети, генетические алгоритмы и нечеткие системы Текст. / Д. Рутковская, М. Пилиньский, Л. Рутковский ; пер. с польск. И.Д. Рудинского . — М.: Горячая линия Телеком, 2006 . — 452 с.

51. Рыбина, Г.В. Введение в интеллектуальные системы: учебное пособие Текст. / Г.В: Рыбина . М.: МИФИ; 2006 . - 140' с.

52. Рыбина, Г.В. Основы построения интеллектуальных систем: учебное пособие Текст. / Г.В. Рыбина . М.: Финансы и статистика; ИНФРА-М, 2010 . — 432 с.

53. Рыбина, Г.В. Основы теории и технологии построения интеллектуальных диалоговых систем: курс лекций Текст. / Г.В. Рыбина . М.: МИФИ, 2005 . - 132 с.

54. Самылкина, Н.Н. Современные средства оценивания, результатов обучения Текст. /Н.Н. Самылкина . -М.: БИНОМ. Лаборатория знаний; 2007.- 172 с.

55. Сергеев, А.Г. Метрология: Учебник Текст. / А.Г. Сергеев . -М.: Логос, 2005 . 272 с.

56. Спенсер, JI.M. Компетенции на работе Текст. / JIM. Спенсер, С.М. Спенсер ; пер. с англ. А. Яковенко . М.: ЩРРО, 2005 . - 384 с.

57. Субетто, А.И. Квалиметрия человека и,образования: генезис, становление, развитие, проблемы и» перспективы // Материалы XI симпозиума «Квалиметрия в образовании: методология, методика и практика»-Текст. /

58. А.И. Субетто . — М.: Исследовательский центр проблем качества подготовки специалистов, 2006 . — 97 с.

59. Тамре, JI. Введение в тестирование программного обеспечения Текст. / Луиза Тамре ; пер.- с англ. В.В. Марченко . М.: Издательский дом «Вильяме», 2003 . - 368 с.

60. Тартаковский, Д.Ф. Метрология, стандартизация и технические средства измерений: Учеб. для вузов Текст. / Д.Ф. Тартаковский, A.C. Ястребов-. — М.: Высшая.школа, 2001 . 205 с.

61. Татт, У Теория графов / Пер. с англ. Текст. / У. Татт . М.: Мир, 1988 .-426 с.

62. Уиддет, С. Руководство по компетенциям Текст. / Стив Уиддет, Сара Холлифорд . М.: ШРРО, 2003'. - 228 с.

63. Фаулер, М. UML. Основы Текст. / М. Фаулер, К. Скотт ; пер. с англ . — СПб.: Символ-Плюс, 2002 . 192 с.

64. Финн, В.К. Об интеллектуальном анализе данных Текст. / В.К. Финн // Новости искусственного интеллекта . 2004. — №3 . — С.3-18

65. Фомин, В.Н. Квалиметрия. Управление качеством. Сертификация Текст. / В.Н. Фомин . -М.: Ассоциация авторов и издателей «ТАНДЕМ». Издательство «ЭКМОС», 2000 . 320 с.

66. Хайкин, С. Нейронные сети: полный курс, 2-е издание / Пер. с англ. Текст. / Саймон Хайкин . -М.: Издательский дом «Вильяме», 2006 . 1104 с.

67. Челышкова, М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие Текст. / М.Б. Челышкова . — М.: Логос, 2002 . 432 с.

68. Чемеков, В.П. Трейдинг: технология-построения системы управления персоналом Текст.*/В:П. Чемеков . -М.: Вершина, 2007 . 208 с.

69. Конечномерный интервальный анализ Электронный ресурс. / С.П. Шарый. Режим доступа:http://www.nsc.ru/interval/LibraryДnteBooks/SharyBook.pdf.

70. Шокин, Ю.И. Интервальный анализ Текст. / Ю.И. Шокин . — Новосибирск: Наука, 1981 . 112 с.

71. Введение в практическое тестирование Электронный ресурс. / В.М'. Казиев. — Режим доступа: http://www.intuit.ru/department/informatics/practest/.

72. МИ 2365-96. ГСИ. Шкалы измерений. Основные положения. Термины и определения Электронный ресурс. — Режим доступа: http://www.complexdoc.ru/ntdtext/538554/.

73. Дискретная математика: алгоритмы. Жадные алгоритмы Электронный ресурс. / Дмитрий Белешко. — Режим доступа: http://rain.ifino.ru/cat/view.php/theoiy/algorithm-analysis/greedy-2004.

74. Оценка качества. Структура квалитологии Электронный ресурс. -Режим доступа: Ь«р://з1ага1е1.сотЛ5оЛ809000/А1йс1е^иа1Соп^т.

75. Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых Электронный ресурс. / Н.М. Румянцева. Режим доступа:http://www.testor.ru/files/Conferens/problsovtesi/Probladapttest.doc.

76. ГОСТ Р ИСО 9000-2008. Системы менеджмента качества. Основные положения и словарь Электронный ресурс. — Режим доступа: http://protect.gost.ru/docmnent.aspx?control=7&id=l 74284.

77. Теоретический анализ проблемы количественной оценки качества обучения Электронный ресурс.// Методическая информ. система Севера. -Режим доступа:http://www.gmcit.muimansk.iWtex method/theoreticalanalysis.htm.

78. Теория и методика педагогических измерений Электронный ресурс. / B.C. Аванесов. Режим доступа: http://www.ustu.ru/ %D0%90%D0%B2%D0%B0%D0%BD%D0%B5%D 1 %81 %D0%BE %D0%B2%20%D0%92.%D0%A 1 .pdf?id=2421&j f-yes.

79. ГОСТ 15467-79.' Управление качеством продукции. Основные понятия, термины и определения Электронный ресурс. Режим доступа: http://www.complexdoc.ru/lib/%D0%93%D0%9E%D0%A1 %D0%A2%2015467-79.

80. Электронный словарь «Мультитран» Электронный ресурс. Режим доступа: http://multitran.ru/.

81. A Defect in Dempster-Shafer Theory Электронный ресурс. / Pei Wang. — Режим доступа: http://www.cis.temple.edu/%7Epwang/Publication/D-S.pdf.

82. A New Approach for Induction: From a Non-Axiomatic Logical Point of View Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/%7Epwang/Publication/induction.pdf.

83. Experience-Grounded Semantics: A theory for intelligent systems Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/ %7Epwang/Publication/semantics.pdf.

84. Formalization of Evidence: A Comparative Study Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/ %7Epwang/Publication/FormalEvidence.pdf.

85. From Inheritance Relation to Non-Axiomatic Logic Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/ %7Epwang/Publication/inheritancenal.pdf.

86. Non-Axiomatic Logic (NAL) Specification Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/%7Epwang/Writing/NAL-Specification.pdf.

87. Схема алгоритма уменьшения числа проводимых тестов на основе интервального прогнозирования значений комплексных оценок1.^^ .11------.24

88. Начало ) ( Начало В1 ) Г Начало Р1 ) ( Начало Р2 )1. Г-21. В11. Ввод1. ОРЮ1. Г—з

89. Проведение очередного теста Т.1. Р11. Расчёт1. УУ1. Г—51. Р21. Расчёт {<2СА,}г—6

90. Расчёт вСАР по формулам (3.9)1. Ввод ОСПА131 ,<20*161. Вводесл;161,0с1у1.171. X"201. Расчёт1. ОТ упо формулам (2.21)fQy.VGR25г—261. Расчётес4„по формулам (3.7)1. Г-2723,- 28.1. Г Конец Р1 ) Г Конец Р2 )

91. Схема алгоритма уменьшения числа проводимых тестов на основе выявления и использования частичных связей между результатами тестов1. Г'-\1. Начало )1. Г-21. В2

92. Ввод икформации о частичных связяхг—3

93. Переход к очередному тесту Туг—10

94. Расчёт ТЛЛГ(У) по формуле (3.16)г—5г-12

95. Принятие ТИУ= ТИА{У) с расчётом по формуле (3.17)1. Дакачества и/иликласса качестваг 8-

96. Вывод оценок качества ' и/или класса у качества1. Г -\1. Г Конец В2 )1. Г"—-\1. Конец )

97. Схема комбинированного алгоритма оптимизации набора проводимых тестов-\ -\ -N

98. Начало 1 I Начало РЗ 1 1 Начало Р4 )1. В11. Вводшею1. Г-31. В2

99. Ввод информации о частичных связях1.41. РЗ

100. Выявление связей между тестами и комплексными оценками1.51. АРТ-.= ТЯ1.61. Р4

101. Поиск очередного теста 77Уг-7

102. Проведение очередного теста TN111. УТуВЛРТг-12

103. Формирование множества по формуле 3.19г—13v Туе АРТг—ч\1. Конец РЗ )1. Г18

104. Определенне множеств оценок и (¿СЯг191. Р5

105. Исключение из АРТ тестов с известными результатамиг201. Р6

106. Исключение из АРТ неактуальных тестовг 21 1. Р7

107. Выделение из АРТ приоритетных тестов СРТг 221. Р8

108. Поиск очередного теста среди приоритетных1. Г-N1. Г Конец Р4 )1. Начало Р51. Ту<=АРТ26 Г«,, \ Даизвестен?1. Нет1. Да 27'1. УА(У) = 011. Нет

109. Расчёт ТКЛГ(У) по формуле (3.16)1. Нет 29г-30

110. Исключение теста Г, из множества АРТг-31v АРТ1. Г-л1. Конец Р5 )1. Гьг1. Г Начало Р8 )1. Г53т.= ту:1. Ту^РТ-54-

111. Расчёт Г5СС(77У) и тясм(т1у) по формулам (3.27)55

112. Расчёт 75СС(ГК) и тбсм{т^ по формулам (3.27)г 57

113. Присвоение тм := тр(тк, т,) по формуле (3.28)1. Г58у/т^еврт1. Г -Л1. Конец Р8 )