автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.14, диссертация на тему:Разработка метода тестирования продукционных баз знаний экспертных систем с учетом ошибок типа "забывание об исключении"

Актуальность темы. Экспертные системы (ЭС) в настоящее время получили широкое распространение в различных областях человеческой деятельности. Мировой рынок экспертных систем различного класса уже к 1990 г. составлял 90% рынка всех программных продуктов искусственного интеллекта [1]. В производстве ЭС и связанных с ними услугами в США в 1990 г. было занято 100 000 чел, для сравнения в 1984 г. только 3000 чел. Исследования и разработки ЭС составляют основу программ по информатизации многих государств. Например, на 10-летнюютегическую компьютерную программу США запланировано выделить 1.6 млрд. долларов, а на Esprit Европейского Экономического сообщества - примерно 1.94 млрд. долларов.

Основные причины успеха ЭС заключаются в следующем: во-первых, они предназначены для решения широкого круга задач в неформализованных областях и рассчитаны на приложения, которые до недавнего времени считались малодоступными для вычислительной техники. Во-вторых, ЭС при решении практических задач достигают результатов, не уступающих экспертам. В-третьих, с помощью ЭС специалисты, не знакомые с программированием, могут самостоятельно разрабатывать интересующие их приложения, что резко расширяет сферу использования вычислительной техники [2,3].

Области использования ЭС практически неограничены: медицина, электроника, военные приложения, вычислительная техника, космос, геология, сельское хозяйство, управление, финансы и др.

Наибольшее распространение ЭС получили в тех предметных областях, где требуется повышенная надежность (проектирование интегральных микросхем, поиск неисправностей сложных устройств, автоматизация программирования, военные приложения, медицина и др.). Использование ЭС позволяет, например, 1) при проектировании интегральных микросхем повысить производительность труда в 3-6 раз, при этом выполнение некоторых операций ускоряется в 10-15 раз (по данным фирмы NEC); 2) ускорить поиск неисправностей в устройствах в 5-10 раз; 3) повысить производительность труда программистов в 5 раз (по данным фирмы Toshiba); 4) при профессиональной подготовке сократить без потери качества в 8-12 раз время на индивидуальную работу с обучаемым. Ежегодный доход от ЭС DEFT (проверка гигантских дисковводов для ЭВМ фирмы IBM) составляет 12 млн. дол. ( при стоимости разработки 100 тыс. дол.), а от ЭС XCON/XSEL, предназначенной для помощи продавцам систем VAX фирмы DEC в определении конфигурации системы, 25 млн. дол. ( при стоимости разработки около 3 млн. дол.) [4]. Использование данной экспертной системы сократило количество ошибок от 30% (допускаемых человеком) до 1% (допускаемого ЭС). Система R1 помогает покупателю сформулировать свои требования к конфигурации вычислительной системы VAX, хотя даже сами специалисты DEC до этого считали, что это невозможно [4]. Фирма Sira (США) сократила затраты на строительство трубопровода в Австралии на 40 млн.долларов за счет ЭС, управляющей трубопроводом [5].

К экспертным системам относят системы, основанные на знании, т.е. системы, вычислительная возможность которых определяется в первую очередь наращиваемой базой знаний (БЗ) и только во вторую очередь используемыми методами [6].

В ходе работ по созданию ЭС сложилась определенная технология их разработки, включающая следующие этапы [6,7]:

1) Идентификация

2) Концептуализация

3) Формализация

4) Выполнение

5) Отладка

6) Опытная эксплуатация

На этапе идентификации определяются задачи, подлежащие решению, выделяются цели разработки, ресурсы, осуществляется выбор экспертов.

На этапе концептуализации производится содержательный анализ проблемной области, выявляются используемые понятия и их взаимосвязи, осуществляется выбор методов решения задач.

На этапе формализации определяются способы представления всех видов знаний, формализуются основные понятия, определяются способы интерпретации знаний, моделируется работа системы, оценивается адекватность целям системы зафиксированных понятий, методов решения, средств представления и манипулирования знаниями.

На этапе выполнения осуществляется наполнение экспертом базы знаний ЭС.

На этапе отладки проверяется компетентность ЭС на предмет соответствия поставленных целей и решений, выдаваемых ЭС, и исправление найденных ошибок. Этот процесс продолжается до тех пор, пока эксперт не решит, что система достигла требуемого уровня компетентности.

На этапе опытной эксплуатации проверяется пригодность ЭС для конечных пользователей.

Процесс создания ЭС не сводится к строгой последовательности вышеперечисленных этапов. В ходе разработки приходится неоднократно возвращаться на более ранние этапы и пересматривать принятые там решения.

Разработка ЭС до сих пор представляет собой весьма длительный, трудоемкий и дорогостоящий процесс. Для доведения ЭС от начала разработки до стадии промышленной системы требуется 1-1.5 года. Обобщение задач, решаемых ЭС на стадии промышленной системы, позволяет перейти к стадии коммерческой системы - пригодной не только для собственного использования, но и для продажи потребителям. Для доведения ЭС, база знаний которой содержит от 1500 до 3000 правил, до уровня коммерческого продукта в среднем требуется 1.5-3 года и 0.3-5 млн. долларов [7]. В процессе создания ЭС наиболее узким местом является непосредственно работа со знаниями, включающая извлечение знаний, структурирование, представление, отладку.

Таким образом, качество решений, выдаваемых экспертными системами, зависит от следующих факторов: во-первых, насколько разработаны методы и средства извлечения знаний, во-вторых, насколько качественны инструментальные ЭС, а в-третьих, насколько развиты принципы, методы и средства тестирования, верификации (статического анализа) баз знаний экспертных систем. Методы и средства извлечения знаний, а также инструментальные ЭС интенсивно разрабатываются, в то время как методы и средства контроля баз знаний существуют в основном на эмпирическом уровне. На Первом Европейском рабочем совещании по оценке, верификации и тестированию экспертных систем было отмечено, что основная сложность в создании методов контроля БЗ заключается в необходимости оценки приближенных систем, использующих приближенную информацию для достижения приближенного решения, в то время как и сама задача контроля является приближенной [8].

Для баз знаний (БЗ) небольшого объема экспертных систем (в случае продукционных интеллектуальных систем - до нескольких сотен продукций) БЗ может быть проверена экспертом. Установлено, что в среднем 50% всей работы по проверке БЗ выполняет эксперт [9]. Для систем с большим объемом знаний задача проверки экспертом практически неразрешима.

В соответствии с приведенными выше доводами разработка принципов, методов и инструментальных средств контроля качества ЭС представляется актуальной и своевременной.

С помощью методов статического анализа (не требующих выполнения ЭС) могут быть выявлены такие классы ошибок в БЗ, как неполнота знаний, избыточность, противоречивость. Однако и после выявления их ЭС может делать ошибочные выводы за счет ошибок в самих правилах БЗ. Универсальным средством обнаружения ошибок в БЗ является тестирование. Тестирование БЗ является также и наиболее часто используемым способом контроля БЗ [8]. Важной задачей здесь является подбор оптимального множества тестовых данных, которое в настоящее время в большинстве случаев обычно строится экспертами, участвовавшими в создании БЗ, или с привлечением сторонних экспертов вручную на основе всестороннего анализа предметной области, что требует больших финансовых, физических затрат и временных затрат. Попытки перенести критерии тестирования традиционных программных средств на тестирование БЗ и автоматизировать этот процесс не дали желаемого результата. Объект исследования. - методы автоматизированного проектирования тестов продукционных баз знаний ЭС.

Цель работы. Целью настоящей работы является обоснование эффективных принципов и методов построения тестовых данных для контроля качества ЭС; формализация наиболее трудных для выявления типов ошибок в БЗ; практическая (программная) реализация предложенного метода; определение эксплуатационных возможностей разработанного метода; проверка работоспособности метода для контроля качества экспертных систем на примере созданной медицинской ЭС. Методы исследования. В диссертационной работе применяются методы искусственного интеллекта, аппарат математической логики, теории графов, методы технической диагностики. Научная новизна.

1. Показано, что для тестирования продукционных баз знаний (ПБЗ) можно применять методы технической диагностики.

2. Построена формальная модель одного распространенного класса ошибок типа «забывание об исключении» при построении баз знаний, наиболее трудного для выявления.

3. Разработан метод построения тестов для ПБЗ на основе алгоритма обнаружения технических неисправностей в логических сетях PODEM.

4. Экспериментально проанализирована зависимость времени генерации тестов от количества продукций.

5. Проверена работоспособность разработанного метода генерации тестов на примере разработанной медицинской экспертной системы KORDEX в кардиологии.

Практическая ценность

1. Предложенный метод генерации тестов позволяет строить полное множество тестов ПБЗ ЭС.

2. Автоматизация метода генерации тестов ПБЗ позволит существенно сократить время тестирования ПБЗ, а также финансовые затраты на отладку ЭС.

3. Разработанная и внедренная медицинская ЭС KORDEX позволяет осуществлять прогноз развития неотложных ситуаций в кардиологии и оптимизировать лекарственную терапию.

Реализация и внедрение результатов работы

Разработан метод для построения набора тестов для продукционных баз знаний ЭС. Данный метод программно реализован на языке Object Pascal. Указанный метод использован для тестирования медицинской экспертной системы KORDEX. Практическая реализация KORDEX осуществлена на алгоритмическом языке CLIPPER-5.01.

Акты, подтверждающие внедрение результатов диссертационной работы, приведены в приложении 1.

Апробация работы. Результаты работы докладывались на Международных семинарах "Экспертные и обучающие системы" (Саратов, 1991, 1992 г.), Международной конференции по проблемам страховой медицины в России "Молодежь и здоровье" (Саратов, 1992 г.), Международной конференции по компьютерным технологиям в образовании (International Conference on Computer Technologies in Education ICCTF93 - Киев, 1993 г.), на XVIII межреспубликанской школе - семинаре "Техническая диагностика и технология банковских расчетов" (Пермь, февраль 1994 г.), на научно-практических семинарах кафедры «Вычислительные машины, системы и сети» Московского энергетического института в 1989-1994, 1999 гг., на Российско-Американской конференции «Современные проблемы реформы здравоохранения России и США» (Саратов, 1996), на научных семинарах кафедры «Программное обеспечение вычислительных систем» Саратовского технического университета в 1997-99 гг.

Публикации. Основные результаты диссертации отражены в 12 работах.

Объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, 12 приложений, 26 таблиц, 30 рисунков.

4.6. Выводы по главе 4.

1. Разработана медицинская экспертная система КСЖХ)ЕХ, осуществляющая прогноз развития заболеваний и назначение лечения при неотложных ситуациях в кардиологии. В ЭСК основной акцент сделан на догоспитальный этап, простые и доступные методы сбора данных о больном.

2. Построено множество тестов для контроля качества решений К01ШЕХ с помощью алгоритма построения тестового множества ПБЗ, описанного в главе 2. Проведено тестирование КСЖОЕХ на основе разработанного алгоритма.

3. Проверена работоспособность метода генерации тестов ПБЗ на реальной системе для выявления различных ошибок, т.ч. ошибок типа «забывание об исключении».

4. Внедрение КСЖБЕХ в медицинских учреждениях позволило резко сократить количество осложнений у пациентов с диагнозом "пароксизмальная тахиаритмия", оптимизировать процесс госпитализации и сократить средний койко - день пребывания больного в блоке интенсивной терапии стационара на 67%, а в случае нестабильной стенокардии на 28%, что приобретает особо важное значение в связи с переходом здравоохранения России на страховую медицину.

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие основные результаты:

1. Предложена формальная модель ошибок в продукционной базе знаний, связанных с "забыванием об исключении" экспертом при формировании правил БЗ.

2. Замена традиционной графовой модели ПБЗ на логическую сетевую модель позволяет использовать для проверки ЭС методы синтеза тестов комбинационных логических схем, подробно разработанные в технической диагностике.

3. Ошибка ПБЗ типа «забывание об исключении» эквивалентна ошибке «константный ноль» логической сети.

4. Сформулирована и доказана теорема о том, что в случае, когда каждый факт устанавливается только одной продукцией, для получения полного множества тестов, покрывающих все ошибки рассмотренного типа, достаточно рассмотреть продукции, работающие только с входными фактами ЭС,

5. Разработано приложение к новой области известного ранее метода технической диагностики. На основе алгоритма PODEM разработан метод синтеза минимального полного множества тестов, учитывающий специфику продукционных систем.

6. Разработанный метод построения тестов ПБЗ позволяет выявлять все возможные ошибки в статически корректной базе знаний, в том числе ошибки «типа забывания об исключении», наиболее трудные для обнаружения.

7. Разработан и программно реализован алгоритм построения И/ИЛИ графа ПБЗ.

8. Разработан программный комплекс TEST на языке Object Pascal в среде Delphi 4.0, осуществляющий генерацию полного множества тестов ПБЗ на основе алгоритма PODEM.

9. Получены экспериментальные данные зависимости времени генерации тестов от общего числа фактов и продукцией ПБЗ. Показано, что зависимость носит экспоненциальный характер. Резкий рост времени генерации тестов происходит при числе продукций и фактов большем 10500.

10. Разработана медицинская экспертная система КОБФЕХ, осуществляющая прогноз развития таких неотложных ситуаций в кардиологиии, как нестабильная стенокардия и пароксизмальная тахиаритмия и оптимизацию назначения лекарственной терапии.

И. Проверена работоспособность метода построения тестов ПБЗ на реальной экспертной системе КОКОЕХ. Множество выявленных ошибок содержит ошибки типа «забывания об исключении». После процесса отладки ЭС КОШЭЕХ внедрена в ряде лечебных учреждений СНГ.

1. O'Leary D.E. Design, Development and Validation of Expert Systems: A Survey of Developers//Validation and verifying knowledge-based systems // Compiled by Uma G. Gupta, Los Alamitos //Proc. ECA1.90 Conference, 1990. - P.3-19.

2. Попов Э.В. Экспертные системы. Решение неформализованных задач в диалоге с ЭВМ. М.: Наука, 1987. - 288 с.

3. Nikolopoulos Ch. Expert Systems: Introduction to First and Second Generation and Hybrid Knowledge Based Systems. New York, NY: Marcel Dekker, 1997, -331p.

4. Hayes-Roth F., Jacobstein N. The State of Knowledge-Based Systems // Communications of the ACM, 1994, March. V.37.- №3.- P.27-39.

5. Expert system saves 20 million L on pipeline management // C&I, 1994, July. -p.31.

6. Уотермен Д. Руководство по экспертным системам: Пер. с англ.- М.: Мир, 1989.- 388 с.

7. Кирсанов Б.С., Попов Э.В. Состояние разработки инструментальных средств и экспертных систем // Кн. 1. Системы общения и экспертные системы: Справочник: Искусственный интеллект / Под. ред. Попова Э.В. М.: Радио и связь, 1990.-С. 290-312.

8. Ayel M., Laurent J.P. Foreword. Concepts of Validation, Verification and Test //Validation and verifying knowledge-based systems // Compiled by Uma G. Gupta, Los Alamitos //Proc. ECAI 90 Conference, P.xv-xx.

9. Davis R. Use of meta level knowledge in the construction and maintenance of large knowledge bases: Ph.D. dissertation, Computer Science Departmenr, Stanford University, Stanford, California, 1976, 197 p.

10. Green C. Theorem Proving by resolution as a basis question answering system // Mach. Intell. V.4. - 1969. - P. 183 -205.

11. Nazareth D.L. Issues in the verification of knowledge based systems. // Int. J. Man-Machine Studies, 30, 1989, P. 251 271.

12. Девис M. Устранение лишнего из механических доказательств // Кибернетический сб. : Пер. с англ. М.: Мир, 1970. - Вып.7. - С. 160-179.

13. Robinson A.J. A Machine oriented Logic based on the Resolution. - JACM 12, 1965,-P. 23-41.

14. Kowalski R. Predicate logic as programming language // Proc. IFIP Congress.- 1974.-P. 569-574.

15. Хоггер К. Введение в логическое программирование: пер. с англ.- М.: Мир, 1988. -348 с.

16. Клоксин У., Меллиш К. Программирование на языке Пролог: Пер. с англ.- М.: Мир, 1987.-336 с.

17. Зыкова С.А. Методы и средства верификации знаний в интеллектуальных САПР// дис.канд.техн.наук., М., 1992. 168 с.

18. Padalkar S., Karsai G., Biegl С., Sztipanovits J. Real-Time Fault Diagnostics // IEEE Expert, vol.6, №3, 1991.-P.75-84.

19. Gallaire H., Minker J. (eds.) Logic and Data Bases. N. Y.: Plenum Press, 1978. -458 p.

20. Qurston D., Mooney R.J. Changing the Rules: A Comprehensive Approach to Theory Refinement // Proc.8th National Conference on AI (АААГ90), 1990.- P.815-820.

21. Лозовский B.C. Задание реляционной базы данных в виде мультисети и реализация поиска по образцу / Информационное и программное обеспечение систем ситуационного управления (ИК АН УССР 78-14) С.13-24.

22. Quillian M.R. Semantic memory //Semantic Information Proc.- Cambridge, Mass.: MIT Press, 1968. P.227-270.

23. Branchman R.J. On the epistemological status of semantic networks. // Associative Networks: Representation and Use of Knowledge by Computers, N.V.Findler (ed.) // Academic Press, 1979, P.l53-168.

24. Minsky M. A framework for representation knowledge. 11 The Psychology of Computer Vision, P. Winston (ed.), McGraw Hill, 1975, P.201-259.

25. Алексеева Е.Ф., Стефанюк В.Jl. Экспертные системы состояние и перспективы.- Изв. АН СССР/ГК, 1984, N.5,- С.153-167.

26. Попов Э.В., Фирдман Г.Р. Алгоритмические основы интеллектуальных роботов и искусственного интеллекта.-М.:Наука, 1976.- 235 с.

27. Нариньяни А., Яхно Т. Продукционные системы.-в кн. Представление знаний в человеко-машинных и робототехнических системах. -М.:ВЦ АН СССР, ВИНИТИ,1984.- С.136-177.

28. Кузнецов В.Е. Представление в ЭВМ неформальных процедур / с послесловием Д.А. Поспелова. М.: Наука.-1989. -160 с.

29. Микулич Л.И. Проблемы создания ЭС // Ученые записки Тартусского ГУ. -Тарту, 1985. Вып. 714. Теория и модели знаний (теория и практика создания систем искусственного интеллекта). -С. 87-114.

30. Expert System Quality Control /Raggad Bel Gacem // Inf.Process and Man.-1996.-32., N2,- P.171-183.

31. Mars N.J., Miller P.L. Tool for Knowledge Aquisition and Verification in Medicine. // Proc. Of the 10th Annual Symp. On Computer Applications in Medical Care. Wash D.C., Oct. 1986. P.36-44.

32. Nillson NJ. Problem Solving Methods in Artificial ntelligence. McCgraw-Hill,1971, - 184 p.

33. Nillson NJ. Principles of Artificial Intelligence. Tioga; lso Springer-Verlag, 1980,-231 p.

34. Pearl J. Heuristics: Intelligent Search Strategies for omputer Problem Solving. Addison Wesley, 1984, - 163 p.

35. Hayes-Roth F., Waterman D.A. and Lenat D. An Overview of expert systems. Building Expert Systems, Hayes-Roth, Waterman and Lenat (eds.), Addison-Wesley, 1983,-201 p.

36. Marcot B. Testing Your Knowledge Base, AI Expert, August, 1987, P.43-47.

37. Besem M. Semantic and consistency of rule-based expert systems//Proc. of ihe 9th Conf. on Automated Deduction Springer Lecture Nodes in Computer Science, 3IO, Springer-Verlag, Berlin, 1987. P. 151-161.

38. Nguyen Т.,Perkins W., Laffey Т., Pecora W. Checking Expert System Knowledge bases for consistency and completeness // Proc. of the 9th Int.Joint Conf. on Al, Los.Ang. August 1985,-P.375-378.

39. Cragun B.J., Stendel H.J. A decision-table-based processor for checking completeness and consistency in rule-based expert systems //Int.J.Man-Mach. Stud.-1987,-26, N.5, P.633-648.

40. Nguyen T.A. Verifying consistency of Production Systems //Proc. of Conf.on AI Applications (CAIA), 3rd, Kissimmee, Fl, 1987. P. 4-8.

41. Попов Э.В. Особенности разработки и использования экспертных систем // Искусственный интеллект. Системы общения и экспертные системы /под. ред. Попова Э.В., Кн. 1.- М.: Радио и связь, 1990. С.261-290.

42. Поспелов И.Г., Поспелова Л.Я. Динамическое описание систем продукций и проверка непротиворечивости продукционных экспертных систем.- Изв. АН СССР,ТК, 1987, N.1,-С. 184-192.

43. Weiss S.M., and Kulikowski С.А. A Practical Guide to Designing Expert Systems., Totowa,N.J.: Rowman & Allanheld, 1984, 183 p.

44. Marcot B.G. Use of Expert Systems in Wildlife-Habitant Modeling. In Wildlife 2000: Modeling Habitant Relationships of Terrestrial Vertebrates, ed. by J. Verner, M.L. Morrison, and C.J. Ralph. Madison,-Wise.: Univ. of Wisconsin Press, 1986, -P.145-150.

45. Miller L.A. Dynamic Testing of Knowledge bases Using the Heuristic Testing Approach. Expert Systems with Applications, 1(3), 1990,- P.249-269.

46. Validating and verifying knowledge-based systems/compiled by Gupta Uma G., Los Alamitos: IEEE Computer Society Press, cop. 1991 409 p.

47. Valiente G.A. Knowledge Base Verification using Algebraic Transformations, PhD dissertation, Informatics, Universität de Les Illes Balears, July 1994, 201 p.

48. Tepandi J. Comparison of Expert System Verification Criteria: Redundancy //Proc. ECAI 90 Conference, Stockholm, 1990. P. 49-62.

49. Suwa H.,Scott A.C.,Shotliffe. An Approach to veryfing Consistency and Completeness in a Rule-Based Expert System // Rule-Based Expert Systems.-London: Addison Wesley, 1984. - P. 159-170

50. Krishnamurthy C., Padalkar S., and Sztipanovits J. Methodology for Testing and Validating Knowledge Bases// Proc. of the Third Conference on Artificial Intelligence for Space Applications, 1987. P. 318-326.

51. Tepandi J. The generation of test data for rule-based expert systems //Proc. int. Conf. Algorithm'89.- 1989.-P. 208-215.

52. Поспелов Г.С. Искусственный интеллект основа новой информационной технологии., М.: Наука, 1988. - 280 с.

53. Michaelsen R.H., Michie D., Boulanger A. The Technology of Expert Systems. -BYTE, N.4, 1985.-P. 98-116.

54. Ayel M., Laurent J.P. Foreword. Concepts of Validation, Verification and Test //Validation and verifying knowledge-based systems // Compiled by Uma G. Gupta, Los Alamitos //Proc. ECAI 90 Conference, P.xv-xx.

55. Майерс Г. Искусство тестирования программ/пер. с анг. под ред. Б.А. Позина. -М.:Финансы и статистика, 1982. 176 с.

56. Проблемы совершенствования синтеза, тестирования, верификации и отладки программ// Тезисы докладов Всесоюзной научной конф. Рига: ЛГУ им. П.Стучки, ч.2., 1987. - 126 с.

57. Борзов Ю.В. Методы тестирования и отладки программ ЭВМ. -Рига: ЛГУ им. П.Стучки, 1980.- 87 с.

58. Панькин С.А. Исследование и разработка метода генерации тестов для контроля программ с использованием логических моделей, -дис.к.т.н., Москва, 1983.- 220 с.

59. O'Keefe R.M.,Balci О.,Smith Е.Р. Validating expert system performance // IEEE Expert. 1987. - 2, NA - P.81-90.

60. Lane N.E. Global issues in Evaluation of Expert Systems, Proc. 1986 International Conference SMC, 1986. P. 121-125.

61. Scambos E.T. A Scenario-Based Tool for Examining Expert systems // Proc. of IEEE Int. Conf. on Systems, Man, and Cybernetics, 1986. P.l31-135.

62. Bertalanffy Ludwig von. General System Theory //Fifth Printing, George Braziller, New York, 1975.- 176 p.

63. Wall R.S. and Rissland E.L. Scenarios as an Aid to Planning // Proc. of the National Conf. on AI, Carnegie-Mellon Univ., Univ. of Pittsburg, Pittsburg, PA, August 18-20, 1982. P.57-68.

64. Yu V.L. et all. Antimicrobial Selection by a Computer, J. Am. Medical ss.,vol.242, N.12, 1979. P.1279-1282.

65. Shortliffe E.H. Computer-based medical consultation: MYCIN.//New York: Academician Elsevier, 1976. 264 p.

66. Hickam et all. The treatment Advice of a Computer Based Canser Chemothcraphy Protocol Adsvisor, Annals of Internal Medicine., V. 103, №.6 (part 1), 1985.-P.928-936.

67. ONCOCIN: an expert system for oncology protocol management// Proc. of The 7th International Joint Conference on Artificial Intelligence. Vancouver: University of British Columbia, 1981/-P. 876-881.

68. Chandrasekazam B. On evaluating AI systems for medical diagnosis. AI Mag., vol.4, N.2, 1983. P. 34-37.

69. Rader C.D,, Crowe V.M. and Marcot B.G, CAPS: A Pattern Recognition Expert System Prototype for Respiratory and Anesthesia Monitoring. IIProc. Westwx-87 IEEE Expert Systems Conference, June 1987, Anamheim, Calif, -P.301-315.

70. Hetzel W.C. Principles of Computer Program Testing in Programm Test Methods, W.C.Hetzel ed„ Prentice-Hall, Englewood Cliffs,N.J. 1973, P.17-28.

71. Goel P., and Rosales B.C. Dynamic test compaction with fault selection using sensitizable path tracing, IBM Technical Disclosure Bulletin, 1980, Vol.23, No, 5, -P. 1954-1958.

72. Беннеттс P. Проектирование тестопригодных логических схем: Пер. с англ. М.: Радио и связь, 1990. - 176 с.

73. Bottorff P.S. Test Generation //Proc. NATO Advanced Study Insitute on Computer Design Aids for VLSI circuit, Italy, Section 5, 1980. P.302-316.

74. Основы технической диагностики. В 2-х книгах. Кн.1. Модели объектов, методы и алгоритмы диагноза / Под ред. П.П. Пархоменко. М. .Энергия, 1976. -464 с.

75. Goel P. An implicit enumeration algorithm to generate tests for combinational logic circuits. IEEE Trans. Computers, VoI.C-30, N.3, 1981.- P.215 222.

76. Goel P., Rasales B.C. "PODEM Xм: an automatic test generation system for VISI logic structures.,Proc. 18th IEEE Design Automation Conf, 1981, Paper 133. - P.260-268.

77. Roth J.P. Diagnosis of automata failures: a calculus and a method. IBM J. Res. Develop.,Vol.10, July, 1966. P.278-291.

78. Йенсен К., Вирт H. Паскаль. Руководство пользователя и описание языка: Пер. с англ.- М.: Финансы и статистика, 1982. 151 с.

79. Хьюз Дж., Мичтом Дж. Структурный подход к программированию. М.: Ми, 1980.-278 с.

80. Болезни сердца и сосудов. Руководство для врачей: в 4т.,т.2 /под ред. Чазова Е.И. М.: Медицина, 1993. - 446 с.

81. Pearl J. Heuristics: Intelligent Search Strategies for Computer Problem Solving. Addison Wesley, 1984. -185 p.

82. Представление и использование знаний. Пер. с япон./ Под ред. X. Уэно, М. Исидзука.-М.,1989. -124 с.

83. Klaeboe G., Otterstad J., Winsnes Т., Espeland N. Statistical Analysis of Unstable Angina Symptoms //Acta med. scand.-1987.- V.222, N 1.- P. 27-30.

84. Ayel M., Laurent J.P. Foreword. Concepts of Validation, Verification and Test //Validation and verifying knowledge-based systems // Compiled by Uma G. Gupta, Los Alamitos //Proc. ECAI 90 Conference, 1990. P.xv-xx.

85. O'Leary D.E. Design, Development and Validation of Expert Systems: A Survey of Developers//Validation and verifying knowledge-based systems // Compiled by Uma G. Gupta, Los Alamitos //Proc. ECAI 90 Conference, 1990. P. 3-19.

86. Aase O., Jonsbu J., Liestol K. et al. Decision support by computer analysis of selected case history variables in the emergency room among patients with acute chest pain /Eur. Heart. J. 1993. - Vol.14. - P.433-436.

87. Diamond G.A. CADENZA: computer-assisted diagnosis and evalu-tion of coronary artery disease. Seattle, Cardiokinetiks, -1979. - 44 p.

88. Christensen C., Cottrell J.J., Murakami J. et al.Forecasting survival in the medical intensive care unit: A comparison of clinical prognoses with formal estimates / Meth. Inform. Med. -1993. Vol.32. - P.302-308.

89. Grant A.O. On the mechanism of action of anthiarrhytmic agents // Am. Heart J.-1992.-Vol.l23.-P.l 130-1136.

90. Lau F. A clinical decision support system prototype for car-diovascular intensive care // Int.J.Clin.Monit.Comput. 1994. -Vol.11. - P.157-169.

91. Gilpin E.A., Olshen R.A., Chatteijee K. et al. Predicting 1-year outcome following acute myocardial infarction: physicians versus computers / Comput. Biomed. Res. 1990. - Vol.23. -P.46-63.

92. Jonsbu J., Aase O., Rollaget A. al. Prospective evaluation of an EDB-based diagnostic program to be used in patients admitted to hospital with acute chest pain / Eur.Heart,J. 1993. -Vol.14.-P.4-12.

93. Pozen M.W., D'Agostino B.B., Mitchell J.B. et al. The usefulness of a predictive instrument to reduce inappropriate admissions to the coronary care unit / Ann. Intern. Med. 1980.- Vol.92. - P.238-243

94. Дощицин B.JI. Лечение аритмий сердца. M.: Медицина, 1993.- 320 с.

95. Righetti A. Expert systems in the health sector: first in theory, last in practice // J. Clin. Сотр. 1989. -V.18.-P.1-5.

96. Hughes C.A., Gose E.E., Roseman D.L. Overcoming deficiencies of the rule-based medical expert system /Comput. Methods Programs Biomed. 1990. - Vol.32. - P.63-71.

97. Andreassen S., Jensen F.V., Olesen K.G. Medical expert systems based on causal probabilistic networks // Int.J.Biomed.Comput. 1991. - Vol.28. - P.l-30.

98. Felix-Wong W.S., Leung K.S., So Y.T. The recent development and evaluation of a medical expert system (ABVAB) // Int. J. Biomed. Comput. 1990. - P.25. -P.223-229.

99. Fieschi M. Towards validation of expert systems as medical decision aids //Int.J. Biomed.Comput. 1990. - Vol.26. - P.93-108.

100. Богословская С.И., Каргин Б.М., Емелина Л.П. Использование ЭВМ для математического индивидуального дозирования антиаритмических средств // Сборник. Актуальные проблемы кардиологии. СМУ.- Саратов, 1995. - С. 137-139

101. Greenhut S.E., Jenkins J.M., MacDonald R.S. A stochastic network model of the interaction between cardiac rhythm and artificial pacemaker // IEEE Trans.Biomed.Eng. 1993.- Vol.40. -P.845-858.

102. Habashi M.S., Abdel-Bary M.A. Disturbances of impulse formation: an expert system for ECG interpretation // Med.Inf.Lond.-1991. Vol.16. - P.29-41.

103. Redman T.C., Hahn A.W. Arrhythmia analysis with an expert system 11 Biomed. Sci.Instrum. 1989. - Vol.25. - P.221-225.

104. Valova D., Drska Z., Polankova M. Comparison of discriminant analysis and probabilistic expert system in VCG data classification // Physiol.Res. 1993. -Vol.42.-P.91-93.

105. Нейлор К. Как построить свою экспертную систему / Пер. с англ. М., Энергоатомиздат, - 1991. - 286с.

106. Bell Р.С. Visual Interactive Modeling in Operational esearch: Success and Opportunities, /.Operational Research oc.,vol.36, No.l 1, 1985, P.975-982.

107. Искусственный интеллект.-в 3-х кн. Кн. 2. Модели и методы:Справочник.-М.:Радио и связь, 1990. 304 с.

108. Статические и динамические экспертные системы: Уч. Пособие / Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. М.: Финансы и статистика, 1996. -320 с.

109. Шмелева А.Б Экспертные системы в медицине, Hard'n Soft, 1995, N5, С. 63-67.

110. Захаров И.А., Захарова Е.А., Долинина О.Н., Терехина С.В., Автоматизированная экспертиза качества медицинской помощи /Тезисы докл. Российско-Американской конф. «Современные проблемы реформы здравоохранения России и США», СГМУ, Саратов, 1996. с.46-56.

111. Dolinina О. Shwartz J. Using Knowledge Based Trainers in Urgent Medicine. - Computer Technologies in Education //Proc. of ICCTE'93. - Kiev, 1993. - P.87-89.

112. Dolinina О., Bobyrev S. Intellectual Multimedia for the Humanities Learning at Technical High School. ComputerTechnologies in Education // Proc. of ICCTE'93. - Kiev, 1993. -P.173-175.

113. Благуш П. К теории тестирования двигательных способностей: Пер. с чешек.- M., 1982. 193 с.

114. Долинина О.Н., Шварц Ю.Г. и др. Разработка экспертно -информационной системы по глобальной и локальной автоматизации работы коронарного отделения /Отчет по х/д теме, N гос. регистрации 019000023670. -СГТУ, Саратов. 1992. 56 с.

115. Долинина О.Н., Каримов Р.Н., Шварц Ю.Г. Проблемы разработки медицинских экспертных систем для неотложной кардиологии. Возможные пути решения //Тез. докл. Межрегиональной конференции СарНИИ кардиологии.- Саратов, 1992. С. 151-156.

116. Голембиовский Д.Ю., Долинина О.Н. Тестирование продукционных баз знаний экспертных систем //Тезисы докладов XVIII межреспубликанской школы семинара "Техническая диагностика и технология банковских расчетов", февраль 1994, Пермь, 1994. - С. 11-12.

117. Шварц Ю.Г., Долинина О.Н., Каримов Р.Н. Проблемы разработки медицинских экспертных систем // Здравоохранение РФ. 1994.- N.1. - С. 7-9.

118. Ардаматский H.A. Введение в общую терапию. Аспекты методологии врачебной работы.- Саратов, 1991. 192 с.

119. Долинина О.Н., Панькин С.А. Использование декомпозиции при построении примеров исходных данных для контроля программ // Сборник.

120. Распределенные информационно управляющие системы. Саратов: СГУ, 1988. -С.101-103

121. Шварц Ю.Г., Долинина О.Н., Бороздюхин А.А. Компьютерная интеллектуальная система тренажер "Остановка сердца"// Сборник. Материалы 4 Всероссийского съезда анестезиологов и реаниматологов, - М. 1994,-С. 32.

122. Долинина О.Н. Обнаружение ошибок типа "забывание об исключении" в продукционных базах знаний экспертных систем, Сарат. гос. техн.ун-т. -Саратов, 1997.-Деп. в ВИНИТИ N678-B97.

123. Hall С. The Devil s in the details: techniques, tools and applications for database mining and knowledge discovery // Intel. Software Strategies , № 3, 1995, October, P.II.V.XI.

124. К.м.н., доцент СГМУ Д.м.н., профессор СГМУ1. Я.А.Кац И.М. Соколов

125. Утверждаю генеральный директор >Сервис» нфМий И.В.у 1999 г.1. АКТ

126. О ВНЕДРЕНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОЙ РАБОТЫ

127. Долининой Ольги Николаевны

128. Ведущий инженер ПКФ «Росс-Сервис»1. Богданов АЛО.