автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Методология и технология компьютерной поддержки работы коллектива экспертов

Введение

1 Методология исследований

1.1 Основная методологическая схема

1.2 Основная технологическая схема.

1.3 Методология представления знаний.

1.4 Выводы к главе 1 . . . :.

2 Образцы

2.1 Концепция компьютерной среды.

2.2 Образцы.

2.3 Выводы к главе 2.

3 Статистические компоненты

3.1 Постановка задачи и обзор источников.

3.2 Модели для экстремальных значений.

3.3 Анализ согласия распределений.

3.4 Двухэтапный анализ согласия

3.5 Выводы к главе 3.

4 Работа коллектива экспертов

4.1 Методика работы коллектива экспертов.

4.2 Модели экспертов и взаимодействий.

4.3 Рандомизированный опрос

4.4 Экран-модификация.

4.5 Исследования коллективов.

СОДЕРЖАНИЕ

4.6 Выводы к главе 4.

5 "Экран"-технология

5.1 Основы.

5.2 Формирование.

5.3 Применение

5.4 Обучение.

5.5 Выводы к главе 5.

Актуальность темы

Формирование данной темы исследования обусловлено участием автора в разработке больших аппаратно-программных комплексов в 1985 - 88 гг. Несмотря на достаточно большой опыт компьютерного моделирования, обобщенный в монографии Ю.Г.Полляк, В.А.Филимонов. Статистическое машинное моделирование средств связи. - М.: Радио и связь, 1988, стало ясно, что нужны дополнительные средства организации разработки сложных проектов. В ходе работы наглядно проявились различия в подходах, вызванные различием профессиональных интересов (инженеры-электронщики, программисты, руководители, потребители), а также интересов ведомственных и территориальных. Появился замысел организовать систему компьютерной поддержки коллективной разработки.

Компоненты этой задачи по ходу исследований модифицировались. В соответствии с тенденциями развития технических систем жизненный цикл изделия стал рассматриваться с учетом (технической) политики - наличия аналогичных изделий и трансформации интересов потребителей. Целостность технической системы рассматривалась на фоне целостности внешней системы - потребителя. Средства разработки стали интегрироваться в направлении создания интеллектуальной компьютерной среды. Однако сохранилось неизменным направление в целом - компьютерная по 3dер эюка мулътидисциплинарного исследования".

С точки зрения структуры тема настоящей работы сформировалась в процессе исследования двух проблем, возникающих при создании информационных технологий для поддержки коллективной работы специалистов в различных областях знания. Первая проблема обусловлена системным эффектом интеграции специалистов: в одних случаях коллективная работа обеспечивала значительное увеличение эффективности работы, а в других картина была обратной. Вторая проблема обусловлена противоречиями между технической целесообразностью, определяемой назначением коллективного проекта, и стратегическими интересами участников проекта - предприятий, ведомств и отдельных лиц.

В России и за рубежом накоплен значительный потенциал в области создания информационных технологий, интеллектуальных компьютерных систем, организации групповой работы и реализации инновационных программ. В то же время значительно в меньшей степени развиты средства компьютерного обеспечения мультидисциплинарных проектов. Это делает актуальной разработку компьютерных информационных технологий коллективных мультидисциплинарных исследований.

Актуальность темы подтверждается наличием новых отечественных и зарубежных научных направлений в области коллективной работы, в особенности, наличием направления "компьютерная поддержка кооперативной деятельности" (CSCW -Computer Supported Cooperative Work), которое с 90-х годов стало " критической технологией".

Отметим также развивающиеся близкие направления "групповые решения в условиях неопределенности" (Group decision making in fuzzy environments), интеллектуальные многоагент-ные системы (Multiagent cooperation), глобалистика (Globalistics), "институты согласия" (Algebra of democracy, Public choice).

Перечисленные направления включены в тематику таких международных научных мероприятий как INTERACT97 (6-я конференция IFIP по взаимодействию "человек-компьютер", Сидней, Австралия) и EUFIT'97 (Европейская конференция по "мягким вычислениям" и информационным технологиям, Аахен, Германия).

Свидетельством признания важности научных результатов по данным направлениям, полученных в Омском филиале Института математики им. С.Л.Соболева является решение о проведении на его базе в 1998 г. международного семинара "Методы прикладной математики и информационные технологии в многодисциплинарных исследованиях и проектах". Семинар поддержан Сибирским отделением РАН, Российским фондом фундаментальных исследований, Международной Академией информатизации и рядом других научных организаций. Автор диссертации является членом Международного программного комитета и учёным секретарём данного семинара.

Многообразие методов исследования и проектирования обусловило в качестве первичной задачи интеграцию существующих средств в единую информационную технологию. Отметим исследования и разработки, относящиеся к рассматриваемой теме. Список приведен как ориентировочный и не заменяет обзора литературы, содержащегося в соответствующих разделах диссертации.

1. Разработки в области создания компьютерных интеллектуальных систем, средств представления знаний и обучения (ПТО, ЭКСАПРАС, работы в области формализации знаний Д.А.Поспелова, когнитивной графики А.А.Зенкина и Б.М.Галеева, партнерские системы Н.Г.Загоруйко, система представления знаний в процессе обучения INSPIRATION (Inspiration Corp, США), ДСМ-метод логического вывода (В.К.Финн), система мониторинга международных конфликтов (НИЦИ МИД РФ), Когнитивная система моделирования стратегий КОСМОС (ДАТА С, Севастополь), обучающие системы В.Л.Стефанюка, технология для построения экспертных систем и баз знаний SIMER+MIR+KAD (Исследовательский Центр Искусственного Интеллекта, Перея-славль - Залесский)).

2. Разработки в области организации коллективной работы в компьютерной среде (ИНВАРИАТРОН - Э.П.Григорьев, диалоговая среда как сеть активных элементов - В.Е.Лепский, интегрированные обучающие среды ISLE - NATO ASI, Великобритания, системы проекта PECOS (ESPRIT), сеть диспетчеров систем радиосвязи - И.В.Котенко, интеллектуальные многоагентные системы - В.И.Городецкий).

3. Исследования по методологии (Г.П.Щедровицкий, В.А.Лефевр, А.А.Зиновьев, С.В.Попов, А.П.Дубнов, Ю.М.Горский, В.И.Разумов, Ф.П.Тарасенко, А.П.Зинченко, О.С.Анисимов, П.Г.Щедровицкий).

4. Исследования в области построения статистических моделей и экспериментов с ними (Ю.Г.Полляк, А.П.Кулаичев, А.А.Макаров, Л.Д.Мешалкин, В.В.Налимов, И.М.Соболь).

При исследовании темы автор использовал свой опыт в области создания компьютерных систем для имитационного моделирования средств связи, а также способ организации поисковых разработок, названный в диссертации " Экран" -прототипированием". Это определило задачу создания компьютеризованной среды для коллективной разработки как прототипа ситуационного центра на основе формализованных моделей. Предварительная постановка задачи была сделана в 1989 г. в форме проекта интеллектуальной вычислительной системы для интеграции гуманитарной и научной деятельностей [129, 130, 145]. Перерастание компьютерной "Экран"-среды в информационную "Экран"-технологию происходило по мере расширения круга людей, изучающих и использующих её возможности. Требование технологичности - возможности передачи разработанных методов различным коллективам - обусловило необходимость описания концепций этих методов в документации, а также организации процессов обучения.

Задачи, цель и структура работы

Задача в общем виде формулируется как создание технологии использования возможностей компьютерной и презентационной техники, а также математического моделирования для поддержки совместной работы специалистов в различных (и при этом трудно формализуемых) областях знаний.

Целью работы является формирование информационной технологии компьютерной поддержки мультидисциплинарных исследований, проводимых коллективом экспертов.

В рамках общей задачи ставятся и решаются комплексы частных задач формирования информационной технологии для дисциплин, формализация знаний в которых сопряжена с целым рядом проблем. Такая технология должна обеспечивать процессы коллективной работы, разнообразные по характеру и способам реализации, что обусловливает ее мультидисциплинарность. Построение технологии обеспечивается созданием формализованных моделей и применением адекватных задаче математических методов. Средством их реализации в данной работе является создание образцов - особым образом сконструированных экземпляров моделей, которые дают представление о том, как могут быть построены и использованы модели определенного типа. Подчеркнём, что термин " образец" используется в этой работе в соответствии с традициями исследований в области искусственного интеллекта как обозначение одного из возможных экземпляров некоторого типа, но не как стандарт типа.

Первый комплекс задач формирования технологии образуют те из них, в ходе решения которых формируется методология

Введение 13 компьютерной поддержки мулътидисциплинарных исследований. Этому вопросу посвящена глава 1.

В главе 2 рассматриваются образцы и компьютерная среда - модели и особенности их компьютерной реализации.

Для организации статистических экспериментов и корректной интерпретации их результатов потребовалось, помимо привлечения известных методов, дополнительно разработать отдельные статистические компоненты , которые описаны в главе 3.

В главе 4 рассмотрены модели, с помощью которых формализуется работа коллектива экспертов, а также результаты исследований производственных и учебных коллективов.

В главе 5 описаны разработанная "Экран"-технологияи опыт подготовки специалистов по поддержке коллективных мультидис-циплинарных исследований в Омском государственном университете.

В Приложениях А и Б приведены образцы и фрагменты, иллюстрирующие "сырьевые ресурсы" моделей, детализирующие различные аспекты технологии, особенности и результаты её применения.

Научная новизна

Научную новизну работы образуют перечисленные ниже блоки результатов (защищаемые положения), описанные в соответствующих разделах диссертации. Детализированные формулировки защищаемых положений приведены в разделе " Заключение".

1. Методология компьютерной поддержки коллективных муль-тидисциплинарных исследований ("методология").

2. Система компьютерных образцов (моделей, методов, алгоритмов и программ) представления знаний ("образцы").

3. Методы организации статистического эксперимента в муль-тидисциплинарных исследованиях ("эксперимент").

4. Комплекс методик организации коллективной разработки и экспертизы сложных мультидисциплинарных проектов в компьютерной среде ("коллектив").

5. Информационная технология коллективной работы экспертов в полиэкранной системе коллективного пользования - прототипе ситуационного центра ("технология").

Методы исследования

При выполнении работы использовались ресурсы компьютерной и презентационной техники, а также методы, входящие в сферу применений математических моделей и методов в области искусственного интеллекта и прикладной семиотики, такие как вычислительные модели социальных процессов, таблицы решений, организация статистических экспериментов, логический вывод, фреймовое представление знаний, когнитивная графика.

Использование методов различных дисциплин обеспечило полный технологический цикл коллективной работы, который включает получение, формализацию, представление и передачу (трансляцию) знаний.

Практическая значимость

Практическая значимость результатов состоит в их использовании для проведения исследований в Омском филиале Института математики им. С.Л.Соболева СО РАН (до 31.12.97 г. - Институт информационных технологий и прикладной математики СО РАН), где в 1998 г. создан прототип ситуационного центра. Результаты использованы также в практике работы Комитета по труду, занятости и миграции населения Администрации Омской области и Управления образования Департамента социального развития Администрации г. Омска. Результаты использованы в учебном процессе в Омском государственном университете и Сибирском образовательном центре " ИНФРА". Детализация применения результатов приведена в разделе " Заключение". Справки, подтверждающие использование результатов, приведены в тексте диссертации.

Апробация

Результаты работы доложены на 24 конференциях, среди которых (в хронологическом порядке):

Всесоюзный симпозиум "Проблемы моделирования психической деятельности".- Новосибирск: СО АН СССР, 1968.

УН Всесоюзный симпозиум "Методы и средства анализа случайных процессов"Ленинград: ЛИАП, 1977.

Межотраслевая конференция "Прикладные проблемы моделирования систем связи".- Ташкент, 1980.

Всесоюзные конференции секции теории информации ЦП НТО РЭС: Новгород, 1981; Воронеж, 1983.

Всесоюзная конференция "Перспективы развития автоматизированных систем управления и информации" .- Новосибирск: СО АН СССР, 1986.

Всесоюзная конференция " Рефлексивные процессы и творчество" .Новосибирск: ИИФФ СО АН СССР, 1990.

Всесоюзная научно-практическая конференция "Управление развитием большого города".- Омск: ОмГУ, 1991.

Международные конференции " Искусственный интеллект" (КИИ): Тверь, 1992; Рыбинск, 1994; Казань, 1996.

Межрегиональная конференция "Закономерности социального развития - ориентиры и критерии моделей будущего развития" .Новосибирск: Президиум СО РАН, 1994.

Георгиевские чтения" памяти Г.П.Щедровицкого.- Новосибирск: СО РАН, ИФП, НГУ, ИИИПК.- 1995.

Международная конференция " Искусственный интеллект в XXI веке".- Калининград: АИИ, 1995.

Международная научно-практическая конференция " Информационные технологии и радиосети (ИНФОРАДИО-96)".- Омск: Сибирское отделение РАН, 1996.

Второй Сибирский Конгресс по Прикладной и Индустриальной Математике (ИНПРИМ-96) .- Новосибирск: СО РАН.- 1996.

Научно-практические конференции "Проблемы коммерческой деятельности в регионе" и " Подготовка специалистов экономического профиля в регионе" .- Омск: ОФ МКГУ, 1996, 1997.

Всероссийская научно-практическая конференция "Общество. Человек. Экономика. Труд. Культура".- Омск: Министерство общего и профессионального образования РФ, 1997.

Первая международная научно-практическая конференция Оптимизация городской среды и проектирование её устойчивого развития с учётом приоритетности социокультурных программ" .Омск: Администрация г. Омска, МАН (Российская секция), МАИ, 1997.

Международная конференция "Всесибирские чтения по математике и механике" - Томск, 1997.

Международная конференция "Проблемы оптимизации и экономические приложения" - Омск, 1997.

Система прототипирования знаний " Экран"-3 продемонстрирована на выставке программных продуктов КИИ-96 (Казань). Проект " Компьютерная информационная технология " Экран" для поддержки российско-китайских переговоров" принят как экспонат оргкомитетом второй выставки " Российские наукоёмкие технологии и техника" в г. Харбине (КНР).

Доклад, посвященный " Экран"-технологии " Prototyping System for Cooperative Knowledge Representation of Social Processes" был принят программным Комитетом европейского конгресса EUFIT'95 (Аахен, Германия) и включен в программу секции BD93 (Methodology and Tools in Uncertain Conditions). Переработанный вариант доклада опубликован в [156].

Результаты исследований обсуждались в 1994 - 1998 гг. в ОФ ИМ СО РАН (ИИТПМ СО РАН) на семинарах "Преобразование и обработка информации" (руководитель - к.ф.-м.н. С.В.Зыкин), "Методы оптимизации" (руководитель- д.ф.-м.н. А.А.Колоколов), "Компьютерное моделирование систем" (руководитель - д.т.н. В.А.Шапцев), научной сессии ОФ ИМ СО РАН по важнейшим результатам 1997 г., а также были доложены в Омском государственном университете на семинаре "Методы математического моделирования" (руководитель - д.ф.-м.н. А.К.Гуц).

Введение 18

Публикации

Результаты диссертационной работы представлены в 33 публикациях, в том числе одной монографии. Разработаны и предоставлены коллегам и студентам компьютерные варианты учебных материалов объемом около 200 стр. Данные материалы доступны через сервер лаборатории МППИ ОФ ИМ СО РАН http://рог. omsk.net. ru.

Благодарности

Автор выражает признательность коллегам, которые предоставили ему возможность работать с профессиональными системами высокого уровня: А.Е.Янковской (ЭКСАПРАС), А.П.Кулаичеву и A.A.Макарову (STADIA), О.Г.Чанышеву (ГИОС), а также А.П.Дубнову и Н.М.Голунову за предоставление конспектов лекций и компьютерных программ моделирования по теме "Глобалистика". Автор благодарит зав. библиотекой ОФ ИМ СО РАН Р.Х.Багаутдинову за оперативное предоставление информации и помощь в проверке текста на соответствие библиографическим стандартам.

5.5 Выводы к главе 5

1. Создана и апробирована информационная "Экран" - технология, в которой специально подготовленная команда "методолог - игротехник - планшетист" с помощью компьютерной среды поддерживает процесс продолжительного коллективного исследования, разработки и реализации мультидисциплинарных проектов.

2. Результаты применения "Экран" - технологии и отдельных её компонентов позволили начать переход от прототипа технологии к её полномасштабной реализации на базе полиэкранной широкоформатной компьютерной и презентационной техники и прикладных интеллектуальных систем.

3. Предложены и апробированы методы обучения специалистов в области мультидисциплинарных исследований (прикладных математиков и когнитологов - инженеров по знаниям) как членов команды поддержки исследований в рамках "Экран"-технологии.

Заключение 187 нены дипломные работы: " Модели пользователя для интеллектуальной системы", "Формализация курса "Экспертные системы", "Создание прототипа диагностической экспертной системы для торакальной хирургии", "Модели выбора решений коллективом экспертов", " Обработка экспертных оценок в " Экран"-технологии (на основе Windows'95)".

4. В Управлении образования Администрации г. Омска проведены исследования по внедрению автоматизированных технологий документооборота, исследованию производственного коллектива, обучению резерва системы управления.

5. Авторский проект " Компьютерная информационная технология "Экран" для поддержки российско-китайских переговоров", принят как экспонат Оргкомитетом 2-ой выставки наукоёмких российских технологий в Китае (Харбин, 1997 г.).

1. Аверкин А.Н. Мягкие вычисления основа новых информационных технологий// Сб. науч. тр. 5-ой конф. "Искусственный интеллект-96 (КИИ-96)".- В 3-х т.- Казань: Ассоц. Искусств. Интеллекта, 1996.- T. IL- С. 237 - 239.

2. Агафонов В.И. Информационная система ПТО для поддержки спецификации программ и математического обеспечения программистов: Препр. 85-1.- Новосибирск, 1985.- 28 с.

3. Алескеров Ф.Т., Ортешук П. Выборы. Голосование. Партии.-М.: "Академия", 1995.- 208 с.

4. Альтшуллер Г.С. Найти идею. Введение в теорию решения изобретательских задач,- Новосибирск: Наука, 1986.- 209 с.

5. Альтшуллер Г.С., Верткин И.М. Как стать гением: жизненная стратегия творческой личности,- Минск: Беларусь, 1994.- 479 с.

6. Андриенко Н.В., Андриенко Г.Л. Образное представление отношений в инженерии знаний// Сб. науч. тр. конф. КИИ-94.-Рыбинск: Ассоц. искусств, интеллекта, 1994, Т. 1.- С. 19 23.

7. Анисимов О.С. Развитие. Моделирование. Технологии.- Калуга: Росс, академия гос. службы при Президенте РФ, 1996.- 94 с.

8. Анисимов Ю.П., Филимонов В.А., Демин Д.В. Моделирование групповой адаптации при эвристической деятельности коллектива// Тез. докл. Всесоюзн. симп. "Проблемы моделированияпсихической деятельности".-Вып. 2,- Новосибирск, СО АН СССР, 1968.- С. 219 221.

9. Бабынин И.В., Кретов B.C., Власов И.Е. и др. Подход к построению интеллектуальной системы мониторинга международных конфликтов// Сб. науч. трудов конф. КИИ-94,- Рыбинск: Ассоц. искусств, интеллекта, 1994, Т. 2.- С. 309 -313.

10. Бабынин И.В., Власов И.Е., Кретов B.C., Фролов И.В. Информационная модель политического конфликта// Сб. науч. тр. 5-ой конф. "Искусственный интеллект-96" (КИИ-96).- Казань: Ассоц. искусств, интеллекта, 1996.- Т. III.- С. 379 383.

11. Болыпев JI.H., Смирнов Н.В. Таблицы математической статистики.- М.: Наука, 1983.- 416 с.

12. Брусиловский П.Л., Зырянов М.И. Интеллектуальная учебная среда "Остров"// Сб. науч. тр. III конф. по искусств, интеллекту (КИИ-92).- Тверь, Ассоц. искусств, интеллекта, 1992Т. 2.- С. 33 35.

13. Бурков В.Н. Активная система как система искусственного интеллекта// Прикл. эргономика. Спец. вып. "Рефлексивные процессы".- 1994.- № 1,- С. 54-57.

14. Випке В.Т., Долата Д. Применение многозначной логики в планировании синтезов // "Искусственный интеллект: применение в химии".- М.: Мир, 1988.- С. 216 238.

15. Воинов A.B., Долныкова A.A., Чудова Н.В. Диалог с компьютером: общение с "капризной женщиной" или "полёт в многомерном пространстве" (о пользовательской идентификации) // Новости искусств, интеллекта.- 1993.- № 1.- С. 108 116.

16. Гаврилова Т.А. Спецификация знаний как альтернатива быстрому прототипированию // Сб. науч. тр. 5-ой конф. "Искусственный интеллект-96"Казань: Ассоц. искусств, интеллекта, 1996.- Т. II.- С. 250-254.

17. Гам В.И., Дубенский Ю.П., Филимонов A.A., Филимонов В.А. Ресурсы реформирования системы управления образова-нием//Омская школа, 1998, № 0, с. 12 13.

18. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990.- 150 с.

19. Городецкий Б.Ю., Зевахина Т.С., Муравьева И.А. и др. Извлечение знаний из текста. Тезаурус текста// Тез. докл. III конф. "Искусственный интеллект -92" (КИИ-92).- Тверь: Ассоц. искусств, интеллекта, 1992,- Т. 1.- С. 101 102.

20. Городецкий В.И. Многоагентные системы: современное состояние исследований и перспективы применения// Сб. науч. тр. 5-ой конф. "Искусственный интеллект-96".- Казань: Ассоц. искусств. интеллекта, 1996.- Т. I.- С. 36 45.

21. Горский П.Д., Ивин A.A., Никифоров А.Л. Краткий словарь по логике.- М.: Просвещение, 1991.- 208 с.

22. Горский Ю.М, Лавшук В. Жизнь или смерть цивилизации (модель, прогноз, роль интеллекта и информации).- Иркутск: Известия-Восток, 1994.- 28 с.

23. Григорьев Э.П. Концептуальные основы синтеза альтернативных решений//Информатика и вычислительная техника, № 1, 1997, с. 78 82.

24. Гриндер Д., Бэндлер Р. Структура магии.- М: "Каас", 1995.518 с.

25. Громов Г.Р. Национальные информационные ресурсы: проблемы промышленной эксплуатации.- М.: Наука, 1984.- 237 с.

26. Губарев В.В. Алгоритмы статистических измерений.- М.: Энергоатомиздат, 1985. 272 с.

27. Гуд Г.Х., Макол Р.Э. Системотехника. Введение в проектирование больших систем.- М.: Сов. радио, 1962.- 383 с.

28. Гуц А.К. Глобальная этносоциология: Учебное пособие. Омск: Омск, ун-т, 1997. 212 с.

29. Гуленко В.В., Тыщенко В.П. Юнг в школе. Соционика межвозрастной педагогике. Учебно-методическое пособие,- 2-е изд.-Новосибирск: Изд-во Новосиб. ун-та; М: Совершенство, 1997.270 с.

30. Диксон Дж. Проектирование систем: изобретательство, анализ и принятие решений.- М.: Мир, 1969.- 440 с.

31. Дорантес Д.Х., Туккель И.Л. Управление инновационными проектами: методология и инструментальные средства/Учеб, пособие- С.-Петербург: СПбГТУ, 1997.- 93 с.

32. Дружинин В.В., Конторов Д.С. Конфликтная радиолокация.-М.: Радио и связь, 1982.- 123 с.

33. Дубнов А.П. Глобалистика (Введение в глобальные проблемы человечества). Программа и лекции.- Новосибирск, НГУ, Вып. 1, 1991.- 80 е., Вып. 2, 1992.- 184 с.

34. Дудихин В.В., Беляев И.П. Оценка и прогнозирование результатов коллективного принятия решений с применением теории рефлексии// Прикл. эргономика. Спец. вып. "Рефлексивные процессы".- 1994.- № 1,- С. 58-63.

35. Дюк В.А. Компьютерная психодиагностика.- С.-Пб: Братство, 1994,- 364 с.

36. Жегалин В.А. Автоматизация мыследеятельности как культурно-социальная проблема// Вопр. методологии.- 1994.-№ 1-2,- С. 36-51.

37. Журавлев А.П. Звук и смысл.- М.: Просвещение, 1981.- 160 с.

38. Журбенко И.Г. Анализ стационарных и однородных случайных систем.- М.: Изд-во Моск. ун-та, 1987.- 240 с.

39. Загоруйко Н.Г. АРСО и речевые технологии // Прикладные системы искусственого интеллекта.- Новосибирск: ИМ СО РАН, 1995.- Вып. 153: Вычислит, системы.- С. 3 31.

40. Загоруйко Н.Г. Информатика и МОЗ // Проблемы обработки информации.- Новосибирск: ИМ СО АН СССР, 1983.- Вып. 100: Вычислит, системы.- С. 34 46.

41. Загоруйко Н.Г. Партнерские системы // Анализ данных и знаний в экспертных системах,- Новосибирск: ИМ СО РАН, 1990.- Вып. 134: Вычислит, системы.- С. 3 18.

42. Загоруйко Н.Г., Бушу ев М.В. Меры расстояния в пространстве знаний// Анализ данных в экспертных системах.- Новосибирск: ИМ СО РАН, 1990.- Вып. 117: Вычислит, системы.-С. 24 35.

43. Зайцев В.Ф. Биоритмы творчества.- Л.: Знание, 1989.- 32 с.

44. Зенгер X. Стратагемы. О китайском искусстве жить и выживать. 36 стратагем за три тысячелетия.- М.: Прогресс, 1995.384 с.

45. Зенкин A.A. Когнитивная компьютерная графика: некоторые вопросы методологии применения в интеллектуальных системах// Сб. науч. трудов конф. КИИ-94.- Рыбинск: Ассоц. искусств. интеллекта, 1994,- Т. 1.- С. 100 -105.

46. Зинченко А.П. Об устройстве и употреблении понимающих машин// Вопр. методологии.- 1992.- № 3-4.- с. 104-114.

47. Зубакин В.А. Россия: новые хозяева предприятий// Пробл. теории и практики упр.- 1994.- № 3.- С. 72 78.

48. Инженерия знаний. //Пер. с яп. в 10 т.-М.: Мир.- //Т1: Обработка знаний.-1989.- 292 е.- Т2: Представление и использование знаний.-1989.- 296 е.- ТЗ: Приобретение знаний.- 1990.- 303 с.

49. Интеллектуальные программные системы, которые помогают мыслить творчески и талантливо// Справ.- М.: МЕТОД, 1996.- 64 с.

50. Искусственный интеллект// Справ.-В 3-х кн. Кн. 2. Модели и методы// Под ред. Д.А.Поспелова.- М.: Радио и связь, 1990.304 с. .

51. Искусственный интеллект в XXI веке // Новости искусств, интеллекта.-1995.- № 4.- С. 126 172.

52. Копылов Г. Регион-сеть и региональные программы// Кентавр.- № 2.- 1993.

53. Краснощеков П.С. Об одной простейшей модели коллективного поведения. Приложения и их интерпретация// Юбилейный сб. тр. институтов Отделения информатики, вычислительной техники и автоматизации РАН.- Т.1.- М: ОИВТА РАН.- 1993.-С. 5- 18.

54. Крегер О., Тьюсон Дж. М. Типы людей и бизнес: Как 16 типов личности определяют ваши успехи на работе.- М.: Персей. Вече. ACT, 1995,- 560 с.

55. Кузнецов В.Е. Представление в ЭВМ неформальных процедур.- М.: Наука, 1989.- 160 с.

56. Кузнецов Д.А., Серых А.П., Тарасенко Ф.П. Определение и измерение дискриминации// Изв. вузов.- Сер. Физика,- 1995.Т. 38.- № 9.- С. 109 118.

57. Кулаичев А.П. Методы и средства анализа данных в среде Windows STADIA 6.О.- М.: Информатика и компьютеры, 1966.255 с.

58. Левит В.Е., Переверзев-Орлов B.C. Структура и поле данных при распознавании образов.- М.: Наука, 1984.- 124 с.

59. Лемешко Б.Ю., Постовалов С.Н. Некоторые вопросы статистического анализа одномерных наблюдений//Тез. докл. меж-дун. конф. "Всесибирск. чтения по математике и механике".-Томск: Изд-во Томск, ун-та, 1997. Т. 1, с. 133.

60. Леонтьева H.H. Система "ПОЛИТекст": информационный анализ политических текстов// НТИ.- Сер. 2,- 1995.- № 4. -С. 4 17.

61. Лепский В.Е. Рефлексивный подход к организации диалоговых систем// Тр. междун. сем. "Диалог'95: компьют. лингвистика и ее приложения" (Казань, 31 мая 4 июня 1995 г.).-Казань, 1995.- С. 175 - 181.

62. Лефевр В.А. Конфликтующие структуры- М.: Сов. радио, 1973,- 160 с.

63. Литвинцева Л.В., Налитов С.Д. Виртуальная реальность: анализ состояния и подходы к решению// Новости искусств, интеллекта.- 1995.- № 3.- С. 24 89.

64. Лопухов А.Н., Филимонов В.А. Моделирование коллектива экспертов средствами соционики// Материалы 1-ой меж-дун. науч.-практ. конф. "Информ. технологии и радиосети (ИНФОРАДИО'96)".- Омск: ОмГУ.- 1996,- С. 22.

65. Лопухов А.Н., Филимонов В.А. Модели коллектива экспертов/ / Доклады 1-ой междун. науч.-практ. конф. "Информ. технологии и радиосети (ИНФОРАДИО'96)".- Новосибирск: ИМ СО РАН,- 1998,- с. 53 58.

66. Лук А.Н. О чувстве юмора и остроумии.- М.: Наука, 1969192 с.

67. Любарский Ю.Я. Интеллектуальные информационные системы,- М.: Наука, 1990.

68. Макиавелли Н. Избранные сочинения.- М.: Худож. лит., 1982.503 с.

69. Марселлус Д. Программирование экспертных систем на Турбо прологе.- М.: Финансы и статистика, 1994.- 256 с.

70. Мартынов Г.В. Критерии омега-квадрат.- М.: Наука, 197880 с.

71. Мешалкин Л.Д., Голдберг С. Интеллектуальные системы: новые области применения// Природа.- 1994.- № 10.- С. 66 75.

72. Мюллер И. Эвристические методы в инженерных разработках.-М.: Радио и связь, 1984.- 142 с.

73. Налимов В.В., Дрогалина Ж.А. Реальность нереального. Вероятностная модель бессознательного.- М.: Мир идей, АО АКРОН, 1995.- 432 с.

74. Нариньяни A.C. НЕ-факторы и инженерия знаний: от наивной формализации к естественной прагматике// Сб. науч. трудов конф. КИИ-94,- Рыбинск: Ассоц. искусств, интеллекта.- 1994.Т. 1.- С. 9 18.

75. Несененко Г.А., Тюрин Ю.Н. Асимптотика статистики Колмогорова для параметрического семейства,- Доклады АН СССР, 1978, Т.239, № 6, с. 1292 1294.

76. Ниренберг Дж. Маэстро переговоров.- Минск: Парадокс, 1996,- 416 с.

77. Осипов Г.С. Информационные технологии, основанные на знаниях// Новости искусств, интеллекта.- 1993.- № 1.- С. 7- 41.

78. Переверзев-Орлов B.C. Советчик специалиста. Опыт разработки партнерской системы.- М.: Наука, 1990.

79. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 2-е изд. доп.,- Томск: Изд-во HTJI, 1997.- 396 с.

80. Перцова H.H., Зенкин A.A. Когнитивная визуализация идеи времени Велемира Хлебникова// Сб. науч. трудов конф. КИИ-94.- Рыбинск: Ассоц. искусств, интеллекта.- 1994.- Т. 1.- С. 112- 118.

81. Петров В.М., Яблонский А.И. Математика и социальные процессы (гиперболические распределения и их применение).- М.: Знание, 1980.- 64 с.

82. Полляк Ю.Г., Филимонов В. А. Статистическое машинное моделирование средств связи.- М.: Радио и связь, 1988.- 176 с.

83. Попов C.B. Материализация метода// Метод: вчера и сегодня: Материалы I Методол. конгр. (20-21 марта 1994 г.).- М.: Шк. культ, политики.- 1995.- С. 89 110.

84. Попов C.B. Организационно-деятельностные игры: Мышление в "зоне риска"// Кентавр.- 1994,- № 3.- С. 2 31.

85. Поспелов Д.А. Моделирование рассуждений. Опыт анализа мыслительных актов М.: Радио и связь, 1989.- 184 с.

86. Поспелов Д.А. Серые и/или черно-белые? // Прикл. эргономика № 1.- 1994.- Спец. вып. "Рефлексивные процессы".- С. 29-33.

87. Пропп В.Я. Морфология сказки. М.: Наука, 1969.- 168 с.

88. Разумов В.И. Методология подготовки и интеллектуально-технологического сопровождения научных исследований// Дисс. .д.ф.н,- Новосибирск: Новосиб. гос. ун-т, 1997.- 260 с.

89. Розин В.М. Опыт истолкования маскотерапии Г. Назлояна// Кентавр,- 1996.- № 1.- С. 5 15.

90. Роозе А.Ф., Арикезе Е.И. Применение машинной графики при сравнительном анализе многомерных объектов// УСиМ.-1986.- № 3.- С. 104 107.

91. Рутерсвард О. Невозможные фигуры.- М.: Стройиздат, 1990.128 с.

92. Сагатовский В.Н. Философия как теория всеобщего и ее роль в медицинском познании.- Томск: ТГУ, 1968.-395 с.

93. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со многими критериями.- М.: Наука, 1981.- 110 с.

94. Соловьев С.Ю. Математические методы и принципы построения автоматизированных систем инженерии знаний.- Автореф. дисс. д.ф.-м.н.//Тверь: Тверский гос. ун-т, 1996.- 44 с.

95. Станкевич JI.C. Разработка аппарата формализации измерительных знаний.- Автореф. дисс. д.т.н.//С.-Пб.: С.-Пб. гос. электротехнич. ун-т, 1998.- 46 с.

96. Степанов A.M. Основы медицинской гомеостатики.- Воронеж: НПО "МОДЭК", 1994,- 270 с.

97. Стефанюк В.Л. Трансакционный анализ систем обучения// Сб. науч. тр. 5-ой конф. "Искусственный интеллект-96".- Казань: Ассоц. искусств, интеллекта,- 1996.- Т. I,- С. 179 183.

98. Сунь-цзы. Трактат о военном искусстве// Конрад Н.И. Избранные труды.- М.: Наука, 1977.- С. 14 304.

99. Тайгачев Г.Н. Технология выборов как путь к стабильности// Безопасность,- 1993,- № 11-12,- С. 94 108; 1994.- № 1 -2,- С. 25 - 30.

100. Таран Т.А. Ситуационная модель для качественной оценки социальной напряженности// НТИ,- Сер. 2.- 1996.- № 2.- С. 1 6.

101. Тарасов В.Б. От искусств, интеллекта к искусственной жизни: новые направления в науках об искусственном интеллекте// Новости искусств, интеллекта.- 1995.- № 4.- С. 93 117.

102. Телевидеокомпьютерные средства проектирования и управления в строительстве// Э.П.Григорьев, О. А. Жирков, Ю.В.Орфеев и др.- М.: Стройиздат, 1993.- 360 с.

103. Тельнов Ю.Ф. Технология проведения реинжиниринга бизнес-процессов// Бизнес-процесс реинжиниринг и проектирование информационных систем,- М.: МГУЭСИ, 1996.- С. 28 35.

104. Толмен Э. Когнитивные карты у крыс и у человека// Хрестоматия по истории психологии.- М.: МГУ, 1980.- С. 63 82.

105. Тридцать шесть стратагем. Китайские секреты успеха.- М.: Белые альвы, 1997.- 192 с.

106. Тюрин Ю.Н. Непараметрические методы статистики,- М.: Знание, 1978,- 64 с.

107. Тюрин Ю.Н., Макаров А.А. Анализ данных на компьютере.-М.: Финансы и статистика, 1995.- 384 с.

108. Уотермен Д. Руководство по экспертным системам.- М.: Мир, 1989.

109. Филимонов В.А. Интеллектуальная среда "Экран-3" для коллектива экспертов// Тез. докл. 2-го Сибирского Конгресса по прикладной и индустриальной математике (ИНПРИМ-96).-Новосибирск: ИМ СО РАН, 1996.- С. 170.

110. Филимонов В.А. Информационная технология формирования программ региональной политики// Вестник Омского ун-та. -Спец. вып. 1, 1996.- С. 129.

111. Филимонов В.А. Информационные технологии. Вводный курс для аспирантов,- Омск: Изд-во Омского гос. ун-та, 1994.26 с.

112. Филимонов В.А. Модели экспертов в "Экран"-технологии// Тез. докл. междун. конф. "Всесибирск. чтения по математике и механике".- Томск: Изд-во Томск, ун-та, 1997. Т. 1, с. 229.

113. Филимонов В.А. О задачах создания информационных систем// Технология и средства моделирования радиосистем.-Новосибирск: ВЦ СО АН СССР, 1987.- С.41-45.

114. Филимонов В.А. О применении критериев согласия к распределениям с априорно неизвестными параметрами// Тез. докл. секц. теории информации ЦП НТО РЭС, Новгород, 1981.

115. Филимонов В.А. Оптимизация в "Экран"-технологии// Тез. докл. междун. конф. "Проблемы оптимизации и экономические приложения",- Омск: ИИТПМ СО РАН, 1997, с. 157.

116. Филимонов В.А. Опыт использования системы и технологии " Экран-2" для коллективной формализации знаний о социальных процессах// Сб. науч. трудов конф. КИИ-94.- Рыбинск: Ассоц. искусств, интеллекта, 1994, Т. 2.- С. 339 -341.

117. Филимонов В.А. Особенности жизненного цикла систем машинного моделирования в технике связи// Численное и имитационное моделирование в связи.- Новосибирск: ВЦ СО АН СССР, 1985,- С. 65 86.

118. Филимонов В.А. Оценка малых вероятностей при помощи обобщенного распределения экстремальных значений// Радиотехника и электроника.- 1978.-№ 2.- С. 451 454.

119. Филимонов В.А. Применение критерия Колмогорова для выбора функции распределения, описывающей результаты эксперимента// Техника средств связи.- Сер. ТРС.- Вып. 10.- 1980.-С. 3 8.

120. Филимонов В.А. Проект гибридной экспертной системы ЭСКИМОС для имитационного моделирования алгоритмов обработки сигналов // Системы моделирования в радиотехнике и связи. Сб. науч. тр.- Новосибирск: ВЦ СО АН СССР, 1989.- С. 89 94.

121. Филимонов В.А. Проект интеллектуальной вычислительной системы для интеграции гуманитарной и научной деятельно-стей// Тез.докл. У1 обл. науч.-практ. конф. "Новые информационные технологии в учебном процессе и управлении", Омск: ОГПИ, 1989,- С. 181-182.

122. Филимонов В.А. Проект интеллектуальной системы поддержки игровых методик// Тез. докл. науч.-практ. конф,-Омск: ОмПИ 1989.- С. 89.

123. Филимонов В.А. СТАРТ 2 система статистического моделирования цифровой обработки сигналов// Тез. докл. секц. теории информации ЦП НТО РЭС, Воронеж , 1983.

124. Филимонов В.А. "Экран"-технология для предпринимателя: опыт обучения// Докл. науч.-практ. конф. "Проблемы коммерческой деятельности в регионе".- Омск: ОФ МКГУ, 1996, Т. 1.-С. 120 123.

125. Филимонов В.А. "Экран"-технология для экспертов и политиков// Доклады 1-ой междун. науч.-практ. конф. "Информ. технологии и радиосети (ИНФОРАДИО'96)".- Новосибирск: ИМ СО РАН, 1997.- С. 59 65.

126. Филимонов В.А., Шапцев В.А., Шульман В.А. Средства моделирования на ЭВМ систем передачи дискретных сообщений// Перспективы развития автоматизированных систем управления и информации,- Новосибирск: Наука, 1986.- С. 127 140.

127. Филимонов В.А., Шаталов B.C. СТАРТ 2 диалоговая система моделирования устройств цифровой обработки сигналов// Техника средств связи.- Сер. ТРС.- Вып. 10,- 1983,- С. 21-26.

128. Форрестер Дж. Мировая динамика,- М.: Наука, 1978.- 168 с.

129. Хамби Э. Программирование таблиц решений.- М.: Мир, 1976,- 86 с.

130. Холстед М. Начала науки о программах,- М.: Финансы и статистика, 1981.- 128 с.

131. Чанышев О.Г. Ассоциативная модель естественноязыкового текста// Вестн. Омского ун-та.- 1997.- Вып. 4(6).- С. 17 20.

132. Черепанова И.Ю. Дом колдуньи. Язык творческого Бессознательного.- М.: КСП, 1996.384 с.

133. Черток М. Проблемы политики в контексте регионализации// Кентавр, 1993.

134. Шапиро С.И. От алгоритмов к суждениям. (Эксперименты по обучению элементам математического мышления)- М.: Советское радио, 1973.- 288 с.

135. Шапцев В.А., Филимонов В.А. Программа работ Комплексного отдела ВЦ СО АН СССР по перспективным информационным технологиям// Тез.докл. У1 обл. науч.-практ. конф. "Новые информационные технологии в учебном процессе и управлении", Омск: ОГПИ, 1989.

136. Шкурба В.В. Информатика и социотехника. К концепции информатизации советского общества// УСиМ,- 1989.- № 2.- С. 12- 23.

137. Шнейдерман Б. Психология программирования. Человеческие факторы в вычислительных и информационных системах.- М.: Радио и связь, 1984.- 304 с.

138. Шрейдер Ю.А. Вероятностная интерпретация "формулы человека"// Прикл. эргономика. Спец. вып. "Рефлексивные процессы".- 1994.- № 1.- С. 20-24.

139. Щедровицкий Г.П. Избранные труды.- М.: Шк. культ, политики, 1995.- 800 с.

140. Щедровицкий П.Г. Типологический метод и гуманитарное знание// Метод. Прикладное знание. (Докл. 2-го Методолог, конгр., Москва, 28-29 марта 1995 г.).- М.: Шк. культ, политики, 1996.- С. 81 94.

141. Щедровицкий П.Г. Экономические формы организации хозяйства и современные предпринимательские стратегии// Кентавр.- 1993.- № 3.- С. 2 7.

142. Экспертные системы. Принципы работы и примеры.- М.: Радио и связь, 1987.- 224 с.

143. Янковская А.Е., Гедике А.И. Построение прикладных интеллектуальных систем на базе системы ЭКСАПРАС// Сб. науч. тр. III конф. по искусств, интеллекту (КИИ-92).- Тверь: Ассоц. искусств, интеллекта, 1992.- Т. 2.- С. 82 85.

144. Aivazyan S.A., Blagoveshensky Yu.N., Meshalkin L.D. (1990) Systems assisting in gathering and analysis of statistical data and adjustable to subject domains. In: B.Grigelionis et al. (Eds) Probability Theory and Mathematical Statistics, VSP//Mokslas.

145. Dyer O.R. Comparison of test for normality with a cautionary note// Biometrica, 1974, V. 61, № 1, P. 185 189.

146. Filimonov V.A. "EKRAN"-Technology for Collective of Experts// Вестн. Омского ун-та,- 1996.- Вып. 2.- С. 20 22.

147. Finn V.K., Mikheenkova M.A. On the Application of JSM-method of Automatic Hypothesis Generation in Sociological Investigations// Artifical Intellegence News (EWAIC-93).- Moscow, 1993,- P. 91 98.

148. Hix D., Hartson H.R. IDEAL: An Environment for User-Centered Development of User Interfaces// Proc. of East-West int. conf. on human-computer interaction (EWHCI'94).- Saint Petrsburg, Russia. 1994,- Vol. I.- P. 196 211.

149. Inspiration 4.0. Education Idea Book// Inspiration Software, Inc (Portland, Oregon, USA), 1993.1. СПИСОК ЛИТЕРАТУРЫ 206

150. Kotenko I.V. Conflict Resolution in Computer-Supported Cooperative Design// Proc. of East-West Internat. Conf. on Human-Computer Interaction (EWHCI'94).- Russia, S.-Pb.- V. 1,- P. 1-65 1-74.

151. Каганець I. Навчальний цикл ТИПОЛОГ1Я ЮНГА -СОЦЮН1КА ПСИХ01НФ0РМАТИКА.- Кшв: Сощошчш Технологи, 1996.

152. Lem St. Summa technologiae.- Krakow: Wydawnictwo Literackie, 1967.- 579 s.

153. Power R.J.D. (Ed). Cooperation Among Organizations. The Potential of Computer Supported Cooperative Work.- Research Reports ESPRIT. Project 5660, PECOS, V. 1.- Springer-Verlag, 1993.- 140 p.

154. Sykes P., Schaper J., Mayes Т., Palmen H., Marcipont V. ISLE: A Collaborative Project to Build an Intensely Supportive Learning Environment// NATO Advanced Studies Institute Herriot Watt Univ., Edinburg, Scotland, Aug. 1994,- P. 503 510.

155. Warner Stanley L. Randomized response: a survey technique for eliminating evasive answer bias// J. Amer. Statist. Assoc., 1965.-V. 60.- №. 309.- P. 63 69.

156. Wood C.L. On Null-hypothesis distributions of Kolmogorov-Smirnov type statistics with estimated location and scale parameters// Commun. Statist.- Theor. Meth., 1978, V. A7, № 12, P. 1181 1198.1. СПИСОК ЛИТЕРАТУРЫ 207

157. Авторские компьютерные изданияразмещены на сервере лаборатории МППИ ОФ ИМ СО РАНhttp://poi.iitam.omsk.net.ru)

158. Филимонов В.А. Основы аналитики (стенограммы лекций).-Омск: Сиб. образ, центр "Инфра", 1996.- 36 с.

159. Филимонов В.А. Экспертный анализ (рефераты лекций).-Омск: Омский гос. ун-т, 1997.- 15 с.

160. Филимонов В.А. Экспертные системы (методология, теория, технология). Конспект лекций для студентов-математиков 3-го курса ОмГУ.-Омск: Омский гос. ун-т, 1994.- 77 с.