автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности

На правах рукописи

005002271

Зацман Игорь Моисеевич

ОСНОВЫ КОМПЬЮТЕРНОГО ПРЕДСТАВЛЕНИЯ ЭКСПЕРТНЫХ ЗНАНИЙ ДЛЯ МОНИТОРИНГА ПРОГРАММНО-ЦЕЛЕВОЙ ДЕЯТЕЛЬНОСТИ

1 7 НОЯ 7П11

Специальность05.13.17 пил ¿иII

«Теоретические основы информатики»

Автореферат

диссертации на соискание ученой степени доктора технических наук

Москва 2011

005002271

Работа выполнена в Учреждении Российской академии наук Институт проблем информатики РАН

Официальные оппоненты: доктор технических наук, профессор Антопольский Александр Борисович;

доктор филологических наук, профессор Гиляревский Руджеро Сергеевич;

доктор технических наук, профессор Дулин Сергей Константинович.

Ведущая организация: Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации

ционного совета Д002.073.01 при Учреждении Российской академии наук Институт проблем информатики РАН (ИЛИ РАН) по адресу: 119333, Москва, ул. Вавилова, 44, корп. 2.

С диссертацией можно ознакомиться в библиотеке ИПИ РАН.

Отзывы в одном экземпляре, с заверенной подписью, просим направлять по адресу: 119333, Москва, ул. Вавилова, 44, корп. 2, в диссертационный совет.

Автореферат разослан «_»_2011г.

Ученый секретарь диссертационного совета Д002.073.01 доктор технических наук, профессор

Защита диссертации состоится

в_часов на заседании диссерта-

С.Н. Гринченко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Новые условия и предпосылки, которые определяют актуальность диссертационного исследования, сформулированы в Концепции реформирования бюджетного процесса в РФ в 2004-2006 годах, одобренной Постановлением Правительства РФ от 22 мая 2004 года № 249 «О мерах по повышению результативности бюджетных расходов» (далее -Постановление 249). В процессе реформирования бюджетного процесса программно-целевая деятельность становится доминирующей во всех сферах, финансируемых за счет бюджетных средств. Согласно данной Концепции осуществляется переход на реализацию долгосрочных программ с явным описанием их целей, задач, ресурсов и ожидаемых результатов, а также с использованием индикаторов для мониторинга и оценивания полученных результатов, эффективности и результативности программно-целевой деятельности.

Реализация долгосрочных целевых программ и применение в новых условиях индикаторов, которые традиционно использовались при статистическом наблюдении и принятии решений по бюджетированию до реформирования бюджетного процесса, выявили нерелевантность и неполноту традиционно используемых наборов индикаторов. Принятие решений в новых условиях сформировало спрос на разработку программно-ориентированных индикаторов. Их разработка сопряжена с созданием новых концептуальных подходов, методов и алгоритмов вычисления значений индикаторов.

Целенаправленное формирование знаний, ориентированное на создание новых концептуальных подходов и методов, стало актуальной проблемой в разных сферах деятельности, что нашло отражение в официальных документах. Так, разработка новых методов индикаторного оценивания научной деятельности включена в тематическое направление «29. Системы автоматизации, САЬБ-технологии, математические модели и методы исследования сложных управляющих систем и процессов» Программы фундаментальных научных исследований РАН на 2008 - 2012 годы, утвержденной Распоряжением Правительства РФ от 27 февраля 2008 г. № 233-р (далее - Распоряжение 233).

Принятие Постановления 249 и Распоряжения 233 определило основную область применения результатов диссертационного исследования: проектирование систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности. В Концепции реформирования бюджетного процесса в России предусматривается создание систем информационного мониторинга и оценивания, которые должны развиваться по мере накопления опыта применения новых методов бюджетного планирования. При этом с развитием этих систем сферу применения новых методов программно-целевого планирования предполагается расширять.

В настоящее время спектр исследований процессов целенаправленного формирования новых знаний и их компьютерного представления образует в информатике новое научное направление, результаты которого в будущем найдут свое применение в различных сферах, финансируемых на программно-целевой

основе. На становление этого научного направления оказал существенное влияние процесс разработки 7-ой Рамочной программы Европейского Союза (ЕС), принятой на период 2007-2013 годы, в частности, подготовка в рамках этой программы концептуальных и конкурсных документов для тем и проектов по созданию информационно-коммуникационных технологий (ИКТ) нового поколения.

В этих документах определен широкий спектр актуальных исследований и разработок, включая исследование возможностей существующих и разработку новых поколений ИКТ, обеспечивающих представление в информационных системах формируемых (генерируемых) знаний человека в их динамике и целенаправленное влияние на процесс их формирования. Ключевая роль ИКТ в проблематике формирования и представления новых знаний послужила основанием для включения этой проблематики в тематические исследовательские программы 7-ой Рамочной программы ЕС по ИКТ.

Степень разработанности проблематики. Цели формирования новых или развития существующих систем знаний во многом зависят от предметной области, в рамках которой формируются или развиваются системы знаний. Известная в настоящее время спиральная модель формирования знаний, которая описана в работах Нонака и Такеучи1, и ее обобщение, предложенное в работах Вежбицки и Накамори2, не зависят от целей формирования, предметной области и с этой точки зрения они являются универсальными. Поэтому спиральная модель формирования знаний и ее обобщение Вежбицки и Накамори были выбраны в качестве исходной позиции для диссертационного исследования.

Опыт применения ИКТ, разработанных в институте JAIST (Japan Advanced Institute of Science and Technology) для поддержки процесса формирования научных знаний, позволяет утверждать следующее: несмотря на то, что модели формирования знаний, предложенные Нонака и Такеучи, Вежбицки и Накамори, уже используются на практике, имеется ряд нерешенных проблем и задач, ограничивающих сферу применения этих моделей.

Перечислим четыре таких задачи: 1) в моделях не фиксируются изменения состояния формируемых личностных знаний человека в зависимости от времени, 2) не определены объекты интерпретации, являющиеся источниками новых знаний человека, 3) не выделены структурные элементы формируемых знаний, соответствующие объектам интерпретации, и 4) не фиксируется момент времени генерации каждого нового структурного элемента. Комплексное решение поставленной в диссертации проблемы, включающей четыре перечисленные

1 По данным Google Scholar на 17.06.2011 общее число цитирований следующих двух работ равно 22344: 1)Nonakai. The knowledge-creating Company // Harvard Business Review. 1991. Vol. 69. N. 6. - Pp. 96-104; 2) Nonaka I., Takeuchi H. The knowledge-creating Company. - Oxford; N.Y.: Oxford University Press, 1995.

2 Wierzbicki A.P., Nakamori Y. Basic Dimensions of Creative Space. In: Creative space: Models of Creative Processes for Knowledge Civilization Age. / Ed. by A.P. Wierzbicki and Y. Nakamori.- Springer Verlag: Berlin-Heidelberg, 2006.-Pp. 59-90; Wierzbicki А. Р., Nakamori Y. Knowledge sciences: Some new developments // Zeitschrift für Betriebswirtschaft. 2007. Vol. 77. No. 3. - Pp. 271-295.

задачи, на основе единой модели формирования и компьютерного представления личностных и коллективных знаний в настоящее время отсутствует.

В связи с вышесказанным актуальными являются исследования, направленные на создание концептуальных основ формирования и компьютерного представления формируемых знаний человека в динамике их направляемого развития.

Предлагаемые в диссертации концептуальные основы формирования и компьютерного представления экспертных знаний представляют собой существенное развитие спиральной модели формирования знаний и ее обобщения, предложенного Вежбицки и Накамори. При этом в диссертации получено комплексное решение проблемы, включающей четыре перечисленные задачи, на основе единой модели формирования и компьютерного представления экспертных знаний, которая позволяет фиксировать изменения личностных и коллективных знаний во времени применительно к мониторингу и индикаторному оцениванию программно-целевой деятельности.

В процессе исследования использовались результаты работ Г.Б. Клейнера, Е.Б. Козеренко, К.К. Колина, И.П.Кузнецова, Н.В.Лукашевич, Г.С.Поспелова! Д.А.Поспелова, Ю.И. Шемакина, Ю.А. Шрейдера, B.C.Brooks, J. Farradane,' P. Ingwersen, F. Machlup, S. Gorn и многих других.

Целью работы является разработка концептуальных основ и моделей компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов.

Для достижения поставленной цели необходимо было решить следующие задачи.

1. Сформулировать проблему компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработать концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, включая описание используемой системы терминов.

3. Разработать модели компьютерного представления экспертных знаний, которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения формируемых знаний об индикаторах во времени.

4. На основе моделей компьютерного представления экспертных знаний в динамике их формирования разработать архитектуру лингвистического обеспечения систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности, а также провести ее экспериментальное исследование.

Объектом исследования являются долгосрочные целевые программы, которые реализуются в интересах удовлетворения научных, образовательных] технологических, культурных, экономических и иных общественно значимых

потребностей, и для которых определены объекты мониторинга и индикаторного оценивания, включая цели, задачи, ресурсы и ожидаемые результаты программ.

Предметом исследования являются мониторинг и оценивание долгосрочных целевых программ с помощью программно-ориентированных индикаторов, формируемых экспертами.

Методы исследования. Проводимые в работе теоретические и практические исследования базируются на методах системного анализа, семиотики, теории алгоритмов, искусственного интеллекта и технологии программирования.

Научная новизна. Основной результат диссертационной работы состоит в постановке и решении проблемы компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности. При этом впервые получены следующие научные результаты:

- предложена система терминов, включающая новые понятия «формокода» и «семокода», которые используются в описании способов кодирования смыслового содержания (концептов) программно-ориентированных индикаторов и их названий (имен);

- предложено развитие понятия креативного пространства по Вежбицки и На-камори, которое в отличие от определенного ими пространства с двумя измерениями (социальным и эпистемологическим) включает третье средовое измерение этого пространства;

- определено новое понятие неактуального концепта для номинативной шкалы социального измерения креативного пространства Вежбицки и Накамори, которое дает возможность на любом этапе формирования индикаторов зафиксировать то их подмножество, которое на этом этапе эксперты исключили из рассмотрения;

- креативное пространство дополнено денотатами , на основе концептуализации которых формируются экспертные знания для мониторинга и оценивания программно-целевой деятельности, что отличается от подхода Вежбицки и Накамори, в котором источники генерации знаний не определены;

- разработана стационарная семиотическая модель компьютерного кодирования, отображающая треугольник Фреге, вершины которого имеют разную природу (ментальную, социально-коммуникационную, цифровую или материальную), на цифровой семиотический треугольник, принадлежащий полностью цифровой электронной среде5 (далее - цифровая среда); в отличие от

3 Номинативная шкала социального измерения креативного пространства Вежбицки и Накамори включает индивидуальные, коллективные и конвенциональные знания.

4 В рассматриваемой проблеме денотат представляет собой совокупность программы вычисления значений индикатора, данных, используемых программой для определения значений этого индикатора, а также его значений, вычисленных этой программой.

5 Согласно ГОСТ Р 52292-2004, электронная среда - это среда технических устройств (аппаратных средств), функционирующих на основе физических законов и используемых в информационной технологии при обработке, хранении и передаче данных. В диссертации и автореферате цифровая электронная среда - это цифровые технические устройства (аппаратные средства) электронной среды.

существующих моделей стационарная семиотическая модель дает возможность назначать компьютерные коды одновременно стабильным объектам интерпретации, соответствующим структурным элементам знаний, формируемых экспертами, и их названиям;

- определено пространство Фреге, включающее ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов знаний, формируемых экспертами, и для их названий (имен); в отличие от креативного пространства Вежбицки и Накамори пространство Фреге дает возможность отображать одновременно динамику изменений денотатов, соответствующий процесс генерации экспертных знаний и процесс назначения названий (имен) структурным элементам знаний, формируемых экспертами;

- разработана нестационарная семиотическая модель компьютерного представления экспертных знаний, которая описывает процесс формирования программно-ориентированных индикаторов; в отличие от существующих моделей нестационарная семиотическая модель дает возможность описать объекты интерпретации и соответствующие им структурные элементы знаний об индикаторах в динамике их формирования;

- разработана архитектура лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний, формируемых для мониторинга и оценивания, которая в отличие от существующих архитектур включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов, разрабатываемых экспертами.

Теоретическая значимость работы состоит в постановке и решении проблемы компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности. Решение этой проблемы включает в себя:

- разработку концептуальных основ компьютерного представления экспертных знаний в динамике их формирования, представляющих собой дальнейшее развитие обобщенной спиральной модели формирования знаний;

- построение стационарной и нестационарной семиотических моделей представления личностных и коллективных знаний экспертов в системах информационного мониторинга;

- разработку принципов проектирования лингвистического обеспечения для компьютерного представления экспертных знаний об индикаторах в динамике их формирования, разрабатываемых для мониторинга и оценивания программно-целевой деятельности.

В диссертации предложен новый подход к разработке моделей компьютерного представления экспертных знаний в динамике их формирования. Его суть заключается в явном определении объектов интерпретации и выделении соответствующих им структурных элементов знаний, формируемых экспертами, а также в использовании нескольких осей компьютерных кодов для отображения изменений денотатов, процессов формирования соответствующих им структурных элементов знаний и их имен.

Практическая значимость работы заключается:

- в построении и апробации системы терминов, которая была использована в разработке концептуальных основ компьютерного представления экспертных знаний;

- в создании концептуальных основ и семиотических моделей компьютерного представления личностных и коллективных знаний, формируемых экспертами, которые используются при разработке индикаторов оценивания программно-целевой деятельности;

- в разработке архитектуры лингвистического обеспечения, включающего проективный словарь индикаторов, разрабатываемых группой экспертов, и использовании созданного лингвистического обеспечения для компьютерного представления экспертных знаний (включение проективного словаря в состав лингвистического обеспечения дало возможность разрабатывать новые алгоритмы для программно-ориентированных индикаторов, фиксируя этапы формирования их смыслового содержания, различия в трактовке, т.е. несовпадения в рубриках, дефинициях, именах формируемых индикаторов, и степень согласованности их трактовки между экспертами);

- в совершенствовании технологии автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные (разрабатываемые) экспертами.

Достоверность и обоснованность результатов исследования

подтверждена:

- опытом практической реализации результатов исследования и их использованием в научных исследованиях, имеющих государственную регистрацию (НИР «Разработка методов и принципов создания информационных технологий для оценивания результатов влияния фундаментальных исследований», выполняемая с 2010 года в ИЛИ РАН в соответствии с Программой фундаментальных научных исследований РАН на 2008-2012 годы, номер госрегистрации темы 01201000917);

- использованием теоретических результатов работы в проектах по грантам Российского фонда фундаментальных исследований (№09-07-00156а, №06-07-07001ано) и Российского гуманитарного научного фонда (09-02-00006а, №06-02-04043а, №05-03-03230а, № 05-03-12328в);

- совпадением результатов исследования с данными проведенных экспериментов;

- сопоставлением результатов исследования с данными зарубежного и отечественного опыта;

- обсуждением результатов диссертационного исследования на международных и всероссийских научных мероприятиях.

Соответствие диссертации паспорту научной специальности. Проблематика диссертации соответствует следующим положениям формулы специальности 05.13.17 «Теоретические основы информатики»: создание и исследование информационных моделей, моделей данных и знаний, методов работы со знаниями, методов обнаружения новых знаний.

Результаты диссертационного исследования соответствуют следующим положениям п. 4 паспорта специальности: разработка средств представления знаний, отражающих динамику процессов, концептуальных и семиотических моделей предметных областей.

Апробация результатов диссертации. Основные положения и результаты работы докладывались и обсуждались на следующих 34 международных и всероссийских научных мероприятиях:

1. Семинары "Компьютерная лингвистика и ее приложения" Диалог-99, (Таруса, 1999), Диалог-2000 (Протвино, 2000), Диалог-2001 (Аксаково, 2001), Диалог-2002 (Протвино, 2002);

2. Конференции "Компьютерная лингвистика и интеллектуальные технологии" Диалог-2003 (Протвино, 2003), Диалог-2005 (Звенигород, 2005), Диалог-2006 (Бекасово, 2006), Диалог-2007 (Бекасово, 2007), Диалог-2008 (Бекасово, 2008);

3. 20ty International Cartographic Conference (Пекин, 2001);

4. 3-я, 4-я, 7-я, 8-я, 9-я и 10-я Всероссийские конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (Петрозаводск, 2001), (Дубна, 2002), (Ярославль, 2005), (Суздаль, 2006), (Переславль-Залесский, 2007), (Дубна, 2008);

5. 5-я и 6-я Всероссийские конференции "Технологии информационного общества - Интернет и современное общество" (Санкт-Петербург, 2002), (Санкт-Петербург, 2003);

6. 5th International Interdisciplinary Symposium "Picture language - visualization -diagrammatics" (Вена, 2002);

7. 8th, 9th, 10th Congresses of International Association of Semiotic Studies (Лион, 2004), (Хельсинки-Иматра, 2007), (Ла-Корунья, 2009);

8. The international conference "Innovation and Reproduction in Cultures and Societies" (Вена, 2005);

9. Atlanta Conference on Science, Technology and Innovation Policy (Атланта

2007);

10.10th, 11th International Conferences on Science and Technology Indicators (Вена, 2008), (Лейден, 2010);

11.9-й Международный Форум «Высокие технологии 21-го века» (Москва

2008);

12. Information and Brokerage Conference on Information and Communication Technologies in the EU's 7th Framework Programme (Москва, 2008);

13.Atlanta Conference on Science and Innovation Policy (Атланта, 2009);

14.The World Congress in Computer Science, Computer Engineering, and Applied Computing (Лас-Вегас, 2009);

15.7th Framework Programme Information and Communication Technologies Proposers' Day (Будапешт, 2009);

16.XII International Conference «Cognitive Modelling in Linguistics» (Дубровник 2010);

17.3rd European Network of Indicators Designers Conference (Париж, 2010);

18.7th Conference of the Nordic Association for Semiotic Studies (Лунд, 2011).

Под руководством автора и по тематике исследования защищена кандидатская диссертация по специальности 05.13.17 «Теоретические основы информатики» по теме «Технология разработки семантического словаря системы информационного мониторинга».

Публикации. Основные результаты исследования опубликованы в 52 работах, в том числе, в 1 монографии, 2 книгах и 14 статьях в журналах, входящих в Перечень журналов ВАК.

Структура диссертации. Диссертационная работа состоит из Введения, 4 глав, Заключения, списка литературы, 49 рисунков, 7 таблиц, 5 приложений. Основное содержание работы изложено на 252 стр. Список литературы включает 228 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во Введении обоснована актуальность исследования, сформулированы цель и задачи исследования, показана научная новизна, теоретическая и практическая значимость результатов работы.

В первой главе диссертации сформулирована проблема компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности, показана ее актуальность и современное состояние.

Необходимость формирования экспертами новых или развития существующих систем знаний в той или иной предметной области может определяться по-разному, например, в процессе анализа и сопоставления новых социально-экономических, технологических и других потребностей общества с уже имеющимися теориями, методами, способами и средствами их удовлетворения. В диссертации рассматриваются вопросы формирования и компьютерного представления тех экспертных знаний, которые используются для мониторинга и индикаторного оценивания программно-целевой деятельности (ПЦД), которая понимается как совокупность целевых программ, объединенных по некоторому признаку. Так, объединяемые программы могут относится к некоторой предметной области. Целенаправленно формируемые системы знаний для мониторинга и индикаторного оценивания одной программы или ПЦД в целом предлагается называть целевыми (далее по тексту - целевые системы знаний или ЦСЗ).

Наиболее известные работы Нонака и Такеучи по созданию моделей процессов формирования знаний относятся к последнему десятилетию прошлого века и рубежу веков. В этих работах была предложена спиральная модель формирования знаний или SECI-модель6.

Обобщение этой модели было предложено в работах Вежбицки и Накамори, в которых было введено понятие креативного пространства для описания процессов формирования знаний.

6 Аббревиатура SEC1 образована первыми буквами английских названий процессов socialization (социализация), externalization (экстернализация), combination (синтез) и internalization (интернализация).

Важно отметить, что в классической и обобщенной моделях отсутствует количественная ось времени (поэтому неизвестно, за какое время происходят изменения в системе знаний) и не определены объекты смысловой интерпретации, связанные с процессом порождения новых структурных элементов систем знаний, формируемых экспертами.

Для создания ИКТ, обеспечивающих поддержку процессов целенаправленного формирования знаний, недостаточно разработанных к настоящему времени моделей и методов, так как в них не фиксируются изменения состояния формируемых личностных и коллективных знаний во времени, не определены объекты интерпретации и не выделены соответствующие им структурные элементы знаний, формируемых экспертами.

Вопросы разработки новых методов и моделей целенаправленного формирования систем знаний с использованием возможностей ИКТ рассматривались приглашенными экспертами при подготовке 7-й Рамочной программы ЕС в рамках семинара «Knowledge Anywhere Anytime: "The Social Life of Knowledge"» (Брюссель, 29-30 апреля 2004 г.). Материалы этого семинара использовались при формировании программ работ по ИКТ 7-й Рамочной программы ЕС. В них отмечается, что сегодня исследование процессов целенаправленного формирования новых и развития существующих систем знаний является актуальной проблематикой. Участники семинара определили четыре актуальных направления исследований в рамках этой проблематики, которые описаны в диссертации.

Анализ этих направлений позволяет утверждать, что участники этого семинара отметили ключевую роль ИКТ в решении проблемы формирования новых и развития существующих систем знаний. При этом они существенно расширили границы предметной области целенаправленного формирования и представления знаний. Расширенная предметная область исследований включает в себя, в дополнение к традиционным вопросам представления знаний, следующие три проблемы:

- формирование и компьютерное представление в цифровой среде личностных и согласованных концептов7 как структурных элементов ЦСЗ, формируемой экспертами - проблема представления ЦСЗ;

- анализ и оценивание степени релевантности разных вариантов ЦСЗ социальным, экономическим, технологическим и другим общественно значимым потребностям, в интересах которых они были сформированы - проблема релевантности ЦСЗ;

- целенаправленное влияние средствами ИКТ на формирование и эволюцию ЦСЗ, необходимое для получения запланированных результатов - проблема направляемого развития ЦСЗ.

Область исследования диссертации относится к первой из трех перечисленных проблем, то есть к проблеме представления ЦСЗ. Эта

В описаниях направлений исследований приглашенные эксперты семинара «Knowledge Anywhere Anytime: "The Social Life of Knowledge"» трактуют концепт как структурный элемент системы знаний человека.

поставленная в диссертации проблема исследуется, в основном, с точки зрения создания систем информационного мониторинга и индикаторного оценивания ПЦД, в интересах которого необходимо формировать ЦСЗ о программно-ориентированных индикаторах.

В проблеме формирования ЦСЗ об индикаторах мониторинга и оценивания ПЦД ключевыми являются процессы интерпретации и концептуализации, т.е. формирование смыслового содержания индикаторов в процессе их разработки экспертами. Понятия интерпретации и концептуализации являются ключевыми в постановке и решении проблемы представления ЦСЗ.

Концептуализация определена в диссертации как итерационный процесс формирования экспертом в течение некоторого периода времени концепта (смыслового содержания) нового индикатора. Концепт индикатора как структурный элемент знаний эксперта является результатом содержательного анализа алгоритма изменяемой экспертом компьютерной программы и данных, используемых для определения значений этого индикатора, а также его значений, вычисленных этой программой.

Предполагается, что в течение любой отдельно взятой итерации (этапа) формирования концепта нового индикатора, компьютерная программа и данные, используемые этой программой для определения значений индикатора, остаются неизменными. Изменения могут происходить только между этапами содержательного анализа алгоритма, данных и значений индикатора.

Для обозначения объекта концептуализации, который состоит из компьютерной программы, данных и вычисленных значений индикатора, в диссертации используется термин «денотат индикатора» или просто «денотат».

Интерпретация определена в диссертации как процесс содержательного анализа экспертом денотата или состояния денотата индикатора, если программа и/или данные изменяются в течение концептуализации, который завершает каждую итерацию (этап) концептуализации.

Эксперты, разрабатывающие новые индикаторы и формирующие их концепты, руководствуются явно заданными целями генерации ЦСЗ о программно-ориентированных индикаторах. В начале каждой итерации (этапа) концептуализации, но до начала интерпретации, эксперты могут вносить изменения в алгоритмы компьютерных программ и в данные, используемые для определения значений индикаторов.

Если на некотором этапе концептуализации денотата экспертом был сгенерирован концепт нового индикатора, а затем эксперт изменил алгоритм и/или данные (будем называть это получением нового состояния денотата), то на следующем этапе концептуализации им может быть сгенерирован другой концепт разрабатываемого индикатора как результат интерпретации нового состояния денотата.

Постановка проблемы представления ЦСЗ. Предположим, что перед группой экспертов поставлена задача формирования ЦСЗ о новых программно-ориентированных индикаторах, предназначенных для мониторинга и оценивания ПЦД, используя заданную систему классификации индикаторов.

Процесс формирования ЦСЗ об индикаторах состоит из серии этапов концептуализации денотатов. Каждое состояние денотата (как зафиксированный в цифровой среде объект смысловой интерпретации) представляет собой совокупность трех следующих компонентов, которые не изменяются в процессе интерпретации:

- программы определения значений нового индикатора;

- данных, которые обрабатываются программой определения его значений;

- значений нового индикатора, которые получены в результате выполнения программы.

Между этапами эксперты имеют возможность изменять программы и данные, которые обрабатываются программой. Эксперт может написать новую (изменить существующую) программу определения значений индикатора и/или подготовить (изменить) данные, которые обрабатываются этой программой, затем выполнить этот вариант программы и получить результаты вычислений. На каждом этапе концептуализации эксперт анализирует алгоритм программы, использованные данные и полученные значения с целью формирования на этом этапе его личностного концепта (смыслового содержания) варианта нового индикатора.

Каждый этап концептуализации денотата индикатора необязательно завершается формированием концепта индикатора (например, эксперт изменил алгоритм и/или данные, но не смог интерпретировать полученное состояние денотата). В случае формирования концепта эксперт выражает свое личностное понимание индикатора сначала в виде позиции (рубрики) в заданной системе классификации индикаторов, а затем дефиницией. Также он может присвоить индикатору имя.

Кроме того, он начинает процесс согласования полученного им личностного концепта, выраженного в виде рубрики, дефиниции и имени индикатора, с другими экспертами группы. Цель процесс согласования - убедить других экспертов в корректности построения и правильности своей интерпретации индикатора, представленной в виде позиции (рубрики) в заданной системе классификации и дефиниции, а также обосновать выбор имени индикатора.

Если он получит согласование еще хотя бы одного эксперта, то концепт этого индикатора получает статус согласованного концепта (вопрос степени согласованности индикатора в пределах группы экспертов рассматривается в Главе 4 диссертации).

Кавдый этап концептуализации денотата индикатора может завершиться одним из следующих четырех результатов:

- написана новая (изменена существующая) программа вычисления значений варианта нового индикатора и/или подготовлены (изменены) данные, которые обрабатываются этой программой, и получены результаты вычислений, но личностный концепт не сформирован (получено новое неинтерпретиро-ванное состояние денотата, но его понимание отсутствует);

- сформирован личностный концепт и определена его позиция (рубрика) в заданной системе классификации, но отсутствуют дефиниция и имя для полученного варианта нового индикатора (первый уровень выражения концепта);

- дополнительно сформулирована дефиниция и выбрано имя для нового индикатора (второй уровень выражения концепта);

- позиция (рубрика) в системе классификации, дефиниция и имя нового индикатора согласованы хотя бы еще с одним экспертом.

На следующем этапе концептуализации эксперт может сформировать новый денотат (изменить состояние существующего денотата) и повторить перечисленные операции или продолжить процесс согласования ранее созданных индикаторов с другими экспертами группы. В последнем случае, если согласование состоялось, то результатом будет изменение степени согласованности индикаторов. Предполагается, что задан некоторый пороговый уровень степени согласованности, при достижении которого индикатор получает статус сформированного.

При перечисленных исходных условиях и определенном выше порядке формирования индикаторов требуется:

- определить пространство кодов состояний денотатов индикаторов, их концептов и имен, включающее ось времени, для отражения в этом пространстве результатов концептуализации денотатов (предполагается, что коды присваиваются системой информационного мониторинга);

- разработать модели компьютерного представления экспертных знаний для описания процессов формирования индикаторов в пространстве кодов состояний денотатов, концептов и имен индикаторов;

- разработать архитектуру лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний о формируемых программно-ориентированных индикаторах и для последующего использования этих индикаторов.

Существенной особенностью сформулированной проблемы является представление в многомерном пространстве результатов концептуализации. Сама постановка проблемы представления ЦСЗ говорит о том, что в ней охватываются сущности трех разных сред: ментальной (концепты индикаторов), социально-коммуникационной (имена индикаторов, присвоенные экспертами) и цифровой (компьютерные коды концептов, имен и состояний денотатов, присвоенные системой информационного мониторинга).

В приведенной постановке проблемы рассматриваются денотаты, компонентами которых являются программы, обрабатываемые ими данные и вычисленные значения индикаторов, т.е. эти компоненты относятся к цифровой среде. В диссертации на примерах из гидрологии и переводоведения показано, что разработанные модели могут также применяться для денотатов материальной и социально-коммуникационной природы.

Позиционируем проблематику диссертации в рамках классификации подходов к представлению знаний согласно МакГиннесс8 (см. Рисунок 1). В

8 McGuinness D.L. Ontologies come of age. In: Fensel D., Hendler J., Lieberman H., Wahlster W. (Eds). Spinning the Semantic Web: Bringing the World Wide Web to Its Full Potential. -Cambridge, MA: MIT Press, 2003. - Pp. 171-194.

рамках этой классификации проблематика диссертации и предлагаемые решения по созданию лингвистического обеспечения систем информационного мониторинга ближе всего к словарям терминов, тезаурусам и неформальным таксономиям.

Предлагаемые в диссертации концептуальные основы представления знаний, формируемых экспертами, базируются на следующих положениях:

- средовой принцип разделения предметной области информатики согласно структуре научных исследований, предложенный К.К. Колиным,

- определение сферы незнания как сферы мысленно представляемого, но еще не познанного, через ее противопоставление со сферой знания, предложенное В.Л. Макаровым и Г.Б. Клейнером,

- разграничение между знаковой информацией и данными по источнику их генерации, предложенное Ю.И. Шемакиным: человек как генератор знаковой информации и внешние по отношению к человеку технические цифровые измерительные системы как генераторы данных,

- соотнесение объектов предметной области информатики со средами (ментальной, социально-коммуникационной, цифровой) по признаку принадлежности рассматриваемых объектов (концепты, информация и коды) к этим средам,

- разграничение личностных, согласованных (коллективных) и общепринятых (конвенциональных) знаний согласно обобщенной спиральной модели формирования знаний Вежбицки и Накамори.

Рисунок 1. Классификация подходов по степени формальности представления

знаний

Во второй главе диссертации дано краткое описание спиральной модели формирования знаний, ее обобщения и сформулированы девять направлений развития модели. Эти направления развития являются концептуальными основами разработки моделей компьютерного представления экспертных знаний (концептуальными решениями).

В классической спиральной модели формирования знаний или SECI-модели, Нонака и Такеучи определили две категории знаний: индивидуальные (личностные) знания человека и коллективные знания группы людей. Каждая из этих категорий разделена на два вида: выраженные и невыраженные знания (или выражаемые и невыражаемые знания). Всего классическая SECI-модель включает следующие четыре понятия:

1) индивидуальные невыраженные знания,

2) коллективные невыраженные знания,

3) индивидуальные выраженные знания,

4) коллективные выраженные знания.

Обобщение SECI-модели, разработанной Нонака и Такеучи, было предложено в работах Вежбицки и Накамори. В основном, это обобщение было связано с разделением знаний, не на две категории, как в работах Нонака и Такеучи, а на три: индивидуальные знания человека, коллективные знания и, дополнительно, конвенциональные знания. Деление на эти три категории Вежбицки и Накамори назвали социальным измерением креативного пространства формирования знаний.

С учетов деления каждой из трех категорий на два вида (выраженные и невыраженные знания) Вежбицки и Накамори добавили к четырем перечисленным понятиям Нонака и Такеучи два новых понятия:

5) конвенциональные невыраженные знания

6) конвенциональные выраженные знания.

Деление перечисленных понятий на выраженные и невыраженные знания Вежбицки и Накамори назвали эпистемологическим измерением креативного пространства формирования знаний.

В SECI-модели, кроме четырех понятий, определены следующие четыре процесса9:

- социализация индивидуальных невыраженных знаний - 'socialization' -обозначает процесс передачи невыраженных знаний от одного эксперта-разработчика индикаторов к другим участникам совместной деятельности, например, путем предъявления им программ и данных, используемых для вычисления значений индикаторов, а также самих полученных значений;

- экстернализация коллективных невыраженных знаний - 'externalization' -обозначает процесс порождения коллективных выраженных знаний, например, в виде дефиниций индикаторов, на основе коллективных невыраженных знаний;

- синтез индивидуальных выраженных знаний - 'combination' - обозначает процесс образования экспертом его индивидуальных выраженных знаний на основе коллективных выраженных знаний с целью решения стоящих перед ним задач разработки индикаторов;

- интернализация индивидуальных выраженных знаний - 'internalization' -обозначает процессы формирования экспертом его индивидуальных невыраженных знаний на основе его индивидуальных выраженных знаний, исполь-

9 В автореферате описание процессов дано на примере разработки индикаторов.

зуемых им в процессе решения стоящих перед ним задач разработки индикаторов.

Используя четыре перечисленных термина, Нонака и Такеучи ввели метафорическое понятие спирали формирования знаний, каждый виток которой включает последовательность процессов: социализация —> экстернализация —> синтез —► интернализация —♦ социализация (как начало следующего витка спирали).

Описание предлагаемых концептуальных решений, являющихся основой разработки моделей компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания ПЦД, начинается в диссертации с определения нового, третьего, измерения креативного пространства формирования знаний, которое назовем средовым измерением.

В диссертации средовое измерение креативного пространства определяется номинативной шкалой10 для трех категорий знаний: индивидуальные, коллективные и конвенциональные знания. При этом невыраженные знания всех трех категорий относятся только к ментальной среде.

Таким образом, средовое измерение креативного пространства по определению включает следующие три среды (см. Рисунок 2):

- ментальная среда знаний, к которой относятся выражаемые и невыражаемые знания всех трех категорий;

- социально-коммуникационная среда, к которой относятся формы представления только выраженных знаний (индивидуальных, коллективных или конвенциональных);

- цифровая среда, к которой относятся коды представления выражаемых знаний (индивидуальных, коллективных или конвенциональных) и коды форм представления выраженных знаний.

Предлагаемое средовое измерение является первым направлением развития обобщенной спиральной модели формирования знаний (у креативного пространства Вежбицки и Накамори появляется третье измерение).

Еще одно направление развития модели связано с дополнением креативного пространства денотатами, на основе концептуализации которых формируются экспертные знания для мониторинга ПЦД, а также с определением в некоторый дискретный момент времени объекта интерпретации как состояния денотата, изменяемого в процессе концептуализации. Предложенное дополнение креативного пространства денотатами и определение объекта интерпретации как состояния денотата являются вторым направлением развития обобщенной спиральной модели формирования знаний.

Кроме объектов интерпретации, в диссертации определяются структурные элементы экспертных знаний, каждый из которых является результатом интерпретации некоторого состояния денотата. Определение структурных элементов новых знаний экспертов на каждом из этапов концептуализации является третьим направлением развития обобщенной спиральной модели

10 Номинативная шкала средового измерения креативного пространства включает ментальную, социально-коммуникационную и цифровую среды.

формирования знаний. Это дает возможность фиксировать по завершении каждого этапа (в частном случае, витка спирали) прирост экспертных знаний в виде новых структурных элементов, сгенерированных только на этом этапе.

В диссертации предлагается регистрировать на оси времени период выполнения каждого этапа концептуализации и случаи появления на этом этапе новых структурных элементов знаний, чтобы описать в динамике весь процесс формирования и развития экспертных знаний. Введение в креативное пространство оси времени является четвертым направлением развития обобщенной спиральной модели формирования знаний.

Для дальнейшего развития обобщенной модели в диссертации используется перечень из девяти процессов, включая четыре процесса классической SECI-модели (т.е. социализация, экстернализация, синтез и интернализация), которые Вежбицки и Накамори определили в креативном пространстве. Среди пяти процессов, которые используются только в обобщенной спиральной модели, есть процесс перехода от индивидуальных (личностных) невыраженных знаний к выраженным (enlightenment). Выделим два уровня для этого процесса перехода и соотнесем эти уровни с формами выражения знаний.

В диссертации определены два вида форм выражения структурных элементов знаний: 1) в виде позиции (рубрики) в некоторой системе классификации (классификационная форма) и 2) в вербальной, образной или вербально-образной формах. Сначала, на первом уровне перехода от индивидуальных невыраженных знаний к выраженным, определяется позиция (рубрика) для каждого нового структурного элемента знаний в некоторой системе классификации, а затем, на втором уровне перехода, определяется вербальная, образная или вербально-образная форма представления этого элемента. Введение двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным является пятым направлением развития обобщенной спиральной модели формирования знаний.

Вышеупомянутое разделение модальностей (вербальной, образной и вербально-образной) форм выражения структурных элементов знаний является шестым направлением развития обобщенной спиральной модели.

Седьмым направлением развития является определение в креативном пространстве процесса концептуализации в виде повторяемых изменений денотатов и процессов интерпретации состояний измененных денотатов.

Восьмым направлением развития является описание четырех возможных вариантов завершения процесса интерпретации:

- личностный концепт не сформирован (индивидуальное понимание объекта интерпретации экспертом отсутствует);

- сформирован личностный концепт и определено его место в заданной системе классификации (первый уровень перехода от индивидуальных невыраженных знаний к выраженным);

- личностный концепт как новый структурный элемент знаний выражен в вербальной (естественно-языковой), образной или вербально-образной формах (второй уровень перехода от индивидуальных невыраженных знаний к выраженным);

- 19- формы выражения личностного концепта согласованы с одним или несколькими экспертами группы (переход от индивидуальных выраженных знаний к коллективным).

В обобщенной спиральной модели формирования знаний отсутствует упомянутый процесс перехода от индивидуальных выраженных знаний к коллективным. Добавление этого процесса в креативное пространство является девятым направлением развития модели. Этот процесс перехода назовем согласованием индивидуальных выраженных знаний с другими участниками совместной деятельности, в данном случае, с экспертами мониторинга и оценивания ПЦЦ.

Рассмотренные девять направлений развития обобщенной спиральной модели формирования знаний, определенной Вежбицки и Накамори, и разработанная система терминов (см. Рисунок 2) представляют собой концептуальные основы разработки моделей компьютерного представления экспертных знаний.

В третьей главе диссертации дано описание разработанных автором семиотических моделей компьютерного представления знаний об индикаторах, формируемых экспертами, в системах информационного мониторинга. Лингвистическое обеспечение этих систем включает в себя проективный словарь, состоящий из дескрипторов новых индикаторов. Дескриптор описывает концепт, фиксирует название (имя) и состояние денотата индикатора.

Каждый дескриптор, который строится экспертом в целях описания формируемого им индикатора, включает три уникальных идентификатора:

- семантический идентификатор, который в диссертации назван кодом первой категории, предназначенный для компьютерного представления значения (смысла) дескриптора, т.е. концепта индикатора;

- информационный идентификатор, который назван кодом второй категории, предназначенный для компьютерного кодирования названия (имени) индикатора;

- объектный идентификатор, который назван кодом третьей категории, предназначенный для кодирования состояния денотата индикатора. Дескриптор включает в себя набор связей, фиксирующих его положение

внутри словаря, и набор внешних связей с компонентами видов обеспечения системы информационного мониторинга.

В целях построения семиотических моделей компьютерного представления экспертных знаний в диссертации для каждого дескриптора определено новое понятие семокода как совокупности концепта дескриптора и уникального семантического идентификатора дескриптора в словаре. Концепт дескриптора выражается набором внутренних связей дескриптора в словаре, его дефиницией и набором внешних связей дескриптора с видами обеспечения систем информационного мониторинга.

Аналогично для каждого дескриптора определено новое понятие формокода как сочетания названия (имени) индикатора, для которого построен дескриптор, и уникального информационного идентификатора дескриптора.

Кроме построения этих двух новых понятий, в диссертации для описания семиотических моделей сформирована система терминов, включающая следующие понятия с явным отнесением каждого из них к одной трех сред (см. Рисунок 2):

- знания - результаты познавательной и креативной деятельности человека, носителем которых может быть только человек и в которых могут быть выделены отдельные «кванты» знаний (ментальная среда);

- концепты - элементарные единицы или сочетания элементарных единиц плана содержания, выраженные в рамках некоторого естественного языка (в общем случае, в рамках той или иной знаковой системы); концепты делятся на личностные, согласованные группой экспертов и конвенциональные концепты (ментальная среда);

- ментальные образы - структурные единицы невыраженных знаний человека, соответствующие сенсорно воспринимаемым данным и не являющиеся концептами (ментальная среда);

- информация - авторские, коллективные или общепринятые формы эксплицитного (явного) и отчужденного от человека представления его знаний, предназначенные для передачи, непосредственного сенсорного восприятия и понимания их другими людьми (социально-коммуникационная среда);

1) Знания, 2) концепты, 3) личностные, 4) согласованные и 5) конвенциональные концепты 12) Ментальные образы сенсорно воспринимаемых данных

Ментальная среда

6) Информация, 7) знаковая информация и 8) информационные объекты И) Данные как формы представления цифровых данных в соц.-комм. среде

Социально-коммуникационная среда

9) Три категории кодов (концептов, их форм и денотатов)

10) Цифровые данные

Цифровая среда

Рисунок 2. Термины для описания семиотических моделей и их распределение по трем средам третьего измерения креативного пространства

- знаковая информация - результат процесса представления концептов человеком в плане выражения некоторой знаковой системы в любой отчужденной форме, которая является сенсорно воспринимаемой другими участниками коммуникаций и содержательно интерпретируется ими в рамках этой знаковой системы (социально-коммуникационная среда);

- коды - компьютерные эквиваленты двоичных цифр (или их последовательностей), которые могут представлять собой в цифровой среде намагничен-

ность или ее отсутствие, наличие электрического тока или его отсутствие, способность к отражению света или ее отсутствие; в интересах описания моделей выделяются три категории кодов: коды первой категории для концептов, коды второй категории для имен и коды третьей категории для состояний денотатов индикаторов (цифровая среда);

- цифровые данные - компьютерные эквиваленты двоичных цифр, которые в описании семиотических моделей не соотнесены в явном виде с тремя категориями кодов (цифровая среда);

- данные - формы представления цифровых данных в социально-коммуникационной среде (социально-коммуникационная среда).

Рисунок 2 содержит 12 терминов", пронумерованных против часовой стрелки. Эти термины распределены по шести прямоугольникам. В качестве критериев для их распределения использовались средовой принцип, предложенный К.К Колиным, определение сферы незнания, предложенное В.Л. Макаровым и Г.Б. Клейнером, разграничение между знаковой информации и данными по источнику их генерации, предложенное Ю.И. Шемакиным, и разграничение личностных, коллективных и общепринятых знаний, предложенное Вежбицки и Накамори. На основе перечисленных критериев в диссертации сформулированы следующие пять положений, которые позиционируются как исходные данные для разработки семиотических моделей.

Положение 1. Согласно средовому принципу 12 терминов разделены на три группы в зависимости от природы обозначаемых ими сущностей: ментальной, социальной или цифровой.

Кроме трех сред, при построении семиотических моделей в диссертации рассматривается также сфера материальных объектов и явлений в тех случаях, когда речь идет о денотатах материальной природы.

Положение_2. В диссертации рассматриваются денотаты цифровой,

материальной и социально-коммуникационной природы. Денотатами цифровой природы в семиотических моделях компьютерного представления экспертных знаний являются совокупности компьютерных программ вычисления значений индикаторов, данных, используемых этими программами, и вычисленных значений индикаторов.

Положение 3. Перечисленные термины семиотических моделей разделены на два класса. Первый класс терминов на рисунке 2 обозначен прямоугольниками, расположенными слева, второй класс - прямоугольниками справа. Разделение терминов на уровне ментальной среды основано на определение сферы незнания. Разделение терминов на уровне социально-коммуникационной среды основано на идее разграничения знаковой информации и данных по источнику их генерации.

Положение_4. Категоризация кодов цифровой среды позволяет в

семиотических моделях разделить коды концептов, имен и состояний денотатов индикаторов.

11 Словосочетание «знаковая информация» является неисчисляемым, поэтому для описания моделей в диссертации также используется понятие «информационные объекты» как исчисляемый аналог понятия знаковой информации.

Положение 5. Для определения числовых значений семантических кодов концептов, информационных кодов имен индикаторов и объектных кодов состояний денотатов в диссертации используются, соответственно, уникальные семантические, информационные и объектные идентификаторы дескрипторов проективного словаря лингвистического обеспечения. Дескрипторы строятся экспертами в процессе разработки ими новых индикаторов.

Используя пять перечисленных положений, в диссертации определена стационарная семиотическая модель компьютерного кодирования экспертных знаний.

Для построения модели кодирования экспертных знаний о стабильных индикаторах используются три среды: ментальная, социально-коммуникационная и цифровая среды12, так как денотат индикатора принадлежит цифровой среде.

Определение 1 (для кодирования экспертных знаний о стабильных индикаторах). Стационарной семиотической моделью компьютерного кодирования в системе информационного мониторинга стабильного индикатора, включая его концепт, имя и денотат, которые не изменяются во времени, называется треугольник Фреге этого индикатора, трем вершинам которого назначены семантический код для концепта, информационный код для его имени и объектный код для денотата индикатора13.

Отметим, что в этом и последующих двух определениях говорится о денотатах, а не о состояниях денотатов, так как стационарная модель применима только для случая неизменяемых денотатов.

В диссертации рассматривается также задача кодирования экспертных знаний о трудностях перевода, в которой используются те же три среды: ментальная, социально-коммуникационная и цифровая среды, так как денотат трудности перевода, представляющий собой пару фрагментов параллельных текстов на русском и французском языках, принадлежит социально-коммуникационной среде.

Определение 2 (для кодирования экспертных знаний о трудностях перевода). Стационарной семиотической моделью компьютерного кодирования стабильной трудности перевода, включая ее денотат, концепт и название, которые не изменяются во времени, называется треугольник Фреге трудности перевода, трем вершинам которого назначены семантический код для концепта, информационный код для названия и объектный код для денотата трудности перевода.

Определение 3 (обобщенное, которое не зависит от предметной области). Стационарной семиотической моделью компьютерного кодирования концепта как значения знака, информационного объекта как формы этого знака и денотата знака, которые не изменяются во времени, называется семиотический

12 Если в треугольнике Фреге вершина денотата является материальным объектом или явлением, то в диссертации рассматривается более общий случай, включающий также материальную сферу объектов и явлений.

13 В предметной области мониторинга Определение 1 для индикаторов с неизменяемыми денотатами, является вспомогательным. Это определение понадобится далее для построения нестационарной модели для случая индикаторов с изменяемыми денотатами.

треугольник Фреге этого знака, для которого построен дескриптор и трем вершинам которого (значению знака, форме знака и денотату) назначены, соответственно, семантический, информационный и объектный коды (т.е. три компьютерных кода первой, второй и третьей категорий - см. Рисунок 3):

- код первой категории для концепта как значения знака, который является семантическим идентификатором дескриптора и составной частью семокода,

- код второй категории для информационного объекта как формы знака, который является информационным идентификатором дескриптора и составной частью формокода,

- код третьей категории для денотата знака, который является объектным идентификатором дескриптора (на рисунке 3 показан денотат, который относится к сфере материальных объектов и явлений).

Стационарная модель основана на семиотическом треугольнике Фреге, стороны которого, обозначенные на рисунке 3 полужирными отрезками, соединяют три вершины этого треугольника: концепт как значение знака, соответствующий ему денотат и информационный объект как форму этого знака.

Сочетание трех компьютерных кодов трех разных категорий для трех вершин любого треугольника Фреге предлагается называть «цифровым семиотическим

треугольником» (три его стороны изображены на рисунке 3 двойными точечными отрезками, которые соединяют три компьютерных кода цифровой среды).

Принципиальная новизна стационарной семиотической модели компьютерного кодирования заключается в том, что она отображает треугольник Фреге, вершины которого имеют разную природу (ментальную, социально-коммуникационную, цифровую или материальную), на цифровой семиотический треугольник, принадлежащий полностью цифровой среде.

Определение нестационарной семиотической модели компьютерного представления знаний об индикаторах, формируемых экспертами, основано на семиотической модели отображения треугольника Фреге на цифровой семиотический треугольник, построенного в некоторый момент времени. В нестационарной модели фиксируются этапы формирования новых индикаторов, включая регистрацию моментов времени изменений их концептов, имен и состояний изменяемых денотатов индикаторов с помощью кодов трех категорий.

В диссертации сначала строится множество точек, которое названо «пространством Фреге». Основная цель построения пространства Фреге заключается в том, чтобы представить в числовом виде этапы формирования новых индикаторов, используя последовательности семантических, информационных и объектных компьютерных кодов.

Формирование индикаторов, включая концептуализацию их денотатов, будем фиксировать в последовательные моменты времени, которые обозначим как {/,, / = 1,2,...}, где /; - дискретный момент времени завершения /'-го этапа концептуализации и описания в виде дескрипторов семиотических треугольников Фреге для новых индикаторов.

При этом за 11 принимается тот момент времени, когда эксперты начали описывать процесс формирования новых индикаторов в виде дескрипторов лингвистического обеспечения системы информационного мониторинга.

Предполагается, что в моменты времени {//,/=1,2,...}, в процессе формирования новых индикаторов, концептуализации их денотатов и описания экспертами их семиотических треугольников Фреге, система информационного мониторинга генерирует цифровые семиотические треугольники, соответствующие треугольникам Фреге. При этом в каждый момент времени /, может быть сгенерировано одновременно несколько цифровых семиотических треугольников с использованием уникальных идентификаторов дескрипторов, если эксперты фиксируют в словаре в этот момент времени состояние разработки нескольких новых индикаторов.

Пространство Фреге (для регистрации экспертами в системах информационного мониторинга процесса формирования новых индикаторов) определим как четырехмерное пространство действительных чисел Л2, в котором задано множество точек {(/„ п,р т1р кк]), где] = 1,..., Б, - число индикаторов, создание (изменение) и, возможно, интерпретация состояний денотатов которых регистрировались в момент времени / = 1,2,...}, где: - /, - момент времени завершения ¡-го этапа формирования индикаторов экспертами, а также генерации кодов трех категорий, фиксирующих состояния

денотатов, их концепты как результат интерпретации этих состояний и имена индикаторов в момент времени

- Пц - числовое представление компьютерного кода концепта .¡-го индикатора, формируемого в момент времени ^ (и,/=0, если концепта нет, т.е. у экспертов отсутствует понимание совокупности программы, данных и значений этого индикатора);

- тц - числовое представление компьютерного кода имени (названия) ]-го индикатора, формируемого в момент времени (т,/=0, если имя не было присвоено);

- кц - числовое представление компьютерного кода состояния денотата ]-го индикатора, формируемого в момент времени /„ т.е. числовое представление кода объекта интерпретации как совокупности программы вычисления, обрабатываемых данных и значений этого индикатора.

Определение пространства Фреге в других предметных областях может быть сформулировано аналогично. В диссертации это показано на примере ЦСЗ о трудностях перевода.

Пространство Фреге (для формирования ЦСЗ о трудностях перевода) определим как четырехмерное пространство действительных чисел в котором задано множество точек {(/„ п1р ти, кф, где у = 1, $ - число пар14 фрагментов на русском и французском языках с трудностями перевода, формирование (изменение) и, возможно, интерпретация которых регистрировались в момент времени / = 1, 2,...}, где:

- - момент времени завершения ¡-го этапа описания экспертами-лингвистами пар фрагментов с трудностями перевода, а также генерации кодов трех категорий, фиксирующих пары фрагментов, описанных на этом этапе, их концепты как результат смысловой интерпретации этих пар и имена соответствующих трудностей перевода в момент времени /,;

- йу - числовое представление компьютерного кода концепта трудности перевода >ой пары фрагментов, описанной в момент времени (и,/=0, если концепта нет, т.е. у экспертов-лингвистов отсутствует понимание трудности перевода этой пары фрагментов);

- т,] - числовое представление компьютерного кода названия (имени) трудности перевода>ой пары фрагментов (яг;/=0, если имени нет);

- ку - числовое представление компьютерного кода ]-ой пары фрагментов на русском и французском языках, описанной в момент времени

Пространство Фреге в общем случае определим как четырехмерное пространство действительных чисел К2, в котором задано множество точек {(4 пЦ< тКр ^'.д где у = I,..., 5/, $ - число денотатов, создание (изменение) и, возможно, интерпретация состояний которых регистрировались экспертами в момент времени /=1,2,...}, где:

14 В общем случае, одной трудности перевода может соответствовать несколько пар.

- ^ - момент времени завершения ¡-го этапа создания (изменения) денотатов, интерпретации состояний денотатов и генерации соответствующих цифровых семиотических треугольников, число которых равно 5/ в момент времени

- Пу - числовое представление компьютерного кода концепта, полученного в результате интерпретации состояния ]-го денотата в момент времени (иу=0, если концепта нет, т.е. отсутствует понимание состояния этого денотата);

- ту — числовое представление компьютерного кода имени, выбранного в результате интерпретации состояния .¡-го денотата в момент времени (/«,/= О, если имя не было выбрано);

- ку - числовое представление компьютерного кода состояния .¡-го денотата, созданного или измененного в момент времени (¡.

Пространство Фреге включает ось времени и три оси с числовыми значениями кодов концептов, имен и состояний денотатов. В диссертации рассматривается случай, когда используется N видов кодов концептов (семантических кодов), М видов кодов имен (информационных кодов) и К видов кодов состояний денотатов (объектных кодов). Тогда размерность пространства Фреге равна N + М+ К+ В автореферате рассматривается случай, когда Ы=М=К= 1.

Пространство Фреге не отображает связи компьютерных кодов с концептами, именами и состояниями денотатов. Однако в любой дискретный момент времени ^ описание связей концепта, имени и состояния денотата с тремя компьютерными кодами фиксируется дескриптором, построенным в момент времени (согласно

/ \ 15

семиотическои модели, определенной в момент времени I,) .

Определение 4 (для кодирования экспертных знаний о формируемых индикаторах). Нестационарной семиотической моделью компьютерного представления концептов формируемых индикаторов, кодирования состояний их денотатов и имен в дискретные моменты времени {//,/=1,2,...} называется совокупность следующих трех составляющих:

- множество треугольников Фреге {Тф где ] = I,..., 51, - число индикаторов, формируемых или изменяемых в момент времени /=1,2,...};

- множество соответствующих цифровых семиотических треугольников

где у'= 1,..., 5", - число индикаторов, /= 1, 2,...}, каждый из которых состоит из семантического, информационного и объектного кодов;

- множество точек {(/,, гпи, к,]), где у = 1.....Б, - число индикаторов,

/ = 1, 2,...}, полученных в результате отображения в Я2 цифровых семиотических треугольников .

В этом определении множество точек {(4 Пц, /и,у, к^)} пространства Фреге зависит от правил назначения информационных, семантических и объектных идентификаторов, так как компьютерные коды любого цифрового семиотического треугольника представляют собой соответственно информационный,

15 Определение модели для дискретного момента времени дано в диссертации.

семантический и объектный идентификаторы дескриптора, соответствующего треугольнику {7у}.

В качестве примера опишем нестационарную семиотическую модель компьютерного представления ЦСЗ одного эксперта, целью которого является формирование нескольких вариантов индикатора распределения публикационной активности научного коллектива по возрастным группам (далее - ЦСЗ об индикаторах возрастного распределения публикаций или ЦСЗ об индикаторах ВРП).

Построим нестационарную семиотическую модель, концепты которой сформированы экспертом в два последовательных момента времени // и ¡2. Пример охватывает только эти два момента времени, но это не значит, что в момент времени (2 формирование вариантов индикатора ВРП было завершено (см. Рисунок 4).

Предположим, что в момент времени // эксперт сформировал ЦСЗ (состояние ЦСЗ в момент времени Г; обозначено как Щ^), состоящую из двух его личностных концептов, обозначенных как Сопсерй(1{) и СопсерНЩ¡), полученных в результате анализа и смысловой интерпретации состояний двух цифровых денотатов, обозначенных как ОетЯаЫтЩ¡) и ВепМаЫтИЦ]), т.е. в момент времени // эксперт создал два варианта индикатора ВРП.

Каждый из двух цифровых денотатов представляет собой совокупность программы вычисления значений соответствующего варианта индикатора ВРП, исходных данных, используемых этой программой, и вычисленных значений этого варианта индикатора ВРП. В результате анализа экспертом состояний двух таких совокупностей в момент времени ¡1 были сформированы два концепта:

Сопсер11((0 и СопсерШ(¡¡).

Эти концепты сначала описываются как позиции (рубрики) этих вариантов индикатора в системе классификации, а затем в виде дефиниций двух вариантов индикатора ВРП. Их авторские имена (названия), которые придумал эксперт в момент времени //, на экране монитора на рисунке 4 условно обозначены как два информационных объекта ОЬ]ес11(11) и 11(1,). Одновременно эксперт построил два дескриптора.

Затем в момент времени 12 этот же эксперт продолжил формирование ЦСЗ о вариантах индикатора ВРП и описал ее новое состояние, которое обозначено как Щ2), включающее три его личностных концепта. Эти концепты на рисунке 4 обозначены как СопсерИ^^, 11(12) и Щ^т)-

Концепт СопсерИ(12) был сформирован на основе СопсерИ(1,). Концепт НО2) был сформирован на основе СопсерШрО- Концепт третьего варианта индикатора, обозначенный как ///(У, был сформирован как новый. Концепты СопсерИ^г), и ПЩз) сформированы в процессе анализа и интерпретации состояний денотатов Оепо1аШт1(12), ОепоШ(итП((2) и Вгпо1аЫтШ(1-2).

Первые два свои концепта в момент времени (2 пользователь описал в виде дескрипторов как варианты концептов СопсерИО]) и СопсерШр!), а третий

личностный концепт /ВД он отметил в словаре как новый. Структурированное описание пользователем в момент времени /2 концептов СопсерИ^, и ПЩз) представляет собой дефиницию каждого из этих трех вариантов индикатора. Их авторские имена (названия) на экране монитора на рисунке 4 условно обозначены как три информационных объекта ОЦесЩ^), 11(1?) и ПЩ^.

Дескрипторы в моменты времени // и /2 пользователь строил на основе своих личностных концептов, сформированных в процессе анализа и смысловой интерпретации состояния цифровых (а не материальных) денотатов в интересах формирования ЦСЗ о вариантах индикатора ВРП.

СопсерШ^,) СопсерЩ^)

Гч

Целевая система знаний эксперта Щ) Момент времени ^ Момент времени V'

Целевая система знаний эксперта КЦ2)

Социально-коммуникационная

среда

Ю^ееН^,). ОЬлесИС^Х

Н(11)для П(Г,).Ш((,)'-

ЦСЗА'(1,) дня ЦСЗ А'(М

(ЬеиоГатт1о|))

(ОепоШшиП^

1)еиоГа№т1((,)

.....V...........V

,••■"' СотрШег '■--.. Проектнвиьпц......гош,Н1'[е'г"--,

■ч... 00^121(1,) словарь со.с1е2.1(1,)

ВепоГаПщШ^,)

(РетЛатмЩ^,))

и

.•■"' СотрШег '"•■.. ..•••' СотрШег"""-. .-■•''СошрнйГ'''^

Рисунок 4. Два треугольника Фреге и два цифровых семиотических треугольника кодов в моменты времени 1] и /2 (арабскими цифрами в кодах обозначены их категории: «1» обозначает семантические коды, «2» - информационные, а «3» - объектные)

Каждый из пяти концептов СопсергЩО, СопсерШ(1¡), СопсерИ^, Щ^, 111(12) с соответствующим ему состоянием денотата, в процессе анализа и интерпретации которого этот концепт был сформирован, а также именем (информационным объектом) как авторским названием индикатора, образуют дин семиотический треугольник Фреге. Каждому семиотическому треугольнику >реге соответствует один дескриптор, построенный экспертом.

Рисунок 4 показывает только два треугольника Фреге из пяти (обозначены точечным контуром) в моменты времени tj, 12 и только шесть кодов из 15 (всего в этом примере эксперт сформировал 5 концептов, 5 имен, 5 состояний трех денотатов индикатора ВРП и, следовательно, автоматически было сгенерировано 15 кодов). Концепт Conceptlft,) является вершиной левого треугольника Фреге, а концепт Conception - вершиной правого треугольника. Каждому из этих треугольников соответствует свой цифровой семиотический треугольник: один в момент времени и один - в t2 (обозначены двойным точечным контуром).

Левый цифровой семиотический треугольник, сгенерированный в момент времени //, включает три кода:

- семантический код Computer codel.Iftj) личностного концепта Conceptl(ti);

- информационный код Computer code2.I(ti) имени, т.е. информационного объекта ObjectI(t ¡)\

- объектный код Computer code3.I(t[) состояния денотата Denotatuml(t¡), в результате анализа и смысловой интерпретации которого был сформирован концепт Conceptl(ti).

Правый цифровой семиотический треугольник, сгенерированный в момент времени 12, также включает три кода:

- семантический код Computer codel.I(t2) личностного концепта Concept[(¡2)',

- информационный код Computer code2.I(t2) имени, т.е. информационного объекта ObjectI(t2>\

- объектный код Computer code3.1(t2) состояния денотата DenotatumI(t2), в результате анализа и смысловой интерпретации которого был сформирован концепт ConceptI(t2).

В пространстве Фреге (см. Рисунок 5) показаны все числовые значения 15 компьютерных кодов (5 значений Пц, п1щ2, n2,i, п2,2, "2,3 числового представления семантических кодов концептов, 5 значений тц, mi 2, m2j, т2,2, т2з информационных кодов имен и 5 значений кц, к¡ 2, k2j, k2j, k2j объектных кодов состояний денотатов).

Рисунок 4 иллюстрирует построение первых двух составляющих нестационарной семиотической модели компьютерного представления двух состояний ЦСЗ, обозначенных как K{tj) и K(t2):

- семейство семиотических треугольников Фреге для вариантов индикатора ВРП, описанных экспертом в моменты времени // и (2 в виде пяти дескрипторов (на рисунке показано два треугольника Фреге из пяти);

- соответствующие этим треугольникам Фреге цифровые семиотические треугольники, автоматически сгенерированные в процессе построения дескрипторов в моменты времени // и /2 (на рисунке показано два треугольника из пяти).

Для завершения построения нестационарной семиотической модели компьютерного представления двух состояний ЦСЗ зафиксируем в R2 множество из пяти точек {(t„ пи, т,р к1;), где j = 1,..., 5,; / = 1, 2; Sy = 2, S2= 3}.

-30В этом примере число цифровых семиотических треугольников 5"/, сгенерированных в момент времени //, равно 2, а число цифровых семиотических треугольников .Уг, сгенерированных в момент времени 12, равно 3.

Перечислим все числовые значения пяти точек {(/,, п,р ти, кф, где -I = •••' ' = 1, 2; 3/ = 2, Зг= 3} (см. Рисунок 5):

- ti\\t2- моменты времени описания экспертом пяти семиотических треугольников Фреге (двух в момент времени ti и трех в момент времени t2); nl,h Пц, п22, п23 - числовые значения семантических компьютерных кодов Computer codel.I(ti), Computer codel.II(tO, Computer codeljft^, Computer codel.II(t2) и Computer codeJ.IIIft2);

mu, nij 2, tn2j, m22, m2j - числовые значения информационных компьютерных кодов Computer code2.I(ti), Computer code2.II(tt), Computer code2.l(t^, Computer code2.U(t2) и Computer code2.III(t2);

kij, кi k2j, k2i2, k23 - числовые значения объектных компьютерных кодов Computer code3.I(tj), Computer code3.II(tI), Computer codeUftj, Computer code3.II(t2) и Computer code3.III(t2).

Рисунок 5 иллюстрирует отображение пяти цифровых семиотических треугольников в Ы2, размерность которого равна 4, но ось времени в явном виде не показана. Так как отображаемое семейство включает цифровые семиотические треугольники, которые сгенерированы только в два момента времени // и 12, то эти моменты времени показаны внутри треугольников. В этом примере показаны три оси: семантическая ось числовых значений кодов п, информационная ось т и объектная ось к.

Пять точек {(Г/, пи, т,р кф, где ) = 1, / = 1,2; Я/ = 2, £2= 3},

полученных в результате отображения пяти цифровых семиотических треугольников в образуют третью составляющую нестационарной

семиотической модели компьютерного представления знаний одного эксперта о вариантах индикатора ВРП в два момента времени // и 12.

В четвертой главе диссертации дано описание технических решений, основанных на стационарной и нестационарной семиотических моделях, а также результаты экспериментальной апробации компьютерного представления экспертных знаний. В этой главе предметом рассмотрения являются:

- полиструктурная динамическая классификация индикаторов мониторинга ПЦД, включающая:

• статический раздел классификации программно-ориентированных индикаторов целей, результатов, ресурсов, состоятельности, эффективности и результативности некоторой программы ;

• динамические структуры объектов мониторинга;

• сочетание статического раздела классификации и динамических структур объектов мониторинга;

- эксперименты по компьютерному представлению экспертных знаний (случай нескольких экспертов);

- архитектура лингвистического обеспечения систем информационного мониторинга, включающего проективный словарь;

- технология автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные экспертами.

Классификация индикаторов необходима экспертам в процессе разработки индикаторов для предварительного описания их смыслового содержания. Выбирая ту или иную позицию (рубрику) в системе классификация, эксперт тем самым фиксирует свое предварительное понимание формируемого индикатора. Поэтому от степени детальности рубрик применяемой классификации зависит потенциально возможная степень точности описания смысла, которую предоставляет эксперту эта система классификации.

В диссертации самые общие концепты рубрик верхнего (статического) уровня классификации индикаторов, определяются на основе анализа нормативно-правовых актов, регулирующих реализацию некоторой программы

16 Цели, результаты, ресурсы, состоятельность, эффективность и результативность одной программы или ПЦД в целом в диссертации называются объектами мониторинга верхнего уровня.

или

ПОД в целом. Общие концепты рубрик образуют статический раздел классификации программно-ориентированных индикаторов целей, результатов, ресурсов, состоятельности, эффективности и результативности ПОД.

В процессе диссертационного исследования рубрики нижних уровней классификации индикаторов были спроектированы как динамически формируемые. Это дало возможность, с одной стороны, учесть полиструктурность как отдельной программы, так и полиструктурность ПОД в целом, а с другой стороны, адаптировать классификацию к изменениям каждой структуры во времени. Динамическая классификация индикаторов как компонент лингвистического обеспечения является ключевым техническим решением для компьютерного представления знаний об индикаторах, формируемых экспертами для мониторинга и оценивания ПОД.

При реализации этого технического решения, структурирование целей результатов, ресурсов, состоятельности, эффективности и результативности на составляющие (по тем или иным разрезам) отражалось не в статическом разделе классификации индикаторов, а в описании соответствующих структурных разрезов анализируемой программы.

Так, в действующем прототипе Информационно-технологической системы мониторинга РАН, описание которого дано в приложении к диссертации для мониторинга и оценивания Программы фундаментальных научных исследований РАН (далее - Программа ФНИ РАН) используются три ее структурных разреза:

• организационный разрез РАН как исполнителя Программы ФНИ РАН,

• разрез по видам деятельности по Программе ФНИ РАН,

• тематическое деление Программы ФНИ РАН на 88 направлений фундаментальных исследований.

Приведем пример с делением в 2009 году Программы ФНИ РАН на следующие шесть видов деятельности:

• программы фундаментальных исследований Президиума РАН;

• программы фундаментальных исследований Отделений РАН;

• программы фундаментальных исследований научных учреждений РАН (базовое финансирование научных учреждений);

• программы целевых расходов Президиума РАН;

• программа модернизации материально-технической базы научных учреждений РАН;

• исследования по новым направлениям, необходимость в которых возникала в течение 2009 года.

Отметим, что в рамках Программы ФНИ РАН в период 2008-2012гг. это деление по видам деятельности не является постоянным, и от года к году оно может изменяться. Кроме того, может быть изменено и общее число структурных

разрезов Программы ФНИ РАН.

Поэтому в процессе разработки лингвистического обеспечения в статический раздел классификации индикаторов не были включены изменяемые во времени организационная, тематическая и другие структуры, но были разработаны средства динамической суперпозиции статического раздела классификации

индикаторов и выбранной экспертом организационной, тематической или иной структуры Программы ФНИ РАН.

Разработанное проектное решение по динамической классификации индикаторов дает возможность экспертам с одной стороны, учесть полиструктурность ПЦЦ, а с другой стороны, адаптировать классификацию к изменениям каждой структуры во времени. Рассмотренный подход к автоматической генерации полиструктурной динамической классификации был реализован в процессе разработки прототипа Информационно-технологической системы мониторинга РАН, описание которой дано в приложении к диссертации.

Кроме полиструктурной динамической классификации, в состав лингвистического обеспечения прототипа включено два словаря (см. Рисунок 6): семантический словарь для используемых индикаторов и проективный словарь для отражения этапов формирования новых индикаторов экспертами.

Рассмотрим разработанную и реализованную архитектуру лингвистического обеспечения, включающего словари индикаторов, а также полиструктурную динамическую классификацию программно-ориентированных индикаторов.

Основной целью создания семантического словаря является обеспечение пользователей информацией в виде словарных статей об используемых индикаторах. Каждая статья включает следующие компоненты:

- дефиницию и название индикатора (см. Рисунок 6, на котором показаны названия двух индикаторов «X индикатор» и «У индикатор» без дефиниций);

- примеры использования индикатора (на рисунке не показаны);

- параметры отбора информационных ресурсов, задаваемые при вычислении значений индикатора, например параметр отбора только тех статей, которые

опубликованы в журналах из списка ВАК (обозначены как «{Р ¡}» и

«Л»);

- параметры алгоритма вычисления значений индикатора, например, параметр учета самоцитирования, от которого зависят значения индексов цитирования

авторов публикаций (обозначены как «{Я ¡}»и«{К ¡}»);

- ссылку на описание того алгоритма программы, который используется для вычисления значений индикатора (две ссылки условно обозначены в виде двух штриховых стрелок, направленных от словарных статей индикаторов «X» и «У» к программному обеспечению);

- ссылки на те базы данных (хранилища), из которых осуществляется отбор информационных ресурсов, используемых при вычислении значений индикатора (обозначены в виде двух штриховых стрелок, направленных от словарных статей индикаторов «X индикатор» и «У индикатор» к информационному обеспечению);

- ссылки на положения методических и нормативно-правовых документов (если такие существуют), имеющие отношение к вычисляемому индикатору (в виде еще двух штриховых стрелок, направленных к нормативно-методическому виду обеспечения, которое обозначено прямоугольником со словами «Нормативное обеспечение»).

Система мониторинга

Лингвистическое обеспечение

Нормативное обеспечение

Информационное обеспечение

Программное обеспечение

Виды обеспечения для вычисления и использования индикаторов

Семантический словарь

-- :•! - X индикатор

I - У индикатор

1 {РУ;Ь

Полиструктурная динамическая классификация индикаторов

--41 Нормативное —-ЛС_ Информац. Ч..... Программное

обеспечение обеспечение обеспечение

со (и) (и)

Нормативное обеспечение

(У

Информац. обеспечение

(1п)

Программное обеспечение

(1П)

: "................."¿""^'• • • • у• • •

Виды обеспечения для проектиро-........................: ,.-■■•"

вания индикаторов ..................-.................

Проективный словарь

(для новых индикаторов)

I - и индикатор

1 (Р"(1,)} {яи,а,)}

■••I - V индикатор

(р^а,)} {^¡(Ю}

- и индикатор {Ри,(1п)} {Яи,(1„)}

- V индикатор

Рисунок 6. Семантический и проективный словари лингвистического обеспечения

Задачи, функции и применение семантического словаря в системах информационного мониторинга описаны в автореферате и кандидатской диссертации О.С. Кожуновой «Технология разработки семантического словаря системы информационного мониторинга», выполненной под руководством автора диссертационного исследования. Отметим, что в разработанном О.С. Кожуновой варианте семантического словаря пользователь имеет возможность задавать значения параметров {Р ¡} и {Р ,} для вычисления значений индикатора, используя интерфейсное окно словарной статьи, и получать в этом же окне вычисленные значения индикатора в интерактивном режиме.

Основной целью создания проективного словаря является предоставление экспертам возможности описания процесса формирования ими новых индикаторов согласно разработанным семиотическим моделям в виде дескрипторов, включающих словарные статьи.

Каждый дескриптор проективного словаря отражает состояние одного индикатора (варианта индикатора) в момент времени завершения некоторой итерации (этапа) его формирования. Разработанный вариант архитектуры позволяет описать этапы процесса формирования индикаторов экспертами.

Рисунок 6 отражает два этапа разработки двух индикаторов, обозначенных буквами и и V: первый этап, который завершился в момент времени 1:ь и п-ый этап, который завершился в момент времени 1:п. Каждый дескриптор проективного словаря включает следующие компоненты:

- дефиницию и название индикатора (Рисунок 6 содержит названия двух индикаторов «и индикатор» и «V индикатор» для случая, когда названия индикаторов не меняются в процессе их разработки с первого по п-ый этапы);

- примеры использования формируемого индикатора (на рисунке не показаны);

- параметры отбора информационных ресурсов системы мониторинга, задаваемые при вычислении значений формируемого индикатора в моменты времени ^ и ^ (наборы этих параметров условно обозначены как

{Р"(1,)}, {Ри,(ОЬ (Р^)} И {РУ( (О);

- параметры алгоритмов вычисления значений формируемого индикатора, задаваемые в моменты времени ^ и 1П (наборы этих параметров условно обозначены как {Яи;(1,)}, {^¡(У}, {Я^)} и {^¡(О};

- ссылки на те базы данных (хранилища), из которых осуществляется отбор информационных ресурсов, используемых при вычислении значений формируемого индикатора (эти ссылки обозначены в виде четырех точечных стрелок, направленных от словарных статей индикаторов «II индикатор» и «V индикатор» в моменты времени ^ и ^ к информационному обеспечению системы информационного мониторинга);

- ссылки на описание тех алгоритмов, которые используются для вычисления значений формируемого индикатора (также обозначены в виде четырех точечных стрелок);

ссылки на положения методических и нормативно-правовых документов (если такие существуют), имеющие отношение к формируемому индикатору (в виде четырех точечных стрелок, направленных к двум прямоугольникам со словами «Нормативное обеспечение» в моменты времени 1] и у. В проективном словаре предусмотрена возможность изменения дефиниций и названий индикаторов, наборов параметров отбора информационных ресурсов, наборов параметров алгоритмов вычисления индикаторов После завершения разработки и утверждения нового индикатора его описание переносится из проективного словаря в семантический.

Серия экспериментов по компьютерному представлению экспертных знании о формируемых вариантах индикатора ВРП на основе разработанных семиотических моделей была проведена в процессе выполнения НИР «Разработка методов и принципов создания информационных технологий для оценивания результатов влияния фундаментальных исследований» Эксперименты проводились с использованием прототипа Информационно-технологической системы мониторинга РАН.

Прежде чем описать эксперименты, в рамках которых велась разработка вариантов индикатора ВРП, включая отображение этапов их формирования отметим новый аспект решаемой проблемы, который проявился в процессе реализации проектных решений по созданию проективного словаря.

Этот аспект касается категоризации концептов. Реализация проектных решении показала необходимость введения еще одной категории -неактуальных концептов и соответствующих им дескрипторов проективного словаря (см табл. 1).

Категории концептов и дескрипторов Неактуальные Личностные (авторские) Согласованные (коллективные) Конвенциональные (нормативно утвержденные)

Концепты ЦСЗ Неактуальные концепты Личностные концепты Согласованные концепты Конвенциональные концепты

Дескрипторы проективного словаря Неактуальные дескрипторы Авторские дескрипторы Коллективные дескрипторы Нормативно- утвержденные дескрипторы

Таблица 1. Четыре категории концептов ЦСЗ и соответствующих им

дескрипторов

Поэтому была модифицирована идея Вежбицки и Накамори о разграничении личностных, коллективных и общепринятых знаний Дополнительно было введено понятие неактуальных концептов системы знании, от которых на некотором этапе отказались все эксперты. Отметим, что в обобщенной модели формирования знаний Вежбицки и Накамори неактуальные знания не рассматриваются.

Опишем результаты серии экспериментов по компьютерному представлению знаний нескольких экспертов о формируемых вариантах индикатора ВРП и построению функции, позволяющей вычислять степень согласованности между экспертами формируемых ими вариантов.

Одним из итогов серии экспериментов является вывод о том, что область определения функции степени согласованности должна иметь на одно измерение больше, чем пространство Фреге. Это дополнительное измерение необходимо для описания эволюции степени согласованности формируемых вариантов индикатора ВРП. В проведенной серии экспериментов использовалось четырехмерное пространство Фреге. Поэтому, область определения построенной функции степени согласованности имела пять измерений.

Как отмечалось ранее, основная цель построения пространства Фреге заключается в том, чтобы эволюцию во времени концептов ЦСЗ об индикаторах представить в виде последовательностей семантических кодов, а эволюцию соответствующих имен индикаторов и их денотатов - в виде информационных и объектных компьютерных кодов, соответственно. Эти коды генерируются программно в процессе описания экспертами-разработчиками индикаторов семиотических треугольников Фреге и соответствующих им дескрипторов в дискретные моменты времени {/,-, /=1,2,...}.

С целью построения функции степени согласованности, сначала были определены границы между четырьмя категориями концептов и между соответствующими им категориями дескрипторов (неактуальный, авторский, коллективный и сформированный для утверждения, который использовался в серии экспериментов вместо нормативно-утвержденного).

Было определено множество целочисленных параметров {¿Р,,7> 0, где У = 1, 5",, / = 1, 2,..., р =0, 1, 2,...}, значение каждого из которых равно числу экспертов, согласованно интерпретирующих в момент времени (Нр три вершины (концепт, имя и состояние денотата) семиотического треугольника

Тц, сгенерированного в момент /,.

Было задано число Ыс как граница между категориями коллективных и сформированных для утверждения дескрипторов. В серии экспериментов дескриптор считался сформированным, если число экспертов, согласованно интерпретирующих этот дескриптор, было больше или равно К'с.

Понятие неактуального дескриптора было определено следующим образом: если в момент времени все эксперты, участвующие в формировании ЦСЗ, приняли решение о неперспективности некоторого дескриптора, то в момент времени он помечался как неактуальный.

Целочисленный параметр ^/.у равен I для всех тех семиотических треугольников, которым в момент времени соответствует авторский

дескриптор с личностным концептом. Если в некоторый момент времени эксперт-автор этого дескриптора и все остальные эксперты, участвующие в формировании ЦСЗ, отмечали его как неактуальный для процесса построения

ЦСЗ, то тогда целочисленный параметр Lpt J „ этот момент времени становился равен нулю.

В процессе проведения экспериментов функция степени согласованности оп была определена следующим образом: для любого / при условии что si Ф 0, Fcon(/, р, nlJt m¡J, k¡d) =

О - если дескриптор с кодом n,j является неактуальным в момент

<

V

1 - если дескриптор с кодом пи является авторским в момент 1,+р;

~ если Дескриптор с кодом п,, является коллективным, а число экспертов, его согласовавших в момент /,+р, меньше N0; 1ЧС - если дескриптор с кодом пц является сформированным в момент

т.е. число экспертов, его согласовавших в момент /(+р, равно или больше Мс,

где р =0, 1, 2,... является пятым измерением области определения Рсоп кроме четырех измерений /, п, т, и к (пятое измерение было введено для отражения изменения степени согласованности дескрипторов индикаторов, начиная с момента создания каждого из этих дескрипторов).

Значения определенной функции Рсоп не зависят от семантических, информационных и объектных компьютерных кодов и,. ти и к ' соответственно, а зависят только от хода процесса согласования экспертами смысла дескрипторов вариантов индикатора. В проведенной серии экспериментов согласование экспертами смысла предполагало согласование экспертами атрибутов и связей соответствующего дескриптора.

Серия экспериментов включала пять этапов (итераций) разработки вариантов индикатора ВРП группой из пяти экспертов (обозначим их как А Б В, Г и Д).

Первая итерация. Эксперт А создал первый вариант индикатора ВРП при следующих условиях:

- для вычисления значений этого варианта индикатора использовались статьи сотрудников одного из подразделений ИПИ РАН, напечатанные в любых журналах и сборниках в 2009 году и введенные в базу данных статей прототипа Информационно-технологической системы мониторинга РАН;

- возрастная группа17 каждого соавтора статьи получала за одну статью 1 балл;

- отсутствовала нормализация относительно численности возрастных групп.

17 В экспериментах учитывались 14 возрастных групп: 20 - 24, 25 - 29 и далее ло группы 85 - 89 лет.

В это же время (на этой же итерации) эксперты Б и В создали совместно и согласованно второй вариант индикатора ВРП при тех же первом и третьем условиях, но второе из трех вышеперечисленных условий отличалось: возрастная группа каждого соавтора получала 1/N балла за статью, у которой N соавторов.

На первой итерации порождается два семиотических треугольника (следовательно, S, =2 для ¡=1), для них строятся два дескриптора проективного словаря и вычисляются два значения Fcon в точке (/=1,р=0):

- первое значение Fcon равно 1, так как дескриптор эксперта А на первой итерации является авторским; это значение обозначено треугольником с вершиной ниже его основания (см. Рисунок 7 и Рисунок 8; на них все значения Fcon для вариантов этого дескриптора, порожденных на последующих итерациях, обозначены таким же тоеугольником); _

(Эксперты Б, Г и Д

- 1ЛМ1 -

3 _ Д

__!_1-1-!-!->

и 12 13 (->

Рисунок 7. Значения Рсоп на пяти итерациях в следующих точках 0=1, р=0), (1=1, р=1), 0=3, р=0), 0=4, р=0) и 0=4, р=1) (сплошные стрелки соединяют те пары значений функции, которым соответствуют идентичные концепты; точечными стрелками обозначены отношения наследования).

)

Рисунок 8. Проекция функции Рсоп(1, р, п-1р т-ц, к,^, область определения которой имеет пять измерений, на трехмерное пространство с осями /, р и для первых пяти итераг^ий разработки вариантов индикатора ВРП

(20 значений функции условно отмечены треугольниками)

- второе значение равно 2, так как дескриптор экспертов Б и В на первой итерации является коллективным; это значение обозначено треугольником с вершиной выше его основания (см. Рисунок 7 и Рисунок 8; на них все значения Fcon для вариантов этого дескриптора, порожденных на последующих итерациях, обозначены таким же треугольником).

Вторая итерация. На второй итерации эксперт В решил изменить свою точку зрения и принять точку зрения эксперта А. Иначе говоря, эксперт В на второй итерации отказывает в согласовании второму варианту индикатора ВРП, так как считает правильным добавлять всем соавторам по одному баллу, и согласовывает первый вариант индикатора ВРП. Первый вариант, сгенерированный экспертом А становится коллективным, а второй - авторским. Эти варианты индикатора ВРП идентичны вариантам первой итерации, что обозначено серым цветом и двумя пересекающимися сплошными стрелками (см. Рисунок 7).

Так как имеющиеся концепты, имена и состояния денотатов на второй итерации не изменялись, а новые не формировались, то новые дескрипторы не строились и число порожденных семиотических треугольников на второй итерации равно нулю (Si = 0 для ¡=2), значение функции Fcon не определено в точке (/=2, р=0) при S2 = 0, но два значения этой функции определены в точке (i'=l, р=1), так как Si = 2. Эти значения равны 2 и 1 (см. Рисунок 7 и Рисунок 8).

Третья итерация. Эксперты А, Б и В одновременно принимают решения учесть численности возрастных групп при вычислении значений своих вариантов индикатора ВРП, что находит отражение в изменении соответствующих алгоритмов программ вычисления их значений с целью нормализации. При этом на третьей итерации эксперты связывают новые порожденные концепты с концептами, созданными на первой итерации и изменившими степень согласованности на второй итерации, отношениями наследования, что обозначено двумя точечными стрелками (см. Рисунок 7). Так как формируются два новых концепта, то на третьей итерации для них строятся два дескриптора проективного словаря (Sj = 2 для ¡=3). При этом вычисляются четыре значения функции Fcon: по два значения в точках (/'=3, р=0) и (г'=1, р=2)

(см. Рисунок 7 и Рисунок 8).

Четвертая итерация. Эксперты А, Б и В одновременно приняли решение учитывать только те статьи, которые опубликованы в журналах из перечня ВАК. На этой итерации эксперты связывают новые порожденные концепты с концептами, созданными на третьей итерации, отношениями наследования, что обозначено еще двумя точечными стрелками. Так как формируются два новых концепта, то на четвертой итерации для них строятся два дескриптора проективного словаря (S; = 2 для i=4). При этом вычисляются шесть значений функции Fcon: по два значения в точках (/'=4, р=0), (/=3,р=1) и (г'=1,р=3).

Пятая итерация. На этой итерации разработки эксперты оставляют неизменными концепты двух вариантов индикатора ВРП, учитывающие

численность групп и выбранный перечень журналов ВАК, но точки зрения экспертов изменяются следующим образом.

Эксперт В отказывается от варианта эксперта А. Следовательно, этот концепт становится личностным концептом эксперта А. Другой вариант приобретает двух новых сторонников - экспертов Г и Д, что приводит к изменению степени его согласованности. У этих двух концептов изменилась только степень согласованности, но они остались идентичными концептам сгенерированным на четвертой итерации, что условно обозначено двумя серыми треугольниками на пятой итерации и двумя пересекающимися сплошными стрелками между четвертой и пятой итерациями (см. Рисунок 7).

Так как новые концепты не формировались, а существующие не изменялись, то на пятой итерации новые дескрипторы не строились и число порожденных семиотических треугольников равно нулю (Sj = 0 для i=5) Значение функции Fcon не определено для пары (/=5, р=0). При этом вычисляются шесть значений функции Fcon в других точках: по два значения в точках (/=4, р=1), (i=3, р=2) и (/=1,р=4) (см. Рисунок 8).

Все значения функции Fcon для новых или измененных концептов обозначены черными треугольниками, а им идентичные - серыми треугольниками (у этих концептов изменилась только степень их согласованности экспертами, формирующими ЦСЗ).

Первым пяти итерациям разработки вариантов индикатора ВРП соответствуют 20 значений функции степени согласованности Fcon, условно обозначенные черными и серыми треугольниками (см. Рисунок 8).

Рисунок 7, в отличие от рисунка 8, содержит не все 20 значений функции степени согласованности Fcon, а только те ее 10 значений, соответствующие дескрипторы и концепты которых либо связаны отношениями наследования либо изменили степень согласованности.

Рассмотренная серия экспериментов по компьютерному представлению экспертных знаний и вычислению значений функции степени согласованности соп иллюстрирует потенциал использования пространства Фреге для построения областей определения функций, которые планируется использовать в будущем в процессе решения проблем оценивания релевантности и направляемого развития ЦСЗ.

Проведенные эксперименты позволили сделать следующий вывод-разработка семиотических моделей компьютерного представления экспертных знании и включение проективного словаря в состав лингвистического обеспечения системы информационного мониторинга дают возможность группе экспертов разрабатывать совместно новые алгоритмы для вычисления значении программно-ориентированных индикаторов, фиксируя в системе этапы формирования их смыслового содержания, а также различия в трактовке т.е. несовпадения в рубриках, дефинициях, именах формируемых индикаторов' и степень согласованности их трактовки между экспертами.

Разработанные технические решения были использованы при создании действующего прототипа Информационно-технологической системы мониторинга РАН, описание которого дано в приложении к диссертации, и технологии автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих новые программно-ориентированные индикаторы, разработанные (разрабатываемые) экспертами, что подтверждается актами об использовании результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В процессе диссертационного исследования получены следующие результаты, выносимые на защиту:

1. Концептуальные основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности, которые включают:

- введение средового измерения в креативное пространство Вежбицки и Накамори,

- определение объекта интерпретации как состояния денотата, которое является неизменным в процессе интерпретации,

- определение новых структурных элементов знаний, формируемых экспертами на каждом из этапов концептуализации,

- введение в креативное пространство Вежбицки и Накамори оси времени,

- введение в креативное пространство Вежбицки и Накамори двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным знаниям,

- использование трех модальностей форм выражения структурных элементов знаний (вербальной, образной и вербально-образной),

- использование процессов концептуализации, определенных как сочетание двух итерационных процессов (изменение денотатов и интерпретация их состояний),

- определение на каждом этапе концептуализации четырех возможных вариантов завершения процесса интерпретации,

- определение процесса перехода от индивидуальных выраженных знаний к коллективным и его добавление в креативное пространство Вежбицки и Накамори,

- описание системы терминов, включающей новые понятия формокода и се-мокода.

2. Стационарная и нестационарная модели компьютерного представления знаний экспертов о программно-ориентированных индикаторах для мониторинга программно-целевой деятельности (нестационарная модель описывает процесс разработки индикаторов в динамике их формирования).

3. Определение пространства Фреге для отображения динамики процесса формирования экспертных знаний о программно-ориентированных индикаторах, которое имеет ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов формируемых экспертных знаний и их названий (имен).

4. Технические решения по разработке архитектуры лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний о программно-ориентированных индикаторах, которое включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов, формируемых экспертами.

5. Технические решения по совершенствованию технологии автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные (разрабатываемые) экспертами.

ЗАКЛЮЧЕНИЕ

в соответствии с целью диссертационного исследования разработаны концептуальные основы и модели компьютерного представления экспертных знании, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов.

Для достижения поставленной цели автором были решены следующие задачи. 1

1. Сформулирована проблема компьютерного представления знаний формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработаны концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, включая описание используемой системы терминов.

3. Разработаны модели компьютерного представления экспертных знаний которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения формируемых знаний об индикаторах во времени.

4. На основе семиотических моделей компьютерного представления экспертных знаний в динамике их формирования разработана архитектура лингвистического обеспечения систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности.

5. С целью апробации результатов диссертационного исследования проведена серия экспериментов по компьютерному представлению экспертных знании о вариантах индикатора возрастного распределения публикаций и построению функции, позволяющей вычислять степень согласованности вариантов индикатора, формируемых экспертами.

Реализация предложенного в диссертации подхода к формированию и кодированию индикаторов мониторинга и оценивания программно-целевой деятельности обеспечивает контроль за использованием вариантов программ вычисления значений индикаторов и соответствием вариантов программ дескрипторам проективного словаря, которые отображают смысловое содержание индикаторов в динамике их формирования.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

(14 работ с номерами 4-8, 12-14, 22-25, 27 и 28 опубликованы в журналах из

Перечня ВАК)

Монографии

1. Зацман И.М. Концептуальный поиск и качество информации. - М.: Наука, 2003.-271 с.

Книги и брошюры

2. Клейнер Г.Б., Голиченко О.Г., Зацман И.М. Основные принципы разработки системы мониторинга функционирования исследовательских организаций. - М.: ЦЭМИ РАН, 2007. - 61 с. (личный вклад диссертанта: описание основных функций систем информационного мониторинга и оценивания программно-целевой деятельности).

3. Зацман И.М., Веревкин Г.Ф., Шубников С.К. Моделирование систем мониторинга. - М.: ИЛИ РАН, 2008. - 115 с. {личный вклад диссертанта: описание методологических аспектов моделирования предметной области мониторинга и систем информационного мониторинга).

Статьи в отечественных журналах

4. Зацман И.М. Электронные библиотеки научных документов в Интернет: структуризация, формальное описание и поиск невербальной информации // Научно-техническая информация. 1998. № 11. - С. 12-18 (Серия 2. Информационные процессы и системы).

5. Зацман И.М. Логико-семантические модели полнотекстовых научных документов // Научно-техническая информация. 1999. No 5. - С. 13-22 (Серия 2 "Информационные процессы и системы").

6. Зацман И.М. Семантическое кодирование и разметка геолого-географических документов в политематических электронных библиотеках //Информационныетехнологии. 2000.N 11. - С. 2-11.

7. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках (Часть I)//Научно-техническая информация. 2001. No 10. -С. 20-30 (Серия 2 "Информационные процессы и системы").

8. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках (Часть И)//Научно-техническая информация. 2001. No 12. -С. 10-17 (Серия 2 "Информационные процессы и системы").

9. Зацман И.М. Типология знаков и семиотика поиска // Системы и средства информатики. Вып. 11.-М.: Наука, 2001,-С. 113-131.

10. Зацман И.М. Семиотическая аппроксимация и вербально-образное представление знаний в электронных библиотеках // Системы и средства информатики. Вып. 11. - М.: Наука, 2001.- С. 149-167.

11. Соколов И.А., Босов A.B., Зацман И.М., Иванов A.B., Чавтараев Р.Б. О концептуальных основах разработки Единой информационной системы РАН // Системы и средства информатики. Вып. 12. - М.: Наука, 2002,- С. 29-47

(личный вклад диссертанта: обоснование необходимости разработки системы статистических и информационно-аналитических индикаторов для Единой информационной системы РАН).

12. Зацман И.М. Семиотические основания и элементарные технологии информатики // Информационные технологии. 2005. N 7. - С. 18-31.

11 Зацман И.М. Семиотические основания гуманитарной информатики // Открытое образование. 2005. № 2. - С. 64-68.

14.Зацман И.М. Терминологический анализ нормативно-правового обеспечения создания систем мониторинга и оценки результативности в 114Р129аУКИ " Экономическая наука современной России. 2005. № 4. - С.

15. Зацман И.М. Информационные ресурсы для систем мониторинга в сфере науки // Системы и средства информатики. Вып. 15,- М.: Наука, 2005,- С. 288-318. '

16. Зацман И.М., Веревкин Г.Ф. Информационный мониторинг сферы науки в задачах программно-целевого управления // Системы и средства информатики. Вып. 16. - М.: Наука, 2006. - С. 164-189 (личный вклад диссертанта: обоснование необходимости расширения спектра индикаторов для мониторинга и оценивания программно-целевой деятельности).

Зацман И.М., Веревкин Г.Ф., ДрыноваИ.В., КурчавоваO.A., Ларин HB Норекян Т.П. Моделирование систем информационного мониторинга как проблема информатики // Системы и средства информатики: Спец. вып Научно-методологические проблемы информатики - М.: Изд-во ИПИ РАН, 2006. - С. 112-139 (личный вклад диссертанта: концептуальные основы моделирования систем информационного мониторинга).

18. Зацман И.М., Кожунова О.С. Предпосылки конвергенции компьютерной и информационной наук // Системы и средства информатики: Спец. вып. Научно-методологические проблемы информатики - М.: Изд-во ИПИ РАН, 2006. - С. 257-278 (личный вклад диссертанта: сопоставление теоретических основ представления знаний в компьютерной и информационной науках).

19. Зацман И.М., Курчавова O.A. Информационно-коммуникационные технологии долговременного применения и термины для их описания // Системы и средства информатики. Вып. 17. - М.: Наука, 2007. - С. 142-163 (личный вклад диссертанта: описание системы терминов с их разделением на три группы в зависимости от природы обозначаемых ими сущностей: ментальной, социальной и цифровой).

20. Зацман И.М., Кожунова О.С. Семантический словарь системы информационного мониторинга в сфере науки: задачи и функции. // Системы и средства информатики. Вып. 17,- М.: Наука, 2007,- С. 124-141. (личный вклад диссертанта: описание концептуальных подходов к классификации программно-ориентированных индикаторов).

21. ЗацманИ-М., Курчавова O.A., Галина И.В. Информационные ресурсы и индикаторы для оценки инновационного потенциала направлений научных исследований // Системы и средства информатики. Вып. 18 (доп.). - М.: Наука, 2008. - С. 159-175 (личный вклад диссертанта: разработка методики обработки полнотекстовых информационных ресурсов для индикаторного оценивания инновационного потенциала направлений научных исследовании).

22. Зацман И.М., КосарикВ.В., Курчавова O.A. Задачи представления личностных и коллективных концептов в цифровой среде // Информатика и ее применение. 2008. Том 2. Вып. 3. - С. 54-69 (личный вклад диссертанта: описание концептуальных основ компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности, включая описание используемой системы терминов).

23. Зацман И.М., КожуноваО.С. Предпосылки и факторы конвергенции информационной и компьютерной наук // Информатика и ее применение. 2008. Том 2. Вып. 1. - С. 77-97 (личный вклад диссертанта: сопоставление теоретических основ представления знаний в компьютерной и информационной науках).

24. Зацман И.М. Семиотическая модель взаимосвязей концептов, информационных объектов и компьютерных кодов // Информатика и ее применение. 2009. Т. 3. Вып. 2. - С. 65-81.

25. Зацман И.М. Нестационарная семиотическая модель компьютерного кодирования концептов, информационных объектов и денотатов // Информатика и ее применение. 2009. Том 3. Вып. 4. - С. 87-101.

26. Зацман И.М. Категоризация результатов и индикаторов программ научных исследований в информационных системах мониторинга // Системы и средства информатики. Вып. 19 (доп.). - М.: ИЛИ РАН, 2009. - С. 199-217.

27. Buntman N., Minel J.-L., Le Pesant D., Zatsman I. Typology and Computer Modelling of Translation Difficulties // Информатика и ее применения. 2010. Т. 4. Вып. 3. - С. 77-83 (личный вклад диссертанта: описание концептуальных основ компьютерного представления экспертных лингвистических знаний для создание корпусно-ориентированной типологии трудностей перевода с русского языка на французский).

28. Архипова М.Ю., Зацман И.М., ШульгаС.Ю. Индикаторы патентной активности в сфере информационно-коммуникационных технологий и методика их вычисления // Экономика, статистика и информатика. Вестник УМО. 2010. №4. - С. 93-104 (личный вклад диссертанта: разработка методики обработки полнотекстовых информационных ресурсов для вычисления индикаторов патентной активности).

29. Зацман И.М., Шубников С.К. Методы верифицируемого оценивания целевых программ научных исследований // Системы и средства информатики. 2010. Вып. 20. № 2. - С. 23-48 (личный вклад диссертанта:

описание методики верифицируемого мониторинга и индикаторного оценивания программно-целевой деятельности).

Статьи в зарубежных журналах

30 Zatsman I. Pictorial Signs for Geoimages in Digital Libraries // European Journal for Semiotic Studies. 2003. Vol. 15. N. 2^1. - P. 609-620.

31 Zatsman I. Three-level communication model for electronic filine // Acta Semiótica Fennica. 2009. Vol. XXXIV(III). - Pp. 1947-1960.

Труды отечественных конференций

32. Зацман И.М. Визуально-мотивированное представление знаний в электронных библиотеках научных документов // Труды 4 Всероссийской конференции «Электронные библиотеки: перспективные методы и технологии, Электронные коллекции» (Дубна, 15-17 октября 2002 г )• В 2-х томах. Т. 1. - Дубна: ОИЯИ, 2002. - С. 120-135.

33. Зацман И.М. Принципы формирования информационно-аналитических ресурсов Единой информационной системы РАН // Труды 5-й Всероссийской объединенной конференции "Технологии информационного общества - Интернет и современное общество" (IST/IMS-2002, СПб 25-29 ноября 2002 г.). - Санкт-Петербург: СПбГУ, 2002. - С. 94-97.

34. Зацман И.М. Семиотические и когнитивные аспекты проблемы электронного взаимодействия в информационном обществе // Труды 6-й Всероссийской конференции "Технологии информационного общества -Интернет и современное общество" (3-6 ноября 2003 г., Санкт-Петербург) -Санкт-Петербург: СПбГУ, 2003. - С. 13-15.

35. Зацман И М. Семиотические основы создания интеллектуальных технологии // Проблемы и методы информатики. 2-я Научная сессия ИЛИ РАН: тезисы докладов. - М.: ИЛИ РАН, 2005,- С. 45-47.

36. Зацман И.М. Семиотический анализ человеко-машинного взаимодеиствия в технологиях поиска // Труды международной конференции Диалог-2005 "Компьютерная лингвистика и интеллектуальные технологии". - М.: Наука, 2005. - С. 172-179.

37. Зацман И.М., Землянов И.В. Принципы семантического кодирования первичных геоданных // Труды международной конференции Диалог-2005 Компьютерная лингвистика и интеллектуальные технологии". - М.: Наука,

2005. - С. 180-187 (личный вклад диссертанта: принципы создания вербально-образного геотезауруса, предназначенного для представления знании о гидрографической сети в виде дескрипторов).

38. Зацман И.М. Семантическое, информационное и знаковое кодирование патентных документов электронных библиотек И Труды Седьмой Ьсероссиискои конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (Ярославль, 4-6 октября 2005г.). -Ярославль: Ярославский госуниверситет, 2005,- С. 112-121.

39. Зацман И.М. Полидоменные модели в системах оценки инновационного потенциала и результативности научных исследований // Труды международной конференции Диалог-2006 "Компьютерная лингвистика и интеллектуальные технологии". - М.: Изд-во РГГУ, 2006. - С. 178-183.

40. Зацман И.М. Полидоменные модели электронных библиотек систем мониторинга сферы науки // VIII Всероссийская конференция «Электронные библиотеки: перспективные методы и технологии, электронные коллекции». Труды конференции. - Ярославль, Изд-во ЯрГУ, 2006. - С. 75-81.

41. Кожунова О.С., Зацман И.М. Прагматические аспекты создания семантического словаря терминов информационного мониторинга // Труды международной конференции Диалог-2007 "Компьютерная лингвистика и интеллектуальные технологии".- М.: Изд-во РГГУ, 2007,- С. 278-285 (личный вклад диссертанта: описание концептуальных подходов к классификации программно-ориентированных индикаторов).

42. Зацман И. М. Концептуализация данных наукометрических исследований в научных электронных библиотеках // Труды 10-й Всероссийской конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции». - Дубна: ОИЯИ, 2008. - С. 45-54.

Труды зарубежных конференций

43. Liouty A.A., Martynenko A.I., Zatsmanl.M Cognitive and Creative Framework for Digital Earth // Proceedings. 20ty International Cartographic Conference. Vol. 5. - Beijing: ICC, 2001. - Pp. 3327-3335 (личный вклад диссертанта: описание концептуальных основ компьютерного представления экспертных знаний в науках о Земле).

44. Zatsman I. Three-level Communication Model for Electronic Filing // The 9th World Congress of the International Association for Semiotic Studies (Helsinki/Imatra 11-17 June 2007). Abstracts. - Helsinki; Imatra: International Semiotics Institute at Imatra, 2007. - P. 482.

45. Zatsman I., KozhunovaO. Evaluating for institutional academic activities: classification scheme for R&D indicators // The 10th International Conference on Science and Technology Indicators (STI'2008). Book of abstracts. - Vienna: ARC GmbH, 2008. - P. 428-431 (личный вклад диссертанта: разработка статического раздела классификации программно-ориентированных индикаторов).

46. Zatsman I., KozhunovaO. Emerging personal concepts and tracing their evolution by computer: semiotic foundations // Proceedings of ICAI'09, Vol. I. WORLDCOMP'09, July 13-16, 2009, Las Vegas, Nevada, USA. - CRSEA Press, USA, 2009. P. 486-491 (личный вклад диссертанта: описание концептуальных основ компьютерного представления формируемых личностных экспертных знаний).

47. Zatsman I. Semiotic model for computer coding denotatum, signified and signifier. In: The Abstracts' book of the 10th World Congress of Semiotics. A Coruna: IASS, 2009. - P. 148.

48. Zatsman I. Emerging personal concepts and tracing their evolution: semiotic foundations. In: The Abstracts' book of the 10th World Congress of Semiotics A Coruna: IASS, 2009. - P. 77.

49. Zatsman, I., Kozhunova, O. Evaluation system for the Russian Academy of Sciences: Objectives-Resources-Results Approach and R&D Indicators. In- IEEE

лттп.™««*1 L,brary' E"print Proceedin2S of the International Conference Л 09 "Atlanta Conference on Science and Innovation Policy 2009" -

http://smartech.gatech.edU/bitstream/1853/32300/l/104-674-l-PB.pdf) (вклад

диссертанта: разработка статического раздела классификации индикаторов и таблицы соответствия программно-ориентированных индикаторов стадиям мониторинга).

50. Zatsman I., Durnovo A. Incompleteness problem for indicators system of research programme // The 11th International Conference on Science and Technology Indicators (STT2010). Book of abstracts. September 09-11 2010 -Leiden: Universiteit Leiden, 2010. - P. 309-311 (личный вклад диссертанта-описание архитектуры лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний об индикаторах).

51 Durnovo A., Zatsman I. Semiotic Models for Cognitive Processing of Language Information about Translation Difficulties // Proceedings of the 12th International Conference «Cognitive Modeling in Linguistics». - Kazan: KSU, 2010. Pp. 135-139 (личный вклад диссертанта: описание семиотический моделей компьютерного представления экспертных лингвистических знании для создание корпусно-ориентированной типологии трудностей перевода).

52. Zatsman I. Tracing of Emerging Meanings by Computer: Semiotic Foundations // The 7th Conference of the Nordic Association for Semiotic studies. Book of abstracts. - Lund: Lund University, 2011. - Pp. 70-71.

Подписано в печать 20.10.2011 Формат 60x88 1/16. Объем 1.0 п.л. Тираж 110 экз. Заказ № 1152 Отпечатано в ООО «Соцветие красок» 119991 г.Москва, Ленинские горы, д.1 Главное здание МГУ, к. А-102

ВВЕДЕНИЕ.

Глава 1. Актуальность проблемы и ее современное состояние.

1.1. Постановка проблемы.

1.2. Актуальность проблематики формирования экспертных знаний.

1.3. Позиционирование проблематики диссертации.

1.4. Ключевые слова описания предметной области.

1.5. Выводьгпо первой главе.

Глава-2. Концептуальные основы компьютерного представления экспертных знаний.

2.1. Модели формирования-знаний: концептуальные решения.

2.2. Сопоставление трех концепций.

2.3. Выраженные невербализуемые знания.

2.4. Представление знаний в цифровой среде.

2.5. Иллюстративный пример.

2.6. Выводы по второй главе.

Глава 3. Семиотические модели представления экспертных знаний.

3.1. Семиотические основания компьютерного представления.

3.2. Три среды креативного пространства.

3.3. Стационарная семиотическая модель.

3.4. Пространство Фреге и нестационарная модель.

3.5. Нестационарная модель вариантов индикатора.

3.6. Выводы по третьей главе.

Глава 4. Лингвистическое обеспечение процессов представления экспертных знаний.

4.1. Нормативно-правовые основы проектирования.

4.2. Разработка индикаторов группой экспертов.

4.3. Построение динамической классификации индикаторов.

4.4. Результаты серии экспериментов.

4.5. Архитектура лингвистического обеспечения.

4.6. Технология формирования аналитических отчетов.

4.7. Выводы по четвертой главе.

Актуальность исследования. Новые условия и предпосылки, которые определяют актуальность диссертационного исследования, сформулированы в Концепции реформирования бюджетного процесса в РФ в 2004-2006- годах (далее - Концепция), одобренной постановлением Правительства РФ от 22 мая 2004 года № 249 «О мерах по повышению результативности бюджетных расходов» (далее — постановление 249). В процессе реформирования бюджетного процесса программно-целевая деятельность стала доминирующей во всех сферах, где расходуются бюджетные средства. Согласно данной Концепции бюджетный процесс предполагает переход на реализацию долгосрочных программ с явным описанием их целей, задач, ресурсов и ожидаемых результатов, а также использование индикаторов для мониторинга и оценивания полученных результатов, эффективности и результативности программно-целевой деятельности [1].

Применение индикаторов, традиционно используемых при статистическом наблюдении бюджетного процесса до его реформирования, выявило неполноту имеющихся наборов индикаторов, так как они, например, не позволяли оценивать согласованность поставленных целей и имеющихся ресурсов. Разработка нужных индикаторов требовала проведения исследований с целью формирования новых концептуальных подходов и методов проектирования индикаторов, так как существенно возросла роль мониторинга и оценивания программно-целевой деятельности в бюджетном процессе.

Иначе говоря, существенно изменились роль и условия мониторинга и оценивания, которые обуславливают актуальность формирования новых концептуальных подходов и методов проектирования индикаторов в настоящее время.

Целенаправленное формирование знаний, концептуальных подходов и создание новых методов для разработки программно-ориентированных индикаторов стало актуальной проблемой для многих сфер деятельности, что нашло отражение в официальных документах. Так, задачи разработки новых методов оценки эффективности научной деятельности, создания систем мониторинга, анализа и оценки результатов деятельности юридических и физических субъектов сферы науки включены в тематическое направление «29. Системы автоматизации, САЦЗ-технологии, математические модели и методы исследования сложных управляющих систем и процессов» Программы фундаментальных научных исследований РАН на 2008 - 2012 годы, утвержденной распоряжением Правительства РФ от 27 февраля 2008 г. № 233-р (далее - распоряжение 233) [2].

Принятие постановления 249 и распоряжения 233 определило основную (но не единственную) область применения результатов диссертационного исследования: разработка систем информационного мониторинга и оценивания программно-целевой деятельности, что нашло отражение в названии диссертации. Именно в Концепции предусматривается создание систем мониторинга и оценивания, которые, с одной стороны, планируется развивать по мере накопления опыта применения новых методов бюджетного планирования, с другой стороны, с развитием систем мониторинга и оценивания сферу применения новых методов программно-целевого планирования предполагается расширять [1].

Кроме прикладной стороны актуальности диссертационного исследования, существует и чисто научная ее сторона. В настоящее время исследования процессов целенаправленного формирования знаний и их компьютерного представления образуют новое научное направление (новую проблематику), не связанное с какой-то одной сферой применения его результатов.

Становление этого направления во многом было связано с мероприятиями по подготовке 7-ой Рамочной программы Европейского Союза (ЕС). В документах этой программы, принятой на период 2007-2013 годы, для сферы информационно-коммуникационных технологий (ИКТ) определен ряд актуальных направлений исследований и разработок, включая исследования возможностей существующих и разработку новых видов ИКТ, обеспечивающих представление в информационных системах формируемых знаний и целенаправленное влияние на процесс их формирования [3, 4, 5, 6, 7]. Иначе говоря, ключевая роль ИКТ в проблематике формирования и компьютерного представления знаний послужила основанием для включения этой проблематики в тематические исследовательские программы 7-ой Рамочной программы ЕС.

Степень разработанности проблематики. Цели формирования новых или развитияч существующих систем знаний зависят от предметной' области, в рамках которой формируются или пополняются системы знаний. Широко известная в настоящее время спиральная модель формирования знаний, которая описана в работах Нонака и Такеучи [8, 9, 10]1 и ее обобщение, предложенное в работах Вежбицки и Накамори в работах [11, 12, 13, 14], не зависят от целей формирования, предметной области и с этой точки зрения являются универсальными. Поэтому спиральная модель и ее обобщение были выбраны в качестве исходной позиции для диссертационного исследования.

Опыт применения ИКТ, разработанных в исследовательском институте JAIST (Japan Advanced Institute of Science and Technology) для поддержки процесса формирования научных знаний [15], позволяет утверждать, что, с одной стороны, существующие сейчас модели формирования знаний уже используются на практике, с другой стороны, остался ряд нерешенных вопросов, ограничивающих сферу использования существующих моделей на практике. Выделим в спиральной модели (Нонака и Такеучи) и обобщающей ее модели (Вежбицки и Накамори) основные нерешенные (или частично решенные) вопросы и задачи: 1) не фиксируются изменения состояния формируемых личностных знаний человека в зависимости от времени, 2) не определены объекты интерпретаъщи, являющиеся источниками новых знаний человека, 3) не выделены структурные элементы формируемых знаний, соответствующие объектам интерпретации, и 4) не фиксируется момент

1 По данным Google Scholar на 17.06.2011 общее число цитирований первых двух работ равно 22344. времени генерации каждого нового структурного элемента.

Комплексное решение проблемы, включающей четыре перечисленные задачи, на основе единой модели формирования личностных и коллективных знаний в настоящее время отсутствует. Предлагаемые в диссертации концептуальные основы компьютерного представления экспертных знаний представляют собой существенное развитие спиральной модели (в ее обобщенном варианте), так как получено решение четырех перечисленных задач.

В связи с вышесказанным актуальными являются исследования; направленные на создание концептуальных основ компьютерного представления экспертных знаний, включающих развитие спиральной модели и обеспечивающих разработку новых технических решений. Их создание, кроме научной новизны, является теоретическим фундаментом ряда прикладных разработок, так как обеспечивает постановку и решение научно-технической проблемы компьютерного-представления смыслового содержания индикаторов при формировании экспертами проблемно-ориентированных знаний для разработки (совершенствования) систем информационного мониторинга и оценивания программно-целевой деятельности.

Резюмируя вышесказанное, цель работы сформулируем следующим образом: разработка концептуальных основ и моделей компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Сформулировать проблему компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработать, концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, включая описание используемой системы терминов.

3. Разработать модели компьютерного представления экспертных знаний, которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения формируемых знаний об индикаторах во времени.

4*. На основе моделей компьютерного представления экспертных знаний в динамике их формирования разработать архитектуру лингвистического обеспечения систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности, а также провести ее экспериментальное исследование.

Объектом исследования являются долгосрочные целевые программы, которые реализуются в интересах удовлетворения научных, образовательных, технологических, культурных, экономических и иных общественно значимых потребностей, и для которых определены объекты мониторинга и индикаторного оценивания, включая цели, задачи, ресурсы и ожидаемые результаты программ.

Предметом исследования являются мониторинг и оценивание долгосрочных целевых программ с помощью программно-ориентированных индикаторов, формируемых экспертами.

Методы исследования. Проводимые в работе теоретические и практические исследования базируются на методах системного анализа, искусственного интеллекта, семиотики, теории алгоритмов, технологии программирования.

Основные научные результаты

В процессе исследований получены следующие научные результаты, выносимые на защиту:

1. Концептуальные основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности, включающие:

- введение средового измерения2 в креативное пространство Вежбиц-ки и Накамори, о

- определение объекта интерпретации как состояния денотата , которое является неизменным в процессе интерпретации,

- определение новых структурных элементов знаний, формируемых экспертами на каждом из этапов концептуализации,

- введение в креативное пространство Вежбицки и Накамори оси времени,

- введение в креативное пространство Вежбицки и Накамори- двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным знаниям,

- использование трех модальностей форм выражения структурных элементов знаний (вербальной, образной и вербально-образной),

- использование процессов концептуализации, определенных как сочетание двух итерационных процессов (изменение денотатов и интерпретация их состояний),

- определение на каждом этапе концептуализации четырех возможных вариантов завершения процесса интерпретации,

- определение процесса перехода от индивидуальных выраженных знаний к коллективным и его добавление в креативное пространство Вежбицки и Накамори,

- описание системы терминов, включающей новые понятия формоко-да и семокода.

21 Стационарная и нестационарная модели компьютерного представления знаний экспертов о программно-ориентированных индикаторах для

2 Средовое измерение является номинативной шкалой. По определению средового измерения, согласно этой шкале, любая точка креативного пространства (Вежбицки и Накамори называют их узлами) может быть соотнесена с одной и только с одной из следующих трех сред: ментальной, социально-коммуникационной или цифровой.

3 Если денотат изменяется на некотором интервале времени, то в заданные дискретные моменты времени фиксируются состояния денотата и каждое из этих состояний представляет собой отдельный объект интерпретации. Поэтому денотат может изменяться, но любое его состояние как «моментальный снимок» денотата по определению является неизменным. мониторинга программно-целевой деятельности (нестационарная модель описывает процесс разработки индикаторов в динамике их формирования).

3. Определение пространства Фреге для отображения динамики процесса формирования экспертных знаний о программно-ориентированных индикаторах, которое имеет ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов формируемых экспертных знаний и их названий (имен).

4. Технические решения по разработке архитектуры лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний1 о программно-ориентированных индикаторах, которое включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов; формируемых экспертами.

5. Технические решения по совершенствованию технологии автоматизированного формирования- аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные (разрабатываемые) экспертами.

Научная новизна результатов исследования

Основной результат работы состоит в постановке и решении проблемы компьютерного представления знаний,, формируемых экспертами для мониторинга и индикаторного оценивания программно-целевой- деятельности. При этом впервые получены следующие научные результаты:

- предложена система терминов, включающая новые понятия «формокода» и «семокода», которые используются в описании способов,кодирования смыслового содержания ■ (концептов) программно-ориентированных индикаторов и их названий (имен);

- предложено развитие понятия креативного пространства по Вежбицки и Накамори, которое в отличие от определенного ими пространства с двумя измерениями (социальным и эпистемологическим) включает третье средо-вое измерение этого пространства;

- определено новое понятие неактуального концепта для номинативной шкалы социального измерения креативного пространства Вежбицки и Накамори, которое дает возможность на любом этапе формирования индикаторов зафиксировать то их подмножество, которое на этом этапе эксперты исключили из рассмотрения;

- креативное пространство дополнено денотатами4, на основе концептуализации которых формируются экспертные знания-для мониторинга и оценивания программно-целевой деятельности, что отличается от подхода1 Вежбицки и Накамори, в котором источники генерации знаний не определены;

- разработана стационарная семиотическая модель компьютерного кодирования, отображающая треугольник Фреге, вершины которого имеют разную природу (ментальную, социально-коммуникационную, цифровую или материальную), на цифровой семиотический треугольник, принадлежащий полностью цифровой электронной среде5 (далее - цифровая среда); в отличие от существующих моделей стационарная-семиотическая модель, дает возможность назначать компьютерные коды одновременно стабильным объектам интерпретации, соответствующим структурным элементам знаний, формируемых экспертами, их названиям (именам);

- определено пространство Фреге, включающее ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов знаний, формируемых экспертами, и для их названий (имен); в отличие от креативного пространства Вежбицки и Накамори пространство Фреге дает возможность отображать одновременно динамику изменений денотатов, соответствующий процесс генерации экспертных знаний-и процесс назначения названий'(имен) структурным элементам знаний, формируемых экспертами;

4 В рассматриваемой проблеме денотат представляет собой совокупность программы вычисления значений индикатора, данных, используемых для определения значений этого индикатора, а также его значений, вычисленных этой программой.

5 Согласно ГОСТ Р 52292-2004, электронная среда - это среда технических устройств (аппаратных средств), функционирующих на основе физических законов и используемых в информационной технологии при обработке, хранении и передаче данных. В диссертации цифровая электронная среда - это цифровые технические устройства (аппаратные средства) электронной среды.

-12- разработана нестационарная семиотическая модель компьютерного представления экспертных знаний, которая описывает процесс формирования программно-ориентированных индикаторов; в отличие от существующих моделей нестационарная семиотическая модель дает возможность описать объекты интерпретации и соответствующие им структурные элементы знаний об индикаторах в динамике их формирования;

- разработана архитектура лингвистического обеспечения систем-информационного-мониторинга для компьютерного-представления экспертных знаний-, формируемых для мониторинга и оценивания, которая в отличие от существующих архитектур включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов, разрабатываемых экспертами.

Теоретическая и практическая значимость работы, Теоретическая значимость работы состоит в постановке и решении проблемы компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности. Решение этой проблемы включает в себя:

- разработку концептуальных основ компьютерного представления экспертных знаний в динамике их формирования, представляющих собой дальнейшее развитие обобщенной спиральной модели формирования, знаний Вежбицки и Накамори;

- построение стационарной и нестационарной семиотических моделей представления личностных и коллективных знаний экспертов в системах информационного мониторинга;

- разработку принципов проектирования лингвистического обеспечения для компьютерного представления» экспертных знаний об индикаторах в динамике их формирования, разрабатываемых для мониторинга и оценивания программно-целевой деятельности.

В диссертации предложен новый подход к разработке моделей компьютерного представления экспертных знаний в динамике их формирования. Его суть заключается в явном определении объектов интерпретации и выделении соответствующих им структурных элементов знаний, формируемых экспертами, а также в использовании нескольких осей компьютерных кодов для отображения изменений денотатов, процессов формирования соответствующих им структурных элементов экспертных знаний и их имен.

Практическая значимость работы заключается:

- в построении и апробации системы терминов, которая была использована в разработке концептуальных основ компьютерного представления экспертных знаний;

- в создании концептуальных основ и семиотических моделей компьютерного представления личностных и коллективных знаний, формируемых экспертами, которые используются при разработке индикаторов оценивания программно-целевой деятельности;

- в разработке архитектуры лингвистического обеспечения, включающего проективный словарь индикаторов, разрабатываемых группой экспертов, и использовании созданного лингвистического обеспечения для компьютерного представления экспертных знаний (включение проективного словаря в состав лингвистического обеспечения дало возможность разрабатывать новые алгоритмы для программно-ориентированных индикаторов, фиксируя этапы формирования их смыслового содержания, различия в трактовке, т.е. несовпадения в рубриках, дефинициях, именах формируемых индикаторов, и степень согласованности их трактовки между экспертами);

- в совершенствовании технологии автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные экспертами.

4.7. Выводы по четвертой главе

1. В состав лингвистического обеспечения включены два словаря: семантический словарь для используемых индикаторов и проективный словарь для формируемых;индикаторов:

2. Предусмотрена возможность установления связей дескрипторов проективного словаря с алгоритмами (программами), информационными ресурсами, а; также с методическим, нормативно-правовым и другими-видами обеспечения (точнее, с определенными состояниями видов обеспечения, отнесенными к дискретным, моментам времени формирования индикаторов).

3. В состав* лингвистического обеспечения включена полиструктурная динамическая классификация индикаторов.

-251 -ЗАКЛЮЧЕНИЕ

В соответствии с целью диссертационного исследования разработаны концептуальные основы и модели компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов. Для достижения поставленной цели автором были решены следующие задачи.

1. Сформулирована проблема компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработаны концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, которые включают:

- введение средового измерения в креативное пространство Вежбицки и Накамори,

- определение объекта интерпретации как состояния денотата, которое является неизменным в процессе интерпретации;

- определение новых структурных элементов знаний, формируемых экспертами на каждом из этапов концептуализации,

- введение в,креативное пространство Вежбицки и Накамори оси вре-^ мени,

- введение в креативное пространство Вежбицки.и Накамори двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным знаниям,

- использование трех модальностей форм выражения структурных элементов знаний (вербальной, образной и вербально-образной),

- использование процессов концептуализации, определенных как сочетание двух итерационных процессов (изменение денотатов и интерпретация их состояний),

- определение на каждом этапе концептуализации четырех возможных вариантов завершения процесса интерпретации,

- определение процесса перехода от индивидуальных выраженных знаний к коллективным* и его добавление в креативное пространство Вежбицки и Накамори,

- описание системы терминов, включающей новые понятия формокода и семокода. . ■ ■ ;.■■'. ■

3. Разработаны модели компьютерного представления! экспертных; знаний, которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения, формируемых знаний об индикаторах во времени.

4. На основе семиотических моделей компьютерного представления экспертных знаний в динамике их формирования разработана архитектура лингвистического > обеспечения систем информационного мониторинга и индикаторного оцениванияшрограммно-целевой деятельности:

5. С целью апробации результатов диссертационного исследования проведена серия: экспериментов; по-компьютерному представлению экспертных знаний5 о: вариантах индикатора возрастного распределения: публикаций и построению функции, позволяющей вычислять степень согласованности вариантов индикатора; формируемых экспертами;

Реализация предложенного в. диссертации подхода к формированию и кодированию индикаторов мониторинга и оценивания программно-целевой деятельности обеспечивает контроль за использованием« вариантов программ вычисления значений индикаторов и соответствием вариантов программ дескрипторам проективного словаря, которые отображают смысловое содержание индикаторов в динамике их формирования.

1. Программа фундаментальных научных исследований государственных академий наук на 2008 2012 годы. - М.: Наука, 2008.

2. CORDIS ICT Programme Home http://cordis.europa.eu/fp7/ict/programme/ homeen.html (состояние страницы на 23.05.2011).

3. ICT FP7 Work Programme 2007-08 ftp.cordis.europa.eu/ pub/fp7/ict/docs/ict-wp-2007-08en.pdf (состояние файла на 23.05.2011).

4. ICT FP7 Work Programme 2009-10 ftp.cordis.europa.eu/ pub/fp7/ict/docs/ict-wp-2009-10en.pdf (состояние файла на 23.05.2011).

5. ICT FP7 Work Programme 2011-12 ftp.cordis.europa.eu/ pub/fp7/ict/docs/ict-wp-2011-12en.pdf-(cocTCmmie файла на 23.05.2011).

6. FP7 Exploratory Workshop 4 «Knowledge Anywhere Anytime» http:// cordis.europa.eu/ist/directoratef/fws4.htm (состояние страницы на 23.05.2011).

7. Nonaka /. The knowledge-creating company I I Harvard Business Review. 1991. Vol. 69. N. 6. Pp. 96-104.

8. Nonaka /., Takeuchi H. The knowledge-creating company. Oxford; N.Y.: Oxford University Press, 1995 (перевод на русский язык: Нонака И., Такеучи Х. Компания - создатель знания. - М.: ЗАО «Олимп-бизнес», 2003).

9. Knowledge emergence / Ed. by I. Nonaka and T. Nishiguchi. Oxford; N.Y.: Oxford University Press, 2001.

10. Wierzbicki A.P., Nakamori Y. The importance of multimedia principle and emergence principle for the knowledge civilisation age // Journal of Systems Science and Systems Engineering. 2008. Vol. 17. No. 3. Pp. 297-318.

11. Yamashita Y., Nakamori Y., Wierzbicki A.P. Knowledge synthesis in technology development // Journal of Systems Science and Systems Engineering. 2009. Vol. 18. No. 2. Pp. 184-202.

12. Ren H., Tian J., Nakamori Y., Wierzbicki A.P. Electronic support for knowledge creation in a research institute // Journal of Systems Science and Systems Engineering. 2007. Vol. 16. No. 2. Pp. 235-253.

13. Gorn S. Informatics (computer and information science): its ideology, methodology, and' sociology. In: The studies of information: Interdisciplinary messages / Ed. by F. Machlup and U. Mansfield. New York: John-Wiley and Sons, Inc., 1983.-Pp. 121-140.

14. Wang Y. Cognitive Informatics: A New Transdisciplinary Research Field // Brain and Mind. 2003. Vol. 4. No. 2. Pp. 115-127.

15. Wang Y On Cognitive Informatics // Brain and Mind. 2003. Vol. 4. No. 2. -Pp. 151-167.

16. Bryant A. Cognitive Informatics, Distributed Representation and Embodiment // Brain and Mind. 2003. Vol. 4. No. 2. Pp. 215-228.

17. Зацман И. M. Семиотическая модель взаимосвязей концептов, информационных объектов и компьютерных кодов // Информатика и ее применение. 2009. Том 3. Вып. 2. С. 65-81.

18. BuddenbergR. FORCENet: We've been here before. http://webl. nps.navy.mil/~budden/lecture.notes/itarch/largeinfosystems.html (состояние страницы на 09.07.2011).

19. Успенский В. А. К публикации статьи Г. Фреге «Смысл и денотат» // Семиотика и информатика. Вып. 35. М.: Языки русской культуры, 1997. -С. 351-352.

20. Фреге Г. Смысл и денотат // В кн.: Семиотика и информатика. Вып. 35. -М.: Языки русской культуры, 1997. С. 352-379.

21. Фреге Г. Понятие и вещь // В кн.: Семиотика и информатика. Вып. 35. -М.: Языки русской культуры, 1997. С. 380-396.

22. Мамардашвили M.K. Классический и неклассический идеалы рациональности. М.: Издательство «Логос», 2004. - 240 с.

23. Special Report No 9/2007 concerning "Evaluating the EU Research and Technological Development (RTD) framework programmes could the Commission's approach be improved?' // Official Journal of the European Union C26, 30.01.2008. - Pp. 1-38.

24. Стратегический план Департамента национальной безопасности США на 2008 2013 финансовые годы - http://www.dhs.gov/xlibrary/assets/DHS StratPlanFINALspread.pdf (состояние страницы на 10.07.2011).

25. Зацман И.М., КосарикВ.В., Курчавоеа О.А. Задачи представления личностных и коллективных концептов в цифровой среде // Информатика и ее применение. 2008. Том 2. Вып. 3. С. 54-69.

26. Новая редакция* Международной патентной классификации (МПК) -http://wwwl.fips.ru/wps/wcm/connect/contentru/ru/informresources/international classification/Inventions/ (состояние страницы на 10.07.2011).

27. Analytical Perspectives. Budget of the United States Government. Fiscal Year 2007. Washington, DC: U.S. Government printing office, 2006.

28. Indicators Conferences (2006, 2008) http://www.prime-noe.org/-conferences-.html (состояние страницы на 04.06.2011).

29. ENID Indicators Conference 2010 http://www.enid-europe.org/events.html (состояние страницы на 04.06.2011).

30. Доброе Б.В., Иванов В.В., Лукашевич Н.В., Соловьев В Д. Онтологии и тезаурусы. Казань: Казанский государственный университет, 2006.

31. Breitman К.К., Casanova М.А., Truszkowski W. Semantic Web: Concepts, Technologies and Applications. London: Springer-Verlag London Ltd, 2007.

32. McGuinness D.L. Ontologies come of age. In: Fensel D., Hendler J., Lieberman H., Wahlster W. (Eds). Spinning the Semantic Web: Bringing the World Wide Web to Its Full Potential. Cambridge, MA: MIT Press, 2003. - Pp. 171-194.

33. УфимцеваА.А. Знак языковой // Большой энциклопедический словарь «Языкознание». -М.: Большая российская энциклопедия, 1998. С. 167.

34. Eco U. A Theory of Semiotics. Bloomington: Indiana University Press, 1976.

35. Кузнецов И.П. Семантические представления. M.: Наука, 1986.

36. Кузнецов И.П., Мацкевич А.Г. Семантико-ориентированные системы на основе баз знаний. М.: Изд-во МТУ СИ, 2007. - 173 с.-25744. Roget's International Thesaurus. New York: Thomas Y. Crowell Company, 1954.

37. Тезаурус научно-технических терминов / Под ред. Ю.И. Шемакина. М.: Воениздат, 1972.

38. Баранов О.С. Идеографический словарь русского языка. — М.: ЭТС, 1995.

39. Морковкин В.В. Идеографические словари. М.: Из-во МГУ, 1970.

40. Караулов Ю.Н., Молчанов В.И., Афанасьев В.А., Михалев Н.В. Русский семантический словарь. Опыт автоматического построения тезауруса: от понятия к слову // Под ред. Бархударова С.Г. М.: Наука, 1982.

41. Рубашкин В.Ш., Jlaxymu Д.Г. Семантический (концептуальный) словарь для информационных технологий. Ч. 1 // НТИ. Сер. 2. 1998. № 1. С.19-24.

42. Лукашевич Н.В. Тезаурус в задачах информационного поиска. М.: Изд-воМГУ, 2011.

43. Oxford Advanced Learner's Dictionary of Current English / Ed. by A.S. Hornby. Oxford: Oxford University Press, 1974.

44. Oxford-Duden Pictorial English Dictionary / Ed. by J. Pheby. Oxford: Oxford University Press, 1981.

45. Зацман И.М., Кожунова О. С. Предпосылки конвергенции информационной и компьютерной наук // Системы и средства информатики. Специальный выпуск «Научно-методологические вопросы информатики». М.: Наука, 2006. -С. 112-139.

46. Manjunath B.S. An Image Thesaurus for Content Based Search Using Texture and Color http://www.cs.pitt.edu/~panos/idm98/Imported/manj.html (состояние страницы на 10.07.2011).

47. Полани М Личностное знание. MI: Прогресс, 1985.

48. Социальная-информатика: основания, методы, перспективы / Отв. Ред. Н.И. Лапин. М.: Едиториал УРСС, 2003.

49. Антополъский А.Б<. Лингвистическое обеспечение электронных библиотек.- М.: ФГУП НТЦ "Информрегистр, 2003.

50. Арский Ю.М., Гиляревский P.C., Туров И.С., Черный А.И. Инфосфера: Информационные структуры, системы и процессы в науке и обществе. М.: ВИНИТИ, 1996.

51. Белоногое Г.Г., Новоселов1 А.П. Автоматизация процессов накопления, поиска и обобщения информации. М.: Наука, 1979.

52. Быстрое И.И., Синицын И.Н., Корепанов Э.Р., Белоусов В.В. Опыт построения модели системы управления информационными активами // Наукоемкие технологии. 2007. Т. 8. № 5-6. С. 46-53.

53. Гиляревский P.C. Основы информатики. М.: Изд-во «Экзамен», 2003.

54. Информатика как наука об информации: Информационный, документальный, технологический, экономический, социальный иорганизационный аспекты / Под ред. P.C. Гиляревского. М.: ФАИР-ПРЕСС, 2006.

55. Игнатьев М.Б. Теория сложных систем и кибернетическая картина мира // Информатика и ее применения. 2011. Т. 5. N 2. С. 58-68.

56. Когаловский М.Р., Калиниченко Л.А. Концептуальное и онтологическое моделирование в информационных системах // Программирование. 2009. Т. 35. № 5.- С. 3-25.

57. Ильин В.Д., Соколов И.А. Символьная модель системы знаний информатики в человеко-автоматной среде // Информатика и ее применения. 2007. N 1. С. 66-78.

58. Колин К.К. О структуре научных исследований по комплексной проблеме «Информатика». Сб. н. тр. «Социальная информатика». М.: ВКШ при ЦК ВЛКСМ, 1990.-С. 19-33.

59. Колин К.К Становление информатики как фундаментальной науки и комплексной, научной проблемы // Системы и средства информатики: Спец. вып. «Научно-методологические проблемы информатики». М.: ИЛИ РАН, 2006. - С. 7-58.

60. Майстрович Т.В. Электронный документ как объект библиотечного дела. М.: Издательство «Пашков дом», 2004. - 248 с.

61. Макаров B.JI., Клейнер Г.Б. Микроэкономика знаний. М.: ЗАО «Издательство "Экономика"», 2007.

62. Минский M. Фреймы для представления знаний. М.: Энергия, 197£> ,

63. Михайлов А.И., Черный А.И., Гиляревский P.C. Основы информат^:;Ес;и М.: Наука, 1968.

64. Поппер К.Р. Объективное знание. Эволюционный подход. Пер. с. англ Д.Г. Лахути. Отв. Ред. В.Н. Садовский. М.: Эдиториал УРСС, 2002. - 38^ с

65. Ю.Поспелов Г.С., Ириков В.А. Программно-целевое планирован^ е управление. М.: Сов. радио, 1976.

66. Поспелов Д.А. Логико-лингвистические модели в системах управлеи^ М. : Энергоиздат, 1981.

67. Розов М.А. Информационно-семиотические исследования: процессы эстафеты и принцип дополнительности // Научно-техническая информация 1984. № 2.- С. 1-7 (Сер. 2. Информационные процессы и системы).

68. Шемакин Ю.И. Тезаурус в автоматизированных системах управлецИя и обработки информации. М.': Воениздат, 1974.

69. Шемакин Ю.И. Системантика. М.: Изд-во РАГС, 2006.

70. Шемакин Ю.И. Семантика самоорганизующихся систем. — jyj. Академический проект, 2003.

71. Шрейдер Ю.А. Информация и знание. В кн. Системная концепция информационных процессов. -М.: ВНИИСИ, 1988. С. 47-52.

72. Шрейдер Ю.А. ЭВМ как средство представления знаний // Природа 1986. № 10. С. 14-22.

73. Brookes В. С. The foundations of information science. Part I. Philosophical aspects // Journal of Information Science. 1980. No. 2. Pp. 125-133.

74. Farradane J. Knowledge, information, and information science // Journal of Information Science. 1980. No. 2. Pp. 75-80.

75. Gorn S. The individual and political life of information systems. In: Proc. Symposium on Education for information science. New York: Spartan Books, 1965. - Pp. 33-40.

76. Gorn S. Computer and information sciences and the community of disciplines // Behavioral science, Vol. 12, No. 6, November, 1967. Pp. 433-452.

77. Gorn S. The identification of the computer and information sciences: their fundamental semiotic concepts and relationships // Foundations of language; Vol. 4, No. 4, November, 1968. Pp. 339-372.

78. Шемакин Ю.И., Романов А.А. Компьютерная семантика. М.: НОЦ «Школа Китайгородской», 1995.

79. Шмелев Д.Н. Омонимия // Лингвистический энциклопедический словарь / Гл. ред. В.Н. Ярцева. М.: Сов. энциклопедия, 1990. - С. 344-345.

80. Newman J. Some Observations on the Semantics of "Information" // Information Systems Frontiers. 2001. Vol. 3. No. 2. Pp. 155-167.

81. Загнан ИМ. Концептуальный поиск и качество информации. М.: Наука, 2003.-271 с.

82. Зацман И.М. Семиотические основания и элементарные технологии информатики // Информационные технологии. 2005. N 7. С. 18-31.

83. ДиановаГ.А. Термин и понятие: проблемы эволюции (к основам исторического терминоведения). — М.: Р.Валент, 2010.

84. НА. Васильева Н.В. Термин // Большой энциклопедический словарь «Языкознание». -М.: Большая российская энциклопедия, 1998. С. 508-509.

85. Турчин В.Ф. Феномен науки: Кибернетический подход к эволюции. -М.: Наука, 1993.

86. Гак В.Г. Лексическое значение слова // Большой энциклопедический словарь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 261-263.

87. Bloomfield B. Expert systems and human knowledge: A view from the sociology of science // Al&Society. 1988. Vol. 2. No 1. Pp. 15-29.

88. Зайцев Ю.А., Хераскова Т.Н. Венд Центрального Казахстана. М.: Изд-воМГУ, 1979.121 .ГакВ.Г. Асимметрия // Большой энциклопедический словарь «Языкознание». М.: Большая российская^энциклопедия, 1998. - С. 47.

89. Мельчук H.A. Русский язык в модели «Смысл<-*Текст». Москва - Вена: Школа «Языки русской культуры», Венский славистический альманах, 1995.

90. Лютый A.A. Язык карты: сущность, система, функция. 2-е изд., испр. — М.: ИГ РАН, 2002.

91. Кибрик А.Е. Язык // Большой энциклопедический словарь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 604-606.

92. The Unicode Charts http://www.unicode.org/charts (состояние на 30.05.2011).

93. Кузнецов A.M. Поле // Большой энциклопедический словарь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 380-381.

94. Перспективы развития вычислительной техники: Справ, пособие: В 11 кн. / Под ред. Ю.М. Смирнова. Кн. 1: Информационные семантические системы / Н.М. Соломатин. М.: Высш. шк., 1989.

95. Лотман Ю.М. Семиосфера. СПб.: «Искусство-СПб», 2000.

96. ГилулаМ.М. Множественная модель данных в информационных системах. М.: Наука, 1992.

97. Zatsman I. Pictorial Signs for Geoimages in Digital Libraries // European Journal for Semiotic Studies. Vol. 15. N. 2-4. 2003. Pp. 609-620.

98. Зацман И.М. Электронные библиотеки научных документов в Интернет: структуризация, формальное описание и поиск невербальной информации. // Научно-техническая1 информация. 1998. № 11. С. 12-18 (Сер. 2. Информационные процессы и системы).

99. Зацман'И:М, Курчатова O.A. Информационно-коммуникационные технологии долговременного применения и термины для;; их описания? // Системы и средства информатики^ Вып. 17. .—Mi: Наука, 2007.'- С. 142-164.

100. Speiser Ш& Report: of the Online Communications Committee for the time period between May 2001 and October 2001л // The European Patent- Institute Information. 2001. № 4. Pp. 143-146.

101. Horns A. On Data Formats foiv the: „epoline" System // The European Patent Institute Information. 2003. № 1. P. 20;

102. Brewin P. Regarding „On Data Formats for the 'epoline' System" — some information // The EuropeamPatentThstituteInformation;20031 №:2. Pp. 58-60.

103. Decision ,of: the President of the European Patent: Office dated 7 December 2000 on the electronic filing of European patent applications and subsequent documents // Supplement to Official Journal of the EPO. 2001. N4! Pp. 23-43,

104. EPO Annual Report 2003. München: European-Patent Office, 2004.

105. EPO Annual Report 2004. München: European Patent Office, 2005.

106. EPO Annual Report 2005. München: European Patent Office, 2006.

107. Zatsman I. Three-level communication model for electronic filing // Acta Semiotica Fennica. Vol. XXXIV(III), 2009. Pp. 1947-1960.

108. Петрова E.A. Знаки общения. M.: Изд-во «Гном и Д», 2001.

109. Степанов Ю.С. В мире семиотики // Семиотика: Антология / Сост. Ю.С. Степанов. 2-е изд., испр. и доп. М.: Академический проект, 2001. - С. 5-42.

110. Пирс Ч. Логические основания теории знаков. — СПб.: Изд-во «Алетейя», 2000.

111. Барт Р. Основы семиологии // Французская семиотика: От структурализма к постструктурализму. М.: Издательская группа «Прогресс», 2000. - С. 247-310.

112. Соломоник А. Семиотика и лингвистика. -М.: Молодая гвардия, 1995.

113. Чертов Л.Ф. Знаковость: опыт теоретического синтеза идей о знаковом способе информационной связи. СПб.: Изд-во СПбГУ, 1993.

114. Соломоник А. Философия знаковых систем и язык. Минск: МЕТ, 2002.

115. Wilensky R. Toward Work-Centered Digital Information Services // Computer. 1996. Vol. 29. No 5. Pp. 37-44.

116. Miller T. Visual Persuasion: A Comparison of Visuals in Academic Texrtv-^ and the Popular Press I I English for Specific Purposes. 1998. Vol. 17. No. 1. Pp. 46.

117. Johns A.M. The Visual and The Verbal: A Case Study in Macroeconomics English for Specific Purposes. 1998. Vol. 17. No. 2. Pp. 183-197.

118. Sonesson G. Die Semiotik des Bildes. Zum Forschungsstand am Anfang 90er Jahre // Zeitschrift für Semiotik. 1993. Vol. 15. N. 1-2. S. 131-164.

119. Кожу нова O.C. Eurowordnet: задачи, структура и отношения: у Информатика и ее применение. 2008. Том 2. Вып. 4. С. 85-92.

120. Ахманова О.С. Терминология лингвистическая // Болыд^^^ энциклопедический словарь «Языкознание». М.: Большая российо^ энциклопедия, 1998. - С. 509.

121. Михайлов В.Н. Гидрология устьев рек: Методическое пособие. — jy^ Изд-во МГУ, 1996.

122. Хераскова Т.Н., Волож Ю.А., Заможняя Н.Г., Каплан С.А., Сулейл^сг^0 А.К. Строение и история развития западной части Восточно-ЕвропеЙс1Со^ платформы в рифее-палеозое по данным геотрансекта ЕВ-1 (Лодейное noj^ Воронеж) // Литосфера. 2006. № 2. С. 65-94.

123. Шмелев Д.Н. Полисемия // Большой энциклопедический слоь^рь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 382.

124. Buntman N., MinelJ.-L., Le Pesant D., Zatsmanl. Typology and Computer Modelling of Translate Difficulties // Информатика и ее применение. 2010. Том 4. Вып. 3.-С. 77-83.

125. Зацман И.М., Бунтман Н.В. Компьютерное кодирование целевых систем знаний и процессов их эволюции в лингвистике // Системы и средства информатики. 2010. Вып. 20. № 2. С. 287-302.

126. DurnovoA., Zatsmanl. Semiotic Models for Cognitive Processing of Language Information about Translation Difficulties // Proceedings of the 12th International Conference «Cognitive Modeling in Linguistics». Kazan: KSU, 2010. Pp. 135-139.

127. Шубников С.К. Формы документов в системах информационного обеспечения оценки результативности научной деятельности // Системы и средства информатики. Вып. 15.- М.: Наука, 2005.- С. 59-76.

128. Зацман И.М. Терминологический анализ нормативно-правового обеспечения создания систем мониторинга и оценки результативности в сфере науки // Экономическая наука современной России. 2005. № 4. С. 114-129.

129. Зацман ИМ., Вереекин Г.Ф. Информационный мониторинг сферы науки в задачах программно-целевого управления // Системы и средства информатики. Вып. 16,- М.: Наука, 2006. С. 164-189.

130. Шубников С.К., Лощилова Е.Ю., Косарик В.В. Принципы систематизации и стандартизации описания структур информационных ресурсов в сфере науки // Системы и средства информатики. Вып. 16.- М.: Наука, 2006.-С. 190-213.

131. Кожунова О.С. Семантический словарь системы информационного мониторинга.в сфере науки и ресурс Eurowordnet: структура, задачи и функции // Системы, исредства информатики». Вып-.18. -М.: Наука, 2008. С. 156-170.'

132. Зацман ИМ:, Курчавова O.A., Галина И.В. Информационные ресурсы и индикаторы для оценки инновационного потенциала направлений.« научных исследований // Системы и средства информатики. Вып. 18 (доп.). М.: Наука,' 2008.-С. 159-175.

133. Архипова М.Ю., Зацман ИМ., Хавансков В.А. Индикаторы патентной активности РАН // Материалы Шестых Друкеровских чтений. Том 1. «Институциональные концепции менеджмента». Екатеринбург: Изд-во Уральского университета, 2009. - С. 141-150.

134. Алфимов М.В., Минин В!Ж, Либкшд ЖИ Страна науки РФФИ. В кн.: Гранты РФФИ: результаты шанализ: - Mi: Янус-К, 200-К - С. 11-57. ;

135. Минин В.А. Мониторинг научных исследований российских- ученых. В? кн.: Российский фонд фундаментальных исследований: десять лет служения российскошнауке. -М:: Научныйшир, 20031-С. 295-314.

136. National? Science Board; Science andi: Engineering; Indicators; 20021 Two volumes. - Arlington; VA: National Science Foundation, 2002.

137. National Science Board, Science and Engineering Indicators — 2004. Two volumes.- Arlington;; VA:iNationaltScience Foundation, 2004.

138. National Science: Board; Science and» Engineering Indicators 2006; Two volumes. - Arlington, VA: National Science Foundation, 2006.

139. Nationals Science Board; Science and Engineering Indicators 2008. Two volumes. - Arlington^ VA: National Science Foundation; 2008.

140. National Science Board; . Science and Engineering Indicators 2010. -Arlington, VA: National Science Foundation (NSB 10-01).

141. Маркусова В.А. Информационные ресурсы для мониторинга российской науки // Вестник РАН.2005. № 7. С. 607-612.

142. Индикаторы науки. Статистический сборник. М.:ТУ-ВШЭ, 2006:

143. Клейнер Г.Б., Голиченко О.Г., Зацман И.М. Основные принципы разработки системы мониторинга фунционирования исследовательских организаций. М.: ЦЭМИ РАН, 2007.

144. US National Science and Technology Council. Assessing Fundamental Science. Washington, DC: Office of Science and Technology Policy, 1996.

145. Collins E. Fundamental Science and Federal Management Reform // D-Lib Magazine, September 1997.

146. Методические рекомендации по подготовке Докладов о результатах и основных направлениях деятельности субъектов бюджетного планирования -http://www.rg.ru/2004/06/22/bydget-doc.html (состояние страницы на 10.07.2011).

147. Computational Science: Ensuring America's Competitiveness. Report to the President. Arlington, VA: National Coordination Office for Information Technology Research and Development, 2005.

148. Стратегия развития науки и инноваций в РФ на период до 2015 года. Утверждена Межведомственной комиссией по научно-инновационной политике, протокол от 15 февраля 2006 г. №1 http://mon.gov.ru/work/nti/dok (состояние страницы на 10.07.2011).

149. The Program Assessment Rating Tool http://georgewbush-whitehouse.archives.gov/omb/expectmore/part.html (состояние на 30.05.2011).

150. Overview of ratings for all federal programs http://georgewbush-whitehouse.archives.gov/omb/expectmore/about.html (состояние на 30.05.2011).

151. Planning for Performance and Evaluating Results of Public R&D Programs: Meeting the OMB PART Challenge (Workshop Report). Washington: The Washington Research Evaluation Network, 2004.

152. Кубрякова Е. С., Демъянков В. 3., Панкрац Ю. Г., Лузина Л. Г. Краткий словарь когнитивных терминов / Под общ. ред. Кубряковой Е. С. М.: Изд-во МГУ, 1996.

153. Hackmann, К, Drenth, P.J.D., Schroots, J.J.F. Evaluating for Science: Processes & Protocols. Amsterdam: ALLEA, 2004.

154. Ware С., Gilman A.T., Bobrow R.J. Visual Thinking with an Interactive Diagram // Proceedings of the Fifth International Conference «Diagrams 2008», LNAI 5223.- Berlin: Springer-Verlag, 2008. Pp. 118-126.

155. Проективный философский словарь. Новые термины и понятия. Предисл. М.Н. Эпштейна. СПб.: Алетейя, 2003. - 512 с.

156. Эпштейн М.Н. Проективный словарь русского языка. Неология времени http://www.emory.edu/ESÎTELNET/epsteintimewords.html (состояние страницы на 10.07.2011).

157. Курс социально-экономической статистики / Под ред. проф. М.Г. Назарова. М.: Финстатинформ, ЮНИТИ-ДАНА, 2000.

158. Зацман И.М., Земляное И.В. Вербально-образное индексирование геоизображений в электронных библиотеках // Системы и средства информатики. Вып. 12. -М.: Наука, 2002. С. 94-111.

159. Zhu В., Ng T.D., Schatz В., Ramsey M., Chen H. Creating a Large-Scale Digital Library for Georeferenced Information // D-Lib Magazine. 1999. Vol. 5. N 7/8.

160. Зацман И.М. Семантическое кодирование и разметка геолого-географических документов в политематических электронных библиотеках // Информационные технологии. 2000. N 11. С. 2-11.

161. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках. Ч. 1 // Научно-техническая информация. 2001. N10. С. 21-30 (Сер. 2. Информационные процессы и системы).

162. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках. Ч. 2 // Научно-техническая информация. 2001. N 12. С. 10-17 (Сер. 2. Информационные процессы и системы).

163. Larkin J.H., Simon H.S. Why a Diagram is (Sometimes) Worth Ten Thousand Words // Cognitive Science. 1987. Vol. 11. N. 1. Pp. 65-100.

164. Загрман ИМ. Логико-семантические модели полнотекстовых научных документов//Научно-техническая информация. 1999. № 5. С. 13-22 (Сер. 2. Информационные процессы и системы).

165. Морской атлас. Л.: Изд-во Морского генерального штаба, 1950.

166. Лунев Б.С., Наумова О.Б. Атлас форм рельефа. В 2 т. Т. 1: Основные рельефообразующие факторы Земли. Пермь: Пермский ун-т, 1998.