автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Автоматизация анализа проектных решений с применением методов интеллектуальной обработки информации

На правах рукописи

Макаров Сергей Львович

АВТОМАТИЗАЦИЯ АНАЛИЗА ПРОЕКТНЫХ РЕШЕНИЙ С ПРИМЕНЕНИЕМ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ

ИНФОРМАЦИИ

Специальность 05.13.12 - Системы автоматизации проектирования

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2009

003482224

Работа выполнена в Московском государственном институте электроники и математики на кафедре "Вычислительная техника".

Научный руководитель: доктор технических наук, профессор

Митрофанов Сергей Александрович.

Официальные оппоненты: доктор технических наук, профессор

Саксонов Евгений Александрович,

кандидат технических наук, профессор Авдошин Сергей Михайлович.

Ведущая организация: ФГУ ГНИИ ИТТ «Информика».

Защита состоится 24 ноября 2009 г. в 14 часов на заседании диссертационного совета Д 212.133.03 в Московском государственном институте электроники и математики по адресу: 109028, Москва, Большой Трехсвятигельский пер., д.З.

С диссертацией можно ознакомиться в библиотеке Московского государственного института электроники и математики.

Автореферат разослан «?3» октября 2009 г.

Учёный секретарь диссертационного совета

Д 212.133.03, кандидат технических наук, доцент

ЛеохинЮ-Л.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Для решения задачи анализа проектных решений для новых объектов используются различные методы. Однако практически ни один го существующих методов не анализирует новащюнность предлагаемых проектных решений, т.е. новизну, которая является главным звеном инновационной деятельности. В настоящий момент практически не существует программного обеспечения, осуществляющего автоматизированный анализ проектного решения с точки зрения новадионности, работающего с неструктурированными источниками информации. Существующее же программное обеспечение не решает полностью задачу автоматизации анализа проектных решений. Особенно остро нехватка таких программных средств ощущается в области экспертизы инновационных проектов. В области анализа проектных решений существует ряд проблем, разрешение которых является весьма актуальным, так как число новых проектных решений, лежащих в основе инновационных проектов, растёт с каждым годом, и возможно только на основе автоматизации всего процесса анализа проектных решений, которая позволяет повысить эффективность принимаемых проектных решений, сократить сроки создания и ввода в эксплуатацию новых объектов и ускорить научно-технический прогресс в различных отраслях промышленности.

. Цели и задача. Целью работы является повышение эффективности анализа проектных решений на основе автоматизации этого анализа с применением методов интеллектуальной обработки информации. Повышение эффективности осуществляется минимизацией трудоёмкости экспертизы, максимизацией количества найденных аналогов проектного решения, реализацией количества ненайденных экспертом аналогов и минимизацией ресурсного обеспечения экспертизы. Для достижения поставленной цели необходимо решить следующие задачи:

• обзор существующих методов анализа проектных решений;

• анализ особенностей изложения новизны проектных решений;

• обзор методов и средств анализа текстовых документов;

• анализ существующих информационно-поисковых систем;

• разработка методики автоматизированного анализа проектных решений для новых объектов с использованием контента сети Интернет;

• разработка методики автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа;

• разработка методики автоматизированного формирования экспертного заключения по проектам в инновационной сфере;

• разработка типовой структуры программного обеспечения автоматизированного анализа проектных решений;

• создание программных средств, реализующих разработанные методики.

Областью исследования диссертационной работы является обзор и разработка моделей, алгоритмов и методов синтеза и анализа проектных решений.

Объектами теоретического исследования являются методы обработки текстов на естественном языке, методы анализа проектных решений, методы сравнения документов, а также методы построения информационных запросов.

Объектами экспериментального исследования являются информационное и программное обеспечение анализа проектных решений, различные поисковые механизмы сети Интернет, а также разработанные программные модули системы автоматизированного анализа проектных решений.

Методы исследования. При проведении исследований в работе использовались: технологии визуального и \уеЬ-программирования, методы математического программирования, аппарат теории множеств, алгебраические методы, кластеризация по методу дальнего соседа, методы получения словосочетаний для русского языка, методы построения запросов.

Основные положения, выносимые на защиту:

1. Методика автоматизированного анализа проектных решений, отличающаяся автоматическим поиском аналогов для новых объектов с использованием контента сети Интернет.

2. Формализованная методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет, отличающаяся автоматическим формированием запросов по результатам лингвистического частотного анализа этого документа.

3. Методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере, отличающаяся автоматическим построением экспертных оценок, заключений и резюме.

4. Типовая структура программного обеспечения автоматизированного анализа проектных решений, учитывающая разделение компонентов на обязательные и необязательные.

5. Программный комплекс автоматизированного анализа проектных решений, отличающийся автоматическим поиском аналогов для новых объектов с использованием контента сети Интернет.

6. Программный комплекс автоматизированного формирования экспертного заключения по проектам в инновационной сфере, отличающийся автоматическим построением бланка заключений эксперта

7. Программный модуль сравнения двух текстовых документов, отличающийся возможностью учёта многословных терминов документов.

Научная новизна. Научная новизна работы заключается в следующем:

1. Разработана методика автоматизированного анализа проектных решений, отличающаяся автоматическим поиском аналогов для новых объектов с использованием контента сети Интернет.

2. Разработана формализованная методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет, отличающаяся автоматическим

формированием запросов по результатам лингвистического частотного анализа этого документа.

3. Разработана адаптируемая методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере, отличающаяся автоматическим построением экспертных оценок, заключений и резюме.

Теоретическая ценность. Теоретическая ценность работы заключается в

следующем:

1. Созданы методические основы интеллектуализации анализа новизны проектных решений, инвариантные к предметной области.

Практическая значимость. Практическая значимость работы заключается в следующем:

1. Разработанная типовая структура программного обеспечения автоматизированного анализа проектных решений позволяет создавать программистам подобное программное обеспечение для других предметных областей.

2. Проведён ряд экспериментов, доказывающих, что программное обеспечение автоматизированного анализа проектных решений, построенное в соответствии с впервые предложенными методиками, повышает эффективность этого анализа по сравнению с существующими методами этого анализа. Таким образом, усовершенствован процесс анализа проектных решений за счёт повышения качества информационного обеспечения принимаемых решений.

3. Программные средства, реализующие методику автоматизированного анализа проектных решений, инвариантны к предметной области и могут использоваться пользователем как информационно-аналитическая система пояска аналогов введенного в систему текста.

4. Программный модуль лингвистической обработки текстовых документов с возможностью выбора анализируемых частей речи и глубины поиска словосочетаний позволяет пользователю анализировать

любые текстовые документы и предоставлять статистику по терминам для документа. Этот модуль был внедрён рамках научно-исследовательских работ по теме "Научно-методическое обеспечение создания национального информационного центра по мониторингу приоритетных направлений развития науки, технологий и техники в области живых систем" ВИНИТИ РАН (период 05 августа 2005 г. - 08 декабря 2006 г.),

5. Программный модуль сравнения двух документов с возможностью варьирования глубины анализа, с помощью которого было проведено исследование эффективности пяти информационно-поисковых систем, может быть использован пользователем для сравнения текстовых документов с целью выявления степени совпадения.

6. Программный модуль перевода содержания таблиц баз данных заданного формата в Ьйп1-форму позволяет быстро размещать таблицы в сети. Этот модуль был внедрён рамках научно-исследовательских работ в ВИНИТИ РАН, указанных в п. 4.

7. Разработанное программное обеспечение автоматизированного формирования экспертного заключения по инновационным проектам было внедрено в рамках научно-исследовательских работ по автоматизации синтеза экспертного заключения по инновационным проектам, заявки с описанием которых подаются для участия в программе «СТАРТ» государственного Фонда содействия развитию малых форм предприятий в научно-технической сфере.

8. Результаты работы внедрены в рамках учебного процесса по дисциплине "Информационные системы" на кафедре "Вычислительная техника" МИЭМ.

Обоснованность и достоверность теоретических выводов и практических рекомендаций определяется корректностью математических выкладок, использованием апробированных методов математического и компьютерного моделирования, а также положительным опытом применения и улучшением

известных и выявленных критериев и оценок при проведении экспериментов по оценке эффективности предложенных методик автоматизированного анализа проектных решений с помощью программного обеспечения, реализующего эти методики на конкретных наборах текстовых документов-заявок, которые подаются для участия в программе «СТАРТ» государственного Фонда содействия развитию малых форм предприятий в научно-технической сфере.

Реализация результатов. Результаты работы реализованы в виде программных компонент и внедрены в рамках научно-исследовательских работ по теме "Научно-методическое обеспечение создания национального информационного центра по мониторингу приоритетных направлений развития науки, технологий и техники в области живых систем" ВИНИТИ РАН (период 05 августа 2005 г. - 08 декабря 2006 г.), а также в рамках научно-исследовательских работ по автоматизации синтеза экспертного заключения по инновационным проектам, заявки с описанием которых подаются для участия в программе «СТАРТ» Фонда содействия развитию малых форм предприятий в научно-технической сфере. Модуль сравнения терминологических портретов двух документов зарегистрирован в Роспатенте в сентябре 2008 года (С №2008614408). Результаты работы внедрены в рамках учебного процесса по дисциплине "Информационные системы" на кафедре "Вычислительная техника" МИЭМ

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на научно технических конференциях студентов, аспирантов и молодых специалистов МИЭМ, Москва 2003 г., 2004 г., 2005 г., 2006 г. 2009 г.; IV, V, VII межвузовских ежегодных научно-практических конференциях "Информационные технологии XXI века", X международной научно-практической конференции "Наука - сервису", VI студенческой межвузовской конференции "Информационные системы будущего" ИИТ МГУС, Москва 2003 г., 2005 г.; научно-технической конференции студентов, аспирантов и молодых специалистов "Информационные технологии в бизнесе", ГУ ВШЭ, Москва 2006 г, IV международной научно-технической конференции "Искусственный интеллект в XXI веке. Решения в условиях неопределённости", Пензенская государственная

технологическая академия, АНОО "Приволжский Дом Знаний" Пенза 2006 г., а также на заседаниях кафедры "Вычислительная техника" МИЭМ в 2005 - 2009 гг.

Публикации. По материалам диссертационной работы опубликовано 15 печатных работ, в том числе 3 статьи в журналах ВАК и 12 трудов отечественных и международных научно-технических конференций.

Структура работы. Диссертационная работа состоит из введения, 4 глав, заключения, списка литературы (87 наименований) и 5 приложений. Основное содержание диссертации изложено на 170 страницах, включая 5 таблиц, 38 рисунков; приложения содержат 127 страниц, включая 3 акта внедрения и 1 свидетельство о регистрации программы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность работы, сформулированы цель и задачи исследования, его новизна и практическое значение, области и методы исследования, положения, выносимые на защиту, обоснованность и достоверность, а также реализация и апробация работы. Кратко изложено содержание диссертации по разделам.:

В первой главе проводится обзор существующих методов анализа проектных решений для новых объектов, из которого формируется проблема анализа новизны проектируемого объекта и проектных решений. Формулируются основные проблемы области анализа проектных решений. Рассматривается проблема анализа новизны проектных решений, особенности которой приводят к необходимости анализа существующих методов и средств лингвистической обработки текстовых электронных документов и выбора такого средства для дальнейшей работы. Выделяются проблемы анализа неструктурированных информационных источников, рассматриваются особенности анализа инвестиционно-инновационных проектов. В конце главы формулируются выводы, и на основе проведённого обзора существующих методов и средств анализа проект-

ных решений определяются критерии повышения эффективности этого анализа, а также формируются цель и задачи исследования.

Во второй главе предлагается структура программного комплекса автоматизации анализа проектных решений, разрабатывается модель программного комплекса и модели объекта исследования этого комплекса как новации, а также рассматриваются компоненты программного комплекса, приводятся терминологическая и векторная модель документов, методы кластеризации и оценки степени схожести различных документов, рассматривается и исследуется лингвистическая модель выделения многословных терминов. В конце второй главы формулируются выводы о составе программного комплекса автоматизации анализа проектных решений и о функциях такого комплекса.

Предложенная типовая структура программного комплекса состоит из обязательных и необязательных элементов. Обязательными являются лингвистический модуль, средство формирования запросов, средство поиска аналогов и средство обработки и выдачи результатов. Лингвистический модуль состоит из модуля выделения определённых частей речи и модуля формирования словосочетаний, в который заложена следующая модель поиска словосочетаний:

Тк+1 = Т, Ф р или р © Т,' или

Т/©^, где б*!; Бе {1,2,3,4,5,6^5 {1,2}, или , (1)

^/'Ф^, где или

С1ц Ф [и/или]© где а + Ь = ¡; иде {1,2}, или СФгФ^ ,гдеа + Ь = и*1;ге23

где Т,' - словарная форма 1-го термина ¿-го порядка (термин, употреблённый в именительном падеже единственном числе); Т^1 - словарная форма термина 1-го порядка; р - прилагательное, причастие или числительное в именительном падеже, род и число которого совпадают с родом и числом термина, к которому оно присоединяется для образования многословного термина; ъ - предлог, соответствующий падежу термина, перед которым он употребляется; Ъ - множе-

ство предлогов; Zj - множество предлогов для .¡-го падежа, ^ - 1-й

термин, состоящий из 1 слов, употреблённый в падеже с номером j и числе, обозначенном к; je {1,2,3,4,5£}; к е{1,2};Т1' ; - множество терминов ¿-го порядка.

Модуль сравнения двух текстовых документов функционирует согласно следующей модели:

где с11=(<1п,(112,и ¿2=(<12ь(122,"-,йт) - векторы документов <1у и У = - значения .¡-го термина в документах ^ и <32; Н - общее количество разных терминов во всех документах.

В третьей главе рассматриваются методики, составляющие научную новизну работы, а также проводится исследование пяти информационно-поисковых систем с целью выявления подходящей для реализации поисковых этапов методик системы.

Этапы методики автоматизированного анализа проектных решений для новых объектов с использованием контента сети:

• Выбор текстового описания анализируемого проектного решения пользователем и загрузка в систему.

• Анализ текстового описания анализируемого проектного решения.

• Формирование запросов для поискового механизма.

• Поиск в Интернете аналогов проектного решения.

• Сравнение найденных аналогов и проанализированного описания проектного решения.

• Выбор тех аналогов, степень совпадения которых с анализируемым проектным решением выше определённого порога

(2)

• Выдача всех выбранных аналогов как результата работы системы пользователю.

Методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа заключается в формировании запросов по найденным ранее спискам терминов и словосочетаний.

Каждый запрос формируется согласно формуле

<Ь=2>Л (3)

>1

где qi - ьй запрос к поисковому механизму, ^ - .¡-й термин из списка, N -количество терминов из частотного списка (термины берутся из начала, т.е. наиболее встречаемые). Кроме того, ещё один запрос строится из ключевых слов:

(4)

где qi - 1-й запрос к поисковому механизму, -.¡-е ключевое слово из списка, М - количество ключевых слов.

Итоговая модель -

Зф^« , (5)

где ф — ^¡-й запрос к поисковому механизму, qw - запрос по ключевым словам, О - количество разновидностей терминов (однословные, двухсловные и т.д.), или глубина анализа текста

Методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере состоит из следующих этапов:

• Выбор файла заявки.

• Формирование базы правил оценки заявки.

• Анализ проектных данных.

• Анализ разделов заявки с помощью заранее определённых правил (которые могут настраиваться пользователем).

• Анализ отложенных разделов (новизны проекта с помощью контента сети Интернет) с помощью заранее определённых правил (которые также могут настраиваться пользователем).

• Получение результирующих оценок и описаний оценок.

• Получение суммарной оценки и генерация экспертного резюме программы.

• Вывод результатов в файл / на экран.

Рис. 1. Распределение документов по однословным терминам в результатах работы некоторых поисковых систем

На рисунке 1 представлен один из результатов исследования поисковых систем по формулам (1) и (2), показывающий несовершенство этих систем.

Результаты исследования поисковых систем позволили выбрать наиболее подходящее средство поиска в Интернете для решения поставленной задачи поиска аналогов проектного решения в сети Интернет.

В четвёртой главе рассматриваются полученные в результате реализации предложенных методик программные комплексы и модули, использование разработанных методик и моделей для решения практических задач, реализация и предпосылки создания вспомогательных модулей при внедрении результатов работы в рамках различных научно-исследовательских работ на предприятия и организации, а также результаты многочисленных экспериментов, проведённых с помощью разработанного программного обеспечения и доказывающих эффективность предложенных методик автоматизации анализа проектных решений.

Результаты проведённых экспериментов следующие:

1. Трудоёмкость экспертизы. У одного эксперта на рассмотрение заявки по программе «СТАРТ» уходит 120 минут. У программы, реализующей разработанную методику, рассмотрение той же заявки заняло 30 минут при условиях, указанных в примечаниях 1 и 2 к таблице 4.5.2.

2. Количество найденных аналогов проектпого решения. Один эксперт знает от 5 до 10-15 аналогов (на память, не пользуясь компьютером). Программа, реализующая разработанную методику, «знает» о 120 аналогах при следующих условиях (настройках): учитывать 3 страницы результата поиска системой Yandex, анализировать одно-, двух- и трёхсловные термины + ключевые слова

3. Количество ненайденных экспертом аналогов. Эксперт не знает - 0 аналогов. Программа может найти от 5 до 40 аналогов при следующих условиях (настройках): учитывать 1 страницу результата поиска системой Yandex, анализировать одно-, двух- и трёхсловные термины + ключевые слова.

4. Ресурсное обеспечение экспертизы (кадровое, финансовое, материальное). Для заявки привлекаются от 5 экспертов (по количеству общих разделов заявки). Программе не требуются эксперты (0, в крайнем случае 1).

Полученные результаты доказывают эффективность разработанной методики, так как программный комплекс автоматизированного формирования экспертного заключения построен на её основе, и анализ проектных решений усовершенствован в части минимизации 1 и 4 критериев, максимизации 2 критерия и реализации 3 критерия.

В заключении подводятся итоги проделанной работы. Перечисляются основные результаты диссертации и следующие из них выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. На основе проведенного анализа существующих информационно-аналитических систем предложена классификация компонент таких систем и программного комплекса автоматизации анализа проектных решений на необходимые и опциональные.

2. Впервые разработана методика автоматизации анализа проектных решений для новых объектов с использованием информационного контента сети Интернет.

3. Впервые разработана формализованная методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа.

4. Впервые разработана адаптируемая методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере.

5. На основе исследования поисковых систем выбрана система, наиболее подходящая для поиска аналогов в сети Интернет.

6. Разработана типовая структура программного обеспечения автоматизированного анализа проектных решений.

7. Разработаны программные средства, реализующие предложенные принципы, методы, методики и модели автоматизации анализа проектных решений, а именно:

• разработан программный модуль лингвистической обработки текстовых документов с возможностью выбора анализируемых частей речи;

• на основе лингвистического модуля разработан программный модуль сравнения двух документов с возможностью варьирования глубины анализа, с помощью которого было проведено исследование эффективности пяти наиболее популярных информационно-поисковых систем;

• разработан программный модуль перевода содержания таблиц баз данных заданного формата в Ьйп]-форму;

• разработан программный комплекс автоматизированной оценки степени новизны любого текстового документа, результатом работы которой является список найденных в Интернет аналогов и степень их совпадения с этим документом;

• разработан программный комплекс автоматизированного синтеза экспертного заключения по инновационным проектам программы "СТАРТ" Фонда содействия развитию малых форм предприятий в научно-технической сфере.

8. Проведена апробация (внедрение) программных средств на нескольких наборах текстов определённого формата и на текстах по живым системам в рамках научно-исследовательской работы в ВИНИТИ РАН.

9. Проведена апробация (внедрение) системы автоматизированного синтеза экспертного заключения по инновационным проектам программы "СТАРТ" Фонда содействия развитию малых форм предприятий в научно-технической сфере на большом количестве заявок по данной программе.

10. Результаты диссертационной работы внедрены в учебный процесс в рамках учебного курса "Информационные системы" на кафедре "Вычислительная техника" МИЭМ.

11.3а счёт разработанных методик автоматизации анализа проектных решений осуществлено совершенствование процессов проектирования новых объектов, в частности: уменьшено время принятия решения программным комплексом или экспертом, пользующимся результатами работы программного комплекса, расширено поле поиска аналогов проектных решений за счёт привлечения контента сети Интернет," число просматриваемых аналогов проектного решения увеличено в несколько раз, полностью автоматизировано рассмотрение и вынесение экспертного мнения и оценки отдельных разделов проектного решения благодаря созданию базы правил оценок.

12. Поведены многочисленные эксперименты с реальными файлами заявок программы "СТАРТ" Фонда содействия развитию малых форм предприятий в научно-технической сфере, доказывающие эффективность разработанных методик автоматизированного анализа проектных решений.

13. Модуль сравнения терминологических портретов двух документов зарегистрирован в Роспатенте в сентябре 2008 года (С №2008614408).

В приложениях содержатся обзоры модулей лингвистической обработки тестовых документов (приложение А), существующих информационно-аналитических систем (приложение Б), существующих информационно-поисковых систем (приложение В), а также представлен тестовый набор из трёх классов документов, на основе которого проводилось исследование и апробация созданного лингвистического модуля (приложение Г), и приведён список опубликованных работ по теме диссертации (приложение Д). В качестве приложений представлены 3 акта внедрения и 1 свидетельство о регистрации программы.

ПЕРЕЧЕНЬ ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Митрофанов С.А., Макаров СЛ. Программный комплекс автоматизированного синтеза экспертного заключения по инновационным проектам (на примере проектов программы «СТАРТ») //

СПб. : Инновации, №8, 2009. Статья в процессе публикации. (Соискателю принадлежит разработка программного комплекса, разработанная методика автоматизированного синтеза экспертного заключения, математическая модель и алгоритм методики).

2. Макаров СЛ. Анализ информации в инвестицнонно-инновационнон деятельности на основе технологий интеллектуальных агентов / гл. ред. Азаров В.Н.; научн. ред. Леохин Ю.Л. // Качество, инновации, образование. М. : Фонд "Европейский центр по качеству", №8,2007. С. 17 - 21.

3. Макаров СЛ. Исследование методов повышения качества работы информационно-поисковых систем / гл. ред. Азаров В.Н.; научн. ред. Леохин ЮЛ. // Качество, инновации, образование. М. : Фонд "Европейский центр по качеству", №1,2008 г. С. 35 -39.

4. Макаров С.Л. Информационная модель Web-pecypca Интернет : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титкова Н.С. М. : Московский государственный институт электроники и математики (технический университет), 2003 г. С. 498 -499. ISBN 5-94506-017-8.

5. Макаров С.Л., Мальцева С.В. Применение информационного моделирования при разработке и модернизации Web-pecypcoB Интернет : Информационные технологии XXI века. Материалы IV межвузовской ежегодной научно-практической конференции 28 марта 2003 года / под ред. Ананьевой Т.Н. М. : Институт информационных технологий МГУ сервиса, 2003 г. С. 21 - 23. 150 экз. (Соискателю принадлежит реализация идеи информационного моделирования).

6. Макаров С.Л. Автоматизация анализа содержания документов : Информационные технологии XXI века. Материалы V межвузовской научно-практической конференции 19 декабря 2003 года / под ред.

Ананьевой Т.Н. М. : Московский государственный университет сервиса, 2003 г. С. 54 - 58. 500 экз. ISBN 5-94845-087-2.

7. Макаров C.JI. Применение технологий добычи данных в неструктурированных информационных источниках для анализа проектной документации : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титова Н.С. М.: Московский государственный институт электроники и математики (технический университет), 2004 г. С. 136-138. 40 экз. ISBN 5-94506-039-9.

8. Макаров С.Л. Применение интеллектуальных агентов Интернет для анализа проектов : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н. Азаров, Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титкова Н.С. М : Московский государственный институт электроники и математики (технический университет), 2005 г. С. 91. 40 экз. ISBN 5-94506-106-9.

9. Макаров С.Л. Применение интеллектуальных агентов Интернет при создании информационного обеспечения аналитических систем : материалы VI межвузовской студенческой научно-практической конференции "Информационные системы будущего" / под ред. Ананьевой Т.Н. М.: ГОУВПО "МГУС", 2005 г. С. 11 -13.100 экз.

10. Макаров С.Л. Применение программ лингвистического анализа при проектировании информационно-аналитических систем : материалы VII межвузовской научно-практической конференции "Информационные технологии XXI века" / под ред. Ананьевой Т.Н. М: ГОУВПО "МГУС", 2005 г. С. 45 - 49. 100 экз.

И.Макаров С.Л. Особенности анализа проектной информации в инвестиционно-инновационной деятельности : Наука - сервису. Х-я международная научно-практическая конференция 21 октября 2005 года.

Материалы секций: "Информационные технологии в сфере сервиса", "Социальные проблемы информатизации общества" I под ред. Ананьевой Т.Н. М.: ГОУВПО "МГУС", 2005 г. С. 89 - 91. 100 экз.

12. Макаров C.JI. Возможность создания средства проектирования информационно-аналитических систем : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев JI.H., Смирнов И.С., Титкова Н.С. М.: Московский государственный институт электроники и математики (технический университет), 2006 г. С. 130- 131. ISBN5-94506-137-9

13. Макаров C.JI. Разработка средств автоматизированного проектирования информационно-аналитических систем : Научно-техническая конференция студентов, аспирантов и молодых специалистов "Информационные технологии в бизнесе". 21 марта 2006 г. / под ред. Ни-китинаВ.В. М.: ГУ ВШЭ, 2006 г. С. 123 -127. 150 экз.

14. Макаров C.JI. Проектирование информационно-аналитической системы на базе мультиагентных технологий : сборник статей IV Международной научно-технической конференции "Искусственный интеллект в XXI веке. Решения в условиях неопределённости" / под ред. Левина В. И. Пенза : Пензенская государственная технологическая академия; АНОО "Приволжский Дом Знаний", 2006 г. С. 46 - 47. ISBN 5-83560560-9 (978-5-8356-0560-6).

15. Макаров C.JI. Методика автоматизированного проектирования экспертного заключения по инновационным проектам : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Карасев М.В., Кечиев JI.H., Никольский С.Н., Смирнов И.С., Титкова Н.С. М.: Московский государственный институт электроники и математики (технический университет), 2009 г. С. 89. ISBN 978-5-94506-222-1.

Подписано в печать 20.10.2009. Формат 60x84/8. Бумага типографская N2 2. Печать - ризография. Усл. печ. л. 1,3 Тираж 120 экз. Заказ ■\QiO-

Московский государственный институт электроники и математики 109028, Москва, Б.Трехсвятительский пер., 3.

Центр оперативной полиграфии (495) 916-88-04, 916-89-25