автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод интеллектуализации оценки научно-исследовательской деятельности высших учебных заведений на основе искусственных нейронных сетей

4847226

На правах рукописи С^-ЯУ/

ТАЛИМАНЧУК Людмила Леонидовна

МЕТОД ИНТЕЛЛЕКТУАЛИЗАЦИИ ОЦЕНКИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.01 Системный анализ, управление и обработка информации (информатика, управление и вычислительная техника)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 9 МАЙ 2011

Москва 2011

4847226

Работа выполнена на кафедре "Системы автоматического и интеллектуального управления" Московского авиационного института (государственного технического университета, МАИ). Научный руководитель: доктор технических наук, профессор

Зайцев Александр Владимирович Официальные оппоненты: доктор технических наук, профессор

Хахулин Геннадий Фёдорович

доктор технических наук, профессор Ванюрихин Геннадий Иванович

Ведущая организация: ОАО «Институт точной механики и

вычислительной техники имени С.А.Лебедева» (ИТМиВТ РАН)

Защита состоится 14 июня 2011 года на заседании

диссертационного совета Д212.125.11 при Московском авиационном институте (государственном техническом университете) «МАИ» по адресу: 125993, А-80, ГСП-3, Москва, Волоколамское ш., 4, зал заседаний Ученого Совета МАИ.

С диссертацией можно ознакомиться в библиотеке МАИ.

Автореферат разослан 29 апреля 2011 года,

Ученый секретарь диссертационного совета, к.т.н., доцент

Горбачев Ю.В. «.i'"'

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Эффективность образовательной и научной деятельности высших учебных заведений в современных условиях определяется своевременностью и качеством управленческих решений, принимаемых в условиях неопределенности и риска, жестких временных ограничений, неполноты и недостоверности информации, экономической целесообразности. Важная роль в этих процессах отводится активному применению современных информационных технологий, способствующих повышению качества, сокращению времени и снижению трудоемкости принятия управленческих решений.

Сегодня основным источником информации для анализа деятельности служат плановые и отчетные документы, регулярно представляемые в вышестоящие органы управления, а также заключения проверочных комиссий. Накопленные данные хранят в себе большие потенциальные возможности по извлечению аналитической информации.

Разработка соплеменных автоматизированных систем анализа научной деятельности становится одним из приоритетных направлений в обслуживание и в обеспеченности качества научно-исследовательской деятельности в ВУЗе. Проблемы разработки автоматизированных систем в ВУЗе освещены в работах Роберт И.В., Денисова A.A., Емелина Н.М., Зайцева A.B., Козлова O.A., Титоренко Г.А. и др. В целом ряде работ рассматривалась проблема оценки научной деятельности, начиная от оценки заявок на выполнение научных проектов до оценки организации, качества и результативности научной деятельности, это работы Маслова В.Г., Новикова Д.А., Романенко Ю.А., Павлова A.A., Даншпока С.Г., и др.

Однако существующие математические и программно-технические средства автоматизации исследования деятельности ВУЗов (организаций) Рособрнауки связаны с созданием каждым ВУЗом собственного набора автоматизированных информационных систем, большинство из которых имеют множество недостатков. Основные недостатки - это субъективизм, низкая достоверность исходной информации и, как следствие, низкое качество результатов оценки, закрытость, большие трудозатраты на разработку и реализацию.

В частности, с момента создания автоматизированных систем управления неоднократно предпринимались попытки решения задач оценки и прогнозирования деятельности. Однако, данное направление, ввиду отсутствия соответствующей технической базы, инструментальных программных средств и реализованных в программных системах моделей, основанных на методах искусственного интеллекта, получило развитие только в настоящее время.

Вопросам инженерии знаний и разработки интеллектуальных информационных систем посвящены работы Гавриловой Т. А., Хорошевского В.Ф., Тельнова Ю.В. и др.

Необходимость совершенствования информационного и методического обеспечения автоматизированных систем оценки научно-исследовательской деятельности (НИД) ВУЗов в соответствии с изменяющимися требованиями экономики определили выбор темы, цели и актуальность задачи диссертационного исследования.

Объектом исследования в настоящей работе является научно-исследовательская деятельность высших учебных заведений.

Предметом исследования является автоматизированная система, создаваемая для анализа и прогноза НИД.

Целью диссертационной работы является совершенствование информационного и методического обеспечения автоматизированных систем оценки эффективности научно-исследовательской деятельности вузов, что позволит в свою очередь повысить эффективность управленческих решений.

Научная задача, решаемая в диссертационной работе, состоит в разработке метода интеллектуализации автоматизированной системы поддержки принятия решений по оценке НИД высших учебных заведений, обеспечивающего повышение качества управления, что послужит основой для принятия рациональных и эффективных управленческих решений, направленных на формирование сбалансированного сектора научных исследований и разработок инновационной системы.

Методологические основы и методы исследования. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, математической статистики, методах математического моделирования, нейроинформатики.

Моделирование процесса проведено в пакете прикладных программ МаЙаЬ и его приложении БтиНпк.

Научная новизна исследования состоит в следующем.

1. Предложен подход к построению иерархической структуры обобщения показателей НИД, когда на первом уровне используется линейная, а на вышестоящих - нейросетевые свертки, сравнительная оценка которых позволяет проранжировать ВУЗы по заданным показателям.

2. Разработанные нейросетевые алгоритмы обладают способностью принимать интеллектуальные решения в определении результативности и эффективности деятельности ВУЗов за отчетный период, исключая влияние нечеткости, неопределенности, человеческого фактора.

3. Показано, что наибольший эффект достигается при нейросетевом прогнозировании НИД, точность которого максимальна в случаях колебательного характера динамики развития ВУЗов.

Основные положения выносимые на защиту: 1. Метод интеллектуализации автоматизированной оценки НИД ВУЗов на основе искусственных нейронных сетей.

2. Алгоритм построения классификатора НИД на основе самоорганизующихся карт и его реализация.

3. Модель прогноза развития ВУЗов на основе радиально-базисной нейронной сети и реализация разработанной модели.

Практическая значимость исследования определяется тем, что разработка информационного и методического обеспечения автоматизированных систем оценки НИД ВУЗов позволяет повысить эффективность функционирования автоматизированных систем оценки НИД и качество управленческих решений в сфере НИД ВУЗов.

Реализация результатов исследования направлена на решение текущих и перспективных задач Рособразования, на совершенствование и развитие автоматизированных систем оценки НИД ранее внедренных в эксплуатацию в системе высшей школы на различных уровнях управления научной деятельностью.

Апробация работы.

1. Результаты проведенных исследований докладывались и получили одобрение на: XXI Межведомственной научно-технической ь-пнгЬрпонпии «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем» - Серпухов, 2006 г., XXV Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» - Серпухов 2006 г., XXVI Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» - Серпухов 2007 г., XVI Международном техническом семинаре «Современные технологии в задачах управления, автоматики и обработки информации» - Алушта, 2007 г., Международной летней школе молодых ученых СНГ "Интеграция и инновации» - Москва, 2008 г., XXVII Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» - Серпухов, 2008 г., Юбилейной Международной научно-практической конференции «Развитие отечественной системы информатизации образования в здоровьесберегающих условиях» и научно-методическом семинаре «Информационные и коммуникационные технологии в образовании» -Москва, 2009 г.

Структура и объём диссертации.

Диссертация состоит из введения, трех глав, заключения, библиографического списка и приложений. Диссертация содержит 186 страницы машинописного текста, 33 рисунка, 13 таблиц, 9 приложений.

Библиографический список содержит 115 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ Во введении обоснована актуальность темы диссертации, определены объект, предмет, цель диссертации. Сформулирована научная

задача, основные направления и методология исследований. Кратко излагается содержание работы по главам.

В первом разделе анализируются методы оценки научно-исследовательской деятельности, методы экспертных оценок, представлена система классификаторов и основных показателей, реализованная в рамках годового отчета ВУЗа о научно-исследовательской деятельности, проведен анализ реализуемой модели системы мониторинга состояния научного потенциала и результативности научно-образовательной деятельности ВУЗов, основных показателей, характеризующих результативность и эффективность научных исследований и разработок ВУЗа (организации), подходов и методик оценки эффективности научно-исследовательской деятельности, выявлены особенности информационной инфраструктуры (ИИ) поддержки научно-инновационной деятельности научно-исследовательских организаций, образовательных учреждений высшего профессионального образования, опытно-конструкторских, проектно-технологических и иных организаций, осуществляющих научно-исследовательскую и научно-техническую деятельность.

Универсальность разрабатываемого интеллектуального аппарата дает возможность, анализируя информацию из различных источников любого объема, проводить сравнительный анализ НИД ВУЗов во времени, в пространстве как на макро- (в масштабах страны), так и на микроуровне (ВУЗов, факультетов, НИИ, кафедр, лабораторий), по отдельным учебным заведениям, группам учебных заведений, субъектам РФ, федеральным округам, профилю и отраслевой принадлежности. Для реализации разработанного подхода формируем группы, учитывая регион, профиль, отраслевую принадлежность ВУЗов.

Концепция интеллектуальных систем поддержки принятия решений (ИСППР) включает целый ряд средств, направленных на достижение одной цели — способствовать принятию рациональных и эффективных управленческих решений.

Под интеллектуальным анализом данных (ИАД) принято понимать процесс поддержки принятия решений, который основан на поиске скрытых закономерностей (шаблонов информации) в данных. Накопленные сведения при этом автоматически обобщаются до информации, охарактеризовать которую можно как знания.

Процесс ИАД в общем случае состоит из трёх этапов:

1. Выявление закономерностей.

2. Использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование).

3. Анализ исключений, предназначенный для выявления и толкования аномалий в найденных закономерностях.

К новыми компьютерным технологиям, образующим ИАД, относятся экспертные и интеллектуальные системы, методы искусственного интеллекта, базы знаний, базы данных, компьютерное

моделирование, нейронные сети, нечеткие системы. Современные технологии ИАД позволяют создавать новое знание, выявляя скрытые закономерности, прогнозируя будущее состояние систем.

В системах автоматизации управления и поддержки принятия решений для решения неформализованных задач используются: экспертные системы, основанные на гибридных методах представления знаний; методы формализации решения задач (в том числе, с использованием продукционных систем и нейросетевого подхода); методы прогнозирования на основе нейросетевого подхода в составе гибридной модели оценки состояния объекта управления. Нейросетевые технологии используются для классификации (групп студентов и выпускников ВУЗа); многослойная нейронная сеть используется для систематизации сгруппированных данных, определения степени предпочтения тех или иных вариантов и подбора специалистов в соответствии с заявками предприятий.

В конце раздела сформулирована задача исследований.

Дано:

1 Дгтя кяжгтого ВУЗа задан высокогшмерный вектор частных показателей, характеризующих уровни достигнутых результатов НИД за отчетный период, имеющиеся ресурсы. Число этих показателей достигает 30 значений.

2. Имеется статистика этих показателей за различные периоды по годам, содержащая информацию о динамике деятельности ВУЗов. Имеются данные за последние 6 лет.

3. Указана принадлежность каждого из более чем 200 государственных ВУЗов к различным срезам - территориальному, по критерию дисциплинарное™, по размерности и др.

4. Задача распределения ресурсов при финансировании ВУЗов не рассматривается.

Требуется:

¡.Разработать эффективный метод автоматизированной обобщенной критериальной оценки НИД за заданный период с целью ранжирования ВУЗов по различным срезам.

2. Провести кластеризацию ВУЗов с указанием числа классов, с указанием обобщенных оценок для каждого класса и последующее ранжирование внутри каждого по различным срезам.

3. Предложить высокоточную процедуру прогноза деятельности ВУЗов для перспективного планирования инноваций.

4. Провести сравнение предложенного подхода с известными и оценить его эффективность.

Второй раздел посвящён построению процедуры получения обобщённых критериев и ранжирования ВУЗов с их помощью.

Чтобы оценить эффективность ВУЗа необходимо разработать метод обобщённой оценки, анализирующий показатели и дающий результат, по которому можно судить об эффективности того или иного

ВУЗа. В качестве такого метода может быть использован следующий подход (Рис.1).

Рис.1 Метод обобщённой оценки Пусть имеются следующие исходные данные. Количество рассматриваемых ВУЗов - п (у = 1 ...п). Количество показателей - N (/ = 1 ...И). Количество НИР - К. Объем финансирования НИР - О.

Определим «вес» г -го показателя ] -го ВУЗа. Для этого введем

латентную переменную т1•, выраженную через 0{. и К{ ■. Будем

считать, что ВУЗ тем эффективнее, чем больше количество НИР при меньшем объеме финансирования им выполняется:

ка тй = —-.

7 Оч

Определим максимальное значение латентной переменной по конкретному показателю для всех ВУЗов:

п

Лгшх = (2Х-) 'Р)ср '

где pjCp - коэффициент важности латентной переменной.

ПУСТЬ Л'шах = 1 • Т0ГДа Р]ср = ^

2>.

Проведем оценку эффективности НИР для каждого г -го ВУЗа. = т. - -р . - в рамках одного показателя.

N

= - суммарный критерий по всем показателям г -го

ВУЗа.

На основании полученных данных и сравнения , можно

определить ВУЗ с наиболее эффективной научно-технической деятельностью.

Чтобы избежать вмешательства человека на последующих этапах оценки НИД, предлагается с помощью этих примеров обучить реализуемые на компьютере нейронные сети, способные заменить операции линейной свертки более совершенными. Тогда ранжирование ВУЗов станет более объективным, а каждое место в списке приоритетов будет охарактеризовано более точными обобщенными показателями, с которыми согласны эксперты, не принимавшие участие в их вычислениях.

В результате обучения получены следующие параметры НС,: число слоев - 3, число нейронов в первом слое - 2, во втором слое - 5, в третьем слое - 1, функции активации в первом слое и втором слое -тангенциальные, в третьем слое - линейная.

Полученных элементов обобщения в виде НС! и НС2 достаточно, чтобы сформировать любую иерархическую структуру, имеющую на нижнем уровне необходимое число различных обобщенных показателей, найденных с помощью обычной линейной свертки из исходного множества.

Основные положения метода интеллектуализации оценки НИД на основе автоматизированной системы поддержки принятия решений включают:

1) определение основных задач интеллектуализации процесса оценки НИД;

2) формирование и структурирование обобщенных индикаторов, характеризующих НИД ВУЗа;

3) определение общих закономерностей преобразования информации при интеллектуализации процесса оценки НИД;

4) выбор инструментальных средств интеллектуализации процесса;

5) разработка модели, нейронной сети, на основе которой разрабатывается вся АСППР;

6) разработка и использование программно-методического комплекса интеллектуализации оценки НИД (рис.2).

Автоматизация процесса выполнена в виде отдельного подключаемого модуля к АСППР. Работа с ним может вестись в трех режимах: настройка (создание) нейросетевой модели, изменение существующей модели, расчет (решение).

Рис. 2 Структура метода интеллектуализации оценки НИД

Алгоритм построения классификатора на основе СОК включает в себя следующие этапы.

1. Выборка данных

Подключение к источнику данных. Формирование базы данных из примеров, характерных для данной задачи.

2. Предварительная обработка данных.

Выбор системы признаков, характерных для данной задачи, и преобразование данных для подачи на вход сети (нормировка, стандартизация и т.д.). В результате получается пространство множества образцов.

3. Конструирование, обучение и оценка качества сети.

Выбор топологии сети: число нейронов в слоях, метод инициализации весов, максимальные и минимальные значения данных, которые сеть будет воспринимать.

4. Использование и диагностика.

Определение степени влияния различных факторов на принимаемое решение (эвристический подход).

Исходя из размера обучающего множества, а в нашем случае обучающее множество состоит из матрицы размерности [2x60], и принципов выбора параметров сети, были выбраны следующие параметры сети:

- размерность сети: 3x4;

- топология сети: гексагональная сетка;

- количество эпох обучения: 500;

- количество эпох для отображения: 100.

В ходе исследований был проведен анализ эффективности 12 технических ВУЗов центрального округа по 30 показателям НИД.

Для этого были экспортированы данные из базы, обработаны и сформирована с учетом сделанной обработки исходная матрица (рис.3).

Обр«бог«иные п»р»иетры

;!ШШШНШШШШШШШШ!ШШШШУ1Ш

10® ю1 10*

Количество НИР

Рис.3 Множество параметров после обработки

Далее была сформирована матрица средних значений выбранных показателей.

После того, как сеть прошла все 500 эпох обучения получен результат обучения сети (рис.4). В конце обучения веса нейронов приняли конечные координаты, это даёт возможность определить, какие из ВУЗов являются более эффективными с точки зрения минимального объема финансирования и максимального количества НИР. Для этого была выполнена двойная сортировка координат весов нейронов, сначала по количеству НИР, а затем по объему финансирования. В результате был получен отсортированный вектор классов (нейронов) по убыванию эффективности.

нейронная сеть 3x4

| 20^

щ

л.

2 3 4 5 6 7 В 9 10 11 12 13 1* 15 16 17 18 19 номер вуза

Рис. 4 Результат обучения сети Определим, сколько раз ВУЗ был отнесен к каждому классу. Строим диаграмму оценки НИД по первым пяти классам (рис.5).

и

Используя полученную информацию, отнесем ВУЗ к одной из следующих категорий:

У

10 Ч 12

Рис.5 Диаграмма сравнительной оценки НИД ВУЗов

а) 1-я категория - ВУЗы - утратившие научный профиль и перспективы развития;

б) 2-я категория - ВУЗы, нуждающиеся в проведении реорганизации в соответствии с законодательством Российской Федерации;

в) 3-я категория - стабильные ВУЗы, демонстрирующие удовлетворительную результативность;

г) 4-я категория - ВУЗы - лидеры.

В третьем разделе показана возможность прогноза оценки НИД

ВУЗов.

По исходным данным построена аппроксимирующая кривая для каждого ВУЗа за каждый год (рис. 6). После чего проведена предварительная обработка и последующая нейросетевая экстраполяция оценивая НИД ВУЗов. _ _ _ _

Рис. 6 Апроксиимирующие кривые за 2004, 2005, 2006 год 1. Самоорганизующиеся карты (Кохонена) (СОК) позволили обрабатывать произвольное количество параметров для произвольного количества объектов (ВУЗов), используя ряд настраиваемых характеристик: размер сети, топология сети, размер обучающего множества, количество шагов обучения. В сети Кохонена всего два слоя: входной и выходной. Разбивая исходное множество на классы, они

определили принадлежность каждого параметра к определенному классу. Многомерное пространство входных факторов в результате применения самоорганизующихся карт представлено в двухмерном виде, достаточно удобным для анализа.

Применение СОК обеспечило кластеризацию ВУЗов в соответствии с официальным рейтингом, формируемым Министерством образования и науки.

Результаты, полученные с использованием официально утвержденных методик оценки, и результаты, полученные с использованием НС, близки, результаты ранжирования полученные с помощью НС совпадают с результатами официально принятых методик на 60%.

Сеть типа радиальной базисной функции (КВБ) использована для решения задач анализа временных рядов, аппроксимации и интерполяции функций. Из радиальных элементов, каждый из которых воспроизводит гауссову поверхность отклика, состоит промежуточный слой сети. Для решения задачи комбинирования выходов скрытых радиальных элементов

"> Т»Л«Т» ТЛ ттптл-ттлттия т»*> ттттчг птт^гл»» ОЛ'ГТ! Г»гчаттца X? ТЗ С латт! ГтЛПЛТТЦТТЛЛЬ ТЭ

два этапа. В первую очередь для радиальных элементов были определены центры и отклонения; затем параметры линейного выходного слоя были оптимизированы. Расположение центров соответствовало реально присутствующим в исходных данных кластерам. Параметры выходного слоя после выбора центров и отклонений, были оптимизированы с помощью алгоритма псевдообратных матриц - стандартного метода линейной оптимизации. Число нейронов в слою = 21, функция активации типа МО. Настройка параметров проведена с помощью 100 обучающих примеров.

3. Для решения задач прогноза использованы обобщенно-регрессионные нейронные сети (С1ШК-сети), которые являются разновидность ЛВР-сети, и предназначены для решения задач регрессии с использованием ядерной аппроксимации. вММ-сеть имеет два скрытых слоя: слой радиальных элементов и слой элементов, которые формируют взвешенную сумму для соответствующего элемента выходного слоя. В выходном слое определяется взвешенное среднее путем деления взвешенной суммы на сумму весов.

Исследование проводилось на нейронной сети следующей структуры: количество нейронов в 1 скрытом слою = 8, количество нейронов во 2 скрытом слою = 6, интервал прогноза = 5, алгоритм обучения = РагТап (модифицированный алгоритм обратного распространения ошибки с автоматической коррекцией длины шага обучения). Параметры алгоритма - оптимальные, разбиение отсчетов ряда на множества - оптимальное. При следующем соотношении объемов выборок - 60-обучающее, 20-тестирующее, 20-контрольное - получено лучшее качество прогноза.

Сравнительный анализ используемых методик прогноза показал, что при использовании RBF-сети был получен min коэффициент ошибки прогноза = 0,991. В нашем случае реальный выход нейросети и желаемый выход (а это по смыслу: оценочные и реальные значения) практически совпадают. Достичь такого высокого значения коэффициента ошибки прогноза, применяя традиционные методы прогноза, практически невозможно.

Разработанные рекомендации по организации и использованию автоматизированного процесса оценки НИД ВУЗов на основе нейронных сетей содержат: системные требования, позволяющие минимизировать требования к клиентскому месту, а также снизить расходы за счёт отсутствия потребности в установке дополнительного программного обеспечения, помимо уже имеющегося стандартного, и обучении пользователей работе с ним; руководство конечным пользователям по применению разработанных программных модулей автоматизированной системы поддержки принятия решений.

Система полностью реализована в среде Matlab. В дальнейшем система может использоваться для анализа специалистами, решающими задачи подобного рода.

В заключении отражены основные выводы и результаты диссертационной работы, к которым можно отнести:

¡.Проведенный системный анализ показал, что аналитические методы оценки НИД ВУЗов за отчетный период с учетом большого числа показателей затруднено и недостаточно эффективны.

2. Предложенный нейросетевой подход к оценки НИД в виде многоуровневой иерархической структуры, в котором на первом уровне осуществляется линейная свертка показателей, на следующих уровнях используются радиально-базисные нейронные сети, которые обеспечивают объективное ранжирование ВУЗов в различных срезах.

3.Настройка сети осуществляется предварительно с помощью экспертов, а сама оценка за текущий период осуществляется автоматически, исключая влияние человеческого фактора.

4. Для оценки перспективности развития ВУЗов предложена многослойная нейронная сеть. Реальные результаты деятельности ВУЗов практически совпали с результатами, полученными МНС после ее обучения.

5. Показано, что наибольший эффект от использования нейросетевой технологии достигается при прогнозировании, который по сравнению с известными способами обеспечивает повышение точности в 2-3 раза.

6. Определены параметры СОК, радиально-базисной и обобщенно-регрессионные нейронные сетей.

7. Разработанный пакет компьютерных программ интеллектуализации оценки НИД принят к использованию в Министерстве образования и науки.

7. Разработанный пакет компьютерных программ интеллектуализации оценки НИД принят к использованию в Министерстве образования и науки.

В приложения вынесены программные модули: листинг программы сравнительной оценки НИД ВУЗов, тексты программ осуществляющий аппроксимацию, экстраполяцию исходных данных, прогноз, методические рекомендации конечному пользователю по использованию программ.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных перечнем ВАК РФ

1. Талиманчук Л.Л., Зайцев A.B. Интеллектуальная система принятия решений для оценки научной деятельности на основе многоагентной системы.// Нейрокомпьютеры - 2008-№ 7- с.85-88.

2. Талиманчук Л.Л., Зайцев A.B. Инверсно-адаптивная схема управления сложным динамическим объектом.// Нейрокомпьютеры — 2010-№1- с.34-39.

Публикации результатов работы в других изданиях

1. Талиманчук Л.Л., Синягина Е.П., и др. Нейросетевая модель прсдста^лс:::!." //M2Tep!iiJTtI VYT Мкжвепомственной научно-технической конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». -Серпухов, 2006.

2. Талиманчук Л.Л., Зайцев A.B., и др. Особенности систем управления с элементами интеллекта/ Труды XXVI Межрегиональной научно-технической конференции. - Серпухов, Серпуховской ВИ РВ, 2006.

3. Талиманчук Л.Л., Зайцев A.B. и др. Методы идентификации динамических систем с использованием нейронных сетей. // МАИ, М., Гос. науч. учр. «ГНМЦ» 2006.

4. Талиманчук Л.Л. Гибридная система экспертизы фундаментальных исследований. //Труды XVI Международного технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». - Алушта - Тула: Изд-во ТулГУ, 2007.

5. Талиманчук Л.Л., Зайцев A.B., Алгоритм обучения нечеткой сети при создании аппарата экспертизы фундаментальных исследований. //Труды XXVI Межрегиональной научно-технической конференции «Проблемы эффективности безопасности функционирования сложных технических и информационных систем». - Серпухов, 2007.

6. Разработка методических рекомендаций по оценке экономической и социальной эффективности реализуемых бюджетных целевых программ в Российской Федерации в сфере нанотехнологий. Разработка научно-обоснованной системы показателей, характеризующих состояние и развитие сектора наноиндустрии в России до 2015 года. Разработка материалов по методическому и нормативному обеспечению

Л v. >

программы развития наноиндустрии в Российской Федерации: отчет по исполнению Государственного контракта № ГР 0120.0 711560/ Московский инженерно-физический институт (государственный университет) (МИФИ); рук. Стриханов М.Н.; исполн. Талиманчук JI.JI. [и др.].-М., 2007.

7. Талиманчук Л.Л., Андреев А.И., и др. Актуальные задачи воспроизводства кадров в научно-образовательной сфере и пути их решения. //Материалы Международной летней школы молодых ученых СНГ "Интеграция и инновации - 2008". - М.: МГУ, 2008.

8. Талиманчук Л.Л., Зайцев A.B. Многоагентные системы интеллектуальной поддержки принятия решений для оценки научной деятельности. //Труды XXVII Межрегиональной научно-технической конференции. - Серпухов, 2008.

9. Анализ состояния и прогноз развития научного потенциала подведомственных Рособразоанию учреждений: отчет по исполнению Государственного контракта № Ф 426/, рук. Емелин Н.М., исполн. Талиманчук Л.Л. [и др.]. - М.: 2008.

10. Мониторинг процесса реализации и анализ результативности научно-исследовательских работ, выполняемых в рамках ФЦПРО: отчет по исполнению Государственного контракта № П679 / Федеральное государственное научное учреждение «Государственный научно-методический центр», рук. Сороколетов П.Г.; исполн. Талиманчук Л.Л. [и др.].-М.:, 2008.

11. Разработка системы информационно-аналитической поддержки научной деятельности молодых ученых по приоритетным направлениям развития науки, технологий и техники в Российской Федерации: отчет по исполнению Государственного контракта № 02.521.11.1020 / ФГНУ «Государственный научно-методический центр», рук. Емелин Н.М..; исполн. Талиманчук Л.Л. [и др.]. - М.:, 2008.

12. Аналитическое обеспечение реализации федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы в 2009-2010 годах: отчет о по исполнению Государственного контракта № П 70, №ГР 13244.7709046150.09.1.007.7/ Государственное образовательное учреждение высшего профессионального образования «Российский государственный университет инновационных технологий и предпринимательства», рук. Харин A.A. исполн. Талиманчук Л.Л. [и др.]. - М: 2010 г.

13. Разработка системы мониторинга, анализа, прогнозирования и формирование рекомендаций по рациональной организации деятельности научно-образовательных центров национальной нанотехнологической сети (НОЦ ННС): отчет о выполнении работ (оказании услуг) для государственных нужд. Федеральное государственное научное учреждение «Государственный научно-методический центр», рук. Сороколетов П.Г. исполн. Талиманчук Л.Л. [и др.]. -М: 2010 г..

Введение

1. Анализ действующей системы оценки научной деятельности 13 высших учебных заведений

1.1 Анализ подходов и методов оценки НИД

1.2 Особенности информационных систем, используемых для 47 поддержки принятия решений

1.3 Общие подходы к созданию систем поддержки принятия решении

1.3.1 Критерий эффективности

1.3.2 Главный критерий и взвешенная сумма 57 1.3 .ЗНепосредственное назначение важностей показателей

1.3.4 Метод парных сравнений

1.3.5 Критерий «эффективность — стоимость»

1.3.6 Метод «Идеальной точки»

1.3.7 Медиана Кемени

1.3.8 Метод последовательных уступок

1.3.9 Парето-оптимальность

1.3.10 Методы группы «Электра» 69 1.4 Постановка задачи исследования

Выводы по 11 главе

2. Метод интеллектуализации оценки НИД ВУЗов

2.1 Формирование и структурирование обобщённых индикаторов 79 НИД ВУЗов

2.1.1 Метод обобщенного критерия и целевого 79 программирование.

2.1.2 Формирование и структурирование обобщенных 85 индикаторов, характеризующих НИД

2.2 Основные этапы метода интеллектуализации оценки НИД 87 ВУЗов

2.2.1 Структура метода интеллектуализации оценки

§

2.2.2 Анализ данных и определение общих закономерностей 89 преобразования информации

2.2.3 Выбор средств интеллектуализации

2.2.4 Разработка модели нейронной сети для оценки.НИД ВУЗов

2.2.5 Разработка программно-методического комплекса и проведение экспериментальных исследований

2.3 Реализация модели нейронной сети Ю

2.3.1 Выборка и обработка данных Ю

2.3.2 Формирование обучающего множества ц^

2.3.3 Формирование модели сети и обучение

2.3.4 Анализ результатов обучения сети

2.1.5 Обработка оставшихся данных и построение диаграммы \2Ъ эффективности

2.4 Сравнительный анализ различных подходов по оценке НИД ¡26 ВУЗов

Выводы по 2 главе

3. Прогноз НИД ВУЗов

3.1 Приближенное изображение функциональной зависимости

3.2 Модель нейрона и архитектура сети

3.3 Аппроксимация с последующей экстраполяцией

3.4 Проверка сети

3.5 Анализ обобщённых характеристик

3.6 Сравнение эффективности НИД ВУЗов по выбранным 144 показателям

3.7 Сравнительный анализ методов прогноза

3.8 Системные требования 146 Выводы по 3 главе 148 Заключение 150 Список использованных источников 152 Приложение 1 164 Приложение 2 ' 166 Приложение 3 170 Приложение 4 173 Приложение 5 174 Приложение 6 175 Приложение 7 178 Приложение 8 179 Приложение

Положение государств в современном мире во многом определяется их интеллектуальным потенциалом, качеством профессиональной подготовки специалистов и уровнем развития науки. Именно наука является катализатором технического прогресса, оказывает решающее влияние на состояние экономики, способствует стабилизации внутригосударственной, социально-экономической обстановке, укреплению внешнеполитических позиций.

Единство исследовательского и образовательного процессов, свойственное российской науке, позволяет реализовывать функции получения новых знаний посредством проведения фундаментальных и прикладных научных исследований и использовать их результаты в процессе подготовки квалифицированных кадров, внедрять разработанные в секторе науки новые технологии, технику и инновации в организациях и на предприятиях. Наряду с академическим и отраслевым секторами науки ВУЗовский сектор обладает большими возможностями, поскольку в нем, с одной стороны, разрабатывается научно-техническая продукция, создаются инновационные разработки и, с другой, осуществляется подготовка квалифицированных специалистов, способных внедрять эти и другие новейшие научно-технические достижения во все сферы хозяйственной деятельности.

Необходимость расширения участия ВУЗовского сектора науки в формировании экономики, основанной на знаниях, определяется высокой способностью высшей школы к самосохранению своего научного потенциала, что подтверждается результатами её деятельности в период экономического кризиса в России, а также тем фактом, что в настоящее время высшая школа России еще располагает значительным научным потенциалом.

В условиях рыночной экономики проблемы управления высшим учебным заведением приобретают первостепенное значение. Их актуальность определяется интенсивным развитием многоукладного характера деятельности ВУЗов и ВУЗовских кампусов, многообразием источников финансирования, обилием видов и форм учебной, научной, производственной и хозяйственной деятельности, необходимостью адаптации к постоянно меняющейся инфраструктуре российской экономики, потребностью анализа рынка образовательных услуг и рынка труда.

Актуальность темы диссертации. Эффективность образовательной и научной деятельности высших учебных заведений в современных условиях определяется своевременностью и качеством управленческих решений, принимаемых в условиях неопределенности и риска, жестких временных ограничений, неполноты и недостоверности информации. Важная роль в этих процессах отводится активному применению современных информационных технологий, способствующих повышению качества, сокращению времени и снижению трудоемкое/и принятия управленческих решений.

Одним из актуальных направлений применения современных информационных технологий в управлении ВУЗами сегодня является автоматизация контрольно-оценочных процессов и прогнозирования проблемных областей, или контуров информатизации — административного управления и управленческого учета, финансов, управления информационными ресурсами, управления образовательным процессом и научными исследованиями.

Сегодня основным источником информации для анализа деятельности служат плановые и отчетные документы, регулярно представляемые в вышестоящие органы управления, а также заключения проверочных комиссий. Накопленные данные хранят в себе большие потенциальные возможности по извлечению аналитической информации.

Существующие математические и программно-технические средства автоматизации исследования деятельности ВУЗов (организаций) Рособразования связаны как с анализом текущего состояния деятельности, так и с планированием перспективы развития. Их разнообразие определяется тенденцией к созданию каждым ВУЗом собственного набора автоматизированных информационных систем (ИИ), отличающихся функциональностью, большинство из которых имеют множество недостатков. Основные недостатки - это субъективизм, низкая достоверность исходной информации и, как следствие, низкое качество результатов оценки, закрытость, большие трудозатраты на разработку и реализацию.

Одним из направлений совершенствования системы управления является интеллектуализация контрольно-оценочных процессов и прогнозирования научно-исследовательской деятельности ВУЗов (организаций) для обеспечения повышения и эффективности функционирования сектора научных исследований и разработок и инновационной системы в высшей школе.

С момента создания автоматизированных систем управления неоднократно предпринимались попытки решения задач оценки и прогнозирования деятельности, однако, ввиду отсутствия соответствующей технической базы, инструментальных программных средств и реализованных в программных системах моделей, основанных на методах искусственного интеллекта, данное ьаправление получило развитие только в настоящее время. Следует отметить, что существующие методы и разработки, а также востребованные программные и технические средства используются как стартовый уровень для интеллектуализации процессов автоматизации оценки и прогноза НИД ВУЗов.

Разработка современных автоматизированных систем анализа научной деятельности становится одним из приоритетных направлений в обслуживании и в обеспечении качества научно-исследовательской деятельности в ВУЗе. Проблемы разработки автоматизированных систем в ВУЗе освещены в работах Роберт И.В., Денисова A.A., Венсковского Н.У., Емелина Н.М., Зайцева A.B., Козлова O.A., Титоренко Г.А. и др. В целом ряде работ рассматривалась проблема оценки научной деятельности, начиная от оценки заявок на выполнение научных проектов до оценки организации, качества и результативности научной деятельности, это работы Маслова В.Г.,

Новикова Д.А., Бомаса В.В., Романенко Ю.А., Павлова A.A., Данилюка С.Г., Оливье A.JL и др. Вопросам инженерии знаний и разработки интеллектуальных информационных систем посвящены работы Т.А. Гавриловой, В. Ф. Хорошевского, Ю.В. Тельнова и др.

Активизация научно-исследовательской деятельности высшей школы, как на федеральном, так и региональных уровнях, усложнение методов, видов, форм научно-исследовательской деятельности и среды управления, требований к характеру труда, увеличение рисков и негативных последствий принятия неоптимальных управляющих решений, сокращение времени на диагностику и оценку, увеличение объема анализируемой информации, необходимой для выработки и принятия оптимального управляющего решения, неопределенность в процессах принятия решений делают актуальным интеллектуализацию процесса автоматизации оценки НИД ВУЗов.

Необходимость совершенствования информационного и методического обеспечения автоматизированных систем оценки научно-исследовательской деятельности ВУЗов в соответствии с изменяющимися требованиями экономики определили выбор темы, цели и задачи диссертационного исследования.

Объектом исследования в настоящей работе является научно-исследовательская деятельность высших учебных заведений.

Предметом исследования является автоматизированная система, создаваемая для анализа и прогноза НИД.

Целью диссертационной работы является совершенствование информационного и методического обеспечения автоматизированных систем оценки эффективности научно-исследовательской деятельности ВУЗов, что позволит в свою очередь повысить эффективность управленческих решений.

Для достижения поставленной цели в работе последовательно решены следующие частные задачи:

1. Проведён анализ практики использования информационных систем поддержки принятия решений по оценке научно-исследовательской деятельности ВУЗов, предприятий, организаций.

2. Оценены возможности функционирующих систем мониторинга научных ресурсов ВУЗов и подведомственных Рособразованию учреждений.

3. Проанализированы показатели и критерии, характеризующие состояние и результативность научно-исследовательской деятельности ВУЗов и подведомственных Гособразованию учреждений и реализуемые подходы к их оценке.

4. Исследованы особенности проектирования и настройки нейросетевых моделей, эффективность алгоритмов обучения и проектирования оптимальной нейросетевой структуры.

5. Разработан алгоритм построения классификатора на основе самоорганизующихся карт.

6. Получена модель прогноза научно-исследовательской деятельности ВУЗов на основе нейронных сетей.

7. Предложены методические рекомендации по использованию разработанного инструмента для оценки и прогноза.

8. Сформулированы предложения по повышению качества информационного обеспечения лиц, принимающих решение, для оперативного анализа и управления деятельностью ВУЗа с использованием разработанного метода интеллектуализации оценки и прогноза эффективности научно-исследовательской деятельности на основе нейросетевых технологий.

Научная задача, решаемая в диссертационной работе, состоит в разработке метода интеллектуализации автоматизированной системы поддержки принятия решений по оценке НИД высших учебных заведений, обеспечивающего повышение качества управления, что послужит основой для принятия рациональных и эффективных управленческих решений, направленных на формирование сбалансированного сектора научных исследований и разработок инновационной системы.

Методологические основы и методы исследования. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, математической статистики, методах математического моделирования, нейроинформатики.

Моделирование процесса проведено в пакете прикладных программ МаЙаЬ и его приложения 8шшНпк, экспериментальные исследования с использованием математических пакетов МаШСАО и в гей.

Научная новизна исследования состоит в следующем:

1. Предложен подход к построению иерархической структуры обобщения показателей НИД, когда на первом уровне используется линейная, а на вышестоящих - нейросетевые свертки, сравнительная оценка которых позволяет проранжировать ВУЗы по заданным показателям.

2. Разработанные нейросетевые алгоритмы обладают способностью принимать интеллектуальные решения в определении результативности и эффективности деятельности ВУЗов за отчетный период, исключая влияние нечеткости, неопределенности, человеческого фактора.

3. Показано, что наибольший эффект достигается при нейросетевом прогнозировании НИД, точность которого максимальна в случаях колебательного характера динамики развития ВУЗов.

Практическая значимость исследования определяется тем, что разработка информационного и методического обеспечения автоматизированных систем оценки НИД ВУЗов позволяет повысить эффективность функционирования автоматизированных систем оценки НИД и качество управленческих решений в сфере НИД ВУЗов.

Разработанные программные средства позволяют конечному пользователю, не обладающему профессиональными знаниями в области ИИ и НС, решать конкретные практические задачи, пригодны для практического использования на этапах проектирования и опытной отработки.

Реализация результатов исследования направлена на решение текущих и перспективных задач Рособразования, на совершенствование и развитие автоматизированных систем оценки НИД ранее внедренных в эксплуатацию в системе высшей школы на различных уровнях управления научной деятельностью.

Этапы исследования. Исследования проводились в три этапа.

На первом этапе (2005-2006 гг.) проводились сбор и анализ информации о функционирующих информационных системах, предназначенных для использования в ВУЗах и подведомственных Рособразованию учреждений, показателях (индикаторах), характеризующих состояние и результативность НИД ВУЗов и подведомственных Рособразованию учреждений, и реализуемых подходах к их оценке.

На втором этапе (2006-2008 гг.) определены основные этапы автоматизации процесса оценки НИД, метода оценки, проведена разработка и апробация программного комплекса оценки НИД.

На третьем этапе. (2008-2010 гг.) осуществлялась экспериментальная проверка эффективности автоматизации процесса оценки НИД ВУЗов, систематизация и обобщение полученных результатов, проводился их количественный и качественный анализ, формулировались выводы, проводилась доработка программ, с целью их адаптации к изменениям в нормативно-методических материалах «Порядок и форма представления отчета о научной деятельности высших образовательных заведений и организаций, подведомственных Федеральному агентству по образованию», формулировались выводы, оформлялся текст автореферата и диссертации.

Апробация работы.

1. Результаты проведенных исследований докладывались и получили одобрение на: XXI Межведомственной научно-технической конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем» - Серпухов 2006 г.; XXV Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» — Серпухов 2006 г.; XXVI Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» - Серпухов 2007 г.; XVI Международном техническом семинаре «Современные технологии в задачах управления, автоматики и обработки информации» — Алушта 2007 г.; Международной летней школе молодых ученых СНГ "Интеграция и инновации» - Москва, 2008 г.; II Международной НПК "Информационные технологии в образовании, науке и производстве" - Серпухов 2008 г.; XXVII Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» — Серпухов 2008 г.; Юбилейной Международной научно-практической конференции «Развитие отечественной системы информатизации образования в здоровьесберегающих условиях» и научно-методическом семинаре «Информационные и коммуникационные технологии в образовании» - Москва 2009 г.

2. Результаты работы использовались: при проведении работ по теме «Разработка процедур экспертизы фундаментальных исследований в высшей школе (во взаимодействии с РАН)», в рамках АВЦП «Развитие научного потенциала высшей школы (2006-2008 годы); при проведении работ по теме «Оценка состояния и результативности научной и научно-образовательной деятельности в системе высшей школы и анализ ее научного потенциала», в рамках АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)»; при проведении работ в рамках исполнения ГК № ГР 0120.0 710525 по теме «Разработка системы информационно-аналитической поддержки научной деятельности молодых ученых по приоритетным направлениям развития науки, технологий и техники в Российской Федерации» в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы»; при проведении работ в рамках исполнения ГК № ГР 0120.0 711560 по теме

Разработка материалов по методическому и нормативному обеспечению программы развития наноиндустрии в Российской Федерации»; при проведении работ в рамках ГК № 2487 по теме «Автоматизация процессов информационно-аналитической обработки результатов мониторинга для оперативного управления ходом реализации Федеральной целевой программы «Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008-2010 годы»; при проведении работ в рамках исполнения ГК № П70, №ГР 13244.7709046150.09.1.007.7 по теме «Аналитическое обеспечение реализации федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы в 2009-2010 годах.

Автор выражает признательность за научные консультации, проведенные в ходе диссертационных исследований, докторам наук Румянцеву Г.Н. и Гаврилову B.C.

Основные положения, выносимые на защиту:

1. Метод интеллектуализации автоматизированной оценки НИД ВУЗов на основе искусственных нейронных сетей.

2. Алгоритм построения классификатора НИД на основе самоорганизующихся карт и его реализация.

3. Модель прогноза развития ВУЗов на основе радиально-базисной нейронной сети и реализация разработанной модели.

Диссертация состоит из введения, трех глав, заключения, библиографического списка и приложений. Диссертация содержит 186 страниц машинописного текста, 33 рисунка, 13 таблиц, 9 приложений.

Выводы по третьей главе

1. Разработанная система оценки и прогноза НИД имеет ряд преимуществ по сравнению с другими методами решения поставленной задачи, а именно:

- автоматизированная обработка входных данных;

- визуальный анализ входных данных и результатов работы системы;

- возможность обработки ранее неизвестных данных за счет механизмов обучения и обобщения;

- возможность обработки больших массивов данных;

- минимизация знаний пользователя системы;

- гибкая настройка параметров системы.

2. Система в дальнейшем может использоваться для анализа специалистами, решающими задачи подобного рода.

3. Разработан тестовый пример для предложенного метода на основании прогнозирования информационных процессов: ступенчатой функции и критерии оценки ВУЗов. Проведенные в данной предметной области эксперименты показали высокую точность прогнозирования. На основании проделанных экспериментов возможно построение конечного программного продукта.

4. Создание универсального интеллектуального аппарата на основе предложенной методики позволяет анализировать информацию из различных источников любого объема, проводить сравнительный анализ во времени, в пространстве как на макро- (в масштабах страны), так и на микроуровне (ВУЗов, факультетов, НИИ, кафедр, лабораторий), по отдельным учебным заведениям, группам учебных заведений, субъектам РФ, федеральным округам, профилю и отраслевой принадлежности, обеспечивая тем самым своевременность и качество управленческих решений, принимаемых в условиях неопределенности и риска, жестких временных ограничений, неполноты и недостоверности информации, экономической целесообразности.

5. Следование предложенной методике интеллектуализации, применение эффективных алгоритмов кластеризации, моделей прогноза и поддержки принятия решений обеспечивает лиц, принимающих решение, агрегированной информацией, которая, с одной стороны, включает минимальное количество показателей, а с другой стороны, позволяет выявлять существенные, с точки зрения управляющего органа, различия состояний управляемой системы. Сложная иерархическая структура используемых критериев оценки не является раз и навсегда заданной, а непрерывно развивается в зависимости от целей и объектов оценивания.

Разработанные рекомендации по организации и использованию автоматизированного процесса оценки НИД ВУЗов на основе нейронных сетей содержат: системные требования, позволяющие минимизировать требования к клиентскому месту, а также снизить расходы за счёт отсутствия потребности в установке дополнительного программного обеспечения, помимо уже имеющегося стандартного, и обучении пользователей работе с ним; руководство конечным пользователям по применению разработанных программных модулей автоматизированной системы поддержки принятия решений.

Система полностью реализована в среде МаНаЬ. В дальнейшем система может использоваться для анализа специалистами, решающими задачи подобного рода.

Внедрение метода интеллектуализации автоматизированной оценки НИД ВУЗов на основе искусственных нейронных сетей позволит:

• Повысить эффективность НИД вузов (организаций).

• Повысить прозрачность и управляемость процессов НИД.

• Повысить качество учета и контроля результатов и эффективности

НИД.

• Сократить время подготовки и формирования различных видов отчетов.

Заключение

Целью проведённых исследований является совершенствование информационного и методического обеспечения автоматизированных систем оценки эффективности научно-исследовательской деятельности вузов, что позволит в свою очередь повысить эффективность управленческих решений.

Методологическую основу работы составляют системный и комплексный подходы к анализу НИД ВУЗов и группы показателей её ресурсного обеспечения. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, математической статистики, методах математического моделирования, нейроинформатики. Моделирование процесса проведено в пакете прикладных программ Matlab и его приложении Simulink.

Информационную базу работы составил массив целевых индикаторов и показателей научных исследований в РФ в средне- и долгосрочной перспективе.

К результатам диссертационной работы можно отнести:

1. Проведенный системный анализ показал, что аналитические методы оценки НИД ВУЗов за отчетный период с учетом большого числа показателей затруднено и недостаточно эффективны.

2. Предложенный нейросетевой подход к оценки НИД в виде многоуровневой иерархической структуры, в котором на первом уровне осуществляется линейная свертка показателей, на следующих уровнях используются радиально-базисные нейронные сети, которые обеспечивают объективное ранжирование ВУЗов в различных срезах.

3. Настройка сети осуществляется предварительно с помощью экспертов, а сама оценка за текущий период осуществляется автоматически, исключая влияние человеческого фактора.

4. Для оценки перспективности развития ВУЗов предложена многослойная нейронная сеть. Реальные результаты деятельности ВУЗов практически совпали с результатами, полученными МНС после ее обучения.

5. Показано, что наибольший эффект от использования нейросетевой технологии достигается при прогнозировании, который по сравнению с известными способами обеспечивает повышение точности в 2-3 раза.

6. Определены параметры СОК, радиально-базисной и обобщенно-регрессионные нейронные сетей.

7. Разработанный пакет компьютерных программ интеллектуализации оценки НИД принят к использованию в Министерстве образования и науки.

1. Новиков Д.А., Суханов A.JI. Модели и механизмы управления научными проектами в ВУЗах М.: Институт управления образованием РАО, 2005 80 с.

2. Авдулов А.Н., Кулькин A.M. О показателях развития науки.// Вестник РФФИ.-1997.- № 4 (10).

3. Тодосейчук A.B. Оценка качества результатов научно-технической деятельности. М.: РАГС, 1999.

4. Бобровников Г,Н., Клебанов А.И, Прогнозирование и управление техническим уровнем и качеством продукции: Учебное пособие. /М.: Изд-во стандартов, 1984. 232 с.

5. Комплексная оценка высших учебных заведений: Учеб. пособие // В. Г. Наводнов, Е. Н. Геворкян, Г. Н. Мотова, М. В. Петропавловский. Москва; Йошкар-Ола: Науч.-информ. центр гос. аккредитации, 2001. 192с.

6. Балаян Г.Н., Жариков Г.Г., Комков Н.И. Информационно-логические модели научных исследований. М.: Наука, 1978. 344 с.

7. Монфор А.О. Оценка результативности научного труда. По данным научных учреждений США//Вест. АН СССР. 1980. № 9.

8. Емелин Н.М., Шведова Е.А. Научно-исследовательская работа: планирование, организация, контроль. — М.: ФГНУ "Интерфизика", 2007. — 368 с.

9. Татаринов Ю.Б. Проблемы оценки эффективности фундаментальных исследований: логико-методологические аспекты. М.: Наука, 1986. — 230 с.

10. Берехтина Е.И. Комплексная оценка значимости научно-исследовательских работ. // Науковедение и информатика. — 1992. № 3.

11. Методические рекомендации для ВУЗов и ССУЗов по организации и проведению самооценки эффективности функционирования систем управления в области менеджмента качества на основе модели совершенствования деятельности. Санкт-Петербург: ЛЭТИ. 2005.

12. Оценка состояния и результативности научной и научно-образовательной деятельности в системе высшей школы и анализ ее научного потенциала: отчет по НИР /ФГНУ «Государственный научно-методический центр», рук. Зайцев A.B. М.: 2009-2010.

13. Постановление Правительства РФ от 14.07.2008 N 522 "Об утверждении Положения о государственной аккредитации образовательных учреждений и научных организаций".

14. Каплан Р. Сбалансированная система показателей / Р. Каплан, Д Нортон — М.: «Диалектика», 2006. -380 с.

15. Оливье AJI Сбалансированная система показателей. Практическое руководство по использованию / Ольве AJI, Нил ьоГоран Е А М.: «Омега-JI», 2006.—638 с.

16. Венсковский НУ. Отчет по проекту № 5465. «Информационно-аналитическая система (программный комплекс) сопровождения научно-исследовательской деятельности многопрофильного классического университета». Российский университет дружбы народов. Москва2006 г.

17. Управление качеством научно-исследовательской деятельности в университетском комплексе: принципы, подходы, опыт: монография / Под общ. ред. Н.П Макаркина, В.Д Черкасова, С Л Пахомова—Саранск: Изд-во Мордов. ун-та, 2008. -248 с.

18. Москвитин В.Г., Волкова АН, Фрейд ДА, Марьина Н.В. Эффективность математических методов оценки научно-технического уровня НИР и анализа функционирования объектов.—М: Экономика и коммерция, 1995,№2.

19. Хазанова ЛЭ. Математические методы в экономике. M.: БЕК, 2002. Гл. 6.

20. Маслов В.Г. Научно-методический аппарат экспертной оценки эффективности научной деятельности высшего военного учебного заведения. Дисс. на соискание уч. ст. кандидата технических наук. -М: Институт информатизации образования РАО, 2005.

21. Марков БЛ Организация данных в системах мониторингаУ/ Высокопроизводительные вычислительные системы и микропроцессоры. Сборник научных трудов ИМВС РАН за2000 г. -М, 2000.

22. Подиновский ВВ. Магемашческая теория выработки решений в сложных стуациях: Учебник.-М.: МО СССР, 1981.-211с.

23. Костылев, АА Статистическая обработка результатов экспериментов / ААКостылев, П.ВМиляев, Ю.ДДорский и др. Л.: Энертоатомиздат, 1991.

24. Ларичев О.И., Мечитов АИ., Мошкевич ЕМ, Фуремс ЕМ Выявление экспертных знаний (процедуры и реализация). —М.: Наука, 1989.

25. Заде Л.А Понятие лингвистической переменной и его применение к принятию приближенных решений. -М: Мир, 1976.

26. Штовба С. Д Введение в теорию нечетких множеств и нечеткую логику. Учебник для вузов. -Винница: Коншнент-ПРИМ, 1997.

27. Гриняев СН. Нечеткая логика в системах управления // Компьютерра—2001, №38.

28. Емелин НМ, Тараброва И.Н. Подход к обоснованию показателей для оценки научной деятельности российских молодых ученых. -М: Вестник МАИ, 2009, № 4.

29. Арутюнов ВВ. Методы оценки результатов научных исследований. Учебное пособие для вузов. -М: МГУКИ, 2004.

30. Оценка эффективности и разработка предложений по модернизации системы показателей и критериев оценки НИД вузов: отчет о НИР // ФГНУ «Аналитический центр мониторинга научных ресурсов», рук. Синягина ЕЛ; исполн. Емелин НМ. и др.. М: 2006.

31. Подиновский В.В. Теоретические основы выработки решений в сложных ситуациях: Учебное пособие. -М.: МО СССР, 1978.-158с.

32. Экспертные системы. Принципы работы и примеры: Пер. с англ. /А. Брукияг, П. Джонс, Ф. Кокс и др.; Под ред. Р. Форсайта. Радио и связь, 1987.- 224 с.

33. Попов Э.В. Экспертные системы: Решение неформальных задач в диалоге с ЭВМ, М.:Каука, 1987. - 288 с.

34. Джексон, П. Введение в экспертные системы / Пер. с англ.: Уч. Пос. -М.: Издательский дом «Вильяме», 2005. 624 е.: ил.

35. Разработка процедур экспертизы фундаментальных исследований в высшей школе (во взаимодействии с РАН): отчет о НИР // ФГНУ «Госметодцентр», рук. Зайцев A.B. — М.: 2008.

36. Подиновский В.В., Потапов М .А. Методы анализа и системы поддержки принятия решений / Учебное пособие (МФТИ). М .: Спутник +, 2003.

37. Дайк ван Н. Двадцать лет ранжирования университетов. //Высшее образование в Европе, 2005, №2.

38. Нян Кай Лю и Инь Чень. Академический рейтинг университетов мира. // Высшее образование в Европе, 2005, №2.

39. Йенс-Петер Гауль. Оценка, контроль и независимость: макроскопическая точка зрения. // Высшее образование в Европе, 2005, №2.

40. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях. Тюмень: Издательство Тюменского государственного университета, 2000.

41. Поспелов, Г.С. Системный анализ и искусственный интеллект / Г.С. Поспелов. М.: ВЦ АН СССР, 1980. - 48 с.

42. Бомас В.В., Судаков В.А., Афония К.А. Поддержка принятия многокритериальных решений по предпочтениям пользователя. СППС DSS/UTSS/ Под общей редакцией В.В. Бомаса. М.: Изд-во МАИ, 2006. - 172 е.: сл.

43. Разработка системы поддержки планирования кадрового потенциала высшей квалификации в высших учебных заведениях (научных организациях): отчет по НИР /ФГНУ «Государственный научно-методический центр», рук. Зайцев А.В.;-М.: 2009.

44. Салькова Н.Е. Совершенствование механизмов формирования приоритетов в научно-технической сфере высшей школы. Диссертация на соискание ученой степени кандидата экономических наук. — М.: МГУПИ,2007.

45. Совершенствование механизмов интеллектуально-информационного обеспечения управления научными исследованиями: отчет о НИР // ФГНУ «Госметодцентр», рук. Емелин Н.М. — М.: 2006.

46. Глущенко В.В., Глущенко И.И. Разработка управленческих решений Прогнозирование планирование, теория проектирования экспериментов. -М.: Крылья, 1997.

47. Тихонов А.Н., Цветков В.Я. Методы и системы поддержки принятия решений. М.: МАКС Пресс, 2001. - 312 с.

48. Орлов А.И. Теория принятия решений Учебное пособие. — М.: Издательство «Март», 2004.

49. Лукичева Л.И., Егорычев Д.Н. Управленческие решения. Учебник 4-е изд., стер. М.: Омега-Л, 2009. - 383 с.

50. Ландэ Д.В., Фурашев В.М., Григорьев О.М. Программно-аппаратный комплекс информационной поддержки принятия решений. Научно-медодическое пособие. К.: TOB "Инжиниринг", 2006. —48 с.

51. Попов Э.В. и др. Динамические интеллектуальные системы в управлении и моделировании. Мат. Семинар. МИФИ, 1996, 141 с.

52. Поспелов, Д.А. Ситуационное управление: теория и практика / Д.А. Поспелов. М.: Наука, 1986. - 282 с.

53. Арсеньев, С.Б. Использование технологии анализа данных в интеллектуальных информационных системах / Арсеньев С.Б., Бритков В.Б., Маленкова H.A. М.: УРСС, ИСА РАН, 2006. - 714 е.: ил.

54. Абдрахимов Д., Иоффин А. Поддержка принятия решений: взгляд на место информационно-аналитических технологий ППР в арсенале банковского аналитика//Банковские технологии. 1997. №4. С. 24-27.

55. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник. — М.: Логос, 2000.

56. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. — М.: Радио и связь, 1993.

57. Thomsen Е. Decision Alchemy//Decision Support. Intelligent Enterprise Volume 1 — № 1, 1998.

58. Адоладов К.Г., Бомас B.B. Автоматизированная система мониторинга факультета//Современные технологии в задачах управления, автоматики и обработки информации: Сборник трудов XI международного научно-технического семинара. М.: МГАПИ, 2002.

59. Вагнер Г. Основы исследования операций. Т. 2. — М.: Мир, 1973.

60. Дегтярев Ю.И. Исследование операций. — М.: Высш. шк.,1986.

61. Шишкин Е.В., ЧхартишвилиА.Г. Математические методы и модели в управлении: Учеб. пособие. — М.: Дело, 2000.

62. Литвак Б.Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь, 1982.

63. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения: Пер. с англ./Под ред. И.Ф. Шахнова. — М.: Радио и связь, 1981.

64. Артамонов Г.Т., Брехов М.О, Любатов Ю.В. и др. Теория проектирования вычислительных машин, систем и сетей/Под ред.В.И. Матова. — М.: Изд-во МАИ, 1999.

65. Временная методика определения рейтингов специальностей и вузов, утвержденная приказом Минобразования России от 19.02.2003 N 593. http://www.ed.gov.ru .

66. Дюк, В. Data mining — интеллектуальный анализ данных / В. Дюк -М.: «Финансы и статистика», 2006. — 380 е.: ил.

67. Гаскаров, Д.В. Интеллектуальные информационные системы / Д.В. Гаскаров. М.: Высш. школа, 2003. - 431 с.

68. Поспелов Д.А. Справочник по искусственному интеллекту в 3-х т.

69. Под ред. Попова Э.В. и Поспелова Д.А. М.: РиС, 1990. ИИ. 3 тома. Модели и методы, гл. 1-2, с. 7-102

70. Саймон Хайкин. Вильяме. Нейронные сети. Полный курс. 2-е издание. Москва-Санкт-Петербург-Киев: Издательский дом «Вильяме» 2006.

71. Лебедев Г.Н., Балашова Н.М. Интеллектуальные системы управления.- М.:МГГУ, 2000.-118с.

72. Лорьер, Ж.-Л. Системы искусственного интеллекта / Ж.-Л. Лорьер. -М.: Мир, 1991.

73. Электронный ресурс. Научные статьи и диссертации по прикладному использованию нейронных сетей лаборатории CIS хельсинского технического университета, http: / /lib.tkk.fi/Diss/

74. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика — М.: Горячая линия — Телеком 2002. — 382 с.

75. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. — М.: Горячая линия Телеком, 2004. - 452 с.

76. Картавцев В.В. Нейронная сеть предсказывает курс доллара// Компьютеры + программы 1993 - N 6 (7) - с. 10-13

77. Соколов E.H., Вайтнявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру.- М.: Наука, 1989. С. 283.

78. Барцев С.И. Некоторые свойства адаптивных сетей (программная реализация).-Красноярск: Институт физики СО АН СССР, 1987.

79. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки 1992-N 11 - N 12-е. 103-107.

80. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956.

81. Розенблат Ф. Аналитические методы изучения нейронных сетей.// Зарубежная радиоэлектроника. 1965 - N 5 - с. 40-50.

82. Чертков М., Грималюк А. Методика валютного прогнозирования.// Одесские деловые новости 1995 - май N 16 - с. 4.

83. Amari S. Field theory of self-organizing neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. P. 741.

84. Athale R., Stirk C.W. Compact architectures for adaptive neuraal nets//Ibid. 1989. V.28.N4.

85. Bardcev S.I., Okhonin V.A. The algorithm of dual functioning (back-propagation): general approach, vesions and applications. Krasnojarsk: Inst, of biophysics SB AS USSA 1989.

86. Тихонов Э.Н. Методы прогнозирования в условиях рынка: учебное пособие. Невинномысск, 2006 г. — 221 с.

87. Максимов В.А. Прогнозирование доходности инвестиций на фондовом рынке //Экономика и математические методы, 2001. Т. 37-№1.

88. Льюис К.Д. Методы прогнозирования экономических показателей. / Пер. с англ. Демиденко Е.З. — М.: Финансы и статистика, 1986 г. — 132 с.

89. Аргуткина Н.Л. О совершенствовании методов прогнозирования, основанных на экспоненциальном сглаживании. Конф. Маркетологов ВНПК «Прогнозирование» Режим доступа http://marketing.spb.ru/conf.

90. П.Г. Круг Нейронные сети и нейрокомпьютеры. Учебное пособие по курсу «Микропроцессоры» для студентов, обучающихся по направлению «Информатика и вычислительная техника» М.: Изд-во МЭИ 2002 www.pdffactory.com

91. ЮЗ.Конюшенко В.В. Начало работы с Matlab. Перевод с английского. Электронный УМК 2009 73 стр.

92. В.Г. Потемкин Система инженерных и научных расчетов Matlab. 5.x т. 1, т.2. Диалог МИФИ. 1999.

93. С.П. Иглин. Теория вероятностей и математическая статистика на базе Matlab.

94. Юб.Медведев B.C., Потемкин В.Г. Нейронные сети. Matlab 6 /Под общ. ред. К.т.н. В.Г. Потемкина. М.: ДИАЛОГ -МИФИ, 2002. - 496 с.

95. Яковлев B.JT., Яковлева Г.Л., Лисицкий Л.А. Создание математических моделей прогнозирования тенденций финансовых рынков, реализуемых при помощи нейросетевых алгоритмов. Режим доступа http://neurnews.in4.bmstu.ru/neurnews.html.

96. Талиманчук Л. Л., Зайцев A.B. Многоагентные системы интеллектуальной поддержки принятия решений для оценки научной деятельности. //Труды XXVII Межрегиональной научно-технической конференции. Серпухов, 2008.

97. Зайцев A.B., Талиманчук Л.Л, Интеллектуализация анализа научно-исследовательской деятельности высших учебных заведений // Научная деятельность и научный потенциал. ФГНУ «Интерфизика» М: 2008.