автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Научно-методический аппарат экспертной оценки эффективности научной деятельности высшего военного учебного заведения

МАСЛОВ Валерий Геннадьевич

НАУЧНО-МЕТОДИЧЕСКИЙ АППАРАТ ЭКСПЕРТНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ВЫСШЕГО ВОЕННОГО УЧЕБНОГО ЗАВЕДЕНИЯ

Специальность 05.13.0б-Автоматизация и управление технологическими процессами и производствами (образование)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва-2005

Работа выполнена в Институте информатизации образования Российской академии образования в лаборатории проблем информатизации профессионального образования

Научный руководитель: кандидат технических наук, доцент

ПОЛЯКОВ Виктор Павлович

Официальные оппоненты: док-гор технических наук, доцент

ДАНИЛЮК Сергей Григорьевич кандидат технических наук, доцент СОЛОДОВА Евгения Александровна

Ведущая организация: Серпуховский военный институт РВ

Защита состоится «15» декабря 2005 г. в 15 ч. на заседании диссертационного совета К 008.004.01 в Институте информатизации образования Российской академии образования по адресу: 119121, г. Москва, ул. Погодинская, д. 8.

С диссертацией можно ознакомиться в библиотеке Институте информатизации образования Российской академии образования

Автореферат разослан «11» ноября 2005 г.

Ученый секретарь диссертационного совета

кандидат технических наук, старший научный сотрудник

В.С.ЛЫСОГОРСКИЙ

ми

2131600

Общая характеристика работы

Актуальность темы диссертации обусловлена особой ролью в повышении эффективности на\чмьп; исследований, которая принадлежит высшей школе. Высшие военные учебные заведения направляют свои усилия не только на удовлетворение потребностей страны в высококачественных военных специалистах, не только в направлении дальнейшего повышения качества их подготовки, но и на более эффективное использование научного потенциала ВВУЗов для решения актуальных научных и научно-технических задач. Это направление во многом определяет перспективы развития высшей военной школы в условиях научно-технического прогресса.

В решении задач повышения эффективности научной деятельности (НД) вузов значительную роль играет процесс совершенствования механизма оценки деятельности этих учреждений, их подразделений, которой может достигаться за счет его эффективной организации, а также разработке специализированных информационных систем реализующих механизм оценки.

Исходя из объективно сложившихся предпосылок, можно сделать вывод о необходимости создания универсального, научно обоснованного аппарата, включающего в себя автоматизированные информационные системы оценки НД, с помощью которого можно провести объективную оценку эффективности НД подразделений ВВУЗа с учетом специфики вида подразделения и имеющихся в наличии фактических возможностей.

Вопросы совершенствования процедуры оценки НД ВВУЗов рассматривали Овчаров В.И., Монфор А.О., Покровский В.А., Деркач Г.М., Рубанов АЛО. и другие специалисты. Однако в их работах не в полном объеме рассматривались проблемы формализации экспертной информации, а также проблемы автоматизации процедур оценки эффективности НД. Следовательно, дальнейшие исследования в данной области, с учетом особенностей научной деятельности ВВУЗа, остаются актуальными.

В настоящее время деятельность любого ВВУЗа не мыслима без внедрения современных информационных технологий во все сферы его деятельности.

Необходимость использования информационных технологий для повышения эффективности деятельности высших учебных заведений рассматривались в трудах: И.В.Роберт, О.А.Козлова В.И. Громыко, К.К. Колина, Ю.А Романенко, А.Я. Савельева, Б.А. Сазонова, и многих других специалистов. Однако необходимо отметить, что вопросы использования информационных технологий для создания научно обоснованного методического аппарата оценки эффективности НД ВВУЗов еще слабо изучены.

Нс.'юдс!иие лого может быть определена проблемная ситуации, сущность ко-п)1юй состой! в мрогипоречии между достоверностью оценки эффективности НД подразделений ВВУЗа. с учетом максимально возможного объема доступной информации. включающей в себя том числе и трудно формализуемые оценки, и отсутствием научно-обоснованного методического аппарата формализации подобного рода информации.

С учетом результатов анализа состояния решаемой научной задачи целью диссертации является дальнейшее совершенствование процесса управления научной деятельностью ВВУЗа.

Таким образом, объектом исследований являегся процесс научной дея-[слыюсти к ВВУЗе. а предметом - научно-методические основы оценки эффектности организации научной деятельности ВВУЗа.

Исходя из сформулированных ранее противоречия и цели исследований решаемая в диссертационной работе научная задача может быть определена как разработка научно-методического аппарата экспертной оценки эффективности научной деятельности подразделений высшего военного учебного заведения.

Основными научными результатами диссертационного исследования. выносимыми на защиту, являются:

1. Математическая модель формализации экспертной информации о состоянии научной деятельности ВВУЗа на основе лингвистических переменных (ЛГ1) «ЗНАЧИМОСТЬ» и «ОЦЕНКА».

2. Методический комплекс оценки эффективности НД структурных подразде; лений ВВУЗа.

3. Алгоритмические и информационные основы программного комплекса, реализующего процесс автоматизированной оценки эффективности НД подразделений ВВУЗа.

Достоверность результатов, полученных в диссертационной работе, подтверждается логическим обоснованием исходных положений разработанных научно-методических основ; обоснованной формулировкой задачи исследования; формулировкой вводимых в работе дефиниций; проведением компьютерного моделирования: обоснованностью основных ограничений, совпадением результатов вычисли-кмп.ного 'жеперимента с мнением экспертов.

Новизна и научная значимость математической модели формализации женергной информации о состоянии НД ВВУЗа характеризуется следующим. При ее разработке на основе анализа процесса приобретения опыта экспертом и формирования > нею знаний об организации процессов НД обосновано понятие ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА». Для определения семантики значений ЛП «ЗНАЧИМОСТЬ»

и V ОЦЕНКА« использованы способы представления фчикшш пршкшежности нечетких множеств на основе вложенных процедур В рамках понятия ЛИ «ЗНАЧИМОСТЬ'^ достаточно полно может быть формализована информация количественно! о и качественного характера, предоставляемая экспертом. С использованием ЛИ «ОЦЕНКА» предложен способ формализации экспертной информации оценочною характера, позволяющий характеризовать процессы организации ИД.

Практическая значимость результатов работы обусловлена разработкой и апробированием программного комплекса, реализующий процесс автоматизированной оценки эффективности НД подразделений ВВУЗа. Применение разработанных методик, реализованных в виде автоматизированного рабочего места (АРМ) оценки эффективности НД подразделений ВВУЗа позволяет повысить оперативность, точность и достоверность оценки эффективности НД подразделений ВВУЗа, а также повышения эффективности управления и результативности НД.

Результаты диссертационных исследований (разработанные модели и методики, обобщенная структура комплекса оценки эффективности НД ВВУЗа, С110) реализованы в следующих научных организациях и учебных заведениях:

1. Научно-исследовательский отдел Серпуховского ВИ РВ;

2. Межрегиональное общественное учреждение «Институт инженерной физики».

По теме диссертации опубликовано 12 работ.

Диссертация имеет объем 167 страниц и состоит из введения, трех глав, заключения, списка литературы (67 наименований).

Содержание диссертации

Во введении дается общая характеристика работы: обосновывается акгуаль-ность темы, научная и практическая значимость полученных результатов.

В первой главе проведен анализ структуры НД подразделений ВВУЗа.

При анализе существующих методов оценки эффективности НД можно выделить два основных подхода, ориентированных на оценку двух взаимосвязанных аспектов научной деятельности целевого и информационного и как следствие возникновение проблемы формирования множества наиболее существенных показателей оценки результативности НД ВВУЗа.

На основании анализа НД ВВУЗа, целесообразно предложить следующий комплекс обобщенных показателей НД.

Показатель оценки научно-исследовательской работы (НИР) Р,, который рассматривает аспекты подготовки научно обоснованных выводов и рекомендаций по практическому решению проблем строительства и применения Вооруженных Сил.

Показатель оценки подготовки научно-педагогических и научных кадров (ПНПК) Рг. который рассматривает вопросы подготовки научно-исдагогичсских и научных кадров, выполнение планов подготовки кандидатов и док-I opon наук, укомплектованности учеными преподавательских и научных должностей.

Показатель оценки изобретательской и рационализаторской работы (ИРР) Рз, который рассматривает вопросы качества и степень выполнения подразделениями ВВУЗа задач в области изобретательского творчества, участия в выставках, совершенствование учебно-лабораторной базы.

Показатель оценки военно-научной работы курсантов (B1IOK) ¡\, который рассматривает вопросы формирования у курсантов интереса к »осшю-научному творчеству, развития творческого мышления и самостоятельности, расширения интеллектуального потенциала для решения актуальных военных задач.

Показатель оценки военно-информационной деятельности (МИД) l'i, который рассматривает вопросы научно-информационного обеспечения принятия решений по вопросам строительства и деятельности Вооруженных Сил, информационного обеспечения научно-исследовательских работ.

Кроме перечисленных основных показателей могут быть рассмотрены ряд показателей, которые также характеризуют НД ВВУЗа, но не является основными, а именно.

Показатель оценки научно-технического сотрудничества с войсковыми частями и внешними организациями (НТС)Рь, который рассмотреть вопросы научно-технического взаимодействия с воинскими частями, предприятиями оборонной промышленности, научно-исследовательскими организациями и прочее.

Показатель оценки участия в конкурсе на лучшую научную разработку (КР) Р7, который рассматривает вопросы участия структурных подразделений ВВУЗа в конкурсе на лучшую научную разработку по вопросам совершенствования и применения существующих и перспективных образцов ВВТ.

Перечисленные показатели НД в свою очередь характеризуются совокупностью частных показателей.

Задачи идентификации и управления, особенно организационными системами, к которым в том числе относится ВВУЗ, не имеют строго теоретического обоснования. Вследствие этого целесообразно использовать опыт практиков (экспертов), которые накапливают знания, наблюдая и сопоставляя признаки или существенные, по их мнению, факторы. Следует исходить из того, что эксперт в общем случае представляет собой носителя глубоких, но трудно формализуемых знаний. Поэтому для реализации потенциала экспертного оценивания состояния научной деятельности ВВУЗа

следует предусмотреть адекватные процедуры формализации и интерпретации жс-пертных знаний.

Особенности экспертной информации и специфика решаемых задач позволяют сформулировать ряд обязательных ограничений при рассмотрении вопросов оценки эффективности НД:

1. Значимость {весовые коэффициенты) показателей НД подразделений В ВУЗ а изменяются в зависимости от функционального предназначения подразделения (специальные кафедры, общенаучные кафедры, научно-исследовательские лаборатории).

2. Сумма весовых коэффициентов основных показателей научной деятельно-

/

сти подразделений должна быть равной единице = где 0СН0В}1°и показатель значимости /-го вида научной деятельности, I - число основных видов научной деятельности структурного подразделения ВВУЗа.

Данное требование определяется необходимостью долевого учета различных видов (направлений) НД структурного подразделения определенного типа и условиями нормирования весов, определяющих общую картину НД подразделения.

3. Оценка неосновных показателей НД подразделений имеет поощрительное значение и при определении совокупной оценки эффективности НД сумма весовых коэффициентов значимости основных и неосновных показателей подразделений может быть не равна единице + ]Г * ].

; = i /■-I

Дополнительным требованием к неосновным показателям эффективности является требование превосходства наименьшего по значению основного показателя эффективности над наибольшим по значению не основным показателем, что формально отражается следующим соотношением S'min > £*гаач, где S'nnn = min , S"miiS - шах S",

D - множество показателей эффективности научной деятельности.

Применительно к задаче определение эффективности НД подразделений ВВУЗа определение значений весовых коэффициентов показателей, целесообразно осуществить на основе метода экспертного опроса.

Для определения значимости частных показателей эффективности видов НД рассмотрена процедура индивидуальной оценки на основе ЛИ. На основании отмеченного подхода каждый из экспертов, привлеченных к определению степени значимости частных показателей эффективности, укажет их значения, используя нечеткие понятия, формализованные определенным способом с помощью функций принадлежности.

Анаши подходец к оцениванию процесса НД, позволяет выделить параметры 1ву\ различных типов: параметры свойств процесса НД г, <? У - {у,|/ = 1,/}и параметры. суп. которых коэффициенты, характеризующие степень влияния оценок по оотастуюшим частным показателям на общую оценку

Дчя обеспечения возможности формализации качественной информации расширен каждый параметр у, еУ какЛП (у,,Тпй,) с названием «ОЦЕНКА,».

Тогда у представляет собой ЛП с названием «ОЦЕНКА». То есть г, - «ОЦЕНКА,». Множество значений лингвистической переменой образуют терм-множество. Для ЛП у, терм-множество обозначим через Т, = = 1,У,}. Тогда 71,,

представляет собой /'-е значение /-й ЛП «ОЦЕНКА,», а У, по своей сути равнозначно мощности множества Т, (1?", 1 = ./() или общее число различных значений ЛП ■'ОЦКПКА,»: при этом О, - базовое множество для ЛП «ОЦЕНКА,», т.е. указывает шшшон изменения оцениваемой величины.

Для формализации слабоструктурированной информации о вкладе (значимо-I ги) каждой оценки параметра, имей он числовую или качественную структуру, вве-1СП11 ЛП «ЗНАЧИМОСТЬ». Тогда, пусть 2 = {-»(а- = - множество плохо форма-

[изусмых характеристик, отражающих вклад каждой из формируемых тем или иным способом оценок определенной составляющей состояния НД подразделения ВВУЗа. Рассмотрен каждый такой параметр 2кчХ как ЛП (гк,Зк,Нк). При этом

•'>'< ~ {■(>'„|! = 1. А,} - терм-множество ЛП «ЗНАЧИМОСТЬ/», способной принимать'

шачепии Нк! е При этом указывает на общее число различных значений ЛГ1 «ЗНАЧИМОСТЬ,». Аналогичным образом Нк - базовое множество для ЛП «ЗНАЧИМОСТЬ,». т.е. указывает диапазон изменения веса (значимости) различных оценок в общей структуре комплексной оценки состояния НД подразделения ВВУЗа. Значениями ЛП («ОЦЕНКА», Т, О) являются нечеткие переменные ('/',, /АС(Г,)), (1)

I те'/', -- иазваниеу'-й нечеткой переменной Г, е Т = {г;|у = 1,./}, С]{г)) или упрощенно С, = {(¡)1<^} {с1 е В) - нечеткое подмножество множества Д описы-

ьающес ограничение па возможные значения нечеткой переменной Т,.

Ключевым моментом в разработке ЛП «ОЦЕНКА» и «ЗНАЧИМОСТЬ» является построение их терм-множеств и определение смысла вошедших в них термов. Со-I таено результатам исследований способностей экспертов к классификации, рекомендованное число термов в терм-множестве не должно превышать 7.

Вследствие этого, для ЛП могут быть предложены следующие базовые пяти и се м и ч лени ые терм - м н ожество.

Для ЛП «ОЦЕНКА»: Т5 = { <низкая>, <ниже средней>, <средняя>, Достаточно высокая-'-, <высокая> }. 7' { <очень низкая>, <низкая>, <ниже средней>, <средняя>, достаточно высокая>. <высокая> <очень высокая> }.

Для ЛП «ЗНАЧИМОСТЬ»: Тз ~ { <мапо зиачимый>, <умеренно значимый>, <более или менее значимый^ Достаточно значимый>, <сильно значимый> }.

7'7 - { практически не значимый>, <мало значимый>, <умеренно значимый>, <более или менее значимый>, Достаточно значимый>, <сильно значимый>, <чрезвычайно значимый> }.

Для определения семантики термов ЛП использован способ представления функции принадлежности стандартной ^-функцией. Анализ результатов построения синтаксических правил ЛП «ОЦЕНКА» и «ЗНАЧИМОСТЬ» позволяет для термов Т, е Т \ {Тх, 7} } ЛП «ОЦЕНКА » и «ЗНАЧИМОСТЬ» использовать в качестве способа

формализации стандартную тг-функцию, определяемую следующей системой выражений:

5 {с1, (¡4 - 2г,*, а) - ц), Л) ) при й < Л). . 1, при«/; <й<й),

- в (</, а) , + г)), + г ц)) при а > й),

(2)

(3)

О, при 2(</-£)2

, при £ < с/ < г, , при т<ё<5.

(4)

(в-4?

1, при^ ><5.

Для определения семантики крайних термов Т\ и Г/ использована функция принадлежности, которая задается выражениями:

Мс

(5)

/ \ 1, при d„<,d< d.

/г сЛ//;'.</,,.</," = / x (6)

+2r}"), при rfsrf",

^(d^^d^ld^d.y, (7)

Tc{djf,,d»Jn)=\ V 7 ,J " J (8)

[1, при d", <didn,

и выражения (4).

При таком задании функция принадлежности (d) может быть представлена и памя ти ЭВМ следующими параметрами:

d" и d'J - задающих интервал номинальных значений базовой переменной степень принадлежности которых терму Tj € T\{T\,Tj} равна 1;

?■/".]/" -определяющих относительно значений dj и dj базовые значения d, степень принадлежности которых терму Т} е Т \ {7}, Tj} равна 0,5.

Согласно изложенным выше положениям для построенных пятиэлементного и еемюлементного терм-множеств ЛП («ОЦЕНКА», Т, D> на основе привлечения экс-нертов построены функции принадлежности для ее значений. Функции принадлежности ЛП («ОЦЕНКА», Т, D) для пятичленного терм-множества представлены на рис. 1, для семичлениого на рис 2.

Функции принадлежности ЛП «ЗНАЧИМОСТЬ» построены аналогично функциям принадлежности ЛП «ОЦЕНКА».

Для точной интерпретации информации о состоянии процесса научной деятельности, выраженной значениями ЛП «ОЦЕНКА» и «ЗНАЧИМОСТЬ» использован метод «полной интерпретации». В основе метода полной интерпретации лежит определение «центра тяжести» нечеткого множества в соответствии с приведенным ниже выражением

</'42,;"

jd/jr(d)dd f = -

J /i,(rf)<W

Рис. 1. Функции принадлежности лингвистической переменной «ОЦЕНКА» для пя-тичленного терм-множества

1 де Г- численная оценка (вссокон коэффициент) для значения / ЛИ «ОЦЕНКА», с/ - базовая переменная ЛП «ОЦЕНКА», //7 (¿/) - шачецие принадлежности базового значения <1 нечеткому множеству '¡Г, формализующему понятие Т. (Г - 2 //', и" +2 у" ~ левая и правая соогва-ственно границы интервала базовой переменной, на котором определено формализуемое понятие 7".

Для предотвращения субъективности, свойственной индивидуальным оценкам в работе предусмотрено усреднение полученных

индивидуальных оценок

I*.

К

(10)

Рис. 2. Функции принадлежности лингвистической переменной «ОЦЕНКА» для семичленного терм-множества

где К - число экспертов, участвующих в индивидуальном оценивании, <5* - индивидуальная оценка значимости, полученная по результатам работы к-го эксперта.

Для выполнения условия (2.) предусмотрена процедура нормирования полученных значений весовых коэффициентов. Указанная процедура может быть реализована в соответствии со следующим выражением

Зпорм =~Г~ > ' = 1>-/>

I*

(II)

где I - число частных показателей вида научной деятельности, д] - обобщенная оценка значимости /-го показателя эффективности научной деятельности, полученная в соответствии с последовательным применением процедур интерпретации и вычисления обобщенной оценки. Описанная процедура обобщения и нормирования значений оценок показателей НД справедлива как для основных так и неосновных показателей.

Иа основании изложенной процедуры выполнен переход от функций принадлежности, формализующих значения ЛП (нечеткие переменные), к точным числовым оценкам, а следовательно к определению значений весовых коэффициентов показателей 11Д.

Во второй главе разработан методический комплекс представляющий собой совокупность частых методик оценки эффективности показателей НД подразделений ВВУЗа.

Разработка частных методик, равно как и обобщенной методики, предполагает определение численных значений весовых коэффициентов показателей научной деятельности.

Для определения значений весовых коэффициентов показателей НД, разработана методика определения численных оценок значимости показателей эффективности НД на основе экспертной информации, позволяющая каждому из экспертов строить функции принадлежности, а также производить интерпретацию их точечных значений.

Ниже представлены таблицы, содержащие полученные описанным выше способом, численные значения значимости для ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА», а также их аббревиатура.

Таблица 1. Матрица точечных значений значимости ЛП «ЗНАЧИМОСТЬ» с пяти-

членным тсрм-множсством

Термы ЛП «ЗНАЧИМОСТЬ»

№ п/п Эксперт Мало значимый (МЗ) Умеренно значимый (УЗ) Более или менее значимый (БМЗ) Достаточно значимый (ДЗ) Сильно значимый (СЗ)

1. э, 0,074 0,268 0,504 0,778 0,929

2. Э2 ~ 0,071 0,277 0,498 0,760 0,922

3. Эз 0,069 0,263 0,499 0,771 0,930

4. 0,073 0,280 0,500 0,775 0,931

5. э, 0,068 0,275 0,487 0,772 0,935

6. 0,075 0,279 0,510 0,764 0,925

7. '•h 0,073 0,288 0,503 0,769 0,933

8. '■h 0,069 0,291 0,499 0,770 0,936

9. эч 0,076 0,266 0,480 0,774 0,927

10. Э|о 0,072 0,281 0,511 0,781 0,931

11. Э,, 0,070 0,283 0,486 0,780 0,934

12. Э,г 0,070 0,266 0,501 0,772 0,935

13. Э,, 1 0.069 0,277 0,498 0,781 0,930

14. :>ы Г о,6бб 0,288 0.503 0,780 0,924

15. 0,067 0,262 0.501 0,776 0.925

Таблица 2. Матрица точечных значений значимости ЛИ «ЗНЛЧИМОСЛЬ» с ееми-

членным терм-множеством

Термы ЛП «ЗНАЧИМОСТЬ»

Более

№ Практи- Мало Умерен- или Доста- Силмю Чрозим

п/п Эксперт чески не значи- но значи- менее точно значи- чайно

значимый мый мый значи- значимый мый значим!

(ПНЗ) (МЗ) (УЗ) мый (БМЗ) (ДЗ) (СЗ) (43)

1. э, 0,051 0,210 0,351 0,512 0,652 0,810 0.95 Ï

2. Эг 0,049 0,199 0,349 0,501 0,648 0,799 0,959

3. Э3 0,048 0,205 0,349 0,500 0,649 0,809 0,949

4. э4 0,055 0,203 0,356 0,499 0,650 0,800 0,950

5. Э} 0,052 0,198 0,352 0,508 0,655 0,798 0.960

6. Эб 0,048 0,202 0,353 0,495 0,652 0,800 0,951

7. э. 0,049 0,200 0,348 0,500 0,649 0,795 0,952

8. э, 0,052 0,207 0,348 0,503 0,647 0,806 0.957

9. Э9 0,049 0,199 0,358 0,509 0,644 0,804 0,960

10. Э,0 0,054 0,198 0.346 0,506 0,654 0,801 0,953

и. 3,1 0,055 0,201 0,345 0,497 0,652 0,809 0.955

12. Эи 0,056 0,202 0,355 0,503 0,655 0,808 0,961

13. Э„ 0,048 0,205 0,351 0,499 0,651 0,793 0.946

14. Э|4 0,050 0,196 0,352 0,509 0,656 0,807 0.949

15. э„ 0,052 0,202 0,347 0,507 0,650 0,796 0.961

Таблица 3. Матрица точечных оценок ЛП «ОЦЕНКА» с пятичлснным тсрм-

множеством

........... Термы ЛП «ОЦЕНКА»

№ п/п Эксперт Низкая (Н) Ниже средней (НС) Средняя (С) Достаточно высокая (да) Высокая (В)

1. э, 0,077 0,266 0,500 0,788 0,920

2. Эг 0,070 0,270 0,509 0,777 0,931

3. Зз 0,071 0,271 0,498 0,773 0,930

4. э4 0,069 0,269 0,508 0,775 0,933

5. э5 0,080 0,272 0,501 0,769 0,935

6. Э 6 0,072 0,267 0,500 0,771 0,926

7. э. 0,075 0,264 0,498 0,773 0,930

8. os 0,069 0,266 0,497 0,770 0,928

9. э, 0,074 0,273 0,480 0,772 0,927

10. Э ¡ о 0,076 0,272 0,506 0,780 0,924

11. Эп 0,075 0,273 0,496 0,780 0,932

12. Э12 0,070 0,260 0,500 0,783 0,922

13. э„ 0,078 0.266 0,495 0,781 0,932

14. Э|4 0,079 0,269 0,509 0,780 0,924

15. Э15 0.073 0,267 0,508 0,774 0.930

1.1 > ним 4 Матриц,1 точечных оценок ДП нОЦЕНКАс семичисленным терм-множеством

Термы ЛП ■■ЗНАЧИМОСТЬ^

Л' И'П ")ьтпср1 Очень низкая (ОН) Низкая (Н) Ниже средней (НС) Средняя (С) Достаточно высокая (ДВ) Высокая (В) Очень высокая (ОВ)

• 0,055 0.200 0,330 0,489 0.660 0.788 0,949

ъ 0,051 0,195 0,341 0,490 0.653 0,812 0,960

0,049 0,208 0,335 0,492 0,645 0,805 0,955

4 0,050 0,210 0,350 0,512 0.652 0,792 0,961

5. % 0,047 0,193 0,350 0,490 0,655 Г0,790 0.965

6. % 0,046 0,205 0.345 0,505 0,651 0,803 0,945

7. Ъ 0,052 0.203 0,348 0,491 0.653 0,787 0.949

N. 0,059 0,190 0,352 0,497 0,644 0,800 0,944

У. % 0,060 0,202 0,355 0,513 0,644 0,795 0,967

10. 0,048 0.193 0,349 0,483 0,640 0,809 0,966

11. .'■>11 0,052 0,208 0,345 0,492 0,641 0,792 0,953

12. 0,053 0,195 0,359 0,513 0,651 0,794 0,950

13. 0,048 0,198 0,352 0,515 0,652 0,808 0,961

14. 0,054 0,191 0,356 0,509 0,649 0,805 0,967

15. 0,048 0,194 0,361 0,486 0,644 0,787 0,953

Полученные точечные значения базовых терм множеств ЛП «ЗНАЧИМОСТЬ» и «ОЦННКА» использованы в процедурах экспертного опроса для определения значимости и оценки показателей НД.

И соответствии с представленным перечнем показателей характеризующих НД (гл I), разработан комплекс частных методик оценки эффективности НД. Выбор частных показателей, характеризующих направление НД, основывается на принципе выбора группой экспертов показателей наиболее полно характеризующих, данное направление из всей допустимой совокупности частных показателей.

В результате отбора экспертами сформирован перечень наиболее значимых частых показателей Я,, - характеризующих направления НД.

С учетом установленного перечня частных показателей Р(/, оценка эффективности /-го показателя НД подразделения ВВУЗа определена на основании следующего

IX ^

выражения I',---, (12)

N

где: Р,1 - частные показатель эффективности направления НД, I - число частных показателей эффективности направления НД, ¿>,/ - весовые коэффициенты частных показателей эффективности направления НД, Л' - штатная численность оцени-

ваемого подразделения, N = N рУК ь Л'цс+ Лпг+ N^r¡x+ N ли- Л'рук - численность руководящего. <\'н( - научного состава. Л'пс -профессорско-преподаншельекого состава, Л'итс - инженерно-технического состава, А'лд- численность адъюнкт».

Оценка частных показателей Рл эффективности направлений 11Д, проведена экспертами на основании базовых пяти и семи численных терм-миожества ЛИ «ОЦЕНКА» Значимость часгных показателей оценки эффективности 11Д /',,, характеризуется посредствам значений их весовых коэффициентов 8,1, для определения значений которых экспертами использованы базовые пяти и семи численные терм-множества ЛП «ЗНАЧИМОСТЬ» С целью получения точечных значений оценки частных показателей Л/и их значимости 8,\ выполнена процедура интерпретации формализованных значений. По результатам интерпретации выполнена процедура обобщения для оценки Р,1, а также обобщения и нормирования полученных значений для определения значимости 8,/.

Обобщенная оценка эффективности научной деятельности Р определена как сумма значимости эффективностей основных и не основных показателей ИД

Р*±д,рЛ5,Р, <13>

< > /1

где: Р,- основные показатели эффективности НД, Р, - не основные показатели эффективности НД, / - число основных показателей ИД, J - число не основных показателей НД, 8, - весовые коэффициенты основных показателей ИД, 8, весовые коэффициенты не основных показателей НД. Точечные значения 6, и 8, определены на базе пяти численного терм-множества ЛД «ЗНАЧИМОСТЬ».

При формировании обобщенной методики оценки эффективности НД, обязательным является выполнение условия (3). В результате значение обобщенной оценки эффективности научной деятельности имеет вид

1.1 ,.1

Для выполнения условия стимулирования НД подразделения ВВУЗа, в случае отсутствия результатов по основным показателям НД, введены штрафные санкции -баллы равные значимости обобщенной нормированной оценки эффективности основных показателей. С учетом этого, формула обобщенной эффективности НД имеет вид

Р ^д.рЛЗпд.Р,-<15> 1.1 ,.1 1.1

Итогом разработки совокупности частных и обобщенной методик оценки эффективности НД подразделений ВВУЗа является сформированный методический комплекс оценки эффективности НД представленный на рис. 3.

Методика оиенки эффективности НД

'"lô Р. + Zâ..â Р~Zâ

Методика оиенки эффективности основных показателей

f'ILS.p.

Методикаоценки э$4СКТ1,ЕН1.:ги ,,с ^""Пим-. показателей „ v-. . Г1

о,Р,

Zs I' = -

* XI

Метоаш'доцецкиэф фсктнвпости НИР |!

1 Уровень задания тем НИР 5,,,

2 Себлюление сроков представления /V 5,,,

} Направленности 1 результатов 1'п,

4 Реалн синя результатов ¡\4,

5 Новизна результат (!

{I

6 Нлучкля ооосиозд >! нкость

7 Экономическая | фсктивиость/'^б^. |>

I'

3 Наличие ааъюн-" ктоз, не ьыполнно-ших индивидуальный плач одъюн-i стеком подготовки

Р, = --

д.

Методика оценки м эффективности N ПНПК

1 Наличие ДН !*

2 Наличие ДН згиш- !

1 изшичса п отчетный период /\„ б,,, !

3 Наличие соис- ~ : катслейуч степени ДН представивших ) работы в отчетный

, период '1

I 4 Н&пичие КН { Г 8

5 Наличие КН защи- и тившихся в отчет- I: ный период з|

6 Наличи? соискзте- И лей ученой степени I КН пргдета-вившнч | работи с отчетный период

7 Наличке ученых с

N &

Методика оценки эффективности ИРР

1 Заявки на объекты пром собственности

2 Полученное положительные решения о выдаче охранных документов на

( объесты пром соб-! ственности 5Ч>, 1 3 Внедренные î объекты пром соб-j стсгнности Р)}, Ьху ¡4 Экспонзты'на ■ выставки roc : Уровня i'J4, ' 5 Поданные рац предложения 6 Внедренные рац" | предложении за продета'?»» подразделения

' 7 Рац. предложения, ' имеющие расширенное снелсснис :/>, -

î

' >7. "П

I д.,Р. -

8,

Методика оценки эффективности ВНОК

I I Количество курсантов участников ВНОК Я4|, 54Г 2 Количество курсантов принимающих участие в . выполнения плана

I 3 Наличие заявок на 1 изобретение, подан-■ ных курсантами участниками ВНОК

4 Наличие рац ' предложений, \ поданных курсан-* теми участниками ВНОК Р^,

\ 5 Участие курсантов ' участников ВНОК в конкурсе на лучшую 1 научную работу

Y.8.P..

! Методика оценки » эффективности ВИД

. 1 Статьи, опублико-' ванные до внешний изданиях

2 Опубликоаанныс учебники, моно. графим 1\г,

3 Досады «'сообщения, опубликован-

I ние по итогам НТК | во внешних органи-| зааиях Р<у о<у 14 Рукописи, принятые надспозифо-! ванке Рч,

[ 5 Статьи, опубликованных в научных , сборниках ВВУЗа

■ 6 Опубликованные I учебные пособия

'К-о*

1г

L-

J.S..P,

Методика оценки | эффективности НТО |

\

1 Договорю \ научно-техническом . сотрудничестве с

ьойсг.ойым« члегамн < л

2 Договора о науч, НО-ТеХНИЧССКОМ СОТ' <;

рудннчсстсс с НИИ, I1 КБ, предприятиями

ЛЛг !!

S,

!Фюлт;л оисм.я ^44'Ск*Т1Шно(.ти КГ»

' I 1а>мкурс«к»срл-Coï/IÏCKyyKIilioJI, прошилшие nnri.ypL-

Ityi.ilOMtUCKKUlo s,-ра<Д>' iCKiffl и ВНА-вияутиенаслгму-, ющийэтап/';1,

'2 1,|»и^'рсшч'|м111-

ти УсП'ЩСГм toi I. не ♦ пришедшие 1 'Tilii I (конкурс HO^p.tX'a-

ПШ\)ÙPV,Ù:,.

) 1 I лшурснис рл-

!6oit!"P 'ШЛ0Г<>и.4) ' затьшне при ИСС <.«/'„,

, 4 Призовые места

' КОШЛ'РОШ'* P- 'JUI

прош^юго Г1«;м

iA,.-.,

s

Рис. 3. Структура методического комплекса оценки эффективности НД ВВУЗа

Г1о результатам разработки методического аппарата сформирована матрица обобщенных и нормированных точечных значений значимости показателей эффективности НД с учетом функциональной направленности подразделений. Таблица 5. Матрица обобщенных и нормированных точечных значений значимости

показателей эффективности НД

№ п/п Подразделение 4 ~оТзо~ й. _ . 1 _ S? 0,042

1. Специальные кафедры 0,306 1 0,115 0,170 0,078 ] 0,036

2. Общенаучные кафедры 0,257 0,451 0,051 0,129 0,112 0,023 0,028

3. Научно-исследовательские лаборатории 0,442 0,258 0,108 0,082 0,11 0,037 0,045

В третьей главе разработан программно-аппаратный комплекс (ПАК), реализующий процедуры методического комплекса, а также комплекса автоматизированной оценки эффективности НД ВВУЗа.

Произведено обоснование выбора аппаратного и базового программного обеспечения АРМ оценки эффективности НД. На основе анализа функциональных возможностей операционных систем (ОС), выбор в качестве базовой сделан в пользу ОС Windows ХР, как ОС получившей наибольшее распространение.

В качестве базового ПО для разработки специализированного программного обеспечения (СПО), реализующего методический комплекс оценки эффективности НД, выбраны математический редактор MathCAD и хорошо зарекомендовавший себя табличный процессор Excel.

Разработан модуль СПО на базе MathCAD, реализующий механизм автоматизированной интерпретации формализованных значений ЛП, а также экспорт полученных значений для последующей обработки (рис. 4). СПО реализующее механизм автоматизированной оценки эффективности НД выполнено на базе Excel в виде программных модулей, число которых определяется количеством частных методик оценки эффективности показателей НД. Дополнительно в состав данного СПО включены модули обобщенной методики оценки эффективности НД (рис. 5), а также модуль весовых коэффициентов, выполняющий функции внедрения интерпретированных значений ЛП, полученных в ходе предыдущей обработки формализованных значений ЛП в модуле СПО MathCAD, а также функции обобщения и нормирования полученных значений.

Разработана структурная схема ПАК, реализующего механизмы методического комплекса оценки эффективности НД и комплекса СПО автоматизации оценки (рис. 6).

' Интерпретация значений лингвистической переменной "ЗНАЧИМОСТЬ" для ее I иятичленного терм-множества:

для НИ "Мало значимый"

,ч!р}+2?]р!

d■¿í¡{d)dd

Ки

•ф/+2-77/7/

41

'■==

<]р2+Ъ г)р2

¿3 :

■4рз+2прз

мзЮМ

г4 :=

Г4р4+Ътр4

^Ц-ЪцЦ

для НП "Сильно значимый" гФ

d • ц${с[) dd

■Ф

М5(<*)М

Л5-Ъг)15

г/ = 0.074

для НП "Умеренно значимый" гЛр2+Ъ г}р2

^¡2-2-7]/2

22 = 0.268

для НП "Более или менее значимый" ^¡3-2-VI3

13 = 0.504

-]сПз~Ъ4з для НП "Достаточно значимый" /-Ф./Н-2- гр4

^ с!! 4-2-71/4

24 = 0.778

0.929

Рис. 4 Модуль СПО интерпретации ЛП

Програмчно«&лпарлткыП комплекс

Прогрлммиля чпстъ

| Блок обработки дпнних

. ^"модуль оцбнии аффаетноности НИР J

'' ^ 'I_№оду/)<> оцоикй эффоктиаиост* НГЧ< "|

Модул» оцвмми оффвктивности ВНОК

Модуль'оцонки эффективности ИРР 'J С | °40нки эффективности СИД J

J 'Г оцонки эффективности КР J

j 4, оцои"* эффективности НТС J

I

| Исходные дакиыо

Оператор АРМ

Исходные данъыо

U-------

J

Рис. 6. Структурная схема комплекса оценки эффективности 11Д ВВУЗа

Разработанный программно-методический комплекс (ПМК) использовался при подведении итогов научной деятельности в течение трех отчетных периодов в Серпуховском В И РВ. В результате внедрения ПМК в рассматриваемом периоде, произошли позитивное изменение участия оцениваемых подразделений в ряде направлений ПД. и частности в конкурсе на лучшую научную работы (рис. 7), а также выравнивание показателей эффективности НД, свидетельствующее о перераспределении имеющихся у подразделений ресурсов с целью их более эффективного использования, в частности в направлении ВИД (рис. 8).

Рис. 7. Сравнительный анализ участия подразделений в конкурсе на лучшую научную работу

Ппкмлсль

■»ффекгкишсгн , , . г

9.0(1(1' ' »■>*>';

К,0(0 7 ООО

[а 1 фок"! (- (мо

н 2 фьк; 5.001» •

2.000 I (М)

( 0.00!) 1 2(К>1 2002 2003

Рис. 8. Сравнительный анализ состояния эффективности военно-информационной деятельности

Основные результаты

С учетом сформулированных противоречия и цели исследований, в диссертационной работе была решена научная задача разработки научно-методического аппарата экспертной оценки эффективности НД ВВУЗа.

При этом были получены следующие результаты теоретического и практического значения:

1. Проведен анализ и определены направления совершенствования действующей системы показателей НД.

2. Обоснован подход, в основе которого лежит математическая модель формализации экспертной информации о состоянии НД ВВУЗа на основе ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА».

3. Разработан методический комплекс оценки эффективности НД подразделений ВВУЗа. Структура показателей, их взаимосвязь, учет влияния специфики деятельности для учебных и научных подразделений.

4. Разработан программно-аппаратный комплекс, реализующий процесс автоматизированной оценки эффективности НД подразделений ВВУЗа.

Основные публикации по теме диссертации

1. Маслов В Г.. Царьков А.П.. Смирнов Д.В. Некоторые вопросы оценки эффективности научной работы, подгоювки научно-педагогических и на>'|-ных кадров / МО РФ Сб. статей XIX Межведомственной научио-чехничсской конференции РВ «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». -43.- Серпухов: СВИ РВ, 2000. - 588 с. С. 383-388.

2. Маслов В.Г., Царьков А.II., Смирнов Д.В. Методика оценки эффективности научно-исследовательских работ/МО РФ Сб. статей XIX Межведомственной научно-технической конференции РВ «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». - Ч. 3. - Серпухов: СВИ РВ, 2000. - 588 с. - С. 388 - 393.

3. Маслов В.Г. Экспертный опрос как метод оценки эффективности научно-исследовательской деятельности / МО РФ Сб. статей XXIV Межведомственной научно-технической конференции РВ «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». - Ч. 2. - Серпухов: СВИ РВ, 2005. - 204 с. - С. 12 - 13.

4. Маслов В.Г. Методика оценки эффективности научно-исследовательской деятельности и подготовки научно-педагогических кадров / Материалы всероссийской научно-практической конференции «Проблемы информатизации образования: региональный аспект». - Чебоксары: Изд-во Чуваш, рсспубл. ии-та образования, 2005. - 280 с. - С. 185 - 186.

5. Маслов В.Г. Обоснование выбора показателей для оценки эффективности научно-исследовательской деятельности и подготовки научно-педагогических кадров высших военных учебных заведений «Ученые записки института информатизации РАО» - Москва: ИИО РАО, 2005. - 140 с.-С. 115- 118.

6. Маслов В.Г. Формализация экспертной информации при оценке эффективности научно-исследовательской деятельности и подготовки научно-педагогических кадров «Ученые записки института информатизации РАО» - Москва' ИИО РАО, 2005. - 140 с. - С. 119 - 122;

7. Маслов В.Г. Программный комплекс методики оценки эффективности научно-исследовательской деятельности и подготовки научно-педагогических кадров подразделений высших военных учебных заведений. «Ученые записки института информатизации РАО» - Москва: ИИО РАО, 2005. - 140 с. - С. 123 - 134.

Отпечатано: ИП Л. А. Кулаков, г. Серпухов, ул. Володарского, д. 25/38, тел.: 35-25-64 Тираж 100 экз

РНБ Русский фонд

2007-4 9919

$8 ФЕ? 7HZ

СПИСОК СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

Глава 1. АНАЛИЗ ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ПОДРАЗДЕЛЕНИЙ ВЫСШЕГО ВОЕННОГО УЧЕБНОГО ЗАВЕДЕНИЯ.

1.1. Анализ структуры научной деятельности ВВУЗа

1.2.Анализ существующих подходов и методик оценки эффективности научной деятельности ВВУЗа.

1.3.Обоснование выбора показателей для оценки эффективности научной деятельности ВВУЗа.

1.^Характеристика задачи разработки методики оценки эффективности научной деятельности ВВУЗа.

1.5.Концепция экспертного подхода к оценке эффективности научной деятельности ВВУЗа.

1.5.1. Обоснование применимости экспертного подхода к оценке эффективности научной деятельности ВВУЗа.

1.5.2. Формально-методические положения организации экспертного подхода к оценке эффективности научной деятельности ВВУЗа.

1 .б.Математическая модель обеспечения оценки эффективности научной деятельности структурных подразделений ВВУЗа.

1.6.1. Разработка лингвистических переменных для формализации экспертной информации о состоянии процесса научной деятельности.

1.6.2. Интерпретация информации, выраженной нечеткими переменными.

1.6.3. Вычисление обобщенной оценки значимости частных показателей эффективности вида научной деятельности.

1.6.4. Нормирование оценок значимости показателей эффективности вида научной деятельности.

Выводы.

Глава 2. РАЗРАБОТКА МЕТОДИЧЕСКОГО КОМПЛЕКСА ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ВЫСШЕГО ВОЕННОГО УЧЕБНОГО ЗАВЕДЕНИЯ.

2.1.Разработка методики определения численных оценок значимости показателей эффективности научной деятельности на основе экспертной информации.

2.2.Разработка методики оценки эффективности научно-исследовательских работ

2.3.Методика оценки эффективности подготовки научно-педагогических кадров.

I 2.4.Разработка методики оценки эффективности изобретательской и рационализаторской работы.

2.5.Разработка методики оценки эффективности работы военно-научного ® общества курсантов.

2.6.Разработка методики оценки эффективности информационной деятельности.

2.7.Методика оценки эффективности научно-технического сотрудничества

2.8.Методика оценки эффективности участия в конкурсе на лучшую научную работу.

2.9. Обобщенная методика оценки эффективности научной деятельности. ф Выводы.

Глава 3. ПРОГРАММНО-АППАРАТНОЕ ОБЕСПЕЧЕНИЕ МЕТОДИЧЕСКОГО КОМПЛЕКСА ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ВЫСШЕГО ВОЕННОГО УЧЕБНОГО ЗАВЕДЕНИЯ.

3.1.Обоснование выбора аппаратно-технического и базового программного обеспечения АРМ оценки эффективности научной деятельности.

3.1.1. Выбор базовой операционной системы.

3.1.2. Выбор базового программного обеспечения АРМ оценки эффективности ► научной деятельности.

3.1.3. Разработка структурной схемы комплекса оценки эффективности научной деятельности, алгоритма действия оператора АРМ.

3.2.Разработка программного обеспечения реализующего методический комплекс оценки эффективности научной деятельности.

3.3.Результаты сравнительного анализа результатов оценки эффективности научной деятельности.

Выводы.

Актуальность темы диссертации

Особая роль в повышении эффективности научных исследований принадлежит высшей школе. Высшие военные учебные заведения направляют свои усилия не только на удовлетворение потребностей страны в высококачественных военных специалистах, не только в направлении дальнейшего повышения качества их подготовки, но и на более эффективное использование научного потенциала ВВУЗов для решения актуальных научных и научно-технических задач. Это направление во многом определяет перспективы развития высшей военной школы в условиях научно-технического прогресса.

Управление научной деятельностью (НД) является одним из приоритетных направлений работы органов управления и должно рассматриваться в совокупности с остальными видами деятельности.

Управление НД предусматривает решение трех взаимодополняющих друг друга центральных проблем [1]:

1) формирование общегосударственной системы целей научной и проекгно-конструкторской деятельности, стратегической ориентации государственной политики в отношении науки (стратегия НД);

2) обеспечение роста научного потенциала страны, количество структура и качество которого соответствовали бы общественным потребностям, отраженным в системе ближних и дальних целей науки (потенциал подготовки научно-педагогических кадров);

3) разработка и осуществление на практике комплекса мер по повышению эффективности НД как в отношении использования наличных ее сил, так и, в особенности, в направлении ускорения, расширения масштабов и полноты использования наличных результатов научной деятельности (эффективность НД).

Основные проблемы управления НД могут быть интерпретированы на различных уровнях управления: от общегосударственного до уровня руководства тематической группой и отдельными сотрудниками. В любом случае научно-техническая специфика решаемых задач теснейшим образом связана с социальными условиями и экономическими факторами, определяющими характер и направленность научной деятельности.

Управление НД должно рассматриваться как органическая часть единой системы научной деятельности, ее специфическая < подсистема. На основе поступающей на вход управления информации о наблюдаемых фактах, характеристиках и состояниях системы формируются общие представления о задачах и возможностях управления. Вместе с тем на основе только этих представлений обычно еще нельзя непосредственно изменять курс практических действий. Информация эта должна быть переработана специальными способами и методами. Для управления НД принципиальную важность имеет аналитическое и прогнозное, информационное обеспечение, и как следствие, исходная база сопоставимых данных для анализа и оценки эффективности НД.

Здесь широко используются специальные методы науковедческих исследований, базирующихся на ряде идей математики (в особенности, исследования операций и теории графов), информатики, экономики, социологии и др. Эти работы, включающие анализ тенденций и прогнозирование, имеют конечной целью разработку вариантов решений и конкретных рекомендаций по управлению. Прерогатива же принятия решений принадлежит соответствующим инстанциям, лицам и органам управления. Следует заметить, что в этом находит свое отражение такой принцип организации научно обоснованного управления НД, как разделение компетенции в подсистеме управления и наличие так называемых «штабных» подразделений (групп исследования), осуществляющих специальную научную подготовку вариантов решений.

Принятие решений - специфическая по сложности и особо ответственная работа в подсистеме управления. Для ее выполнения принимающий решение орган управления пользуется не только рядом исходных сведений поступающих от исполнителя. Специфически важная для принятия решений информация поступает от вышестоящих по иерархии управления инстанций. На основании этих данных, а также опыта и запаса представлений, имеющихся у руководителей, полномочных принимать решения, они формируют управляющие решения.

В процессе проведения науковедческих исследований, экспериментальной проверки их результатов, обобщения опыта других научных систем формируются теоретические основы повышения эффективности научной деятельности. Комплексный системный подход к задачам управления, теоретическая обоснованность решений и учет реальной специфики управляемых систем - важный принцип современного управления наукой в целом.

В соответствии с принятым определением процесса управления наукой решения, принимаемые управляющей подсистемой научной деятельности, изменяют, устанавливают и корректируют комплекс связей и отношений, присущих научно-исследовательскому труду.

При всем многообразии управляющих воздействий арсенал конкретных средств, имеющихся в распоряжении любого уровня управления НД, может быть разделен на четыре основных класса:

1. Организационно-административные меры, варьирующиеся в рамках существующего законодательства, уставных положений, распределения и субординации должностных прав и обязанностей и т.п.

2. Экономические формы и рычаги управления, разнообразие и диапазон действия которых определен экономическими отношениями и уровнем развития экономики страны.

3. Информационные средства и инструменты управления, использование которых ведет к непосредственному воздействию на «технологию и технику научного производства», к влиянию на само содержание проводимых исследовательских работ и подготовки научных кадров.

4. Социально-психологические факторы управляющих воздействий, варьирующиеся в соответствии со специфической природой творческого интеллектуального труда в сфере науки и подготовки научных кадров. Необходимо подчеркнуть, что воздействие комплекса названных средств направлено на все жизненно важные связи, которые объединяют разрозненные элементы и акты научной деятельности в единую систему.

Реальный опыт развития российской и мировой науки, теоретические обобщения науковедения позволяют утверждать, что успех в управлении научным процессом может быть только тогда, когда удается на деле обеспечить эффективное функционирование всего комплекса указанных связей. Недооценка или рассогласованность любой из них приводит к остро ощущаемым отрицательным последствиям. Чем полнее комплекс управляемых связей и чем действеннее они функционируют, тем жизнеспособнее научная система и выше уровень эффективности ее работы. В настоящее время известен опыт построения и анализа информационных, организационных и экономических моделей науки как управляемой системы. На повестке дня - задача синтеза этого рода моделей. Отсюда следует один из важнейших общих принципов принятия рациональных управляющих решений - системная согласованность и обоснованность выбора целей, определения программ работ и распределения ресурсов. С несоблюдением этого принципа связано недостаточно активное использование имеющихся в распоряжении органа управления резервов повышения эффективности НД.

Особая роль в повышении эффективности НД принадлежит высшей школе. Высшие военные учебные заведения направляет свои усилия не только на подготовку высококвалифицированных специалистов и в направлении дальнейшего повышения качества их подготовки, но и на более эффективное использование научного потенциала ВВУЗов для решения актуальных научных, научно-технических и социальных задач.

В высших военных учебных заведениях России сосредоточен большой научный потенциал, существует целый ряд проблемных, отраслевых и научно-исследовательских лабораторий, конструкторских и технологических бюро. Некоторые ВВУЗы, их научные учреждения занимают ведущее положение в стране по актуальным научным направлениям и вносят существенный вклад в развитие отечественной науки.

В решении задач интенсификации и повышения эффективности НД ВВУЗов значительную роль может сыграть совершенствование аппарата оценки научной деятельности этих учреждений, их подразделений.

В настоящее время существует несколько подходов к оценке научной деятельности ВВУЗов, отличающихся большим разнообразием используемых показателей. Такое положение требует разработки теоретических основ (методических принципов) как базы построения частных методик оценки НД подразделений ВВУЗов.

Решающая роль в оценке эффективности НД принадлежит правильному выбору показателей. Следовательно, задачи оценки эффективности НД ВВУЗа должна быть сформулирована таким образом, чтобы показатели для оценки ВВУЗа, его подразделений и отдельных сотрудников были идентичны, однако полностьк) осуществить это не всегда представляется возможным.

В настоящее время при оценке результатов деятельности подразделений ВВУЗа, как правило, реализуются два вида подхода [2]: оценка достигнутых результатов по отношению к другим подразделениям и сопоставление достигнутых результатов с результатами этого же подразделения, достигнутыми в прошлом периоде. При первом подходе, как правило, не учитываются неодинаковые фактические возможности, которые имели разные подразделения и специфику самих подразделений, при втором не учитываются фактические возможности, которыми располагало данное подразделения, и небольшое увеличение невысоких результатов может быть предоставлено как значительный прогресс.

Вместе с тем современный подход к анализу деятельности сложных систем, к которым, безусловно, относится и коллектив ВВУЗа в целом, заключается в том, что оценивать достигнутые результаты следует по отношению к реальным возможностям, имевшимся в конкретном подразделении в данный период времени. Судить об эффективности деятельности подразделения необходимо по полноте реализации фактических возможностей, которыми она располагала.

Из всего выше сказанного можно сделать вывод о необходимости создания некого универсального инструмента - методического комплекса (методики), с помощью которого можно провести оценку эффективности НД подразделений высшего военного учебного заведения с учетом специфики вида подразделения и имеющихся в наличии фактических возможностей.

Прежде чем приступить к созданию упомянутого методического комплекса (методики) необходимо рассмотреть ряд исходных предпосылок, с целью выбора критериев оценки НД подразделений, а также сформировать требования, предъявляемые к самой методике.

Важнейшей предпосылкой конструирования методики является правильное понимание специфики научной деятельности подразделений, ее содержания, особенностей достигаемых результатов и процесса их получения. Оценивать надо в основном результат деятельности, а не процесс, поскольку интерес представляет именно конечный результат, а не старание исполнителей. Таким результатом может являться новая информация: открытие, изобретение, монография, книга, брошюра, статья, доклад, комплект документации для новой системы, пакет прикладных программ, методика, проект устава (наставления) и т.д.

Методика оценки должна позволять делать объективную оценку, не зависящую от мнений и пожеланий оценивающих, т.е. она должна быть объективной. Для объективной оценки необходимо, во-первых, предусмотреть в методике порядок регистрации полученных результатов подразделениями и, во-вторых, помимо качественных методов использовать количественные методы подсчета результатов. До сих пор неизвестно ничего лучшего для этой цели, чем балльный метод. При этом периодически, балльные оценки должны корректироваться. Для объективности оценки методика должна предусматривать защиту оцениваемого подразделения от влияния доброжелателей и недоброжелателей.

Методика оценки должна оставаться длительное время без изменений, чтобы подразделения могли на нее ориентироваться в течение длительного времени. Однако периодически методику надо корректировать в связи с возникающими изменениями в задачах и условиях их выполнения или выявления недостатков в ней.

Наиболее болезненным и невыгодным для подразделений является частое изменение системы показателей оценки, так как нарушается установка сотрудников на достижение определенных результатов. Большое внимание надо уделить достижению простоты методики и ее понятности для оцениваемых подразделений, а также возможности автоматизации проводимых расчетов.

Исследование условий деятельности научных коллективов, изучение и анализ существующих методов оценки их работы позволили выделить ряд требований, которым должна удовлетворять методика оценки НД ВВУЗа и их подразделений. К числу основных из них относятся следующие:

1) комплексность и полнота оценки, т.е. учет всех сторон деятельности подразделения в соответствии с основными целевыми задачами ее функционирования;

2) универсальность оценки, т.е. возможность использования системы показателей для анализа и сравнения эффективности деятельности и достигнутых конечных результатов, научными коллективами за определенные периоды их работы, а также пригодности методов для оценки различных научных систем (объектов) и возможности их совершенствования в процессе использования;

3) объективность оценки, т.е. однозначность толкования и количественная определенность показателей, методов их расчета и сопоставления, а также должна ограничивать влияние субъективных факторов и быть доказательной для оцениваемых подразделений;

4) доступность, наглядность и планомерный характер оценки, т.е. относительная простота расчета показателей и использование действующих форм учета и отчетности;

5) стимулирующий характер оценки, т.е. методика должна быть удобным инструментом, создавать основу для совершенствования методов морального и материального стимулирования, ориентировать коллективы на самосовершенствование с целью повышения эффективности НД;

6) максимально возможная автоматизация процедуры оценки. Наличие в настоящее время множества методик, удовлетворяющих перечисленным требованиям, содержащих различные наборы показателей и правил получения результирующих оценок, делает актуальной проблему определения наилучшей методики оценки эффективности НД с учетом особенностей научной деятельности в ВВУЗе.

Цель и задачи исследования

Целью работы является дальнейшее совершенствование процесса управления научной деятельностью ВВУЗа.

Указанная цель достигается решением следующей научной задачи: разработка научно методического комплекса оценки эффективности НД при автоматизации процесса расчета оценки эффективности показателей.

Объект исследования

Объектом исследования является процесс научной деятельности в ВВУЗе. Предмет исследования

Предметом исследований являются научно-методические основы оценки эффективности организации научной деятельности ВВУЗа.

Научные результаты

1. Математическая модель формализации экспертной информации о состоянии научной деятельности ВВУЗа на основе лингвистических переменных «ЗНАЧИМОСТЬ» и «ОЦЕНКА».

Данный научный результат составляют лингвистические переменные «ЗНАЧИМОСТЬ» и «ОЦЕНКА», правила их применения, их терм множества, аналитические соотношения, которые определяют семантику нечетких переменных, а также правила интерпретации нечеткой информации для получения точечной оценки в виде значения весового коэффициента (значимости) и степени проявления свойства на основе метода полной интерпретации. Это позволяет отдельному эксперту автономно, и не подвергаясь влиянию других экспертов, передавать свой опыт системе оценки.

Методы, позволяющие на основе отдельных точечных оценок получить достаточно свободную от субъективизма обобщенную оценку (согласование экспертов, усреднение и нормализация).

2. Методический комплекс оценки эффективности НД структурных подразделений ВВУЗа.

Структура показателей их взаимосвязь, учет влияния специфики деятельности для учебных и научных подразделений.

3. Алгоритмические и информационные основы программного комплекса, реализующего процесс автоматизированной оценки эффективности НД подразделений ВВУЗа.

По существу программный комплекс представляет собой реализации предыдущих, имеющих теоретическое значение результатов, в виде специального программного продукта в среде Excel for Windows с описанием принципов его построения на основе реальной программной среды, правил его использования для оценивания.

Научная новизна результатов

Очевидно, что новизна результатов научного исследования в значительной мере определяется новизной подходов, использованных при исследовании. Необходимо отметить, что вопросы оценки эффективности организации НД исследовались в ряде работ [2, 9, 11,12,13].

Новизна и научная значимость математической модели формализации экспертной информации о состоянии НД ВВУЗа характеризуется следующим. При ее разработке на основе анализа процесса приобретения опыта экспертом и формирования у него знаний об организации процессов НД обосновано понятие ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА». Для определения семантики значений ЛП «ЗНАЧИМОСТЬ» и «ОЦЕНКА» использованы способы представления функции принадлежности нечетких множеств на основе вложенных процедур. В рамках понятия ЛП «ЗНАЧИМОСТЬ» достаточно полно может быть формализована информация количественного и качественного характера, предоставляемая экспертом. С использованием ЛП «ОЦЕНКА» предложен способ формализации экспертной информации оценочного характера, позволяющий характеризовать процессы организации НД.

При разработке методического комплекса оценки эффективности научной деятельности подразделений ВВУЗа обобщен опыт известных подходов [2, 5, 9, 11, 12, 13]; принято во внимание различие в специфике учебных и научных подразделений ВВУЗа ; проведено обоснование нового подхода к получению частных показателей качества НД подразделений ВВУЗа, на основе которого получен комплексный критерий оценки эффективности НД.

Практическая значимость

Практическая значимость результатов работы обусловлена разработкой и апробированием программного комплекса, реализующий процесс автоматизированной оценки эффективности НД подразделений ВВУЗа. Применение разработанных методик, реализованных в виде автоматизированного рабочего места (АРМ) оценки эффективности НД подразделений ВВУЗа позволяет повысить оперативность, точность и достоверность оценки эффективности НД подразделений ВВУЗа и тем самым создать объективные условия для повышения эффективности их управления и результативности.

Достоверность результатов

Достоверность полученных результатов подтверждается логическим обоснованием исходных положений разработанных научно-методических основ; обоснованной формулировкой задачи исследования; ясной формулировкой вводимых в работе дефиниций; проведением компьютерного моделирования в строгом соответствии с разработанными методиками на основе различных апробированных программных средств и критическим анализом полученных результатов; обоснованностью основных ограничений, совпадением результатов вычислительного эксперимента с мнением экспертов.

Краткое содержание работы

Диссертация состоит из введения, трех разделов, заключения и списка литературы.

Выводы

Таким образом, в ходе разработки программно-аппаратного комплекса оценки эффективности НД достигнуты следующие результаты:

1. Выполнена процедура выбора базовой операционной системы, а также базового программного обеспечения.

2. Определена оптимальная структура автоматизированного рабочего места программно-аппаратного комплекса.

3. Разработана структурная схема программного комплекса оценки эффективности НД, порядок (алгоритм) действия оператора АРМ.

4. Разработано специальное программное обеспечение (специализированные модули) реализующее частные методики оценки эффективности показателей НД.

ЗАКЛЮЧЕНИЕ

Процессы, объективно оказывающие влияние на эффективность научной деятельности, свидетельствуют о необходимости разработки комплекса мероприятий способствующих повышения данной эффективности, которые могут быть выражены через аппарат ее оценки. Анализ состояния НД подразделений ВВУЗов показал, что эффективность научной деятельности может быть определена на основании частных показателей ее составляющих, как основных так и не основных.

В настоящей диссертационной работе представлены материалы разработки научно-методического аппарата оценки эффективности научной деятельности. В ходе разработки аппарата сформированы математическая модель формализации экспертной информации о состоянии научной деятельности ВВУЗа на основе лингвистических переменных «ЗНАЧИМОСТЬ» и «ОЦЕНКА», методический комплекс оценки эффективности научной деятельности структурных подразделений ВВУЗа, программный комплекс, реализующий процесс автоматизированной оценки эффективности НД подразделений ВВУЗа.

На основании сформированной структурной схемы методического комплекса оценки эффективности НД разработаны частные методики оценки эффективности видов научной деятельности.

В рамках программного комплекса разработан порядок действия (алгоритм) оператора АРМ, а также обоснованы требования к аппаратной части комплекса, произведено обоснование выбора операционной системы АРМ, а также на базе табличного процессора Excel for Windows сформировано специализированное программное обеспечение реализующее методический комплекс оценки эффективности научной деятельности подразделений ВВУЗа в зависимости от их функционального назначения.

Разработанный программно-методический комплекс внедрен в процесс подведения итогов научной деятельности Серпуховского военного института, а также использован в ходе проведения научных исследований в Межрегиональном общественном учреждении «Институт инженерной физики», г. Серпухов.

Практическая значимость разработанного программно-методического комплекса, реализованного в виде АРМ оценки эффективности НД подразделений ВВУЗа позволяет повысить оперативность, точность и достоверность оценки эффективности НД подразделений ВВУЗа и тем самым создать объективные условия для повышения их эффективности управления и результативности.

Результаты, полученные при подготовке диссертационной работы, докладывались на научно технических конференциях различного уровня, среди которых следует выделить следующие:

1) XIX Межведомственной научно-технической конференции РВ «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». (Серпухов: СВИ РВ, 2000 г.);

2) XXIV Межведомственной научно-технической конференции РВ «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». (Серпухов: СВИ РВ, 2005 г.);

3) Всероссийская научно-практическая конференция «Проблемы информатизации образования: региональный аспект». (Чебоксары: Чуваш, республ. ин-та образования, 2005 г.).

На основании полученных результатов целесообразно продолжить исследования по дальнейшему совершенствования методики оценки эффективности научной деятельности по следующим направлениям:

1) Модернизация пользовательского интерфейса с целью сокращения числа ручных операций по вводу информации оператором АРМ.

2) Исследование возможности применения в качестве базового программного обеспечения программно-методического комплекса оценки эффективности научной деятельности других широко распространенных программных продуктов.

3) Совершенствование процедуры учета имеющихся в наличие у оцениваемых подразделений совокупных ресурсов, используемых в ходе выполнения научной работы.

1. Закатин М.С. Методика построения информационно-технологической структуры военного учреждения. Дисс. канд. техн. наук, Серпухов: ВИ РВ. -2000. 148 с.

2. Овчаров В.И. Методика оценки эффективности научно-исследовательской деятельности ВВУЗа / М.: МО СССР, Научно-методические материалы, 1985. -С. 103- 123.

3. Положение о подготовке научно-педагогических и научных кадров в системе послевузовского профессионального образования в Министерстве обороны Российской Федерации. Приказ МО РФ № 310 1999.

4. Руководство по организации работы высшего военно-учебного заведения Министерства обороны Российской Федерации. Приказ МО РФ № 10. 2000.

5. Экспертные оценки в научно-техническом прогнозировании/Г. М. Добр о в, Ю.В. Ершов, Е.И. Левин, Л.П. Смирнов /Киев: Издательство «Наукова думка», 1974. 160 с.

6. Вильчанский А.С. Проблема управления повседневной деятельностью войск в современных условиях. / Военная мысль, № 12, 1993, С. 28 34.

7. Иванов Д.А. и др. Основы управления войсками в бою. М.: Воениздат, 1977. -389 с.

8. Маркитан Р.В. Основы управления повседневной деятельностью войск. М.: РВСН, 1993.

9. Монфор А.О. Оценка результативности научного труда. Вестник Академии наук СССР, № 9 1980.

10. IEEE Transactins on Engineering Management, 1975. № 1.

11. Покровский В.А., Деркач Г.М., Рубанов А.Ю. Эффективность деятельности научных коллективов в промышленности. Теория и методы оценки. -М.: Экономика. 1985. - 160 с.

12. Совершенствование оценки деятельности НИИ и КБ. М.: МДНТИ. - 1984. -144 с.

13. Овчаров В.И. Организация деятельности и управление научными кадрами в научно-исследовательских учреждениях Министерства обороны СССР. М.: МО СССР, 1988.-384 с.

14. Приказ Министра обороны Российской Федерации № 60 1997.

15. Кофман А.В. Введение в теорию нечетких множеств: Пер с франц./ Под редакцией С.И. Травкина. М.: Радио и связь, 1982.

16. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, 1981.

17. Дмитриев А.К. Основы теории построения и контроля сложных систем. JL: Энергоатомиздат, 1988.

18. Малышев Н.Г., Берштейн JI.C., Боженюк А.В. Нечеткие модели для экспертных систем в САПР /- М.: Энергоатомиздат, 1991. 136 с

19. Мелихов А.Н., Берштейн JI.C., Коровин С.Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990. - 272 с.

20. Выявление экспертных знаний (процедуры и реализации)/ О.И. Ларичев, А.И. Мечитов, Е.М.Мошкевич, Е.М.Фуремс. М.: Наука, 1989. -128 с.

21. КлацкиР. Память человека, структуры и процессы. -М.: Мир, 1979. 319 с.

22. Борисов А.Н., Алексеев А.В., Крумберг О.А. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982. - 256 с.

23. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 168 с.

24. Классификация и кластер / Под ред. Дж.Райзина.-М.:Мир, 1980.

25. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова. -М.: Наука, 1986. 312 с.

26. Вагин В.Н. Дедукция и обобщение в системах принятия решений М.:»Наука» 1988. 172 с.

27. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении М.: Экономика, 1978.т

28. Подиновский В.В. Математическая теория выработки решений в сложных ситуациях М.: Министерство обороны СССР, 1981. 211 с.

29. Подиновский В.В., Бабинцев B.C., Шорин В.Г. Выбор решений по многим критериям, упорядоченным по важности. М.: Институт управления народным хозяйством, 1977. 44 с.

30. Кэндэл М. Ранговые корелляции М.: Статистика, 1975.

31. Макарова Н.В., Матвеев Л.А., Бройдо B.JI. и др. Информатика. М.: «Финансы и статистика», 1997. - 768 с.

32. Отчет о НИР «Жасмин». Серпухов: ИЛИ АЕН РФ, 1996. - 60 с.

33. Майкл Дж. Миллер. Windows 95 Далека от «Чикаго» / PC Magazine (Russian Edition), 1995. -№ 12. С. 126 127.

34. Рамодин Д., Федоров A. Windows 95. Что и почему. М.: ТОО фирма «Компьютер пресс», 1996.-256 с.

35. Современная архитектура: взгляд на конструкцию Windows 95, Windows 3.1, Windows NT и OS/2 Warp изнутри, с точки зрения архитектора / PC Magazine (Russian Edition), 1995. № 12. - С. 126 - 127.

36. Троицкий И.И. Методика выбора рационального варианта информационного обмена в локальных вычислительных сетях военного назначения. Автореферат дисс. канд. технич. наук. М.: Военная академия им. Ф.Э. Дзержинского, 1995. -16 с.

37. Иващенко М.В. Методическое обеспечение автоматизированной системы управления видом деятельности вуза Министерства обороны РФ. Дисс. канд. техн. наук. Серпухов: ВВКИУ РВ, 1996. - 171 с.

38. Волков И.П. и др. Современные операционные системы. М.: «Финансы и статистика», 2001. - 187 с.

39. КипнисВ.М. Компьютер для вас. О том, как писать, рисовать, считать, и еще многом другом, что можно сделать с помощью персонального компьютера. Учеб. пособие. М.: ИВЦ «Маркетинг», 1996. - 272 с.

40. Кучеренко К.В. Базы данных для Windows/Мир ПК № 3, 1994. С. 42-44.

41. Стольников А.А. Табличные процессоры как они есть. М.: Наука, 2004. -288 с.

42. Потетенькин М.А. Система автоматизированной разработки документов управления боевой и повседневной деятельностью частей и учреждений РВ на основе мультимедийных технологий. Дисс. канд. технич. наук. Серпухов: ВВКИУ, 1996.-146 с.

43. Искусственный интеллект: Справочник: в 3-х кн. / Под ред. Э.В.Попова. М.: Радио и связь, Кн.1: Системы общения и экспертные системы. - 1990. - 440 с.

44. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова.-М.: Наука, 1986.-312 с.

45. Ларичев О.И., Стернин М.Ю. Человеко-машинные методы решения многокритериальной задачи о назначениях: Моделирование поведения и интеллекта // Автоматика и телемеханника. 1998. -№ 7. С. 135 - 156.

46. Данилюк С.Г. Вероятностно-лингвистический метод диагностирования. Учебное пособие. Серпухов: МО РФ, 1998. - 96 с.

47. Данилюк С.Г. Методологические основы интеллектуализации электронной регламентной аппаратуры. Диссертация на соискание ученой степени кандидата технических наук. Серпухов: СВВКИУ РВ, 1995.-236 с.

48. Данилюк С.Г. Некоторые вопросы математического обеспечения экспертных систем диагностирования сложных объектов / МО РФ Сб. тезисов XIII научно-технической конференции. Пермь: ПВВКИУ РВ, 1995. - 149 с.

49. Данилюк С.Г. Пути применения технологии искусственного интеллекта для технического диагностирования сложных объектов / МО РФ Сб. тезисов XVI научно-технической конференции. Пермь: ПВВКИУ РВ, 1998. - 158 с.

50. Данилюк С.Г., Злобин В.И. Автоматизация поиска неисправностей на основе вероятностно-лингвистического метода диагностирования // Информационные технологии в проектировании и производстве: Научно-техн. сб. / ВИМИ. 1996. - № 3 - 4. - С. 59 - 65.

51. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. М.: Финансы и статистика, 2001. - 368 с.0

52. Тихомиров O.K. Информатика и новые проблемы психологической науки // Вопросы психологии. 1986. - № 7. - С. 39 - 52.

53. Теория прогнозирования и принятия решений / Под ред. С. А. Саркисяна. М.: Высш. школа, 1977. - 351 с.

54. Отчет о НИР «Ступень». Серпухов: СВИ РВ, 2002. - 98 с.

55. Отчет о НИР «Адаптер». Серпухов: СВИ РВ, 2003. - 43 с.

56. Отчет о НИР «Меланин». Серпухов: СВИ РВ, 2003. - 114 с.

57. Маслов В.Г. Формализация экспертной информации при оценке эффективности научно-исследовательской деятельности и подготовки научно-педагогических кадров «Ученые записки института информатизации РАО» -Москва: ИИО РАО, 2005. 140 с. - С. 119 - 122.