Методы оценки инноваций на основе сетевых моделей принятия решений

Зенцова, Людмила Владимировна

Системный анализ, управление и обработка информации (по отраслям)

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы оценки инноваций на основе сетевых моделей принятия решений

кандидата технических наук: Зенцова, Людмила Владимировна
город: Иркутск
год: 2013
специальность ВАК РФ: 05.13.01

Диссертация по информатике, вычислительной технике и управлению на тему «Методы оценки инноваций на основе сетевых моделей принятия решений»

Автореферат диссертации по теме "Методы оценки инноваций на основе сетевых моделей принятия решений"

На правах рукописи

005536496

Зенцова Людмила Владимировна

МЕТОДЫ ОЦЕНКИ ИННОВАЦИЙ НА ОСНОВЕ СЕТЕВЫХ МОДЕЛЕЙ

ПРИНЯТИЯ РЕШЕНИЙ

Специальность 05.13.01 — Системный анализ, управление и обработка информации (региональные народно-хозяйственные комплексы)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

з 1 ОКТ 2013

Иркутск - 2013

005536496

Работа выполнена на кафедре «Информатика и кибернетика» ФГБОУ ВПО «Байкальский государственный университет экономики и права»

Научный руководитель: доктор экономических наук, профессор

Амбросов Николай Владимирович

Официальные оппоненты: Носков Сергей Иванович, доктор технических

наук, профессор

Защита диссертации состоится «26» ноября 2013 г. в 1500 на заседании диссертационного совета Д 212.070.07 при Байкальском государственном университете экономики и права по адресу: 664003, г. Иркутск, ул. К. Маркса, д.24, корп. 9, зал заседаний ученого совета БГУЭП.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Байкальский государственный университет экономики и права» по адресу: 664003, г. Иркутск, ул. Ленина, 11, БГУЭП, корпус 2, аудитория 101.

Объявление о защите и автореферат размещены «24» октября 2013 г. на сайте ВАК Минобрнауки РФ (www.vak.ed.gov) и на официальном сайте Байкальского государственного университета экономики и права (www.isea.ru).

Отзывы на автореферат направлять по адресу: 664003, г. Иркутск, ул. Ленина, 11, БГУЭП, ученому секретарю диссертационного совета Д 212.070.07.

Автореферат разослан «24» октября 2013 г.

Ученый секретарь диссертационного совета, """

Ованесян Сергей Суренович, доктор экономических наук, профессор

Ведущая организация: ФГБОУ ВПО «Иркутский государственный технический университет»

кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Эффективное управление инновациями в региональных народно-хозяйственных комплексах является одним из ключевых направлений обеспечения роста экономики и как следствие — повышения качества жизни. Управление инновациями требует системного подхода, необходимость которого при оценке качества инноваций определяется

- сложностью экспертируемого объекта: тройственностью трактовки понятия «инновация» (процесс; результат; процесс и результат);

- рассмотрением объекта в совокупности взаимосвязанных элементов системы «человек-среда-инновация»;

- наличием множества альтернативных инноваций;

- наличием множества критериев оценки;

- отсутствием стандарта качества инноваций и стандарта в выборе инструментария по оценке качества;

- субъективной зависимостью набора критериев оценки инноваций от состава и компетенций экспертной группы;

- отсутствием количественной и/или качественной информации о предпочтительности альтернатив и о последствиях;

- наличием неуправляемых или слабо управляемых факторов в системе «человек-общество-инновация» .

Проблема эффективного управления инновационной деятельностью в системах различной природы: технических, производственных, социальных, экономических, биологических связана с неопределенностью различного уровня: наличием неполной или недостоверной информации, сложностью и многообразием влияния различных факторов, не всегда оцениваемых количественно, наличием взаимозависимостей и обратных системных связей.

Для решения основных задач, определенных в Стратегии инновационного развития Российской Федерации на период до 2020 года и Государственной программе Российской Федерации «Социально-экономическое развитие Дальнего Востока и Байкальского региона до 2025 года», требуется всемерное использование факторов инновационного развития региона.

Актуальность выбора темы исследования определяется необходимостью создания адекватного инструментария оценки инноваций, что требует разработки методов и моделей оценки инноваций, разработки рекомендаций для повышения обоснованности управленческих решений в инновационной деятельности: при выборе и ранжировании альтернативных инноваций с учетом изменений внешней и внутренней среды.

Теоретическую основу исследования составили методология, основные понятия и методы системного анализа, основные методологические и теоретические положения квалиметрии, теоретические и практические основы методов принятия решений, основы теории нечетких множеств, теории инноваций, инноваций в образовании, управления инновациями и оценка качества инноваций (Аверченков В. И., Азгальдов Г. Г., Брундасов С. М., Волкова В. Н., Денисов A.A., Заде J1.A., Игнатьева Г. А., Казиев В. М., Кларин М.В., Костин А. В., Кофман А., Лаврентьев Г. В., Ларичев О. И., Лапин Н. И., Лукичева Л. И., Орлов А. И., Мерзликина Н. В., Меш-

ков А. А., Недбай А. А., Перегудов Ф. И., Подвесовский А. Г., Поспелов Д.А., При-гожин А. И., Райхман Э. П., Сазонов Б. В., Сластенин В. А., Слободчиков В. И., Сурмин Ю.П., Тарасенко Ф. П., Толстой В. С., Уемов А.И., Чепелев П. Н., Шумпе-тер Й., Юсуфбекова Н.Р., Basar О., Christensen Clayton М., Emsley М., Gasiea Y., Kerns К. P., Kim S. H, Lee J. W., Mikhailov L., Saaty T. L., Vargas L. G.).

Цель работы состоит в разработке моделей и методов оценки инноваций для повышения эффективности управленческих решений.

В соответствии с этой целью поставлены следующие задачи:

1. Разработать систему показателей для оценки интегрального качества инноваций.

2. Разработать сетевую и иерархическую модели оценки инноваций.

3. Разработать обобщенный метод оценки инноваций.

4. Разработать методику рейтинговой оценки образовательных инноваций.

5. Провести анализ селективности методов оценки инноваций.

Объектом исследования является оценка инноваций. Предметом исследования — модели и методы оценки инноваций. Методы исследования: методы системного анализа, дискретной математики, квалиметрии.

Научная новизна диссертации заключается в основных результатах, которые выносятся на защиту:

1. Обоснована система показателей для оценки интегрального качества инноваций.

2. Разработаны сетевая и иерархическая модели оценки инноваций.

3. Разработан обобщенный метод оценки инноваций.

4. Предложен подход к повышению адаптивности и объективности оценки инноваций за счет формирования комбинаций альтернатив и технологических цепочек альтернатив.

5. Проведен анализ селективности методов оценки инноваций на основе сетевых моделей принятия решений.

6. Разработана методика рейтинговой оценки образовательных инноваций с применением метода анализа иерархий.

Практическая значимость диссертационного исследования состоит в том,

что

1. разработанные сетевые модели оценки инноваций можно применять для принятия эффективных решений при проектировании, строительстве и реконструкции транспортных систем, в образовательной деятельности при выборе альтернативных инноваций на стадии их создания или внедрения;

2. построение эффективной образовательной траектории обеспечивается за счет оценки совместимых комбинаций наиболее качественных альтернатив и оценки технологических цепочек альтернатив;

3. проведена апробация разработанных сетевых моделей оценки образовательных инноваций в негосударственных образовательных учреждениях ВосточноСибирской железной дороги — филиала открытого акционерного общества «Российские железные дороги».

4. предлагаемые обобщенный метод оценки инноваций и программный продукт «Оценка инноваций» внедрены в учебный процесс Иркутского государственного университета путей сообщения.

Апробация работы. Основные положения диссертации докладывались и по-

лучили одобрение на Международной научно-практической конференции «Современные инновации в науке и технике» (г. Курск, 2013 г.), Международной научно-практической конференции «Формирование новой экономики XXI века» (г. Пенза, 2012 г.), Международной научно-практической конференции «Проблемы качества образования в современном обществе» (г. Пенза, 2010 г.), Всероссийской научно-практической конференции с международным участием «Транспортная инфраструктура Сибирского региона» (г.Иркутск, 2013г.), Всероссийском профессиональном конкурсе «Инноватика в образовании», проходившем в рамках XV юбилейного Российского образовательного форума (г. Москва, 2011 г.), Региональной научно-практической конференции «Образование и социально-экономические проблемы развития современного общества» (г.Иркутск, 2013 г.), конференциях аспирантов кафедры «Информатика и кибернетика» ФГБОУ ВПО «Байкальский государственный университет экономики и права» (г. Иркутск, 2011-2013 г.г.).

Публикации и личный вклад автора. Результаты диссертации отражены в 10 научных работах (в том числе 3 статьях в журналах, рекомендованных ВАК для опубликования научных результатов диссертации на соискание ученой степени доктора или кандидата наук).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографии из 114 наименований и 6 приложений. Общий объем работы — 192 страницы, из которых 140 страниц основного текста, включающих 28 рисунков и 26 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении раскрывается актуальность выбранной темы, цель и содержание поставленных задач, формулируются объект и предмет исследования, указывается практическая значимость полученных результатов, а также отмечаются основные результаты, которые выносятся на защиту.

В первой главе диссертации рассматриваются методы оценки качества объекта с позиции квалиметрии: понятие «качество» представляется сложным свойством объекта, измерение качества рассматривается как измерение образующих иерархическую структуру показателей свойств. Свойство «функциональность» является основной функцией объекта или проявляется во вспомогательной функции по взаимодействию в системе «человек — среда — объект».

Оценка качества инноваций требует решения проблемы измерения свойств показателей инноваций, для этого необходимо:

— определить систему свойств показателей инноваций;

— определить критерии оценки;

— выбрать метод оценки, способный учитывать «измеримые» и «неизмеримые» свойства показателей.

Предлагается оценивать инновации с помощью измерения «интегрального качества» объекта как совокупности характеристик, включающих результативность и экономичность (затраты).

Вторая глава диссертации посвящена рассмотрению методов принятия решения. Рассмотрены основные идеи, особенности реализации, преимущества и недостатки методов. Наибольшую полезность для оценки инноваций представляют методы, дающие возможность учитывать неопределенность, неоднородность и коли-

чественную неизмеримость параметров, многокритериальность и возможность выбирать решение из множества альтернатив при наличии критериев с разными типами шкал измерения.

Выбор для оценки инноваций методов анализа иерархий, аналитических сетей и максиминной свертки на основе теории нечетких множеств из группы многокритериальных методов принятия решений обоснован тем, что эти методы удовлетворяют требованиям многокритериального выбора с качественными и/или количественными шкалами разной размерности в условиях неопределенности из конечного набора альтернатив, учитывают критериальную зависимость, а также особенности обработки информации человеком, в том числе имеют средства для проверки согласованности мнений экспертов; причем метод аналитических сетей учитывает обратные связи.

В третьей главе диссертации анализируются методологические и теоретические основы оценки инноваций (понятие, типология, критерии, факторы внедрения и формирования инновационной среды). Анализ научной литературы показал сложность экспертируемого объекта, связанную с тройственностью трактовки понятия «инновация» (процесс; результат; процесс и результат). Существует более 100 определений понятия инновация. Автору наиболее близка позиция философа-экономиста Й. Шумпетера, который в начале XX века ввел это понятие и понимал инновацию как «любое возможное изменение, происходящее вследствие использования новых или усовершенствованных решений технического, технологического, организационного характера в процессах производства, снабжения, сбыта продукции и т.п.».

Исследование актуальных проблем оценки инноваций в образовании показало, что на данный момент не существует стандартов в оценке качества образовательных инноваций, стандартов в выборе инструментария по определению эффективного набора инноваций. Оценка качества инноваций до их разработки и внедрения в образовательный процесс крайне редко применяется в практике отечественной школы, что позволило бы выбрать для внедрения в образовательный процесс конкретного образовательного учреждения наиболее качественные инновации и избежать негативных и нейтральных влияний некоторых инноваций.

В диссертации разработана авторская система показателей для оценки интегрального качества инноваций. С этой целью построено дерево свойств показателей инноваций. В качестве основной функциональной характеристики инновации выступает сложное свойство «результативность» как степень достижения запланированных результатов. Результативность представлена значимостью по степени соответствия цели, социальной и практической значимостями. В качестве вспомогательных функциональных характеристик инновации (взаимодействия в системе «человек-среда-инновация») выступают свойства: «согласованность со средой», «реализуемость», «тиражируемость», «рискованность». Свойство экономичности представлено свойством «затраты», характеризующим финансовые, материально-технические и трудовые затраты.

Содержательный анализ соотношений свойств показателей инноваций и их измерителей, а также личный опыт автора по оценке инновационной деятельности позволили определить конечный набор измерителей (I) свойств показателей инноваций (Б), представленный в таблице 1.

Свойства показателей инноваций (Б) Измерители (I)

1. Качество инновации (результаты, получаемые обществом) 1.1 Результативность 1.11 Значимость по степени соответствия цели 1.11.1 Ценность результата Наличие нового, самодостаточного, завершенного результата в теории и практике

1.11.2 Актуальность Степень соответствия ожиданиям участников инновационного процесса

1.11.3 Прогрессивность Положительная динамика улучшения качеств товара, услуги или процесса

1.12 Социальная значимость 1.12.1 Общественное признание Степень соответствия ожиданиям участников инновационного процесса

1.12.2.Востребован ность Степень соответствия ожиданиям участников инновационного процесса

1.13 Практическая значимость 1.13.1 .Полезность (ожидаемое удовлетворение потребностей) Степень соответствия ожиданиям участников инновационного процесса

1.13.2 Безопасность Степень соответствия инновации здоровьесберега-гощим технологиям

1.2 Согласованность со средой 1.21 Интегрированность в среду Степень становления органической частью среды

1.22 Нормативно-правовое обеспечение

1.23 Гибкость (универсальность, адаптивность)

1.3 Разработанность Практическая проверка

1.4 Тиражируемость Возможность применения в массовом опыте

1.5 Рискованность 1.51 Сопротивление переменам участников инновационного процесса Степень соответствия ожиданиям участников инновационного процесса

1.52 Недостаток квалифицированных кадров Уровень квалификации кадров

1.53 Снижение качества товара, услуги или процесса Положительная динамика улучшения качеств товара, услуги или процесса

2. Экономичность (все затраты) 2.1 Финансовые затраты Руб.

2.2 Материально-технические затраты

2.3 Трудовые затраты

Анализ проблемной области позволил определить конечный набор измерителей свойств показателей инноваций и сузить множество свойств показателей, влияющих на оценку их качества (рисунок 1).

Свойства показателей

1 <

.1.7.

! » -г

112

1 )'

1 Л *

2- * 113 «

1111 « И 2-8 ' « 'л* 1 ■* 1 1/ 7 Л

.112+-

Изллерители гяойств

[ил с с V ¿. ' 5 3 « ' 1.

г,'., С •< ■> 1 <1-ЛеС^К'«

Г К РОГ Р Т, 1 Т И *

1.51 Г

1 > * 1 5 >■

1 х--.....................

Рисунок 1 — Графический результат содержательного анализа отношений свойств показателей инноваций и их измерителей В общем случае формальная модель оценки альтернативных инноваций может быть представлена набором <А, К, Р, КО>, где А = {а,, а2, ... , ар} - конечный набор альтернатив, К = {кь к2, ... , кш} — конечный набор критериев оценки альтернатив, КО — множество критериальных оценок инноваций (множество исходов), Р — решающее правило, Р: А КО.

Критериальная оценка ьй альтернативы в общем виде представляет собой вектор КО (а,) = (Р (а„ К]), Р (а,, к2), ..., Р (а;, кт)), элементы которого вычисляются как значения оператора Р для данной альтернативы по разным критериям.

Предложены подходы улучшению адаптивности и объективности оценки инноваций:

- оценка допустимых комбинаций наиболее качественных альтернатив:

КО(а; и ау) = (Р(а4 и а;, иД - , Р(а, и ау, кт));

- оценка технологических цепочек альтернатив с учетом изменений внешней и внутренней среды:

КО(а((Ф = (Р(а,(0.к1), - ,Р(а^),кт)). Предложено для оценки инноваций использовать систему моделей (БМ), включающую в себя иерархическую модель оценки инноваций (рисунок 2) и сете-

вую модель оценки инноваций (рисунок 3).

; Оцем»а качества и«-«>ааций ;

Р«*ЗуПЬТчЧТИЯИОГГГЬ : Вс)**>>ЖИ'МТ« : ЭКОНОМИЧНОСТЬ ; : РкС*»»ЯикЛ<5Т>> :

- Pv-rxSxmy.-wb

.. .V .»•.....

Р«иулыаг«вкост

V частик я

' 7 , -' -О

■I . ..........' .....

; > ' FKCKOSaWWrt.

. .......... ^ ~ ^

о:.....

0OW<S»WTK

ArtoTepwaTWtfW

" ..........; ...........

..*< ......

......Г .......................

Альтернатива 1 I : Ant.ftfpKafMtis 2 : ■ i Длиерютиеэ п :

Рисунок 3 - Сетевая модель оценки инноваций

Рисунок 2 - Иерархическая модель оценки инноваций

В многокритериальной задаче принятия решений оценку качества инновации можно осуществлять по критериям выгод, возможностей, издержек и рисков и учитывать мнения различных участников инновационного процесса. Наполняемость компонентов кластеров соответствует построенному дереву свойств показателей инноваций.

Разработан обобщенный метод оценки инноваций (рисунок 4) на основе системы моделей SM, рассматриваемый как инструментальный метод оценки инноваций. ЛПР может взять за основу оценки любую из предложенных моделей с учетом необходимой точности проведения оценки и принятия решения.

На основе иерархической модели с применением МАИ разработана и апробирована методика рейтинговой оценки образовательных инноваций, которая позволяет ранжировать инновации и выбирать для внедрения в конкретные образовательные учреждения наиболее эффективные альтернативы и комбинации наиболее качественных альтернатив. Для повышения надежности рейтинга комбинаций инноваций применяется подход, основанный на получении оценок от разных экспертов и проверке внутренней согласованности мнений экспертов с помощью коэффициента конкордации Кенделла.

Для реализации MAC на основе сетевой модели разработан программный продукт «Оценка инноваций», позволяющий ЛПР получить обоснованное решение задачи выбора и обеспечивающий адаптивность подходов для оценки инноваций в системах различной природы: технических, производственных, социальных, экономических, биологических.

В четвертой главе представлен алгоритм построения модели оценки инноваций. Проведена оценка образовательных альтернатив на основе иерархической и сетевой моделей методами анализа иерархий, аналитических сетей и максиминной свертки. Проведена оценка инноваций в технических системах на основе сетевой модели. Выполнен сравнительный анализ результатов оценки альтернатив, анализ оценки инноваций с учетом выбора технологических цепочек альтернатив, анализ устойчивости решения, полученного на основе метода аналитических сетей, анализ селективности методов оценки инноваций.

Множество альгернагиа

Структурирование задачи \ оценки и ранжирования !

альтернатив (цель., альтернативы, критерии) I

^'■"Улучшить объ&н-' т»вие>сть решения за счет"] "^четз изменении,..-'-""

.....--среды.'?......"

Нет К-.........................

Уч«<ль

ВЗЙИМОЗавИСИМОСТИ И •

обратные связи?.... •

Нет;

найти4^^., • базисное рсшен«е""*--ч^ недостатка«*« по вещ*-

НегТ

Да I Множество

..........Ц технологических цепочек

| альтернатив

Оценка альтернатив кз основ» МАС

Оценка зльтернзтия на основе максимииной свертки ТН8Л

Оценка альтерматив на основе МАИ

Улучшить ^ адаптивность рвшония? „..••

ДаТ

Прорзнжкрованное множество альтернатив

Множество допустимых комбинации наиболее качественных альтерната

Выбор лумшой альтернативы ППР

Яучинзо

Рисунок 4 — Обобщенный метод оценки инноваций В иерархической модели оценки инноваций используются МАИ и метод мак-симинной свертки на основе теории нечетких множеств (ТНМ). Оба метода применяют парные сравнения критериев и альтернатив по критериям. Строятся матрицы Ак размера пх п попарных сравнений критериев и альтернатив по каждому критерию.

/ Н^ / м>2 ... И^ / и>п

......... , гдек=1,...,ш;

Л, =

ч>п / и>, м>„ /

/ и>„

(1)

1; если а,0 = а, то

Элементы матриц ац определены следующим образом: а^ а^ = 1/а, а#0.

Матрицы Ак являются обратно-симметричными. Значения а^ элементов матриц соответствуют значимости объекта \ по сравнению с объектом ] и основаны на субъективных суждениях экспертов, сравнивающих важности объектов по предложенной Т. Саати шкале (1/9 — 9) относительной важности.

Если суждения совершенны при всех сравнениях, то alk=aijaji< для всех i, j, к и матрицу Ак называют согласованной. Согласованная матрица попарных сравнений получается только на точных измерениях. Известно, что согласованность положительной обратно-симметричной матрицы эквивалентна требованию равенства ее максимального собственного значения с п.

Ввиду того, что оценка инноваций основана не на точных измерениях, а на экспертных суждениях, значения а у могут отклоняться от равенства (1). Отсюда следует, что >.тах п.

Матрица попарных сравнений, построенная на экспертных суждениях, является положительной обратно-симметричной и незначительные отклонения ее элементов а^ вызывают незначительные отклонения i=l,...,n. Таким образом, отклонение Хшах от п для матрицы попарных сравнений суждений принимают за меру согласованности суждений.

Нахождение главного собственного вектора — вектора, которому соответствует ^ах, - позволяет найти вектор приоритетов.

Вектор приоритетов альтернатив определяется нормализацией собственного вектора. Для расчета собственного вектора используется оценка по геометрической средней: а£ = r\jwi/w1 ■ wi/w2 ■... ■ Wi/Wn, i=l,...,n.

Z = аг + а2+а3 H-----1- а

Xt = ajZ, Хг = ajZ, ...,Хп = ajZ.

п п п

Zwi v1 щ V щ

¡=1 * ¡=1 п

Согласованность суждений проверяется с помощью отношения согласованности: ОС=ИС/Случайная согласованность, где индекс согласованности И С = (Лтах — n)/(n — 1), случайная согласованность — среднестатистическая согласованность матрицы размерности п, элементами которой являются случайные числа.

Значения ОС < ОД считаются приемлемыми.

С помощью МАИ обобщенный (глобальный) приоритет альтернативы рассчитывается на основе аддитивной свертки рационально-взвешенного подхода, когда приоритет альтернативы является суммой произведений локальных приоритетов альтернатив по каждому критерию и нормированных весовых коэффициентов критериев. Альтернатива с наибольшим значением приоритета является лучшей.

С помощью метода максиминной свертки обобщенный (глобальный) приоритет альтернативы рассчитывается на основе функции принадлежности нечеткому множеству критериальных оценок альтернатив.

Критериальные оценки альтернатив a!t <т?, ..„ ат по каждому критерию i=l, ,п являются нечеткими множествами КО,= {\xKOi (а,)! at), \хКо, (02)^2, • ■•, Цлта (aj/am}. Правило выбора описывается пересечением нечетких множеств D = КО] п КО2 п... Г) КО„.и нахождением минимума

V-oip-i) = min ^KoMi),} = 1, ...,т.

1=1,...,n '

Альтернатива а — лучшая, если она имеет наибольшее значение функции принадлежности (а*) = max7=1.....т ßD(aj).

С учетом различной важности at критериев правило выбора имеет вид:

D~h'Oiat Г) KOfn.-.n КО™, причем at £ 0; i = 1.....n; £ • £?=i a, = 1.

Для более точной оценки инноваций предлагается применение метода аналитических сетей, учитывающего взаимные зависимости и обратные связи. Для каждого управляющего критерия строится своя сеть. Образуется S - система сетей, состоящая из п подсистем Р„ построенных на основе управляющих критериев К......К^.

Подсистема Р, формируется in компонентов (кластеров) С], где

/И.....^.^/, =т. Кластеры С} состоят из элементов е'^ ,n.m.r„pt еЛ. С) -j-й кластер i-й подсистемы Р,.

Анализ предметной области позволил выделить трех участников инновационного процесса. Кластер «Участники» состоит из элементов «Разработчик (Исполнитель)», «Потребитель» и «Руководитель». Для образовательных инноваций уточним кластер «Участники»: его составляют элементы «Учителя». «Ученики и родители», «Администрация ОУ и учредитель».

Далее с помощью парных сравнений по шкале Т. Саати устанавливаются зависимости и обратные связи между элементами и кластерами сетей. Главные собственные векторы матриц попарных сравнений интерпретируются как векторы приоритетов сравниваемых объектов. Из векторов приоритетов матриц попарных сравнений для каждого управляющее кртсрия с фишей суперми ipmia W* - квадратам матрица, отражающая взаимные влияния компонентов подсистемы Р,. Блоки W,, су-перматршш задают влияние С, кластера сети на С, кластер.

Взвешенная суперматрица показывает сравнение влияний пар элементов на с' с' с• управляющий критерий. Для нормирования

столбцов суперматрицы используются векторы приоритетов кластеров.

Предельная суперматрниа limk_„(W/') ,,„е, г? позволяет вычислить обобщенные приорите-

ты. Синтез приоритетов - обобщенные приоритеты влияния по выгодам, возможностям, издержкам и рискам вычисляется на основе предложенных Т. Саати формул аддитивной и мультипликативной сверток:

pMutl _ (Р£) (Р°|) . С Add - и, рв .

Рл' w д* в л'

w0P?+ wc/Pl+ wR/Pt где F^ult,F^d -

1 ' ' Л| ' значения глобальных приоритетов аль-

PLf&P&it

тернативы А, при мультипликативной и аддитивных свертках; - зна-

чения приоритетов альтернативы А, по выгодам, возможностям, издержкам и рис-

wB,w0, wc, wR - .

кам; значения приоритетов для выгод, возможностей, издержек и

рисков.

Выполнено решение задачи оценки одного и того же множества образовательных альтернатив на одном и том же множестве критериев с помощью иерархической и сетевой моделей оценки. Для сравнения были взяты две альтернативы: кура-

гж -

торство в параллели учащихся 5 классов (К5) и классное руковолсгво (КпРук). Оказалось, что результаты (рисунок 5) не отличаются но доминированию альтернатив, но отличаются но значениям приоритетов. Такое различие характеризуется подходами к оценке. Результаты опенки альтернатив методами анализа иерархий (МАИ) и макснмннной свертки очень близки между собой, к тому же приоритеты альтернатив выражены слабо. Оба метода в вычислениях используют одинаковые матрицы попарных сравнений альтернатив и критериев, но методы не учитывают обратных связей. Наибольшую разницу в оценке альтернатив дает метол аналитических сетей (МАО, показывая более четко выраженные ______________________«и» ......

приоритеты альтернатив. Метол позволяет

дать более точную оценку альтернативам: с.о oj 4*

учитывает взаимные влияния элементов сети.

маг HAV*"* ni*

ЭШ1И1 rtm-ж 1 ш

о.««

ол

Рисунок 5 - Сравнительные рету.тьтаты опенки альтернатив рашымн методами

Выполненный пример оценки инноваций в образовании с учетом выбора технологических цепочек альтернатив позволил определить эффективные инновации с учетом изменений внешней и внутренней среды и выстроить эффективные образовательные траектории (рисунок 6).

MAC (мулимпл симтет) MAC (1дд.сикгез)

Г1:*"

0,22 0,24

•0,7«

К5 • KYpatop<T»o " S «лассс К7 • кураторстю • 7 кмссе

0J 0.4

0Í

0.8

Рисунок 6 - Сравнение результагов оценки инноваций в образовании на основе МЛС с учетом выбора технологических цепочек (зависимость альтернативы от параметра I)

Сравнительный анализ оценок альтернатив К5 - кураторства в 5 классе и К л Рук - классного руководства, полученных на основе MAC и проведенных одной и той же группой экспертов дважды с учетом изменений внешней и внутренней среды до внедрения кураторства в 5 классах и через год после внедрения, показывает устойчивость результатов (рисунок 7).

MAC (мультмпл.симт), через юд MAC (мультипл синтез), до апробации MAC («AACMHiei). через год MAC (аддеимтеа). до апробации

клРу»

Рисунок 7 - Сравнение результатов оценки инноваций в образовании на основе MAC с учетом изменений внешней и внутренней среды Приоритет альтернативы классного руководства с течением времени только упрочился (увеличение значения с 0,56 до 0,85 при аддитивном синтезе приоритетов и с 0,59 до 0,96 - при мультипликативном).

Оценка альтернатив на основе MAC разными экспертными группами одно-

временно также показывает устойчивость результатов (рисунок 8).

-it____I j |

MAC (мультипл.симте»!. 2 групп» u-" I ¿,75 j

MAC (адд синтг»), 2 группа . o,61

MAC (мультмпл.синтеа), 1 группа MAC (аддсмитм), 1 группа

ОМ

0Д&

1 о^

КлРук

0 0.2 0,4 0.6 0.8 1 Рисунок 8 — Сравнение результатов оценки инноваций в образовании раишми экспертными

фулпами на основе MAC Анализ чувствительности альтернатив на сетевых моделях выгод, возможностей и рисков показал, что альтернатива классного руководства доминирует (рисунки 9, 10, 12). Анализ чувствительности на сетевой модели издержек показал, что если приоритет издержек станет выше 76%, то альтернатива К5 доминирует (рисунок

111 _ _

^.J. I ...Ц1Ч -l.-l -------------ЦДИ11М1—WW

t IWV»

Г fc ■»

-----""*

| iWVt —

1 If \i £ Г

- a-

Кж» • •

Рисунок 9 - Анализ чувствительности на сетевой модели выгод

Рисунок 10 —Анализ чувствительности на сетевой модели возможностей

Рисунок 11 - Анализ чувствительности на сетевой модели издержек

Рисунок 12 - Анализ чувствительности на сетевой модели рисков

Устойчивость решения на основе MAC подтверждается анализом чувствительности альтернатив к задаваемым изменениям значений весовых коэффициентов критериев оценки и результатами оценки, полученными в разные периоды времени. С применением MAC проведена оценка инноваций в технических системах:

1. оценивались инновационные технологии строительства автомобильных дорог: применение геотекстиля и пенополистнрола (приоритеты альтернатив представлены на рисунке 13):

2. оценивалось использование врезных шлаковых подушек и пенополистнрола для предотвращения морозного лучения грунтов на железной дороге (приоритеты альтернатив представлены на рисунке 14).

MMIiMom} MAC (М|ЯкММ (MO(l)

0374

0.616 MAC |UA смете») 0,201 , 0,799

0,646 MAC (ivviikTMUi. Смит) 0.1W 0Д16

0.8 0fi 0.5 1.0

применен«« пемополистирол* применение геотеиггиля

применение пеиополистмроле применение шлаковой подушки

Рисунок 13 - Сравнительные результаты оценки Рисунок 14 - Сравнительные результаты оценки технологий строительства автомобильных дорог технологий железнодорожного строительства

В заключении приведены полученные в ходе диссертационного исследования основные результаты.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана система показателей для оценки интегрального качества инноваций.

2. Предложен алгоритм построения модели оценки инноваций, позволяющий реализовать адекватный инструментарий оценки инноваций в технических системах и сфере образования и с его помощью повысить эффективность управленческих решений.

3. Разработаны и апробированы сетевая и иерархическая модели оценки инноваций.

4. Разработан и апробирован обобщенный метод оценки инноваций.

5. На основе формирования совместимых комбинаций наиболее качественных альтернатив и технологических цепочек альтернатив разработан и апробирован подход к улучшению адаптивности и объективности оценки инноваций, позволяющий определить эффективные инновации с учетом изменений внешней и внутренней среды и выстраивать новые эффективные траектории инновационного процесса.

6. Представление результатов оценки образовательных инноваций с применением методов анализа иерархий, аналитических сетей и максиминной свертки стало подтверждением адекватности результатов, полученных на основе иерархической и сетевой моделей. Сетевая модель обеспечивает большую разрешающую способность для оценки инноваций. Метод аналитических сетей обладает большей селективностью: позволяет дать более точную оценку альтернативам.

7. Оценена устойчивость полученных решений с помощью анализа чувствительности альтернатив.

8. Разработана и апробирована методика рейтинговой оценки образовательных инноваций с применением метода анализа иерархий.

9. На основе сетевой модели оценки инноваций разработан программный продукт принятия решений «Оценка инноваций», позволяющий ЛПР в диалоговой форме получить обоснованное решение задачи выбора. Получен акт внедрения программного продукта.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

В изданиях, рекомендованных ВАК Минобрнауки РФ

1. Зенцова, Л. В. Модели и методы оценки инноваций [Текст] / Л. В. Зенцова // Современные технологии. Системный анализ. Моделирование. - 2012. - № 4 (36). -С. 227-233 (0,38).

2. Амбросов, Н. В. Метод аналитических сетей для оценки педагогических инноваций [Электронный ресурс] / Н. В. Амбросов, Л. В. Зенцова // Известия Иркутской государственной экономической академии (Байкальский государственный университет экономики и права). Электронное издание : Свидетельство о регистрации ЭЛ № ФС77-34490 от 28 ноября 2008 г. ISSN 2072-0904 (Online). - 2012. — № 4. - Режим доступа: http://eizvestia.isea.ru/reader/rticle.aspx7icH13861 (17 июня 2013) (0,47/0,3).

3. Амбросов, Н. В. Рейтинговая оценка педагогических инноваций на основе метода анализа иерархий [Электронный ресурс] / Н. В. Амбросов, Л. В. Зенцова // Известия Иркутской государственной экономической академии (Байкальский государственный университет экономики и права). Электронное издание : Свидетельство о регистрации ЭЛ № ФС77-34490 от 28 ноября 2008 г. ISSN 2072-0904

№

(Online). - 2011. — № 6. - Режим доступа:

http://eizvestia.isea.ru/reader/article.aspx?id=14063 (17 июня 2013) (0,5/0,4).

Статьи в других изданиях 1. Зенцова, JL В. Применение сетевой модели оценки инноваций в транспортной инфраструктуре [Текст] / Л. В. Зенцова // Транспортная инфраструктура Сибирского региона: Материалы четвертой всероссийской научно-практической конференции с международным участием. - Иркутск: Изд-во ИрГУПС, 2013. — С. 401-408 (0,44).

2. Амбросов, Н. В. Сетевая модель в оценке инноваций [Текст] / Н. В. Амбросов, Л. В. Зенцова // Образование и социально-экономические проблемы развития современного общества: Материалы второй региональной научно-практической конференции. - Иркутск: Восточно-Сибирская государственная академия образования, 2013.-С. 149-152 (0,22/0,12).

3. Зенцова, Л. В. Методы оценки инноваций на основе сетевых моделей принятия решений [Текст] / Л. В. Зенцова // Современные инновации в науке и технике: материалы 3-й Международной научно-практической конференции - Курск: Юго-Зап. гос. ун-т, 2013. - С.61-65 (0,28).

4. Зенцова, Л. В. Формализация оценки педагогических инноваций [Текст] / Л. В. Зенцова // Формирование новой экономики XXI века: сборник статей IV Международной научно-практической конференции — Пенза: Приволжский Дом знаний, 2012. - С. 55-59 (0,25).

5. Зенцова, Л. В. Исследование актуальных проблем оценки педагогических инноваций [Текст] / Л. В. Зенцова // Применение математических методов и информационных технологий в экономике: сб.науч.тр. - Иркутск: Изд-во БГУЭП, 2011.-Вып. 10.-С. 178-185 (0,47)

6. Зенцова, Л. В. Обзор существующего программного обеспечения, реализующего метод анализа иерархий, и изучение его применения в рейтинговой оценке педагогических инноваций [Текст] / Л. В. Зенцова // Проблемы качества образования в современном обществе: сборник статей 5-й международной научно-практической конференции — Пенза: Приволжский Дом знаний, 2010. — С. 66-67 (0,09).

7. Зенцова, Л. В. Анализ состояния инновационной среды НОУ «Лицей № 36 ОАО «РЖД» [Текст] / Л. В. Зенцова // Модернизация социально-экономического развития региона: сб. науч. тр. / под ред. В. И. Самарухи, Базара Болдбаатара; Ин-т нац. развития при администрации президента Монголии и МАН. - Иркутск: Изд-во БГУЭП, 2009. - С. 136-141 (0,28).

Подписано в печать 22.10.13 формат 60x90 , Бумага офсетная. Печать трафаретная. Усл. печ. л. 1,0. Тираж 100 экз. Заказ 5203. Издательство Байкальского государственного университета экономики и права.

664003, г. Иркутск, ул. Ленина, 11. Отпечатано в ИПО БГУЭП.

Текст работы Зенцова, Людмила Владимировна, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

ФГБОУ ВПО «Байкальский государственный университет экономики и права»

На правах рукописи

Зенцова Людмила Владимировна

МЕТОДЫ ОЦЕНКИ ИННОВАЦИЙ НА ОСНОВЕ СЕТЕВЫХ МОДЕЛЕЙ ПРИНЯТИЯ РЕШЕНИЙ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (региональные народно-хозяйственные комплексы)

Диссертация на соискание ученой степени кандидата технических наук

оо 00

Научный руководитель: доктор экономических наук, профессор Амбросов Николай Владимирович

Иркутск - 2013

Оглавление

Введение...........................................................................................................4

Глава 1. Измерение качественных показателей системы..........................14

1.1. Иерархия показателей качества........................................................15

1.2. Построение дерева свойств качества объекта.................................19

1.3. Методы оценки качества объекта.....................................................23

1.4. Комплексная оценка качества...........................................................28

Выводы.......................................................................................................32

Глава 2. Методы принятия решений...........................................................33

2.1. Групповые и индивидуальные методы принятия решений...........33

2.2. Методы оценки и сравнения многокритериальных альтернатив.. 39

Выводы...........................................................................................................50

Глава 3. Оценка инноваций..........................................................................51

3.1. Методологические и теоретические основы оценки инноваций ..51

3.2. Актуальные проблемы оценки инноваций в образовании.............65

3.3. Дерево свойств показателей инноваций..........................................71

3.4. Модели и методы оценки инноваций...............................................77

Выводы...........................................................................................................92

Глава 4. Анализ качества инноваций с помощью сетевых моделей........95

4.1. Алгоритм построения модели оценки инноваций..........................95

4.2.Оценка инноваций в образовании...................................................106

4.3.Оценка инноваций в технических системах...................................124

4.4. Анализ устойчивости решения, полученного на основе МАС ... 131

Выводы.....................................................................................................136

Заключение...................................................................................................138

Библиография...............................................................................................141

Приложение А..............................................................................................160

Обзор существующего программного обеспечения, реализующего МАИ, и изучение его применения в рейтинговой оценке инноваций..........160

Приложение Б..............................................................................................168

Пример рейтинговой оценки образовательных инноваций на основе метода анализа иерархий........................................................................168

Приложение В..............................................................................................187

Анализ эффективности методики оценки образовательных инноваций на основе МАИ.............................................................................................187

Приложение Г..............................................................................................190

Акт внедрения в учебный процесс кафедр ИрГУПС программного продукта «Оценка инноваций» и обобщенного метода оценки инноваций.................................................................................................190

Приложение Д..............................................................................................191

Справка о внедрении результатов диссертационного исследования в общеобразовательных учреждениях ВСЖД- филиала ОАО «РЖД»191

Приложение Е..............................................................................................192

Справка о внедрении результатов диссертационного исследования в Лицее № 36 ОАО «РЖД».....................................................................192

Введение

Актуальность темы исследования

Эффективное управление инновациями в региональных народнохозяйственных комплексах является одним из ключевых направлений обеспечения роста экономики и как следствие - повышения качества жизни. Управление инновациями требует системного подхода, необходимость которого при оценке качества инноваций определяется

- рассмотрением объекта в совокупности взаимосвязанных элементов системы «человек-среда-инновация»;

- наличием множества альтернативных инноваций;

- наличием множества критериев оценки;

- отсутствием стандарта качества инноваций и стандарта в выборе инструментария по оценке качества;

- субъективной зависимостью набора критериев оценки инноваций от состава и компетенций экспертной группы;

- наличием неуправляемых или слабо управляемых факторов в системе «человек-среда-инновация» .

Проблема эффективного управления инновационной деятельностью в си-

стемах различной природы: технических, производственных, социальных, экономических, биологических связана с неопределенностью: наличием неполной или недостоверной информации, сложностью и многообразием влияния различных факторов, не всегда оцениваемых количественно, наличием взаимозависимостей и обратных системных связей, что позволяет отнести такие системы к плохо (частично) формализуемым.

Примерами задач управления в плохо формализуемых системах (характеризующихся трудностями формального описания системы ввиду полной или частичной неизвестности закона ее функционирования, изменчивости и многомерности множества факторов, влияющих на протекающие в системе процессы, плохой формализуемости характеристик системы и др.) являются управление безопасностью систем связи и транспортных систем; стратегическое и тактическое планирование в организациях; управление «электронным» государством; управление проведением открытых конкурсов, определяющих победителя на выполнение работ, поставку товаров или предоставление услуг; управление создаваемыми и используемыми в различных сферах деятельности инновациями, в том числе по отношению к новым подходам по управлению персоналом (приоритет системы корпоративных ценностей), управление в системах образования, здравоохранения, энергообеспечения.

Решение основных задач Стратегии инновационного развития Российской Федерации на период до 2020 года: «активизация деятельности по реализации инновационной политики», «повышение инновационной активности бизнеса», «развитие кадрового потенциала» [85, с. 18] в сфере образования, отно-

сящейся к непроизводственной сфере регионального народно-хозяйственного комплекса, и транспортной системе несут в себе большой потенциал инновационного развития региона. Одним из приоритетных направлений является повышение качества образования и «формирование и развитие навыков и компетенций инновационной деятельности» [85, с. 36]. Модернизация системы образования меняет подходы к обучению, возникают новые технологии и формы, качественно изменяется содержание образовательных программ, их структура, методы и формы организации образовательного процесса.

Государственная программа Российской Федерации «Социально-экономическое развитие Дальнего Востока и Байкальского региона до 2025 года» устойчивое развитие региона связывает с инновационным развитием транспортной системы.

Хочется отметить, что одним из ключевых факторов инновационного развития региона становится эффективное управление инновациями.

Теоретическую основу исследования составили - методология, основные понятия и методы системного анализа (Волкова В. Н., Денисов A.A., Казиев В. М., Перегудов Ф. И., Сурмин Ю.П., Тара-

сенко Ф. П., Уемов А.И.);

- методология научного исследования (Баскаков А. Я., Рузавин Г. И., Тулен-

ков Н. в.);

- основные методологические и теоретические положения квалиметрии (Аз-гальдов Г. Г., Костин А. В., Мерзликина Н. В., Недбай А. А., Райхман Э. П.);

- основы теории нечетких множеств (Заде Л. А., Кофман А., Орлов А. И., Поспелов Д. А.)

- теоретические и практические основы методов принятия решений (Аверчен-ков В. И., Брундасов С. М., Ларичев О. И. , Лукичева Л. И., Подвесовский А. Г., Basar О., Emsley ML, Gasiea Y., Kerns К. P., Kim S. H., Lee J. W., Mi-khailov L., Saaty T. L., Vargas L. G.);

- основные положения теории инноваций (Лапин Н. И., Мешков А. А., При-гожин А. И., Сазонов Б. В., Толстой В. С., Шумпетер Й., Christensen Clayton М.);

- методологические и теоретические основы инноваций в образовании (Кла-рин М.В., Лаврентьев Г. В., Сластенин В. А., Слободчиков В. И., Юсуфбеко-ва Н.Р. и др.);

- основы управления инновациями и оценка качества инноваций (Адамский А. И., Белкин С. В., Борисова Н., Игнатьева Г. А., Новиков Д. А., Новоселов С. А., Сутужко В. В., Сыманюк Э. Э., Файзуллина Г. 3., Хомутский Д., Чепе-лев П. Н., Юрлов Ф. Ф.).

Цель работы состоит в разработке моделей и методов оценки инноваций

для повышения эффективности управленческих решений.

В соответствии с этой целью поставлены следующие задачи:

1. Разработать систему показателей для оценки интегрального качества инноваций.

2. Разработать сетевую и иерархическую модели оценки инноваций.

3. Разработать обобщенный метод оценки инноваций.

4. Разработать методику рейтинговой оценки образовательных инноваций.

5. Провести анализ селективности методов оценки инноваций.

Объектом исследования является оценка инноваций. Предметом исследования - модели и методы оценки инноваций. Методы исследования: методы системного анализа, дискретной математики, квалиметрии.

Научная новизна диссертации заключается в основных результатах, которые выносятся на защиту:

1. Обоснована система показателей для оценки интегрального качества инноваций.

2. Разработаны сетевая и иерархическая модели оценки инноваций.

3. Разработан обобщенный метод оценки инноваций.

5. Проведен анализ селективности методов оценки инноваций на основе сетевых моделей принятия решений.

Практическая значимость диссертационного исследования состоит в том, что

3. проведена апробация разработанных сетевых моделей оценки образовательных инноваций в негосударственных образовательных учреждениях Восточно-Сибирской железной дороги - филиала открытого акционерного общества «Российские железные дороги»;

Апробация работы. Основные положения диссертации докладывались и получили одобрение на Международной научно-практической конференции «Современные инновации в науке и технике» (г. Курск, 2013 г.), Международной научно-практической конференции «Формирование новой экономики XXI века» (г.Пенза, 2012г.), Международной научно-практической конференции

«Проблемы качества образования в современном обществе» (г. Пенза, 2010 г.), Всероссийской научно-практической конференции с международным участием «Транспортная инфраструктура Сибирского региона» (г.Иркутск, 2013г.), Всероссийском профессиональном конкурсе «Инноватика в образовании», проходившем в рамках XV юбилейного Российского образовательного форума (г. Москва, 2011 г.), Региональной научно-практической конференции «Образование и социально-экономические проблемы развития современного общества» (г.Иркутск, 2013 г.), конференциях аспирантов кафедры «Информатика и кибернетика» ФГБОУ ВПО «Байкальский государственный университет экономики и права» (г. Иркутск, 2011-2013 г.г.).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографии из 114 наименований и 6 приложений. Общий объем работы - 192 страницы, из которых 140 страниц основного текста, в том числе 28 рисунков и 26 таблиц.

В первой главе диссертации рассматриваются методы оценки качества

объекта с позиции квалиметрии: понятие «качество» представляется сложным свойством объекта, измерение качества рассматривается как измерение образующих иерархическую структуру показателей свойств. Свойство «функциональность» является основной функцией объекта или проявляется во вспомогательной функции по взаимодействию в системе «человек - среда - объект».

- определить систему свойств показателей инноваций;

- определить критерии оценки;

- выбрать метод оценки, способный учитывать «измеримые» и «неизмеримые» свойства показателей.

Вторая глава диссертации посвящена рассмотрению методов принятия решений, классифицируемых по количеству участников в принятии решений и по количеству критериев. Рассмотрены основные идеи, особенности реализации, преимущества и недостатки методов.

В общем виде описана формальная модель оценки альтернативных инноваций, перечислены принимаемые допущения при создании модели. Обоснован выбор многокритериальных методов принятия решения для оценки инноваций и среди таких методов - выбор методов анализа иерархий, аналитических сетей и максиминной свертки на основе теории нечетких множеств. Разработана авторская система показателей оценки интегрального качества инноваций. Разработана система моделей, включающая иерархическую и сетевую модели для оценки инноваций. На основе данной системы моделей построен обобщенный метод оценки инноваций. Разработана методика рейтинговой оценки образовательных инноваций с применением метода анализа иерархий. Предложены подходы к улучшению объективности оценки инноваций:

- оценка совместимых комбинаций наиболее качественных альтернатив;

- оценка технологических цепочек альтернатив с учетом изменений внешней и внутренней среды.

В четвертой главе представлен алгоритм построения модели оценки инноваций. Проведена оценка образовательных альтернатив на основе иерархической и сетевой моделей методами анализа иерархий, аналитических сетей и максиминной свертки на основе теории нечетких множеств. Проведена оценка технических инноваций в транспортном комплексе региона на основе сетевой модели. Выполнен сравнительный анализ результатов оценки альтернатив, анализ оценки инноваций с учетом выбора технологических цепочек альтернатив, анализ устойчивости решения, полученного на основе метода аналитических

сетей, анализ селективности методов оценки инноваций.

В заключении приведены полученные в ходе диссертационного исследования основные результаты.

Глава 1. Измерение качественных показателей системы

Современный мир является сложной системой, проявляющей свои свойства через взаимодействие и взаимозависимость его составляющих, образующих единое целое. Принятие эффективных решений в различных сферах деятельности, в том числе в области управления инновациями, опирается на применение разнообразных процедур и методов оценки объектов управления. Существующая инструментальная неизмеримость свойств показателей некоторых элем

Похожие работы

Информатика, вычислительная техника и управление
05.13.00