автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и алгоритмы системы коллективного интеллекта в решении задач развития промышленного предприятия

На правах рукописи

Маркарян Лаура Виликовпа

МОДЕЛИ И АЛГОРИТМЫ СИСТЕМЫ КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА В РЕШЕНИИ ЗАДАЧ РАЗВИТИЯ ПРОМЫШЛЕННОГО ПРЕДПРИЯТИЯ

Специальность 05.13.01.

Системный анализ, управление и обработка информации (промышленность)

г 1 по я 2013

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

005538977

Москва 2013

005538977

Диссертация выполнена на кафедре «Автоматики и управления в технических системах» ФГБОУ ВПО «Московский государственный горный университет».

Научный руководитель: Владислав Иванович Протасов,

кандидат физико-математических наук, доцент.

Официальные оппоненты: Ивченко Валерий Дмитриевич,

доктор технических наук, профессор, зав. кафедрой «Автоматических систем» ФГБОУ ВПО «Московский государственный технический университет радиотехники, электроники и автоматики»;

Максимов Николай Анатольевич

кандидат технических наук, доцент кафедры «Информационные технологии». ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)».

Ведущая организация: ФГБУН «Институт проблем информатики РАН».

Защита состоится « 17 » декабря 2013 г. в II00 часов на заседании диссертационного совета Д 212.128.07 по защите диссертаций в ФГБОУ ВПО «Московский государственный горный университет» по адресу: 119991, Москва, Ленинский проспект, д. 6.

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «Московский государственный горный университет».

Автореферат разослан «15 » ноября 2013г.

Ученый секретарь

диссертационного совета Д 212.128.07 доктор технических наук, профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Развитие информационных компьютерных технологий, усложнение современного производства и повышение внимания к системе комплексного управления качеством привели к тому, что в центре внимания предприятий все чаще становится деятельность многофункциональных управленческих команд и рабочих групп, которая направлена на решение комплексных проблем и заданий. Для реализации такой деятельности особенно важным является создание сетевых систем поддержки принятия решений, которые применяются при решении трудно формализуемых задач управления в промышленности и формировании решений в чрезвычайных условиях.

Технология групповой обработки информации, реализованная на вычислительных сетях, хорошо подходит для многих видов коллективной интеллектуальной работы, в том числе для принятия групповых решений.

Разработка и исследование новых информационных технологий, основанных на современных методах поддержки принятия решений и обработки информации, позволяют существенно повысить интеллектуальный потенциал общества, способствуют сокращению времени и повышению качества принятия управленческих решений.

Для решения трудноформализуемых задач необходимо применение приближенных методов, которые основаны на использовании эмпирических данных, на коллективных решениях, экспертных оценках и специально разработанных методиках под необходимый класс задач.

Общеизвестные методы и технологии, используемые для поддержки принятия решений в трудно формализуемых задачах, имеют ряд ограничений, которые обусловлены недостаточной эффективностью решения и обработки неполной и неточной исходной информации, интерпретации данных и накопления знаний экспертов, согласованного представления информации, поступающей из различных источников.

К таким задачам, исследованным в диссертационной работе, относятся задачи принятия согласованных решений группой экспертов при их работе над проектом с заданной целью. Методы построения систем поддержки принятия решений берут начало в работах российских и зарубежных ученых Глушкова В.М., Амосова H.A., Поспелова Д.А., Винера Н., Минского М., Ларичева О.И., Заде JI.A., Лорьера Ж.-Л., Розенблатта Ф., Пейперта С., Стефанюка В.Л., Трахтенгерца Э.А., Загоруйко НГ., Хиценко В.Е., Вапша ВН., Попова Э.В., Осипова Г.С., Финна В.К., Джонсона Д., Осборна А. и др.

Эти ограничения могут быть устранены при использовании сетевых человеко-машинных интеллектуальных систем и применении гибридных технологий, эволюционного моделирования и генетических алгоритмов, нечеткой логики и различных комбинированных технологий.

Несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие задачи, связанные с разработкой методов и алгоритмов групповой работы, которые могут быть применены для успешной реализации Форсайт-проектов в промышленности. Недостаточно проработаны вопросы интеграции различных гибридных информационных технологий и особенности их реализации в системах принятия решений с целью повышения эффективности решения трудно формализуемых задач.

Таким образом, задачи диссертационной работы, направленные на обработку информации, разработку алгоритмов и программного обеспечения системы коллективного интеллекта для решения задач развития промышленных предприятий, в экономике и образовании, являются актуальными.

Целью диссертационной работы является создание системы коллективного интеллекта путем развития и оптимизации метода эволюционного согласования решений для эффективного решения задач управления в промышленности и образовании. Задачи диссертационной работы:

1. Разработать математическую модель виртуального эксперта, позволяющую выполнить оптимизацию метода эволюционного согласования решений в предметных областях.

2. Разработать алгоритм анализа и оценки количественного вклада экспертов в составляемый ими проект.

3. Разработать алгоритм эффективного принятия решений системой коллективного интеллекта на основе развития метода эволюционного согласования решений.

4. Провести оптимизацию алгоритма системы коллективного интеллекта.

5. Разработать программное обеспечение системы коллективного интеллекта, провести экспериментальные исследования алгоритмов и программных средств.

Идея работы состоит в использовании разработанной математической модели виртуального эксперта и алгоритма оптимизации метода эволюционного согласования для эффективного принятия решений системой коллективного интеллекта.

Методы исследования базируются на теории систем, системном анализе, теории принятия решений, практике создания интеллектуальных систем управления на основе генетических и эволюционных алгоритмов.

Основные научные положения, выносимые на защиту:

1. Разработанная модель виртуального эксперта позволяет настраивать параметры алгоритма для оптимизации метода эволюционного согласования решений.

2. Разработанный алгоритм оценки количественного вклада экспертов позволяет определять их эффективность в принятом консолидированном решении.

3. Разработанный алгоритм оптимизации позволяет повысить эффективность совместной работы группы экспертов в получении консолидированного решения задач управления в промышленности и образовании.

Научная иовизна работы. Разработанные модель и алгоритмы являются новыми в области теории принятия решений и позволяют снижать временные затраты на получение консолидированных решений задач управления в промышленности и образовании. Разработанная система коллективного интеллекта, являясь информационной системой, позволяет повысить интеллектуальный уровень информированности экспертов и организовать их эффективную работу.

Практическая ценность результатов заключается в том, что созданная программа реализации алгоритмов оценки и оптимизации в системе коллективного интеллекта позволяет находить практически важные решения Форсайт-проектов промышленности, а также применяться при оценке компетентности экспертов по вопросам повышения безопасности и эффективности производственных процессов на предприятиях.

Обоснованность научных положений и выводов диссертации подтверждаются результатами экспериментов по применению разработанных алгоритмов системы коллективного интеллекта для развития метода эволюционного согласования при решении проектных и экспертных задач на промышленных предприятиях. Акты о внедрении и использовании этих результатов представлены в Приложении к диссертации.

Теоретические и практические результаты, полученные в диссертационной работе, реализованы:

1)при выполнении работ по гранту Российского фонда фундаментальных исследований, проект № 08-07-00447 «Разработка и исследование методов оценки достоверности результатов восстановления объемных фотороботов на основе общедоступных установок виртуальной реальности»;

2) в деятельности автономной некоммерческой организации «Институт физико-технической информатики» в виде комплекса программных средств для моделирования и исследования процессов группового принятия решений;

3)при выполнении работ по гранту Российского фонда фундаментальных исследований, проект №13-07-00958 «Разработка теории и экспериментальные исследования новой информационной технологии самоуправляемого краудсорсинга»;

4) на промышленном предприятии ОАО «Ставропласт» при экспертном выборе инновационного оборудования по производству полипропиленовых тканых мешков и в работе технологического отдела при разработке рецептуры для производства продукции;

5) в деятельности ООО «НИИОГР» при оценке компетентности экспертов по вопросам повышения безопасности и эффективности производственных процессов на горнодобывающих предприятиях.

Апробация работы. Основные результаты работы докладывались и обсуждались на восьми международных и российских конференциях

The International Scientific Conference of The Mediterranean Institute of Applied Science of The Moscow Institute of Physic and Technology of The Institute of Computing for Physics and Technology «Medias'2009», Limassol, Ciprus.

Научно-практической конференции «Ситуационные центры. Методы. Решения. Реализация», Российская Академия государственной службы, Москва, 2008г.

Научно-практической конференции «Новые информационные технологии в образовании», Москва, 2009г.

Международной Интернет-конференции «Информационные технологии в науке и образовании», Шахты, Южно-Российский государственный университет экономики и сервиса. 2009г.

Научном симпозиуме «Неделя горняка» (МГТУ, 2011-2013гг.) и научных семинарах кафедры «Автоматики и управления в технических системах.

Научном семинаре лаборатории №33 «Управления развитием крупномасштабных систем» ИЛУ им. В.А. Трапезникова РАН, 2013г.

Публикации. Основные положения диссертации опубликованы в 9 научных трудах, в том числе 5 статей в изданиях, рекомендованных ВАК Минобрнауки России.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и приложения. Диссертация включает 26 рисунков, 15 таблиц и список литературы из 113 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность диссертационной работы, сформулированы цель исследования и его основные задачи, указаны научные положения, выносимые на защиту, показаны научная новизна и практическая ценность работы, изложена структура диссертации и практическая значимость результатов.

В первой главе приводится постановка задачи, описываются примеры использования систем коллективного творчества и поддержки принятия решений. Описываются метод коллективного творчества как метод эволюционного согласования решений и методика по проверке эффективности этого метода на различных задачах. В своей работе метод использует сетевые

человеко-машинные интеллектуальные системы и соответствующие им гибридные технологии. В качестве организующей основы метода, синхронизирующей коллективную работу, были выбраны генетические алгоритмы, зарекомендовавшие себя при решении трудных оптимизационных задач.

На основе генетического алгоритма с учетом специфики его применения в человеко-машинной среде Протасовым В.И. были сформулированы правила взаимодействия интеллектуальных агентов для метода эволюционного согласования решений в следующем виде:

1) формулируются цели проекта;

2) определяется состав экспертов и способ их взаимодействия;

3) задаётся каркас проекта;

4) находятся первые варианты решений, возможно неполные;

5) проводится обмен вариантами решений;

6) проверяются критерии окончания работы;

7) на основе полученных решений составляются новые решения (скрещивание);

8) в новые решения вносятся изменения (мутация);

9) осуществляется переход к пункту 5.

В соответствии с правилами взаимодействия разрабатываются инструкции для коллективной работы с учётом особенностей конкретной задачи, коммуникационной среды, способностей и квалификации экспертов. Процесс согласования решений заканчивается либо тогда, когда заканчивается время, отведенное на проект, либо тогда, когда эксперты приходят к единому согласованному решению.

Результативность метода зависит от числа итераций, количества экспертов и их компетентности, как генераторов идей, так и оценщиков вариантов решений.

В рамках диссертационной работы были проведены эксперименты по решению сложных задач в разных областях человеческого творчества. Было показано, что для получения согласованного решения в большинстве случаев применения метода эволюционного согласования решений требуется от 3-х до 12-ти итераций.

Результаты многочисленных экспериментов показали принципиальную работоспособность метода эволюционного согласования решений в самых разнообразных сферах интеллектуальной деятельности и выявили, что метод эволюционного согласования решений позволяет направлять ход обсуждения в требуемое русло не методом административного нажима, а путем генерации новых идей в процессе обсуждения. Обобщение экспериментальных результатов позволило сделать выводы, описать алгоритм метода эволюционного согласования решений и автоматизировать процесс коллективной работы экспертов над проектом.

Во второй главе приводится описание модели виртуальных свидетелей при составлении фоторобота, виртуальных экспертов, работающих над единым проектом, и виртуальных студентов, использующих метод для тестирования знаний. Модели виртуальных специалистов были разработаны для квалиметрии метода эволюционного согласования решений. Вопросы квалиметрии метода были достаточно полно исследованы на практической задаче составления субъективного портрета (фоторобота) одиночным свидетелем или группой свидетелей при работе по гранту РФФИ 08-07-00447-а. В рамках данной работы рассматриваются вопросы квалиметрии процесса составления субъективного портрета коллективом или одиночным свидетелем с использованием технологии эволюционного морфинга согласования решений компетентностей. Для достижения этой цели необходимо было разработать модель виртуального свидетеля, полностью замещающего реального свидетеля, таким образом, чтобы результаты деятельности виртуального свидетеля были неотличимы от результатов деятельности реального свидетеля с такими же числовыми характеристиками. Результаты экспериментов (рис.1)по восстановлению субъективного портрета группой виртуальных экспертов с использованием программы ЗБ морфинга лица показали принципиальную работоспособность метода эволюционного согласования решений.

1-эксперт

Г"~7 * - ж зщшщ ~ '

- Скрещивание :

I 0бмен I

вариантами ::

¡ШЯвШШшШШШШЯ

2-эксперт

3-эксперт

4-эксперт

Рис. 1. Результаты экспериментов по восстановлению субъективного портрета группой

виртуальных экспертов

Для развития метода эволюционного согласования и определения эффективности различных методов обучения, могущих быть представленными в виде детерминированных алгоритмов, по аналогии виртуального свидетеля разрабатывается математическая модель описания способностей реального человека к усвоению и воспроизведению знаний. Эти способности в первом приближении выражаются в виде набора коэффициентов и элементарных математических функций и описывают модель некоторого «виртуального

эксперта». Пусть знание, подлежащее усвоению и воспроизведению, представляется в виде набора числовых последовательностей {2,}, таких, что каждое значение компоненты последовательности 2, зависит от предыдущих по некоторому скрытому от учащегося алгоритму Л7.

= (1)

При моделировании человека с шаблонным восприятием в рамках нашего приближения можно предположить, что он способен с некоторой вероятностью, увеличивающейся от числа повторения актов запоминания данных последовательностей, запомнить и воспроизвести в последующем эти последовательности, используя в виде «маяков» только внешние характерные особенности предъявляемой ему для освоения информации. С течением времени образ последовательностей, запомненных человеком первого типа, «расплывается» и теряет свою точность. Зависимость степени этой потери от времени можно выразить затухающей экспонентой с индивидуальным для данного человека «периодом полураспада» знаний.

В процессе усвоения новых знаний у человека наступает утомляемость, препятствующая дальнейшему эффективному запоминанию информации. Эту характеристику можно выразить также экспоненциальной зависимостью с присущим данному человеку коэффициентом «утомляемости». Используя эти зависимости и значения коэффициентов, описывающие способности человека, можно строить различные модели обучения и тестирования знаний для людей с разными способностями.

Резюмируя, математическую модель виртуального эксперта можно представить в следующем виде. При предъявлении виртуальному эксперту для запоминания и дальнейшего воспроизведения последовательности (1), имитирующей некоторое знание, у того формируется вектор - образ этого знания в виде:

0,=2,.(1 + ^(1-2£)). (2)

Случайное число X .меняющееся от 0,5 до 1,0, обеспечивает способность виртуального эксперта каждый раз восстанавливать несколько отличающиеся от оригинала последовательности, оно задается для всей совокупности индексов i и имитирует изменение способностей человека, влияющих на его работоспособность. Случайное число £ меняется у каждой компоненты от 0 до 1 и имитирует способность человека к избирательному запоминанию. И, наконец, коэффициент К характеризует способность данного человека к запоминанию. Из выражения (2) видно, что меньшим значениям соответствуют лучшие способности виртуального эксперта к усвоению и воспроизведению информации.

Для оценки качества запомненной и воспроизводимой виртуальным экспертом информации введем два коэффициента А:я иЛГ,:

-2 (3)

\ тах тт) <«1

где

Кк— коэффициент различия двух последовательностей-исходной и «сгенерированной» виртуальным экспертом;

— максимальное и 2та1 - минимальное из возможных значений вектора Д, п — размерность вектора;

(4)

где

К3 (/) — коэффициент качества воспроизводимой информации; К5 (0)— в первоначальный момент времени, К5 (со) = Кы

Величины коэффициентов Кк и как видно из формул (3) и (4), расположены в пределах от 0 до 1.

При длительных сеансах запоминания, когда виртуальный эксперт для повышения точности запоминания и воспроизведения знаний пытается неоднократно запоминать предъявляемую ему последовательность, он вследствие утомляемости выходит на тот предел восприятия, когда последующие предъявления запоминаемой последовательности уже не приводят к улучшению результата. Эту способность эксперта можно охарактеризовать величиной «утомляемости» а, определяемой из выражения:

а = -—(5) N К0 '

где

КоК— значение коэффициента К0 после предъявления N раз последовательности г, в течение одного сеанса. Выражение (5) получено из очевидной формулы:

К0г/=К0е-м. (6)

При создании модели виртуального эксперта каждый участник рассматривается как «творец» и как «эксперт». Оценка вклада каждого ВЭ в коллективный результат как «творца» формируется следующим выражением:

(7)

где

п — общее число итераций; т- количество вопросов в опросном листе; — весовой коэффициент;

Р,

где

Ро1 Чо]

Pi ,qj — количество верных и неверных пунктов ответа;

Poi ,qoj — количество верных и неверных вариантов ответов на j-й вопрос в опросном листе;

(Ро;+<7о/) — общее число вариантов ответа на вопрос.

Оценка виртуального эксперта как «эксперта» проводится следующим образом:

т п

(9)

;=i >=2

где п - общее число итераций; т — количество вопросов в опросном листе, Я, — весовой коэффициент;

0,у — количество правильных пунктов ответов в j-м вопросе на г-й итерации, которые повторялись в непрерывном ряде итераций, включающем последние две.

Рис.2. Алгоритм метода эволюционного согласования решений

Обобщенный показатель знаний участника представляет собой сумму оценок «творца» и «эксперта»:

в = в,+в2- (Ю)

Создание концепции виртуального эксперта является необходимой для настройки параметров программы и реализации метода эволюционного согласования в предметной области. Эта настройка осуществляется под конкретный набор экспертов, обладающих различными способностями к обучению. На рис. 2 приведена блок-схема алгоритма настройки этих параметров. На первой стадии экспериментов была проведена проверка сходимости метода при начальных условиях, когда у генерируемых виртуальными экспертами вариантов ответов практически отсутствовало сходство с исходными последовательностями. Виртуальным экспертам были заданы низкие коэффициенты способностей к усвоению знаний.

Несмотря на то, что коллективы виртуальных экспертов «стартовали» из различных начальных популяций, они приходили к высоким коэффициентам сходства (0,85) восстановленного варианта с исходным. На второй стадии экспериментов с виртуальными экспертами осуществлялась проверка влияния параметров настройки метода эволюционного согласования решений на качество восстанавливаемой последовательности. Результаты сходимости метода для группы из пяти виртуальных экспертов при пяти различных начальных приближениях приведены на рис. 3 .

/ ^ ГШ

ь - «гг"!?^"^ „,.....„—Даь-К

г (сЭаиь- г* | р-------------------- —И— студент 2

а Ь / кГ —¿г— студент 3

л и X студент 4

X студент 5

V У

Рис.3. Сходимость метода при различных начальных приближениях

Для реализации поставленной цели, алгоритма МЭС, правил взаимодействия, структуры и технологии, создается система, объединяющая экспертов информационными связями, благодаря которой им становятся доступны общие знания и принятие согласованного решения, а именно система коллективного интеллекта. Экранный вид системы коллективного интеллекта, предназначенный для согласованного принятия решений группой экспертов представлен на рис.4.

.......... |Цель проекта | - ................-....... -------------------

одного из участников проекта -------------—■— второго участника проекта

| ------------- [КЙЯ5К------- Вопросы экспертного опроса

Рис.4. Экранный вид системы коллективного интеллекта

Данная программа служит для обмена вариантами решений и оценки вклада каждого эксперта в общее согласованное решение. Принцип работы данной программы заключается в следующем: эксперты, получив задание на разработку проекта с четко определенной целью и инструкцией для взаимодействия, составляют первоначальные варианты решения. Эти варианты синхронно отправляются в базу данных решений и одновременно выводятся в нижнем левом текстовом поле индивидуального окна программы. Время для первой итерации определяется инструкцией. По окончанию 1-й итерации каждый из экспертов получает 2 решения от произвольных экспертов сети. Участники выбирают из двух вариантов наиболее правильный, на их взгляд, вариант, добавляют свои идеи, и в итоге составляют следующее своё решение -решение второй итерации. В итоге у каждого эксперта появляются новые итерации своего варианта решения задачи. Процесс решения заканчивается, когда участники (эксперты) приходят к единому согласованному решению.

Для оптимизации метода эволюционного согласования решений и ускорения процесса выхода на консолидированное решение применяется асинхронный режим обмена вариантами решений. На рис. 5 показано распределение времени работы экспертов при синхронном и асинхронном режимах обмена вариантами.

Светлыми промежутками на этом рисунке обозначены периоды принятия решений экспертами. Первая цифра обозначает номер эксперта, вторая, через дефис — номер итерации. Одиночные цифры на рис.5 б) обозначают временную последовательность моментов окончания итераций экспертами. Темными промежутками на рис.5 обозначены периоды ожидания экспертов.

1 эксперт 2эксперт 3эксперт 4эксперт 5эксперт бэксперт

1 эксперт 2эксперт 3эксперт 4 эксперт 5эксперт ^эксперт

Рис. 5. Распределение времени работы экспертов при синхронном — (а), асинхронном — (б) режимах обмена вариантами

При синхронном способе организации взаимодействия потери времени составляют 32,3% (рис.6).

Рис. 6. Синхронный режим работы

В случае работы при асинхронном способе эти потери совращаются до 8,7% (рис.7).

1 итерация

2 итерация 3 итерация

4 итерация 5 итерация

5-1

а) синхронный режим

5 1-2

П 1-3 1б 1-4

4-1 3 4-2 8 4-3

4 5-2

3-3 ,, 3-4

2-4 „ 2-5

5-3

<¡-1 1| 6-2 |б-3_13 [ | 6-4 19 | 6-5_29

б) асинхронный режим

14 4-4 20 4-5 25

24 1-5 30

17 5-4 23 5-5 28

О

- время принятия решения

- время ожидания

При асинхронном режиме работы общая экономия времени составляет 25%. Поскольку все эксперты работают параллельно, процесс получения решения завершается за небольшое количество итераций.

Рис. 7. Асинхронный режим работы

Время, затраченное экспертом для решения задачи, зависит от его компетентности. Коэффициент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего 0,5.

Наиболее простая и удобная форма самооценки экспертов - совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний» и "низкий". В этом случае первой позиции присваивается числовое значение «1», второй - «0,5», третий - «0».

Компетентность экспертов зависит от множества факторов:

• занимаемой должности;

• ученой степени;

• опыта практической работы;

• числа научных трудов;

• знания достижений науки и техники;

• понимания проблем и перспектив развития и др.

С учетом основных факторов: занимаемой должности и ученой степени эксперта вводится коэффициент аргументированности экспертов Ка и Ки — коэффициент информированности.

В таком случае совокупный индекс — коэффициент уровня компетентности эксперта вычисляется по формуле:

Кк=(0,Жи+Ка)/2 . (11)

Коэффициент Ки определяется на основе самооценки эксперта по решаемой проблеме.

При установлении причинно-следственных зависимостей между объектами предметной области, исходя из правил взаимодействия метода эволюционного согласования решений, где эксперту необходимо сравнить две экспертные оценки участников проекта, был применен метод парного сравнения. Задача состояла в том, что эксперт устанавливает предпочтения объектов при сравнении двух произвольных возможных пар. Рассмотрим оценку всей совокупности объектов на основе результатов парного сравнения.

Пусть каждый из т экспертов производит оценку влияния на результат всех пар объектов, давая числовую оценку

!1, если объект более значим.чем

0,5 .объекты и равноправны (12)

0, если объект менее значим, чем ,

где

й=1,2,...,т —номер эксперта, у=1,2,...,и — номера исследуемых объектов.

По результатам экспертной оценки образуется тя-таблиц (матриц) математических ожиданий оценок всех пар объектов. Затем по этой матрице вычисляется вектор коэффициентов относительной важности объектов.

В целях минимизации расходов на исследования стремятся привлекать минимальное число экспертов Мт,„ при условии обеспечения ошибки результата исследования не более Ь, где 0<Ь<1. Формула для расчета минимального числа экспертов, предложенная Бестужевым-Ладой

МтЬ1=0,5(3/й + 5). (13)

При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более чем наб.

Если при оценке пары (^ из общего количества экспертов m¡ высказались в пользу /и,- экспертов в пользу а тр считает эти объекты равноправными, то оценка математического ожидания дискретной случайной величины г1} будет равна:

I' 1.1 ТП' „ ТП, -

г* =1^+0,5-^ + 0-^/1 = 1,™. (14)

т т т

Так как общее количество экспертов т = т, + тр+т), то, определяя отсюда тр и подставляя его в вышеприведенное выражение, получим:

1 от,-от.

хи + —--

1 2 2т

(15)

Очевидно, что хи + хр = 1. Совокупность величин хи образуют матрицу X = Цх^Ц

размерности п х п, на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов, то есть вектор

В третьей главе приводятся результаты применения описанной во второй главе методики для решения задач развития в промышленности, сфере управления проектами и образовании.

С целью повышения производительности оборудования и труда персонала до уровня, обеспечивающего устойчивую конкурентоспособность предприятия, начинают формировать и осваивать инновационную систему управления эффективностью и безопасностью производства.

В связи с этим возникла потребность во внедрении и освоении передовых технологий на уровне мировых стандартов, использования новых методов организации и управления промышленными предприятиями, в выборе наиболее эффективного инновационного оборудования в рамках проектов развития и в оценке деятельности персонала.

Основные научные направления анализа и оценки проектов развития в промышленности связаны со следующими теоретико-методологическими положениями:

• с применением экспертных методов для обоснования и принятия технологических решений выбора проектов развития промышленного предприятия;

• с моделями и методами сетевого планирования, позволяющими определить рациональную или оптимальную последовательность выполнения работ при заданных технологических, бюджетных и других ограничениях;

• с систематизированным набором положений о наиболее эффективном управлении проектами (носящих обобщающий, эмпирический и интуитивный характер).

Многообразие и сложность задач формирования рынка новых продуктов и их создание на промышленных предприятиях требуют разумного сочетания математических методов, направленных на комплексную оптимизацию

к — [Л,, к2 ... кп ]'

(16)

решений, с более простыми методами, обеспечивающими решение проблемы по частям, с последующим установлением логических связей между частями и количественной оценкой связей с помощью экспертных методов.

Для принятия согласованного коллективного решения в задачах развития предприятия «ОАО Ставропласт» была использована система коллективного интеллекта.

Для стратегического развития данного предприятия была поставлена задача создания нового цеха по переработке полипропилена, а именно, по выпуску полипропиленовой тканой продукции. Для достижения поставленной цели было необходимо провести экспертную оценку и выбор оборудования, представленного на Российском рынке мировыми лидерами производства переработки продуктов нефтехимии.

В опросе принимали участие главные технологи и ведущие специалисты производства оборудования для переработки продуктов нефтехимии, такие как МассЫ (Германия), Юе/е1Ех&ш!юп (Германия), £5Ж(Австрия), Виндмёллер & Хёльшер восток, Л/ас (Турция), Могепо (Италия) и «ОАО Ставропласт».

Экспертам для выбора был представлен необходимый для технологического проекта перечень оборудования без указания компании и страны производителя. Основную оценку оборудования предлагалось проводить по производственным характеристикам. Учитывались:

• оптимальная производительность (кг/ч);

• допустимая погрешность толщины пленки (мкм);

• допустимая (оптимальная) частота профилактических остановок оборудования в неделю;

• необходимое количество обслуживающего персонала;

• максимальная площадь, выделяемая под определенный вид оборудования;

• преимущества или сравнительная характеристика выбранного оборудования.

Сбор информации проводился в виде ответов на заранее составленную анкету экспертного опроса. Анкета состояла из двух частей:

• таблиц определения степени важности для каждого типа оборудования.

• описательной части, в которой эксперты могли сформулировать

свои личные пожелания.

Алгоритм выбора инновационного оборудования по переработке полипропилена показан на рис.8. По данному алгоритму и правилам взаимодействия системы коллективного интеллекта эксперты проводили оценку производственного оборудования и в результате итерационного процесса обменивались информацией, дополняя и корректируя свой выбор. По завершении 5-й итерации экспертами был сформирован единый, согласованный

список 8 видов оборудования, необходимого для технологического процесса в количестве 55 единиц.

Рис.8. Блок-схема алгоритма выбора инновационного оборудования для модернизации производства

Результатом апробации системы коллективного интеллекта стал выбор и закупка инновационного оборудования по производству полипропиленовых тканых мешков, а в последствии, результат работы технологического отдела «ОАО Ставропласт» при разработке оптимального варианта рецептуры для производства продукции.

2. Система коллективного интеллекта была предложена к использованию и нашла свое применение в деятельности ООО «НИИОГР» при оценке

компетентности экспертов по вопросам повышения безопасности и эффективности производственных процессов на горнодобывающих предприятиях. Для решения данной задачи был разработан алгоритм (рис.9).

3. В деятельности автономной некоммерческой организации «Институт физико-технической информатики» система использовалась в виде комплекса программных средств для моделирования и исследования процессов группового принятия решений.

Применение системы коллективного интеллекта позволило: повысить качество проектной работы групп экспертов, повысить эффективность их работы; сократить временные затраты на подготовку и проведение экспертных заключений; оценивать квалификацию экспертов по результатам работы в группе.

С

Начало

Ввод списка экспертов

1Г

Отбор экспертов на предприятии согласно компетентности

' г

Определение ключевых проблем, решение которых необходимо для повышения эффективности и безопасности производства

' Г

Разработка должностных обязанностей работников предприятия

Расчет ценности должностных обязанностей

НЕТ ——■ Представляет ценность

для предприятия?

ДА

Поощрение работников за эффективное выполнение должностных обязанностей

т

<С

Конец

Рис.9. Блок-схема алгоритма экспертной оценки работы сотрудников предприятия.

По результатам совместных разработок проводится патентный поиск с последующим оформлением патента.

Вышеперечисленные результаты используются в работе по гранту РФФИ в проекте №13-07-00958 «Разработка теории и экспериментальные исследования новой информационной технологии самоуправляемого краудсорсинга».

ЗАКЛЮЧЕНИЕ

В результате проведенных исследований дано новое решение актуальной научной задачи создания системы коллективного интеллекта путем развития и оптимизации метода эволюционного согласования решений для эффективного решения развития промышленных предприятий.

Основные результаты работы заключаются в следующем:

1. Разработана модель виртуального эксперта, позволяющая настраивать параметры для оптимизации метода эволюционного согласования решений.

2. Разработан алгоритм оптимизации, реализация которого позволяет повысить эффективность метода эволюционного согласования решений в интеллектуальных системах.

3. Разработан алгоритм учета вклада каждого эксперта в консолидированный результат.

4. Разработано программное обеспечение алгоритмов системы коллективного интеллекта, позволяющее сократить временные затраты на получение консолидированных решений задач управления.

5. Результаты проведенных теоретических и экспериментальных исследований показали, что применение системы коллективного интеллекта в промышленности позволяет:

• повысить точность и согласованность экспертных оценок в отношении факторов, влияющих на эффективность и безопасность производства;

• сократить время разработки согласованных решений по улучшению организации производства;

• разрабатывать и согласовывать технические задания для производителей;

• оптимизировать процессы планирования и управления Форсайт — проектами.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Сазонова Г.С., Созонов ВВ., Протасов В Л, Потапова ЗЕ, Рабинович ПД, Маркарян JI.B. Компьютерная поддержка коллективной работы при составлении консолидированных текстов//Новые информационные технологии в образовании/ Материалы научно-практической конференции. - М.: «1С Паблишинг», 2009. -С. 293-296.

2. Протасов В.И., Клименко C.B., Потапова З.Е., Сулейменов О.М., Сыроешкин Р.В., Созонов В.В., Маркарян JI.B Разработка и исследование методов оценки достоверности результатов восстановления объемных фотороботов на основе общедоступных установок виртуальной реальности:. Итоговый отчет по гранту РФФИ № 08-07-00447-а. -М. 2009. -.81.С.

3. Маркарян JIB., Протасов В Л, Потапова ЗЕ, Рабинович ПД, Созонов ВВ. Настройка параметров интеллектуального консилиума и измерение знаний// Горный информационно-аналитический бюллетень, 2011, -№10.- С.359-363.

4. Маркарян JI.B., Протасов В.И., Потапова З.Е., Рабинович П.Д., Созонова Г.С. Применение интеллектуального консилиума в образовании //Горный информационно-аналитический бюллетень, 2011.-№11.-С.351-354.

5. Маркарян Л.В.Экспертный метод прогнозирования при разработке целевых программ и планов//Горный информационно-аналитический бюллетень,2011 .-Информатизация и управление: Сб. статей - С. 464-469.

6. Маркарян Л.В. Анализ и экспертные методы прогнозирования финансово-хозяйственной деятельности горного производства//Аудит и финансовый анализ, 2011. -№ 05.-С.114-122.

7. Маркарян Л.В. Математическая модель виртуального студента. //Горный информационно-аналитический бюллетень, 2011. - Информатизация и управление: Сборник статей -С.470-475.

8. Маркарян Л.В .Применение сетевого метода эволюционного согласования решений для Форсайт-проектов в промышленности//Горный информационно-аналитический бюллетень, 2013.- №7.-С.175-178.

9. Маркарян Л.В. Анализ и оптимизация процесса принятия решений на основе метода эволюционного согласования решений. //Горный информационно-аналитический бюллетень, 2013.-№9.-С.301-306.

Подписано в печать 43 .11.2013 г. Формат 60x90/16

Объем 1 пл. Тираж 100 экз. Заказ №

ОИУП Московского государственного Москва, Ленинский пр-т, 6 горного университета.

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ РФ МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ГОРНЫЙ УНИВЕРСИТЕТ

МОДЕЛИ И АЛГОРИТМЫ СИСТЕМЫ КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА В РЕШЕНИИ ЗАДАЧ РАЗВИТИЯ ПРОМЫШЛЕННОГО ПРЕДПРИЯТИЯ

Специальность 05.13.01.

Системный анализ, управление и обработка информации (промышленность)

04201365355

На правах рукописи

Маркарян Лаура Виликовна

Диссертация диссертации на соискание ученой степени кандидата технических наук

Научный руководитель: к. ф.-м. н. Протасов В.И.

Москва 2013

Оглавление

Введение ..............................................................................4

Глава 1. Современное состояние систем коллективного

творчества и коллективного принятия решений............................10

1.1. Основные подходы в системах принятия решений....................10

1.2. Существующие подходы к проблеме коллективного творчества.............................................................................13

1.3 Компьютерная поддержка коллективной работы..............................17

1.4 Генетические алгоритмы и коллективное принятие решений......21

1.5 Метод эволюционного согласования решений...........................25

1.6 Результаты экспериментов по восстановлению субъективного портрета

коллективом экспертов..................................................................33

Выводы..................................................................................39

Постановка задачи...................................................................40

Глава 2. Разработка системы коллективного интеллекта..................41

2.1 Математическая модель виртуального эксперта...............................41

2.2 Этапы разработки экспертных систем............................................50

2.3 Коллективный интеллект. Этапы формирования системы...................52

2.4 Принцип работы системы коллективного интеллекта........................55

2.5 Программное обеспечение системы коллективного интеллекта...........56

2.6 Оптимизация алгоритма системы коллективного интеллекта..............61

2.7 Качественная и количественная оценка компетентности экспертов......65

2.8 Качественная оценка уровня согласованности мнений экспертов........72

Выводы.......................................................................................74

Глава 3.Применение системы коллективного интеллекта в решении задач промышленных предприятий и в образовании......................................75

3.1 Применение системы коллективного интеллекта для Форсайт-проектов 75

3.2 Разработка и внедрение производственной системы.......................80

3.3 Решение задач развития «ОАО Ставропласт» при реализации системы коллективного интеллекта................................................................84

3.4 Алгоритм применения системы коллективного интеллекта для выбора инновационного оборудования.........................................................88

3.5 Алгоритм экспертной оценки работы сотрудников предприятия 000«НИИ0ГР»...........................................................................96

3.6 Реализация системы коллективного интеллекта в деятельности AHO «Институт физико-технической информатики»...................................100

3.7 Результаты реализации системы коллективного интеллекта в учебном

процессе МГГУ...........................................................................100

Выводы.....................................................................................103

Заключение................................................................................104

Список литературы.......................................................................105

Приложения...............................................................................112

Введение

Актуальность работы. Развитие информационных компьютерных технологий, усложнение современного производства и повышение внимания к системе комплексного управления качеством привели к тому, что в центре внимания предприятий все чаще становится деятельность многофункциональных управленческих команд и рабочих групп, которая направлена на решение комплексных проблем и заданий. Для реализации такой деятельности особенно важным является создание сетевых систем поддержки принятия решений, которые применяются при решении трудно формализуемых задач управления в промышленности и формировании решений в чрезвычайных условиях.

Разработка и исследование новых информационных технологий, основанных на современных методах поддержки принятия решений, позволяют существенно повысить интеллектуальный потенциал общества, способствует сокращению времени и повышению качества принятия управленческих решений.

Для решения трудно формализуемых задач необходимо применение приближенных методов, которые основаны на использовании эмпирических данных, коллективных решениях, экспертных оценках и специально разработанных методиках под необходимый класс задач.

Общеизвестные методы и технологии, используемые для поддержки принятия решений в трудно формализуемых задачах, имеют ряд ограничений, которые обусловлены недостаточной эффективностью решения и обработки неполной и неточной исходной информации, интерпретации данных и накопления знаний экспертов, согласованного представления информации, поступающей из различных источников. К таким задачам, исследованным в диссертационной работе, относятся

задачи принятия согласованных решений группой экспертов при их работе над проектом с заданной целью. Методы построения систем поддержки принятия решений берут начало в работах российских и зарубежных ученых Глушкова В.М., Амосова Н.М., Поспелова Д.А.[25,57], Винера Н.[8], Минского М., Ларичева О.И.[31], Заде Л.А.[100], Лорьера Ж.Л.[34], Розенблатта Ф., Пейперта С., Стефанюка В.Л., Трахтенгерца Э.А.[69,70,71,72], Загоруйко Н.Г., Хиценко В.Е., Вагина В.Н.[6], Попова Э.В.[24,56], Осипова Г.С.[55], Финна В.К.[75], Осборна А.[95] и др.

Эти ограничения могут быть устранены при использовании сетевых человеко-машинных интеллектуальных систем и применении гибридных технологий, эволюционного моделирования и генетических алгоритмов, нечеткой логики и различных комбинированных технологий.

Несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие задачи, связанные с разработкой методов и алгоритмов групповой работы, которые могут быть применены для успешной реализации Форсайт-проектов. Недостаточно проработаны вопросы интеграции различных гибридных информационных технологий и особенности их реализации в системах принятия решений с целью повышения эффективности решения трудно формализуемых задач.

Таким образом, задачи диссертационной работы, направленные на разработку алгоритмов и программного обеспечения системы коллективного интеллекта для решения задач развития промышленных предприятий, в экономике и образовании, являются актуальными.

Целью диссертационной работы является создание системы коллективного интеллекта путем развития и оптимизации метода эволюционного согласования решений для эффективного решения задач управления в промышленности и образовании.

Задачи диссертационной работы.

1. Разработать математическую модель виртуального эксперта, позволяющую выполнить оптимизацию метода эволюционного согласования решений в предметных областях.

2. Разработать алгоритм анализа и оценки количественного вклада экспертов в составляемый ими проект.

3. Разработать алгоритм эффективного принятия решений системой коллективного интеллекта на основе развития метода эволюционного согласования решений.

4. Провести оптимизацию алгоритма построения системы коллективного интеллекта.

5. Разработать программное обеспечение системы коллективного интеллекта, провести экспериментальные исследования алгоритмов и программных средств.

Объектом исследования в настоящей работе является процесс принятия консолидированных решений группой экспертов в задачах управления в промышленности и образовании.

Предметом исследования являются оптимальные алгоритмы системы коллективного интеллекта.

Методы исследования базируются на теории систем и системном анализе, теории принятия решений, практике создания интеллектуальных систем управления на основе генетических и эволюционных алгоритмов. Основные научные положения, выносимые на защиту:

1. Разработанная модель виртуального эксперта позволяет настраивать параметры алгоритма для оптимизации метода эволюционного согласования решений.

2. Разработанный алгоритм оценки количественного вклада экспертов позволяет определять эффективность их работы в принятом консолидированном решении.

3. Разработанный алгоритм оптимизации системы коллективного интеллекта позволяет повысить эффективность совместной работы группы экспертов в получении консолидированного решения в задачах управления в промышленности и образовании.

Научная новизна. Разработанные модель и алгоритмы системы коллективного интеллекта являются новыми в области теории принятия решений и позволяют снижать временные затраты на получение консолидированных решений задач управления в промышленности и образовании. Разработанная система коллективного интеллекта, являясь информационной системой, позволяет повысить интеллектуальный уровень информированности экспертов и организовать их эффективную работу. Практическая ценность результатов заключается в том, что созданная программа реализации алгоритмов оценки и оптимизации в системе коллективного интеллекта, позволяет находить практически важные решения Форсайт-проектов в промышленности, а так же применяться при оценке компетентности экспертов по вопросам повышения безопасности и эффективности производственных процессов на горнодобывающих предприятиях.

Внедрение и реализация результатов. Теоретические и практические результаты, полученные в диссертационной работе, реализованы:

1. При выполнении работ по гранту Российского фонда фундаментальных исследований, проект № 08-07-00447 «Разработка и исследование методов оценки достоверности результатов восстановления объемных фотороботов на основе общедоступных установок виртуальной реальности».

2. В деятельности автономной некоммерческой организации «Институт физико-технической информатики» в виде комплекса программных средств для моделирования и исследования процессов группового принятия решений.

3. При выполнении работ по гранту Российского фонда фундаментальных исследований, проект №13-07-00958 «Разработка теории и экспериментальные исследования новой информационной технологии самоуправляемого краудсорсинга».

4. На промышленном предприятии ОАО «Ставропласт» при экспертном выборе инновационного оборудования по производству полипропиленовых тканных мешков и в работе технологического отдела при разработке рецептуры для производства продукции.

5. В деятельности ООО «НИИОГР» при оценке компетентности экспертов по вопросам повышения безопасности и эффективности производственных процессов на горнодобывающих предприятиях.

6. В учебном процессе кафедры «Автоматики и управления в технических системах» МГТУ.

Достоверность научных положений и выводов диссертации подтверждается результатами экспериментов по применению разработанных алгоритмов для развития метода эволюционного согласования при решении проектных и экспертных задач в промышленности, а также применением алгоритмов коллективного принятия решений в системе образования. Акты о внедрении и использовании этих результатов представлены в Приложении к диссертации.

Апробация работы. Основные результаты работы докладывались и обсуждались на международных и российских конференциях:

1. The International Scientific Conference of The Mediterranean Institute of Applied Science of The Moscow Institute of Physic and Technology of The Institute of Computing for Physics and Technology «Medias-Dialog'2008», Nicosia, Cyprus.

2. The International Scientific Conference of The Mediterranean Institute of Applied Science of The Moscow Institute of Physic and Technology of The

Institute of Computing for Physics and Technology «Medias'2009», Limassol, Cyprus.

3. Научно-практической конференции «Ситуационные центры. Методы. Решения. Реализация», Российская Академия государственной службы, Москва, 2008г.

4. Научно-практической конференции «Новые информационные технологии в образовании», Москва, 2009г.

5. Международной научно-практической конференции «Новые информационные технологии в образовании», Екатеринбург, 2009г.

6. Всероссийской научно-практической конференции «Инновационные технологии обучения в высшей школе». Сочи, изд. Черноморской гуманитарной академии, 2009г.

7. Международной научно-практической Интернет-конференции "Информационные технологии в науке и образовании", Шахты, изд. Южно-Российского государственного университета экономики и сервиса. 2009г.

8. Международной конференции «MEDIASDIALOG 2008», Кипр, Никосия, изд. Института физико-технической информатики, 2009г.

9. Научном семинаре лаборатории №33 «Управления развитием крупномасштабных систем» ИЛУ им. В.А. Трапезникова РАН, 2013г.

Публикации. Основные положения диссертации опубликованы в 9 научных трудах, в том числе 5 статей в изданиях, рекомендованных ВАК Минобрнауки России.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и приложения. Диссертация включает 28 рисунков, 15 таблиц и список литературы из 103 наименований.

ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ СИСТЕМ КОЛЛЕКТИВНОГО ТВОРЧЕСТВА И КОЛЛЕКТИВНОГО ПРИНЯТИЯ РЕШЕНИЙ

1.1 Основные подходы в системах принятия решений

Процессы принятия решений, представленные как выбор одной из нескольких возможных альтернатив, сопровождают нас по жизни. Человеческие решения являются исключительно важным для практики и интересным для науки объектом исследования. Уступая компьютеру в скорости и точности вычислений, человек тем не менее обладает уникальным умением быстро оценивать обстановку, выделять главное и отбрасывать второстепенное, соизмерять противоречивые оценки, восполнять неопределенность своими догадками.

Неоднозначность оценки ситуаций, противоречивость требований, усложнение решаемых задач и необходимость учета большого числа взаимосвязанных факторов очень осложняют процесс принятие решений.

Основной задачей процесса принятия решений является устранение неопределенности. Термин «неопределенность» был впервые предложен проф. Найтом (F. Н. Knight) в 1933г.[57] Неопределенность — это неполнота или недостоверность информации об условиях реализации решения, наличие фактора случайности или противодействия. Неопределенность можно разделить на следующие классы :

• связанные с неполнотой знаний о решаемой проблеме;

• связанные с невозможностью точного учета реакции окружающей среды на внешние воздействия;

• возникающие, в результате неточного понимания целей перед лицом, принимающим решения.

Для того, чтобы свести задачи с подобными неопределенностями к точно поставленным целям необходимо прибегнуть к оценке специалиста (эксперта, конструктора, руководителя), определяющей его предпочтения.

Следует отметить, что в англо-американской литературе по проблеме принятия решений употребляются два термина[85]:

а) decision making - принятие решений в смысле "решаться", "делать выбор";

б) problem solving - решение проблемы (задачи).

В отечественной литературе используется один термин - "процесс принятия решения", который применяется как при анализе решения мыслительных задач, так и при анализе процесса выбора из ряда альтернатив.

Основными составляющими задач принятия решения являются[29,31]:

1. выбор альтернативы, которая является наилучшей для достижения цели;

2. поиск критериев оценки альтернатив и преодоление многокритериальности;

3. выбор решения;

4. реализация решения.

Особое внимание необходимо обратить на:

• структурированность решаемых управленческих задач;

• уровень иерархии управления предприятия, на котором должно быть принято решение;

• принадлежность решаемой задачи к той или иной функциональной сфере деятельности;

• вид используемой информационной технологии.

В зависимости от сложности решаемой задачи и области применения системы под держки принятия решений делят на три класса: [31,70]:

Первый класс - системы коллективного пользования, базы данных которых формируются многими экспертами - специалистами в различных областях знаний. Используются при планировании крупных комплексных целевых программ для обоснования решений относительно включения в программу для решения стратегических задач управления.

Второй класс - системы индивидуального пользования, адаптирующиеся к опыту пользователя.

Предназначены для решения часто встречающихся прикладных задач системного анализа и управления. Такие системы обеспечивают решение задачи на основе информации о результатах практического использования решений этой же задачи, принятых в прошлом. Как правило, используются для решения тактических задач управления.

Третий класс — системы индивидуального пользования, базы данных которых формируются непосредственным пользователем.

Предназначены для использования государственными служащими среднего ранга, а также руководителями малых и средних предприятий для решения оперативных задач управления.

Для индивидуальных решений характерен высокий уровень творчества, в которых нередко реализуется много новых идей и предложений. Однако, исторический опыт развития свидетельствует о