автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Построение и использование многовариантных имитационных обучающих систем

На правах рукописи

СОЛОВЬЕВА ЮЛИЯ АЛЕКСАНДРОВНА

ПОСТРОЕНИЕ И ИСПОЛЬЗОВАНИЕ МНОГОВАРИАНТНЫХ ИМИТАЦИОННЫХ ОБУЧАЮЩИХ СИСТЕМ

Специальность 05.13.10 «Управление в социальных и экономических системах»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Новокузнецк - 2004

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный индустриальный университет» (ГОУВПО «СибГИУ»)

Научный руководитель: Научный консультант: Официальные оппоненты:

Ведущая организация:

Доктор технических наук, профессор Киселева Тамара Васильевна Доктор технических наук, профессор Кулаков Станислав Матвеевич Доктор технических наук, профессор Медиков Виктор Яковлевич Кандидат технических наук, доцент Зельцер Самоил Рафаилович

ГОУВПО «Кемеровский технологический институт пищевой промышленности».

Зашита состоится 22 декабря 2004 г. В 1300 (ауд. ЗП) на заседании диссертационного совета Д 212.252.02 в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный индустриальный университет» по адресу: 654007, г. Новокузнецк, Кемеровская обл., ул. Кирова, 42, СибГИУ. Факс (3843) 46-58-83. E-mail: sec_nr @ sibsiu.ru.

С диссертацией можно ознакомиться в библиотеке ГОУВПО «СибГИУ». Автореферат разослан 20 ноября 2004 года.

Ученый секретарь диссертационного совета

В.Ф. Евтушенко

ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ И СОКРАЩЕНИЯ

Многовариантность - наличие или осуществимость в составе единого целого многих вариантов с их эффективным взаимосовмещением и взаимодействием, индивидуальным и совокупным проявлением.

Вариантные системы - видоизмененные системы по отношению друг к другу или какой - либо первоначальной основополагающей системе с наличием у каждого выделяемого множества их достаточной общности для действительного интегрированного представления и использования.

Активность понимается в аспекте собственных целей и возможностей каждой вариантной системы.

МвАСО - многовариантная система активного обучения; МИОС — многовариантные имитационные (с игровыми элементами) обучающие системы; ВОМ- вариантообъединяющий оргмеханизм; Приобъектно -пересчетная математическая модель — частичная математическая модель пересчетного типа по отношению к разнообразным вариациям характеристик внутренних свойств и внешних условий функционирования реального объекта; УчИМ-учебная имитационная модель; РК- рабочий канал выработки управленческих решений, входящий в МИОС; НК- нормативный канал выработки управленческих решений; ОК- обучаемый канал выработки управленческих решений; ОД - объекты деятельности, по отношению к которым каналы вырабатывают и на которых реализуют свои решения; ТРП - типопредставительные реализации, отображающие типовые ситуации процесса.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Важной целью современной системы высшего образования России является повышение качества подготовки и конкурентоспособности специалистов.

Лекции, практические занятия, лабораторные работы и другие традиционные методы обучения, применяемые в системе профессионального образования сегодня становятся недостаточными, так как не обеспечивают должного закрепления новых умений и навыков, развитие инициативы и лидерства обучаемых, способности к генерации идей, работе в коллективе. Для повышения эф-

стоятельность и активность обучаемых. К ним относится известный класс игровых обучающих систем, которые занимают важное место в профессиональной подготовке. Методы игрового моделирования, являющиеся основой любой имитационной игровой системы, успешно используются для освоения разнообразных дисциплин, включая саму теорию игр, позволяют проводить экспериментальные исследования в области экономики, менеджмента, организационных механизмов и использовать полученные результаты для совершенствования стратегического, антикризисного, календарного и оперативного управления реальными системами. Основу игровой системы составляет модель игры, представляющая собой определенную формализацию гипотез поведения людей в системе управления. В данной работе основное внимание уделяется совершенствованию теории и практики управленческих многовариантных систем активного обучения, начало которым положено в трудах ученых ИПУ и СибГИУ.

Недостаточно исследованными компонентами этих систем являются: правила выработки и принятия управленческих решений, организационные механизмы функционирования активных иерархических систем, модели поведения организационно-технических, социальных и других объектов деятельности, модели внешней среды.

Цель и задачи диссертационной работы. Целью работы является построение и использование в учебном процессе многовариантных управленческих имитационных (игровых) систем для активизации освоения правил эффективного управления сложными социально-экономическими комплексами. В рамках поставленной цели рассмотрены задачи: 1) развить концепцию многовариантных имитационных (игровых) обучающих систем (МИОС); 2) развить и конкретизировать особенности многовариантного игрового имитационного моделирования; 3) сформировать методические основы построения МИОС; 4) разработать алгоритмическое обеспечение систем игрового имитационного моделирования; 5) обобщить накопленный опыт использования МИОС в вузовском учебном процессе и создать класс автоматизированных МИОС, включая соответствующее программное обеспечение; 6) разработать метод компьютерного тестирования знаний обучаемых; 7) создать систему комплексного анализа промежуточных и итоговых результатов МИОС.

Методы выполнения работы. Направляющая роль отведена концепции системной многовариантности применительно к игровым системам учебной,

научной и инженерной деятельности; методам теории активных систем; методу имитационного моделирования; теории оценивания; натурному эксперименту и системному анализу.

Научная новизна. В работе получены результаты, характеризующиеся научной новизной:

1) особенности игрового моделирования, развитые и конкретизированные для МвСАО: комплексность, обусловленная взаимодействием вариантных систем, нормативность, разнотемповость предъявления информации, много-структурность и адаптивность учебного моделирования;

2) функциональная структура МИОС и методика их построения развита с учетом особенностей игрового моделирования;

3) методика построения учебных имитационных моделей (УчИМ) предмета изучения в его многовариантном представлении, отличающимся степенью сложности;

4) система комплексного анализа результатов использования конкретных МИОС с целью выявления ошибок, сделанных обучаемыми в процессе игры, слабо усвоенных фрагментов и накопления данных для дальнейшего совершенствования игровых систем;

5) метод компьютерного тестирования знаний обучаемых с адаптацией режимов работы и выбором уровня сложности осваиваемых задач управления;

6) вариантообъединяющий оргмеханизм функционирования МИОС, включающий показатели эффективности действий обучаемых и функции стимулирования, ориентированные на индивидуальное и совместное оценивание результатов МИОС;

7) систематическая закономерность повышения эффективности процесса обучения за счет введения вариантообъединяющего оргмеханизма, направляющего обучаемых к взаимосодействию.

Практическая значимость. Работа имеет практическую направленность. Предложенная методика построения МИОС была использована для создания игровых систем с целью обучения управленческой деятельности людей с различной профессиональной подготовкой. Разработанные МИОС рекомендуется использовать для обучения студентов и аспирантов, повышения квалификации преподавателей, переподготовки производственников и служащих. Предложенный метод компьютерного тестирования предназначен для оценивания текущих

и итоговых знаний обучаемых. Система комплексного анализа промежуточных и конечных результатов МИОС используется для исследования эффективности МИОС с целью их дальнейшего совершенствования.

Реализация результатов работы.

1. Класс автоматизированных МИОС централизованного и распределенного типа, включающих оценивающую и анализирующую систему и варианто-объединяющий оргмеханизм (ВОМ), используется в учебном процессе при изучении различных дисциплин, в частности, «Теория организационно -экономических механизмов», «Теория систем и системный анализ», «Информационная безопасность и защита информации», «Автоматизация производственных процессов», а также при обучении школьников старших классов с соответствующей профессиональной ориентацией;

2. Метод компьютерного тестирования, наряду с применением в составе МИОС для адаптации режимов их работы, используется для текущего и итогового контроля знаний студентов и абуриентов.

Предмет защиты и личный вклад автора. На защиту выносятся: методика построения многовариантных автоматизированных имитационных (игровых) обучающих систем; класс автоматизированных управленческих МИОС; система комплексного анализа промежуточных и конечных (итоговых) результатов использования МИОС в учебном процессе; метод компьютерного тестирования знаний обучаемых с адаптацией режимов работы и выбором уровня сложности изучаемых задач управления.

Личный вклад автора заключается в непосредственном творческом участии во всех разработках и получении основных результатов, связанных с развитием функциональной структуры МИОС; методикой построения класса автоматизированных МИОС; построением в рамках МИОС учебных имитационных моделей объекта изучения в многовариантном его представлении; системой комплексного анализа результатов использования конкретных МИОС в учебном процессе; созданием и внедрением метода компьютерного тестирования знаний обучаемых и абитуриентов.

Апробация работы. Основные положения и результаты работы докладывались и получили одобрение на 6 конференциях, включая Международную конференцию по современным сложным системам управления (Липецк, 2002), Международную конференцию по идентификации систем и задачам управле-

имя (Москва, ИПУ РАН, 2003), Международную конференцию по современным сложным системам управления (Воронеж, 2003), IV Международную конференцию по современным сложным системам управления (Тверь, 2004).

Публикации. По теме диссертации опубликованы 3 статьи и 6 тезисов докладов, выпущено 3 методических пособия.

Структура и объем работы. Диссертация Состоит из введения, трех глав, выводов и заключения, приложения и содержит 195 страниц основного текста, список литературы из 92 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дано обоснование актуальности темы диссертационной работы, определена цель, сформулированы задачи исследования, охарактеризованы используемые в работе методы исследований, описано краткое содержание работы.

В первой главе диссертации «Основы построения автоматизированных многовариантных систем активного обучения» приведен анализ предшествующих исследований в области деловых и учебных игровых систем известных из трудов В.П. Авдеева, В.Н. Буркова, Ю.Б. Гермеера, Т.В. Комарова, В.И. Ры-бальского, И.М. Сыроежина, А.В. Щепкина и др., по результатам которого сформированы основные задачи диссертационной работы.

На основе обобщения прежних разработок, выполненных на кафедре автоматизации производств и исследований СибГИУ развита структура многовариантной системы активного обучения (МвСАО), включающая следующие основные компоненты:

- обучающую систему, которая выполняет функции челеформирования, организации, планирования, нормирования, оценивания (включая тестирование), анализа результатов деятельности, координации, стимулирования и выбора режимов функционирования всего комплекса;

- обучаемую систему, которая представлена множеством параллельно функционирующих и взаимодействующих между собой человеко-машинных вариантных систем;

- объекты деятельности в виде натурных, модельных, или натурно-модельных блоков, на которых обучаемые реализуют свои решения.

Натурно-модельные объекты деятельности представляют собой сопряжение натурных объектов и приобъектно-пересчетных математических моделей.

В рамках МвСАО разработан вариантообъединяющий организационный механиз (ВОМ), осуществляющий количественное оценивание и стимулирование активных взаимодействий по общевариантным критериям Л? эффективности трех типов

».I «-1 ;

к; = а,+а,К* -а,\1Г (1)

1 1 /V «-1

к^=кк -ь\кт-к"\, -

определяемых для каждой М-ой вариантной системы. Значения весовых коэффициентов аи, а/, а2, а„, р„, Ь принимаются в диапазоне от нуля до у^. Вариантный критерий А'\Л' = 1,ЛГ, предполагается здесь норк ированным, то есть

изменяющимся от нуля до единицы, причем с устремлением к единице по мере роста эффективности.

При использовании общевариантного критерия эффективности второго типа обучаемые заинтересованы, чтобы фактическая эффективность их решений совпадала с самооценкой эффективности формируемой перед началом игрового цикла.

Максимальная оценка согласно (1) достигается в случае совместного равенства единице нормированного критерия для всех учитываемых вариантов, что и побуждает к взаимодействию для получения максимального совокупного эффекта.

Нормирование и ранжирование частных критериев создают хорошие предпосылки к определению комплексного показателя , характеризующего так или иначе интегральное качество конкретной вариантной системы на множестве частных критериев. Процедуры определения комплексного показателя опираются на различные способы свёртки частных критериев, весовые коэффициенты которых могут изменяться обучающей системой.

Перед началом игры формируется множество вариантных обучаемых систем = и множество нормированных и ранжированных критериев

Для контроля знаний обучаемых, наряду с традиционными методами, предложен метод компьютерного тестирования с элементами адаптации к индивидуальным особенностям и степени подготовленности обучаемых. Разработаны мультимедийные элементы с обеспечением комфортных условий работы тестируемого, повышенной защищенности и оперативности передаваемой информации.

В результате обобщения опыта СибГИУ по применению методов игрового моделирования в обучении управлению производственными объектами, а также экспериментально-статистических исследований, связанных с анализом полученных результатов, развиты и конкретизированы особенности игрового моделирования в многовариантных обучающих системах.

• Комплексность, обусловленная взаимодействием вариантных систем и необходимостью их управляемой интеграции в процессе обучения.

• Нормативность, заключающаяся в том, что в состав обучаемой системы включены нормативные (условно эталонные) модели деятельности обучаемых, в частности, многовариантные учебные имитационные модели (УчИМ), воспроизводящие с различной степенью сложности процедуру выработки решений.

• Разнотгмповостъ предъявления информации при выработке и принятии управляющих решений. Наиболее приемлемым оказывается двухтемповый режим, когда анализ информации и выбор решений делаются в реальном масштабе, а имитация операций реализации и оценивания эффектов вариантных решений осуществляется в ускоренном на порядок масштабе времени.

• Многоструктурностъ заключается в структурной гибкости учебного моделирования, то есть возможности перехода к воспроизведению натурных, модельных и натурно-модельных процессов с качественно различающимися свойствами.

• Адаптивность учебного моделирования, заключающаяся в использовании тестирования знаний обучаемых с учетом их индивидуальных особенностей и степени подготовленности.

Во второй главе диссертации «Вопросы построения многовариантных имитационных обучающих систем (МИОС)» рассмотрены основные задачи построения типовой многовариантной имитационной обучающей системы. Предлагаемый подход к построению МИОС основан на использовании какой-либо натурной деятельностной системы. Для удовлетворительной точности воспроизведения ситуаций на учебном объекте деятельности используются оперативно поступающие или ретроспективно воспроизводимые натурные данные, а также приобъектные пересчетные математические модели. Фактор активности обучаемых учитывается посредством создания вариантообъединяющего оргме-ханизма (ВОМ), который побуждает создавать атмосферу взаимопомощи и состязательности в ходе обучения. Интеграция производственной и учебной управленческой деятельности позволяет повысить эффективность обучения и в ряде случаев снизить затраты по сравнению с автономными (чисто модельными) автоматизированными обучающими системами. В русле теории и практики активных организационных систем, на базе общей структуры МвСАО, с учетом указанных выше особенностей моделирования в обучающих системах, разработана функциональная структура многовариантной имитационной (игровой) обучающей системы (МИОС).

Основной отличительной особенностью МИОС является наличие в их составе нескольких параллельно функционирующих активных каналов выработки управленческих решений и исполнения этих решений в замкнутых контурах с натурными, модельными, натурно-модельными объектами деятельности (ОД). В общем случае параллельное функционирование может осуществляться с теми или иными временными сдвигами, то есть асинхронно, включая режимы оперативного, ретроспективного и комбинированного воспроизведения реакции объектов соответственно различным вариантам вырабатываемых решений. Игровые свойства МИОС обусловлены: наличием множества целей (каналов и центра); возможностью взаимодействия между каналами; многовариантностью вырабатываемых решений и возможностью натурной или модельной их реализации; зависимостью конечных результатов функционирования каждого канала от всех, либо от части выработанных решений.

Система включает следующие основные компоненты (рисунок 1):

к- п=т _____________^______________^

Контроль знаний (тестирование)

т

1 Оценивание эффективности

!

ОДСИСТЕМА ОЦЕНИВА1 ЭФФЕКТИВНОСТИ Свертка частных показателей

т

Определение отклонений от нормативных чначений

1

Оценивание частных показателей

Ьз т

Учет результатов деятельности

Рисунок 1 - Схема многовариантной имитационной обучающей системы

Обучающий центр, предназначенный для выработки разнообразных управляющих (координирующих, стимулирующих) воздействий (Я'0) Я'о, ...ДМо) на основе информации Ъ = ( и, W, Б, У ), включающей решения и, вырабатываемые каналами, контролируемые внешние воздействия W на объекты деятельности, состояния Б и выходные воздействия У этих объектов, а также на основе оценок результирующих показателей Кь общих целей и ресурсов полной системы.

Параллельно функционирующие каналы выработки управленческих решений, в число которых входит в общем случае рабочий (натурно-действующий) канал (РК), нормативный канал (НК) и (N-2) обучаемых канала (ОК). Эти каналы вырабатывают, соответственно, натурные ио', нормативные

ио" и учебные ивш.....ицН варианты решений. РК играет, с одной стороны,

роль источника информации для построения и функционирования других ком-

понентов МИОС, а с другой стороны, играет роль учебного канала, используемого для аттестации и повышения квалификации работающих специалистов (в том числе обучающих).

Нормативный канал включает в себя многовариантную учебную имитационную модель (УчИМ), воспроизводящую для обучаемых предмет освоения (алгоритм выработки решений), а также рекомендуемую модель взаимодействия обучаемого с УчИМ. Обучаемые каналы (ОК) представлены группами обучаемых, состав и количество которых определяется предметом изучения, количеством ролей, интенсивностью межканальных связей и вырабатываемых решений ивШ, и0Ы. Основная цель обучаемых состоит в активном усвоении нормативных моделей выработки решений с тем, чтобы воспроизвести или даже превзойти их по результатам. Все каналы имеют возможность взаимодействовать друг с другом.

Объекты деятельности (ОД), по отношению к которым каналы вырабатывают и на которых реализуют свои решения. Натурный (рабочий) ОД формирует действительный вектор Уо1 в зависимости от решений 11д, внешних воздействий состояний

Кроме того, натурный объект во многих случаях может служить составной частью натурно-модельных ОД, с которыми связаны НК и ОК.

Подсисистема оценивания эффективности является компонентой МИОС, предназначенной для совместного оценивания эффективности решений Наряду с другими подсистемами она играет интеграционную роль в рассматриваемой системе. Оценочные показатели вклада каналов в достигнутое системой состояние определяются как функции вида

где 1С - нормированный показатель эффективности п-ого канала;

(У — ограничения; Ц—цель обучения. Общевариантный критерий эффективности формируется посредством сравнения показателей качества решений обучаемых между собой и решений, вырабатываемых НК

(2) (3)

к^^к'-а^'-к^-^^^'-к^ « = 1,лг, (4)

где К11, Кп — нормированные показатели эффективности НК и п-го ОК.

Нормативный канал в развитой форме предназначен для воспроизведения учебной имитационной модели (УчИМ) желаемой деятельности обучаемых. УчИМ, работающие в замкнутом контуре выработки и реализации управленческих решений, воплощают наиболее существенную особенность учебного моделирования, оперативно воспроизводя предмет изучения. В составе НК содержится упорядоченный набор вариантов УчИМ, отличающихся друг от друга по сложности.

—1 £/,'(<)

1.1(2.1,3.1) Получение и структуризация натурных данных

{YjCO.UjtO.WiCQhpn

1.2 (2.2,3.2) Выбор ТРП {Y¡,U¡,W¡}

1.3 Выбор Uj'(i) = Uj(TPn) Экстраполяция {Yj сгрп)} по соотношению (5)

2.3 (3.3) Расчет и

коррекция ЦЛ') по уравнению (6")

2.4 (3.4) Проверка

UА') несоответствие эграничениям

¿/Д0еП(£/,)

2.5 Выбор U"(i)=l/,(/) Прогноз результатов

пп упяине.ншл ст\_

3.5 Выбор £/;"(/)=£/(/) Прогноз результатов " .

Y;(i + m)

и1;«)

У'О + т)

üfio

УГО + т)

-е

Yt"(t + m)

m - интервал прогнозирования

Рисунок 2 — Схема трехвариантной УчИМ выработки управляющих воздействий и прогнозирования результатов Поясним сущность УчИМ для задач выработки управленческих воздействий на примере. Ограничимся рассмотрением трех простых ее вариантов для j-ro управляющего воздействия (рисунок 2).

Первый вариант УчИМ представляет собой простейший алгоритм выбора управленческих решений по прототипу и алгоритм прогнозирования выходных величин объекта посредством экстраполяции на основе алгоритма скользящей медианы. Второй вариант УчИМ отличается от первого использованием пересчетных корректировочных соотношений как при формировании управлений, так и при прогнозировании их результатов. Третий вариант отличается от второго более сложным алгоритмом прогнозирования выходных переменных с многовариантной структурой.

Первоисточником данных, используемых во всех трех вариантах рассматриваемой УчИМ, является натурная система управления призводственным,

экономическим или социальным объектом. Получение данных о предшествующих реализациях управленческих расчетов и их результатах включает проверку достоверности с целью обнаружения данных, содержащих аномальные ошибки измерений или оперативного учета.

Выбор типопредставительных реализаций процесса (ТРП) заключается в анализе его предыстории с целью отыскания и отбора таких реализаций, которые можно рассматривать как прототип по отношению к предстоящей (прогнозируемой) реализации процесса. Правильный выбор ТРП позволяет вырабатывать эффективные управленческие решения и точные прогнозы, применяя при этом простые математические модели пересчетного типа. В общем случае задача выбора ТРП формулируется и решается как задача ограничительно-критериального типа. Причем в качестве критерия оптимальности ТРП целесообразно использовать меру близости выбранной реализации - претендента на ТРП к другим реализациям, удовлетворяющим ограничениям, например, в виде среднемодульного отклонения.

Выбор управляющих воздействий U,'(i) в первом варианте УчИМ осуществляется по правилу Uj'(i) 4 UJ(jpn> Прогнозирование значений переменных Y/i);j = 1,2,..., Jy, характеризующих выходные воздействия объекта, основано на экстраполяции медианного значения выходной величины, найденного по трем последним ТРП, т.е.

где YjfTpn) - значение j-ой выходной переменной для ¡—ой типовой реализации процесса; YJITPn)- сглаженное с помощью алгоритма скользящей медианы значение У^гщ.

Управляющие воздействия UUj(i), j=l, 2, ...,Ju во втором варианте УчИМ определяются на базе соответствующих воздействий для ТРП с применением пересчетной формулы

0;а)=и11т„(/)+£(w,а)- w,iTFni(i)j+±bjv;а)- г,,™ («•);. j=ц; (6)

fat /-1

где U— оценка j-ой компоненты управляющего воздействия (решения); Ц(трп/0 — т0 же самое для типовой реализации процесса; iv/ (i) - значение /- ой

компоненты контролируемых внешних воздействий; YM - заданное значение

/ - ой выходной переменной; Y'l7rn)(i)- заданное значение / - ой выходной переменной ТРП; а, Ь- известные коэффициенты.

Найденное с помощью соотношения (6) решение анализируется с точки зрения возможности его практической реализации. Анализ сводится к проверке соответствия решения ограничениям реализующей подсистемы объекта деятельности. Реализуемость решения во многих случаях зависит от решений, принимаемых на предыдущих циклах. Если решение не удовлетворяет условиям реализуемости, то осуществляется возврат к предыдущему блоку учебной нормативной модели, с помощью которого вырабатывается новый вариант. Решение, удовлетворяющее условиям, передается в реализующую или использующую подсистему МИОС.

Прогноз выходных переменных Y,(i) осуществляется с помощью соотношения

г; (,•+«,)= («)+ £ d, k.V-W^M+t е, ЬМ)~ t/„™, (<)]+ ' (?)

/>;(0-у;,™, О)]

1-1

где d,e,f- известные коэффициенты; L" - количество учитываемых внешних воздействий; Lb - количество учитываемых заданий на выходные переменные.

Выбор управляющих воздействий в третьем варианте УчИМ делается по

д .

правилу: U"(i)=U/i). Трехвариантное прогнозирование значений переменных Y"'(i+m), Y°'(i+m), Y'"'(i+m), характеризующих выходные воздействия объекта осуществляется по алгоритмам экспоненциального сглаживания различных порядков.

Подчеркнем, что все три варианта УчИМ интегрированы между собой, во-первых, - единой базой данных, во-вторых,- наличием общих блоков.

Для контроля текущих и итоговых знаний обучаемых в составе оценивающей подсистемы МИОС предложен метод компьютерного тестирования, который обеспечивает проведение тестирования через компьютерную сеть по тестам, скомпонованным из банка тестовых заданий.

Исходные материалы централизованно хранятся в базе данных, что позволяет обрабатывать авторский материал, вносить необходимые изменения и дополнения, назначать и поддерживать реквизиты текстовых заданий, выпол-

нять автоматизированную компоновку компьютерных тестов, проводить анализ результатов тестирования, хранить, переносить в архив, восстанавливать и передавать по каналам связи весь банк тестовых заданий или отдельные его части.

Функциональная схема системы компьютерного тестирования представлена на рисунке 3.

Рисунок 3 — Функциональная схема системы компьютерного тестирования

Адаптация процесса тестирования обеспечивается следующим образом. Тестируемый оценивает степень своей подготовленности и в зависимости от этого ему предлагаются задания соответствующей сложности. Если он получил положительную оценку, то процесс тестирования может быть по его желанию продолжен с проверкой его знаний на более сложных заданиях и т.д. Предложенная система тестирования используется преподавателями вуза для проверки как текущих, так и итоговых знаний студентов по различным дисциплинам.

Автоматизированные МИОС, построенные с применением компьютерных технологий, позволяют более динамично организовать учебный процесс, создать хорошо развитую анализирующую систему с наглядным и оператив-

ным отображением промежуточных и конечных результатов, сравнительным анализом результатов работы обучаемых.

Третья глава «Построение, реализация и испытания многовариантных имитационных (игровых) обучающих систем» посвящена созданию конкретных МИОС и анализу результатов их использования. В соответствии с выше изложенными положениями построены многовариантные имитационные обучающие системы (учебные игры): "Шихтовка плавки", "Межсменное взаимодействие", "Прогнозирование производственных операций", "Активная двухуровневая система", "Анализ способов отображения данных", "Задача укладки ранца", " Экспертиза ". Одни из учебных игр включают рабочий решающий канал, натурные и натурно-модельные объекты деятельности, другие базируются на модельных объектах деятельности.

Организация имитационного моделирования. Обучаемые, с которыми проводятся учебные игры, могут быть студентами вузов, техникумов, колледжей, училищ, знакомые с соответствующими разделами изучаемых дисциплин. Главное, чтобы они были подготовлены теоретически, понимали сущность поставленной задачи и были способны усвоить нормативную учебную имитационную модель ее решения.

Учебные игры проводятся в рамках двухуровневой управляющей системы. Нижний уровень - несколько звеньев (команд) обучаемых, представляющих собой самостоятельный независимый канал выработки решений. Верхний уровень системы — это обучающий центр, задача которого состоит в организации игры, обеспечении учебных звеньев необходимой информацией, в подсчете показателя эффективности их работы и стимулирования участников. После окончания игры проводится подробный анализ ее проведения и полученных результатов. Результаты анализа обсуждаются с группой обучаемых.

Среди многочисленных МИОС выделен класс имитационных обучающих систем с поочередно действующими каналами. Последние часто имеют место в производственных системах, связанных с посменной работой на промышленных агрегатах с продолжительной динамической «памятью», а также в производственно-исследовательских системах с чередующимися рабочими и исследовательскими режимами ведения производственных процессов. К таким МИОС относится игровая система «Межсменное взаимодействие». Она предназначена для обучения процессу принятия решений в группах лиц с непротиво-

положными интересами, изучению влияния организационного механизма на взаимодействие обучаемых в группе, а также для тестирования малого коллектива с целью оценки его способности к согласованным действиям и выявления лидера, для развития ресурсосберегающего мышления.

Подробно рассмотрим одну из игровых систем. Схема имитационной системы "Межсменное взаимодействие" представлена на рисунке 4.

Рисунок 4-Основные компоненты игровой системы "Межсменное взаимодействие"

Цель отдельного обучаемого в игре состоит в выборе такого решения, которое позволяет получить возможно большее значение показателя эффективность, который исчисляется в зависимости от суммы набранных очков, по возможности сохраняя при этом объект в рабочем состоянии. С целью создания обстановки состязательности участники игры поделены на N игровых каналов (команд) с одинаковым числом участников в игровом канале; причем каждый игровой канал, имеет в своем распоряжении первоначально одинаковый (по своему состоянию) объект и три «сменные бригады».

Цель игры — научиться принимать решения при управлении объектами с динамической "памятью", когда результат принятого решения данным обучаемым сказывается на действиях последующих участников игры. Суть игры сво-

дится к следующему. Имеется объект, на котором поочередно работают "сменные бригады" - обучаемые. Результат, полученный каждой "бригадой", с одной стороны, зависит от интенсивности ее работы на объекте и создании предпосылок для нормальной работы последующих «сменных бригад», а с другой стороны, - от состояния объекта на момент начала работы "бригады".

Обучаемые, выполняющие роль «сменной бригады», на каждом шаге игры могут выбрать одно из следующих решений: интенсивная эксплуатация объекта, умеренная эксплуатация, резервирование (остановка эксплуатации), восстановление объекта (ремонт за счет выполнения специальных работ), контроль (инспекция) за действиями других участников игры («сменных бригад») с целью выявления и наказания тех, кто безоглядно эксплуатирует объект, не создавая предпосылок для нормальной работы последующих «бригад».

Оргмеханизм игры. Эффективность работы каждого обучаемого складывается из следующих составляющих: действий, результаты которых проявляются в данной "смене"; действий, направленных на создание предпосылок для нормальной работы последующих "смен". Оргмеханизм побуждает каждого обучаемого к повышению эффективности его собственной работы по сравнению с предшествующим результатом, достигнутым другими обучаемыми, и к созданию хороших предпосылок для такой же или еще лучшей работы последующих «бригад».

Оценивание результатов работы каждой "сменной бригады" производиться с помощью показателя относительной эффективности К1, который включает две составляющие: к!а — эффективность /-ой бригады, достигнутая в рабочую смену; к!в - эффективность создания /-ой "бригадой" условий для нормальной работы (7+1)-ой "бригады" в зависимости от состояния объекта.

По уровням достигнутых эффективностей Кл , Кв рассчитывается показатель эффективности к! за каждый раунд: К =К!Л +р-Кв-К!л> где К'л — эффективность действий обучаемого, имитирующего работу бригады в последующей смене; р — весовой коэффициент.

Показатель эффективности, рассчитанный для / - ой бригады, используется для оценивания общевариантного критерия:

где К" — самооценка деятельности обучаемых; N - количество команд по / бригад в каждой (/ = 1,3); ао, а, и а2 - настроечные коэффициенты, которые определяются эмпирически и изменяются в пределах а, » 0,2 + 0,4,- о, » 0,8 +1,0, а1 я 0,4 + 0,6.

Показатель эффективности К" №го игрового канала складывается из показателей эффективности 3 «бригад», входящих в данный игровой канал.

Участники вариантных систем заинтересованы, чтобы фактическая эффективность их решений совпадала с самооценкой показателя эффективности (К"), формируемой в начале игрового цикла, что приводит к получению максимального значения

общевариантного критерия К" (рисунок 5), где К" - критерий эффективности Ы-ой бригады без взаимодействия.

В соответствии с полученным значением К* и с привязкой к дискретной

шкале оценок обучаемые стимулируются следующим образом: если К* изменяется в пределах от 0,4 до 0,6, то при аттестации обучаемый получает оценку «удовлетворительно», если изменяется в 0,7 до 0,8, то он аттестуется на «хорошо», а при значениях К* от 0,9 до 1,0 - на «отлично». При значениях

К* от 0,7 до 1,0 обучаемому данная тема засчитывается на экзамене автоматически.

На рисунке 6 а) отражен характер изменения общевариантного критерия эффективности для трех команд, каждая из которых включает три «бригады» На рисунке 6 б) даны изменения этого критерия с нарастающим итогом для трех команд обучаемых.

123456789 10

Раунды

Рисунок 5 - Пример изменения критерия эффективности

а)

б)

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

Раунды

I, II, III — номера команд

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

Раунды

Рисунок 6 — Результаты проведения МИОС «Межсменное взаимодействие»

Для анализа эффективности применения МИОС в учебном процессе создана система комплексного анализа данных с интеграцией разнообразных методов и использованием математико-статистического прикладного аппарата с его эмпирической привязкой. Анализирующая система разработана с целью выявления ошибок, сделанных обучаемыми в процессе игры, слабо усвоенных фрагментов и накопления данных для дальнейшего совершенствования игровых систем.

Опыт использования класса автоматизированных МИОС с вариантообъе-диняющим механизмом показал значительное повышение активности обучаемых (студентов) по сравнению со студентами, обучаемыми с использованием традиционных методов. Выявлено на практике и подтверждено субъективным мнением преподавателей, что применение МИОС с оргмеханизмом взаимодействия обучаемых привело к более глубокому усвоению изучаемых дисциплин и к возникновению устойчивой тенденции к повышению качества обучения по сравнению с традиционными методами. Успеваемость студентов при введении ВОМ повысилась в среднем на (20-30)%; практически исчезли такие оценки, как «удовлетворительно» и «неудовлетворительно»; сильные студенты заинтересованы вовлекать в активный учебный процесс слабых студентов.

На рисунке 7 приведены некоторые результаты использования МИОС в учебном процессе. В частности, показаны гистограммы распределения оценок, полученных студентами в группах при традиционных методах обучения — а); при использовании МИОС без оргмеханизма - б); при использовании МИОС с организационным механизмом, направляющим обучаемых к взаимодействию - в).

Испытания созданного класса МИОС проводились посредством натурного учебного эксперимента в сравнении с традиционной формой проведения практических занятий. Результаты анализа показали, что степень усвоения учебного материала с помощью игровых обучающих систем значительно выше по сравнению с его усвоением при проведении обычных практических занятиях. Возможность гибкого изменения организационного механизма в рамках МИОС в зависимости от подготовленности студентов, их активности, способности вырабатывать коллективные решения и т.д. позволяет выбрать нужные стимулы, повышающие заинтересованность и активность обучаемых.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

В диссертации решены актуальные учебно-научные задачи создания нового класса обучающих систем, а именно управленческих многовариантных систем активного обучения, позволяющих существенно активизировать учебный процесс и повысить его эффективность и качество.

Основные результаты работы, имеющие теоретическое и практическое значение заключаются в следующем 1. В результате изучения и обобщения многолетнего опыта применения игровых систем в СибГИУ конкретизированы особенности игрового моделирования для многовариантных систем активного обучения, такие как: комплексность, обусловленная взаимодействием вариантных систем, норма-

тивность, разнотемповость предъявления информации, многоструктур-ность и адаптивность учебного моделирования, на базе которых построен класс МИОС, отличающийся от известных игровых систем гибкостью, многовариантностью представления объекта изучения, адаптивностью по отношению к обучаемым.

2. Предложена методика построения учебных имитационных моделей предмета изучения в его многовариантном представлении, отличающимся степенью сложности, что позволило обучаемым осваивать изучаемые дисциплины с постепенным усложнением предлагаемого материала; это особенно важно для обучаемых с разной степенью подготовленности.

3. Разработана и испытана система комплексного анализа эффективности игровых систем, включающая разнообразные методы математико-статистического прикладного аппарата с его эмпирической привязкой, которая, с одной стороны, позволила анализировать результаты проведения игры с каждой конкретной группой обучаемых с целью выявления ошибок, тяжело усваиваемых фрагментов и подведения итогов игры, а с другой стороны, - накапливать данные для дальнейшего совершенствования МИОС.

4. Создан и применен на практике организационный механизм функционирования МИОС, направляющий обучаемых не только на повышение качества вырабатываемых ими решений, но и на активное взаимодействие (взаимосодействие).

5. Разработан метод компьютерного тестирования знаний обучаемых с адаптацией режимов работы и выбором уровня сложности осваиваемых задач управления, что позволило более гибко осуществлять проверку знаний обучаемых с учетом их индивидуальных особенностей.

6. Выявлено на практике и подтверждено субъективными оценками преподавателей, что использование созданного класса автоматизированных МИОС с вариантообъединяющим оргмеханизмом привело к более глубокому усвоению изучаемых дисциплин и созданию устойчивой тенденции к повышению качества обучаемых по сравнению с традиционными методами.

7. Практическая реализация конкретных МИОС совместно с ВОМ и предложенным методом автоматизированного компьютерного тестирования под-

твердила повышение эффективности учебного процесса и улучшением успеваемости студентов в среднем на (20-30)%.

ОСНОВНЫЕ ТРУДЫ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Киселева Т.В. Многовариантные имитационные обучающие системы / Т.В. Киселева, ЮЛ. Соловьева // Управление и экономика в организационных системах: Сб. науч.тр. - Воронеж: Изд-во ВГАСУ, 2001. -С. 215-222.

2. Киселева Т.В. Современное состояние и перспективы развития автоматизированных имитационных обучающих систем / Т.В. Киселева, Ю.А. Соловьева // Материалы международной конференции по современным сложным системам управления. - Липецк: 2002.— С. 154-158.

3. Киселева Т.В. Адаптивная идентификация приобъектно-пересчетных моделей / Т.В. Киселева, Ю.А. Соловьева // Материалы международной конференции по идентификации систем и задачам управления. - М.: ИПУ РАН,2003.-С. 97-105.

4. Соловьева Ю.А. Автоматизированные системы обучения на базе игровых имитационных моделей / Ю.А. Соловьева // Материалы международной конференции по современным сложным системам управления. — Воронеж: 2003.-С. 262-268.

5. Киселева Т.В. Автоматизированные обучающие системы на основе игровых имитационных моделей / Т.В. Киселева, Ю.А. Соловьева // Материалы международной конференции по системным проблемам качества, математического моделирования, информационным и электронным технологиям. -Сочи: 2003.-С. 216-218.

6. Соловьева Ю.А. К развитию процедуры тестирования в высшем образовании / Ю.А. Соловьева // Изв. вузов. Черная металлургия. - 2004. - № 10. -С. 73--75.

7. Киселева Т.В. Некоторые особенности построения и функционирования многовариантных имитационных обучающих систем / Т.В. Киселева, Ю.А. Соловьева // Информационные технологии в экономике, науке и образовании: Материалы IV Всероссийской конференции. - Бийск: 2004. -С. 183-186.

8. Киселева Т.В. Автоматизированные обучающие системы на базе имитационных игровых моделей / Т.В. Киселева, Ю.А. Соловьева // Математические методы в технике и технологиях: Материалы XVII Международной конференции. - Кострома, 2004. - С. 215 -219.

9. Киселева Т.В. Некоторые особенности построения и функционирования многовариантных имитационных обучающих систем / Т.В. Киселева, Ю.А. Соловьева // Современные сложные системы управления: Материалы IV Международной конференции. - Тверь, 2004. С.307 —310.

Формат бумаги 60x84 1/16. Бумага писчая. Печать офсетная Усл. печ. л. 1,04. Уч-изд.л. 1,15. Тираж 100 экз. Заказ

Государственное образовательное учреждение высшего профессионального образования «Сибирский государственный индустриальный университет». 654007, Новокузнецк, ул. Кирова 42. Издательский центр ГОУВПО «СибГИУ».

124 37 S

Содержание.

Основные определения и обозначения.

ВВЕДЕНИЕ.

Глава 1 ОСНОВЫ ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННЫХ СИСТЕМ АКТИВНОГО ОБУЧЕНИЯ.

1.1 Обзор и анализ разработок.

1.2 Основные понятия управленческих имитационных игр.

1.3 Задачи, решаемые имитационными деловыми играми.

1.4 Основные принципы разработки деловых игр.

1.5 Требования к построению и организации деловых имитационных игр.

1.6 Проведение деловых имитационных игр.

1.7 Многовариантная система активного обучения.

1.8 Особенности моделирования в многовариантных обучающих системах.

Глава 2 ВОПРОСЫ ПОСТРОЕНИЯ МНОГОВАРИАНТНЫХ ИМИТАЦИОННЫХ

ОБУЧАЮЩИХ СИСТЕМ (МИОС).

2.1 Структура многовариантной обучающей имитационной системы с игровыми элементами.

2.2 Вариантная учебная имитационная модель.

2.3 Система компьютерного тестирования знаний обучаемых.

2.3.1 Создание и хранение тестовых заданий.

2.3.2 Компоновка тестов.

2.3.3 Регистрация тестируемых.

2.3.4 Обработка ответов и подсчёт набранных баллов.

2.3.5 Передача данных по каналам связи.

2.3.6 Техническая структура.

2.3.7 Организационная структура системы компьютерного тестирования.

2.3.8 Алгоритмы взаимодействия рабочих станций и тест-сервера в рамках системы компьютерного тестирования.

2.3.9 Автоматизированная компоновка компьютерных тестов.

2.3.10 Проведение сеансов тестирования на компьютерах.

2.3.11 Статистический анализ результатов тестирования.

Глава 3 Построение, реализация и испытания многовариантных имитационных обучающих систем.

3.2 Многовариантная имитационная обучающая система "Расчет шихты".

3.3 Многовариантная имитационная обучающая система "Сглаживание и прогнозирование".

3.4 Многовариантная имитационная обучающая система "Межсменное взаимодействие".

3.5 Учебная игра «Уложи рюкзак».

3.6 Имитационная игра «Экспертиза».

Актуальность темы. Важной целью современной системы высшего образования России является повышение качества подготовки и конкурентоспособности специалистов.

Лекции, практические занятия, лабораторные работы и другие традиционные методы обучения, применяемые в системе профессионального образования сегодня становятся недостаточными, так как не обеспечивают должного закрепления новых умений и навыков, развитие инициативы и лидерства обучаемых, способности к генерации идей, работе в коллективе. Для повышения эффективности обучения необходимы системы и методы, опирающиеся на самостоятельность и активность обучаемых. К ним относится известный класс игровых обучающих систем, которые занимают важное место в профессиональной подготовке. Методы игрового моделирования, являющиеся основой любой имитационной игровой системы, успешно используются для освоения разнообразных дисциплин, включая саму теорию игр, позволяют проводить экспериментальные исследования в области экономики, менеджмента, организационных механизмов и использовать полученные результаты для совершенствования стратегического, антикризисного, календарного и оперативного управления реальными системами. Основу игровой системы составляет модель игры, представляющая собой определенную формализацию гипотез поведения людей в системе управления. В данной работе основное внимание уделяется совершенствованию теории и практики управленческих многовариантных систем активного обучения, начало которым положено в трудах ученых ИПУ и Сибирского государственного индустриального университета.

Недостаточно исследованными компонентами этих систем являются: правила выработки и принятия управленческих решений, организационные механизмы функционирования активных иерархических систем, модели поведения организационно-технических, социальных и других объектов деятельности, модели внешней среды.

Цель и задачи диссертационной работы. Целью работы является построение и использование в учебном процессе многовариантных управленческих имитационных (игровых) систем для активизации освоения правил эффективного управления сложными социально-экономическими комплексами.

В рамках поставленной цели рассмотрены задачи:

1) развить концепцию многовариантных имитационных (игровых) обучающих систем (МИОС);

2) развить и конкретизировать особенности многовариантного игрового имитационного моделирования;

3) сформировать методические основы построения МИОС;

4) разработать алгоритмическое обеспечение систем игрового имитационного моделирования;

5) обобщить накопленный опыт использования МИОС в вузовском учебном процессе и создать класс автоматизированных МИОС, включая соответствующее программное обеспечение;

6) разработать метод компьютерного тестирования знаний обучаемых;

7) создать систему комплексного анализа промежуточных и итоговых результатов МИОС.

Научная новизна. В работе получены результаты, характеризующиеся научной новизной:

• особенности игрового моделирования, развитые и конкретизированные для МвСАО: комплексность, обусловленная взаимодействием вариантных систем, нормативность, разнотемповость предъявления информации, мно-гоструктурность и адаптивность учебного моделирования;

• функциональная структура МИОС и методика их построения развита с учетом особенностей игрового моделирования;

• методика построения учебных имитационных моделей (УчИМ) предмета изучения в его многовариантном представлении, отличающимся степенью сложности;

• система комплексного анализа результатов использования конкретных МИОС с целью выявления ошибок, сделанных обучаемыми в процессе игры, слабо усвоенных фрагментов и накопления данных для дальнейшего совершенствования игровых систем;

• метод компьютерного тестирования знаний обучаемых с адаптацией режимов работы и выбором уровня сложности осваиваемых задач управления;

• вариантообъединяющий оргмеханизм функционирования МИОС, включающий показатели эффективности действий обучаемых и функции стимулирования, ориентированные на индивидуальное и совместное оценивание результатов МИОС;

• систематическая закономерность повышения эффективности процесса обучения за счет введения вариантообъединяющего оргмеханизма, направляющего обучаемых к взаимосодействию.

Практическая значимость. Работа имеет практическую направленность. Предложенная методика построения МИОС была использована для создания игровых систем с целью обучения управленческой деятельности людей с различной профессиональной подготовкой. Разработанные МИОС рекомендуется использовать для обучения студентов и аспирантов, повышения квалификации преподавателей, переподготовки производственников и служащих. Предложенный метод компьютерного тестирования предназначен для оценивания текущих и итоговых знаний обучаемых. Система комплексного анализа промежуточных и конечных результатов МИОС используется для исследования эффективности МИОС с целью их дальнейшего совершенствования.

Предмет защиты и личный вклад автора. На защиту выносятся: методика построения многовариантных автоматизированных имитационных (игровых) обучающих систем; класс автоматизированных управленческих МИОС; система комплексного анализа промежуточных и конечных (итоговых) результатов использования МИОС в учебном процессе; метод компьютерного тестирования знаний обучаемых с адаптацией режимов работы и выбором уровня сложности изучаемых задач управления.

Личный вклад автора заключается в непосредственном творческом участии во всех разработках и получении основных результатов, связанных с развитием функциональной структуры МИОС; методикой построения класса автоматизированных МИОС; построением в рамках МИОС учебных имитационных моделей объекта изучения в многовариантном его представлении; системой комплексного анализа результатов использования конкретных МИОС в учебном процессе; созданием и внедрением метода компьютерного тестирования знаний обучаемых и абитуриентов.

Автор выражает искреннюю благодарность и признательность научному руководителю д.т.н., профессору Киселевой Т.В., научному консультанту д.т.н., профессору Кулакову Станиславу Матвеевичу, д.т.н., профессору Мышляеву Л.П. и всему коллективу кафедры систем информатики и управления ГОУВПО «СибГИУ».

Основные результаты работы, имеющие теоретическое и практическое значение заключаются в следующем

1. В результате изучения и обобщения многолетнего опыта применения игровых систем в СибГИУ конкретизированы особенности игрового моделирования для многовариантных систем активного обучения, такие как: комплексность, обусловленная взаимодействием вариантных систем, нормативность, разнотемповость предъявления информации, многоструктурность и адаптивность учебного моделирования, на базе которых построен класс МИОС, отличающийся от известных игровых систем гибкостью, многовариантностью представления объекта изучения, адаптивностью по отношению к обучаемым.

2. Предложена методика построения учебных имитационных моделей предмета изучения в его многовариантном представлении, отличающимся степенью сложности, что позволило обучаемым осваивать изучаемые дисциплины с постепенным усложнением предлагаемого материала; это особенно важно для обучаемых с разной степенью подготовленности.

Разработана и испытана система комплексного анализа эффективности игровых систем, включающая разнообразные методы математико-статистического прикладного аппарата с его эмпирической привязкой, которая, с одной стороны, позволила анализировать результаты проведения игры с каждой конкретной группой обучаемых с целью выявления ошибок, тяжело усваиваемых фрагментов и подведения итогов игры, а с другой стороны, - накапливать данные для дальнейшего совершенствования МИОС.

Создан и применен на практике организационный механизм функционирования МИОС, направляющий обучаемых не только на повышение качества вырабатываемых ими решений, но и на активное взаимодействие (взаимосодействие).

Разработан метод компьютерного тестирования знаний обучаемых с адаптацией режимов работы и выбором уровня сложности осваиваемых задач управления, что позволило более гибко осуществлять проверку знаний обучаемых с учетом их индивидуальных особенностей. Выявлено на практике и подтверждено субъективными оценками преподавателей, что использование созданного класса автоматизированных МИОС с вариантообъединяющим оргмеханизмом привело к более глубокому усвоению изучаемых дисциплин и созданию устойчивой тенденции к повышению качества обучаемых по сравнению с традиционными методами.

Практическая реализация конкретных МИОС совместно с ВОМ и предложенным методом автоматизированного компьютерного тестирования подтвердила повышение эффективности учебного процесса и улучшением успеваемости студентов в среднем на (20-30)%.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

В диссертации решены актуальные учебно-научные задачи создания нового класса обучающих систем, а именно управленческих многовариантных систем активного обучения, позволяющих существенно активизировать учебный процесс и повысить его эффективность и качество.

1. Ефимов В.М.Введеиие в управленческие имитационные игры / Ефимов В.М., Комаров В.Ф. М.: Наука, 1980.

2. Рыбальский В.И. АСУ строительством и деловые игры / Рыбальский В.И. М.: Стройиздат, 1983.

3. Сыроежкин И.М. Игровое моделирование экономических процессов. Деловые игры / Сыроежкин И.М., Гидрович С.Р. М.: Экономика, 1976.

4. Бобко И.М. Деловая игра «АСУ-Сибирь» / Бобко И.М, Мироносецкий Н.Б. В кн.: Краткие тезисы докладов на Всесоюзном симпозиуме «Имитационное моделирование экономических систем».г1. М., 1973. (ЦЭМИ АН СССР).

5. Комаров В.М. Управленческие имитационные игры и АСУ / Комаров В.М. Новосибирск: Наука, 1979.

6. Сыроежин И.М. Моделирование и оценка процессов труда: учебное пособие / Сыроежин И.М. Л.: ЛФЭИ, 1977.

7. Жуков Р.Ф. Методика разработки и оформления деловых игр /1. Жуков Р.Ф. Л.: ИПК, 1975.

8. Лифшиц А.Л. Подготовка и проведение деловых игр: Методические указания / Лифшиц А.Л. Л.: НПО «Ленэлектронмаш», 1977.

9. Бурков В.Н. Теория организационного управления и деловые игры / Бурков В.Н. М.: ИПУ, 1983.

10. Бурков В.Н. Деловые игры в принятии управленческих решений: Учебное пособие / Бурков В.Н., Ивановский А.Г., Малевич А.А., Немцева А.Н., Щепкин А.В.МИСИС, 1986.

11. Бабкин В.Ф. Деловые имитационные игры в организации и управлении: Учебное пособие / Бабкин В.Ф., Баркалов С. А., Щепкин А.В. Воронеж, гос. арх.-строит. ун-т. - Воронеж, 2001. - 207 с. Деловые игры. - М.: ИЛУ, 1977.

12. Бурков В.Н. Модели и механизмы теории активных систем в управлении качеством подготовки специалистов / Бурков В.Н., Новиков Д.А. М.: Исследовательский центр проблем управления качеством подготовки специалистов, 1998. - 126 с.

13. Рыков А.С. Методы системного анализа: многокритериальная и нечеткая оптимизация, моделирование и экспертные оценки / Бурков В.Н. М.: Экономика, 1999.

14. Авдеев В.П., Бурков В.Н., Еналеев А.К. Многоканальные активные системы / Авдеев В.П., Бурков В.Н., Еналеев А.К. // Автоматика и телемеханика. 1990. № 11. С. 106-116.

15. Кулаков С.М., Авдеев В.П., Киселева Т.В. Многоканальные игровые обучающие системы / Кулаков С.М., Авдеев В.П., Киселева Т.В. — Новокузнецк: изд. СМИ. 1989. 77 с.

16. Авдеев В.П. Имитационные обучающие системы с многовариантной структурой / Авдеев В.П., Киселева Т.В., Кулагин Н.М. и др. М.:Изд. НИИВШ, 1990. - 44 с.

17. Киселева Т.В. Состояние и перспективы развития многоканальных игровых обучающих систем / Киселева Т.В., Михалева Т.Г., Авдеев В.П. и др. // Изв. вуз. Черная металлургия. 1988. № 8. С. 132 -136.

18. Авдеев В.П. Проблематика многовариантных активных систем / Авдеев В.П., Бурков В.Н., Киселева Т.В. // Изв. вуз. Черная металлургия. 1998. № 6. С. 53 61.

19. Крылов А.Н. Лекции о приближенных вычислениях / Крылов А.Н. -М.: Изд. ТТЛ, 1950,-400 с.

20. Емельянов С.В. Модели и методы векторной оптимизации / Емельянов С.В., Борисов В.И., Малевич А.А., Черкашин A.M. // Сб. Техническая кибернетика, том 5, 1973. с 386 448.

21. Дубов Ю.А. Многокритериальные модели формирования и выбора вариантов систем / Дубов Ю.А., Травкин С.И., Якимец В.Н. М.: Наука, 1986, - 296 с.

22. Александров В.В. Представление и обработка изображений: Рекурсивный подход / Александров В.В. , Горский Н.Д. М.: Наука, 1985,- 192 с.

23. Чайковский Ю.В. Элементы эволюционной диатропики / Чайковский Ю.В. М.: Наука, 1990. - 272 с.

24. Пойа Д. Как решать задачу / Пойа Д. М.: Учпедгиз, 1959. - 206 с.

25. Красовский А.А. Концепция оптимального инструктора и автоматизация обучения на тренажерах / Красовский А.А. // Изв. АН СССР. Техническая кибернетика. 1989. № 6. С. 139 144.

26. Брусиловский П.Л. Построение и использование моделей обучаемого в интеллектуальных обучающих системах / Брусиловский П.Л. // Изв. АН СССР. Техническая кибернетика. 1992. № 5. С. 97 -119.

27. Авдеев В.П. Особенности моделирования в обучающих системах / Авдеев В.П., Киселева Т.В., Зельцер С.Р., Белоусов П.Г. // Изв. вуз. Черная металлургия. 1979. № 10. С. 120 123.

28. Бурков В.Н. Большие системы: Моделирование организационных механизмов / Бурков В.Н., Данев Б., Еналеев А.К. и др. М.: Наука, 1989.-246 с.

29. Якушевский Р.Т. Управление объектами с запаздыванием / Якушевский Р.Т. М.: Наука, 1978. - 416 с.

30. Комоцкий Р.В. Применение методов полунатурного моделирования для оптимизации систем ручного управления / Комоцкий Р.В., Минаев С.А., Нечаев А.П. и др. В кн.: Проблемы космической биологии. Т. 34. -М.: Наука, 1977. С. 82-96.

31. Исмаилов Н.А. Автоматизированная обучающая система на базе пакета прикладных программ ОСКАР / Исмаилов Н.А., Маркелова Т.А., Михайлова И.А. и др. // Управляющие системы и машины. 1983. № 6. С. 106-107.

32. Бурков В.Н. Организационное управление с нормативной моделью / Бурков В.Н., Авдеев В.П., Мышляев Л.П. и др. В кн.: Активные системы. -М.: Институт проблем управления, 1980. С. 23 31.

33. Авдеев В.П. Машинное обучение с помощью диалога / Авдеев В.П., Зельцер С.Р., Степанов А.В. М.: Изд. МДНТП, 1976. С 121 - 128.

34. Авдеев В.П. К развитию производственно исследовательских автоматизированных систем управления / Авдеев В.П., Мышляев Л.П. // Изв. вуз. Черная металлургия. 1984. № 12. С. 92 - 100.

35. Венделин А.Г. Процесс принятия решения / Венделин А.Г. Таллин: Валгус, 1973.-216с.

36. Адлер Ю.П. Введение в планирование эксперимента / Адлер Ю.П. М.: Металлургия, 1969. - 189 с.

37. Ломов Б.Ф. Инженерная психология / Ломов Б.Ф., Рубахин В.Ф., Венда В.Ф. М.: Наука, 1977. - 303 с.

38. Егоров С.В. К сравнению некоторых методов управления в АСУ ТП при постоянно действующих возмущениях / Егоров С.В., Овакимян О.А. // Труды МЭИ, Вып. 380 М.: МЭИ, 1978. С. 27 - 35.

39. Цымбал В.П. Состояние и перспективы развития систем на основе тренажеров в сталеплавильном производстве / Цымбал В.П. // Изв. вуз. Черная металлургия. 1982. № 4. С. 119 121.

40. Система программирования обучающих курсов / Под ред. E.JI. Ющенко. Киев: Вища школа, 1981. - 239 с.

41. Карцева М.В. Реализация процесса индивидуализации обучения с помощью модели студента в АСО МЭИ на базе ЭВМ / Карцева М.В., Чхартишвили Л.Г. // Применение и использование вычислительных машин: Труды МЭИ. Вып. 351. М.: МЭИ, 1977. С. 23 - 25.

42. Шаталов В.Ф. Педагогическая проза / Шаталов В.Ф. М.: Педагогика, 1980.-96 с.

43. Растригин Л.А. Адаптивное обучение с моделью обучаемого / Растригин Л.А., Эренштейн М.Х. Рига: Зинатне, 1988. - 160 с.

44. АС № 1208571. Тренажер оператора систем управления технологическими процессами / Авдеев В.П., Сульман Л.А., Мышляев Л.П. др. Бюллетень изобретений ; 4. 1986.

45. Бурков В.Н. Основы математической теории активных систем / Бурков В.Н. М.: Наука, 1977.

46. Авдеев В.П. Многоканальные организационные механизмы (опыт применения в АСУ): Препринт / Авдеев В.П., Бурков В.Н., Еналеев А.К., Киселева Т.В. М.: Изд. Института проблем управления, 1986.-46 с.

47. Авдеев В.П. Восстановительно прогнозирующие системы управления / Авдеев В.П., Карташов В.Я., Мышляев Л.П., Ершов А.А. - Кемерово: изд. Кемеровского университета, 1984. - 56 с.

48. Альтшулер Г.С. Творчество как точная наука / Альтшулер Г.С. М.: Сов. Радио, 1979. - 176 с.

49. Стар Дж. Управление производством / Стар Дж. М.: Мир, 1968. - 331 с.

50. Хаббард Дж. Автоматизированное проектирование баз данных: Пер. с англ / Хаббард Дж. М.: Мир, 1984. - 296 с.

51. Авдеев В.П. Выбор типопредставителей в задачах исследования и управления / Авдеев В.П., Бегтшев Г.А., Пинтов А.В., Зельцер С.Р. // Изв. вуз. Черная металлургия. 1980. № 6. С. 89 102.

52. Нардюжев В.И. Модели и алгоритмы информациооно вычислительной системы компьютерного тестирования. Монография / Нардюжев В.И., Нардюжев И.В. - М.: Прометей, 2000. - 148 с.

53. Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие / Соловов А.В. -Самара: СГАУ, 1995. -138 с.

54. Альнах И.Н. Моделирование вычислительных систем / Альнах И.Н. — М.: Машиностроение, 1998. 223 с.

55. Джамса К. Программирование для Internet в среде Windows. Перевод с английского / Джамса К., Коуп К. СПб.: Питер, 1996. - 688 с.

56. Лукацкий А.В. Новые подходы к обеспечению информационной безопасности сети / Лукацкий А.В. // Компьютер-Пресс. 2000, №7.

57. Сёмкин С.Н.Основы информационной безопасности объектов обработки информации / Сёмкин С.Н., Сёмкин А.Н.- М.: 2000, 300с.

58. Гундарь К.Ю. Защита информации в компьютерных системах / Гундарь К.Ю., Гундарь А.Ю. Янишевский Д.А. Киев, 2000.

59. Кулаков С.М. Игровое обучение правилам шихтовки мартеновских плавок / Кулаков С.М., Киселева Т.В., Изаак К.И. // Изв. вуз. Черная металлургия. 1983. № 2. С. 148 152.

60. Авдеев В.П. Прогнозирование длительности мартеновских плавок / Авдеев В.П., Евтушенко В.Ф., Кулаков С.М., Изаак К.И. // Изв. вуз. Черная металлургия. 1969. № 10. С. 170 173.

61. Авдеев В.П. О производственно-исследовательских системах управления на базе натурно-модельных блоков / Авдеев В.П. // Изв. вуз. Чёрная металлургия, 1979, N 2, С. 130-141.

62. Авдеев В.П. Производственно-исследовательские системы с многовариантной структурой / Авдеев В.П., Кустов Б.А., Мышляев Л.П. -Новокузнецк: Кузбасский филиал Инженерной академии, 1992. 188 с.

63. Авдеев В.П. Обобщение и развитие многовариантных структур / Авдеев В.П., Мышляев Л.П., Тараборина Е.П. // Изв. вуз. Чёрная металлургия, 1991, №6, С.93-100.

64. Теория управления. Терминология. Выпуск 107.//АН СССР, Институт проблем управления.- М.: Наука, 1988,-55 с.

65. Авдеев В.П. Комплексные информационно-материальные технологии и интегрированные системы / Авдеев В.П., Кустов Б.А., Мышляев Л.П., Пугачёв Е.В. // Изв. вуз. Чёрная металлургия, 1992, №7. С 65-69.

66. Дрейпер Н. Прикладной регрессионный анализ. Пер. с англ. / Дрейпер Н. Смит Г. М.: Статистика, 1973. 392 с.

67. Имитационное моделирование производственных систем / Под. общ. ред. чл.-кор. Ан СССР А.А. Вавилова. М.: Машиностроение; Берлин: Техника, 1983.- 416 е., ил.

68. Цымбал В.П. Математическое моделирование металлургических процессов: Учебное пособие для вузов / Цымбал В.П. М.: Металлургия, 1986.-240 е., ил.

69. Дьячко А.Г. Математическое моделирование непрерывных металлургических процессов (на примере процессов цветной металлургии) / Дьячко А.Г. Дис. на соискание учёной степени доктора технических наук.-М.: МИСиС, 1974.-250 е., ил.

70. Бусленко В.Н. Моделирование производственных процессов / Бусленко В.Н. М.: Наука, 1965. 400 с.

71. Кинелёв В.Г. Объективная необходимость. История, проблемы и перспективы реформирования высшего образования России / Кинелев В.Г. -М.: Изд. Республика, 1995. 328 е., ил.

72. Кинелёв В.Г. Образование и цивилизация / Кинелев В.Г. //Информатика и образование, 1996, N 5, С. 21-28.

73. Гласс Дж. Статистические методы в педагогике и психологии / Глас Дж., Стэнли Дж. М.: Прогресс, 1976. 495 с.

74. Митин Б.С. Инженерное образование на пороге XXI века / Митин Б.С., Мануйлов В. Ф. М.: Издательский Дом Русанова, 1996. 224 е., ил.

75. Гейтс Билл Дорога в будущее / Гейтс Билл М.: Издательский отдел "Русская Редакция", 1996. - 312 е., ил.

76. Моисеев Н.Н. Алгоритмы развития / Моисеев Н.Н. М.: Наука, 1987. - 304 е., ил.

77. Краснянская К.А. Применение математической статистики в педагогических исследованиях / Краснянская К.А., Грабарь М.И. М.: Наука, 1977. 342 с.

78. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей М.: Статистика, 1995. — 31 с.

79. Тихонов А.Н. Технологии дистанционного обучения в России / Тихонов А.Н., Иванников А.Д. // Высшее образование в России, 1994, №3, с.3-10.

80. Тихонов А.Н. Теленетика / Тихонов А.Н., Заборовский B.C., Лопота В.А., Богатырь Б.Н. // Бюллетень "Проблемы информатизации высшей школы", 1996,№1, С. 1-13.

81. Шеннон Р. Имитационное моделирование систем искусство и наука / Шеннон Р. - М.: Мир, 1978.-418с.

82. Клейнен Дж. Статистические методы в имитационном моделировании / Клейнен Дж. М.: Статистика, 1978, вып. 1.-221 е.; вып.2.-334 с.

83. Кендалл М.Дж. Статистические выводы и связи / Кендалл М. Дж., Стьюарт А. М.: Наука, 1973. - 587 с.

84. Нейлор Т.Х. Имитационные эксперименты с моделями экономических систем / Нейлор Т.Х. М.: Мир, 1975

85. Алексеенко Е.А. Система программирования обучающих курсов / Под ред. Е.Л. Ющенко. Киев: Вища школа, 1981.- 239 с.