автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Динамическая модель управления проектами по созданию компьютерных обучающих программ

На правах рукописи

СЮТИН Алексей Викторович

ДИНАМИЧЕСКАЯ МОДЕЛЬ УПРАВЛЕНИЯ ПРОЕКТАМИ ПО СОЗДАНИЮ КОМПЬЮТЕРНЫХ ОБУЧАЮЩИХ ПРОГРАММ

Специальность 05.13.01 - "Системный анализ, управление и обработка информации (технические системы) по техническим наукам"

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Апатиты-2003

Работа выполнена в Институте информатики и математического моделирования технологических процессов Кольского научного центра РАН (г. Апатиты)

Научный руководитель: доктор технических наук, профессор

Путилов Владимир Александрович

Научный консультант: доктор технических наук, доцент

Заболотский Вадим Петрович

Официальные оппоненты:

1. доктор технических наук, профессор Архипов Александр Валентинович

2. кандидат технических наук. ст. научн. сотрудник Морозов Владимир Петрович

Ведущая организация - Институт системного анализа РАН

Защита состоится * 4 " _2003 г.

в // _ часов на заседании диссертационного совета Д.002.199.01 при Сангг-Пекрбургском институте информатики и автоматизации РАН по адресу 199178, Санкт-Петербург. Россм, 14 лини* ВО, 39.

С диссертацией можно ознакомигься в библиотеке Санкт-Петербургского института информатики и автоматизации РАН и в научной библиотеке Института информатики и математического моделирования технологических процессов Кольского Научного Центра РАН (г. Апатиты)

2оо?'А

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В настоящее время все большее распространение получают курсы и программы, использующие средства компьютерной поддержки, что увеличивает сложность и информативность образовательных программ. Последнее, наряду с возрастанием важности экономических аспектов, предъявляет высокие требования как к процессу разработки, так и оперативности и качеству управления проектами по созданию обучающих программ. Подобные программы часто именуются системами курсового программного обеспечения (КПО), а проекты по их созданию -проектами компьютеризированных средств обучения (КСО, в английской терминологии «courseware» или «Instructional Systems Development» - ISD проекты). Успешность решения проблемы управления проектами напрямую зависит от того, насколько глубоко и полно исследованы динамические характеристики процессов разработки проектов, насколько полны и адекватны используемые модели.

Компьютеризированные системы обучения требуют значительных и дорогостоящих программных и методических разработок, что приводит к дополнительным сложностям нехарактерным для типичных проектов по разработке бизнес-ориентированного программного обеспечения. Концептуально процесс разработки обучающих программ достаточно хорошо структурирован и отлажен. Процессы разработки последнего поколения описываются концептуальной моделью четвертого поколения - KCO/ISD4, в которой вводится понятие итеративного процесса разработки в фазах проекта, которые включают анализ, дизайн, производство, внедрение поддержку и постоянную ситуационную оценку. В процессе разработки возможны неоднократные возвращения на предыдущие этапы и повторное выполнение работ (переработка). Определение количества возможных работ (заданий) и вероятного объема переработки в проекте - одни из основных вопросов, возникающих в проектах KCO/ISD. Количество работ изначально неизвестно, а определяется или идентифицируется по ходу проекта. Количество возвращений, и, соответственно, объем переработки, во многом зависит от опыта и уровня знаний разработчиков, от локальных условий и ограничений, которые зачастую меняются при развитии проекта.

Большинство методов моделирования и планирования, используемых в управлении проектами, достаточно эффективно отражают структуру проектов и взаимосвязи различных фаз разработки, но не динамику процесса разработки и не

< ИОС. НАЦИОНАЛЬНАЯ I БИБЛИОТЕКА

динамику рабочей группы. Поэтому для исследования динамики процесса разработки необходимо создать и использовать модели, отражающие внутренние динамические характеристики и взаимосвязи в проекте.

Целью диссертационной работы является разработка системно-динамической модели развития и управления проектами создания КПО для оценки результатов принимаемых управленческих решений на основе имитации процесса разработки с учетом характеристик проекта и проектной группы.

Основные задачи исследования:

1) Разработка системно-динамической модели процессов разработки и управления проектами по созданию КПО.

2) Разработка методов исследования и оценки объёмов работ в проектах КПО.

3) Исследование методов распределения ресурсов.

4) Разработка структуры обучающей среды, с использованием динамической модели, имитирующей процесс разработки проекта.

Используемые методы. Для решения поставленных в работе задач используются методы системной динамики, элементы теории управления и теории систем, интегрального и дифференциального исчисления, теории графов и теория познавательного обучения.

Научная новизна. Научной новизной обладают следующие результаты выполненных исследований:

1) Разработана системно-динамическая модель для двух начальных фаз анализа и дизайна проекта КСО/КО. Модель описывает динамику процессов разработки проекта, исходя из структуры причинно-следственных взаимосвязей между процессом разработки, составом и характеристиками группы исполнителей, процессов планирования и контроля.

2) Разработана методика оценки объёма работ, сроков завершения и затрат на основе динамической модели проектов КПО. Формализована метрика, необходимая для связи модели с реальным проектом, включающая параметры и нелинейные характеристики проекта.

3) На основе динамической модели исследовано влияние характеристик проектной группы и процесса разработки на появление и объем заданий

требующих возврата на предыдущие стадии процесса в пределах двух начальных фаз типичного проекта КПО.

4) Предложена методика планирования и мониторинга на основе разработанной модели и методики оценки проекта.

Ня чягпиуу выносятся следующие результаты:

1) Динамическая модель управления фазами анализа и дизайна в проекте КПО, отражающая динамику процессов разработки, состава и характеристик группы исполнителей, контроля и планирования.

2) Методика оценки объёмов работ и переработки, сроков завершения и затрат на основе разработанной динамической модели.

3) Полученные оценки влияния распределения ресурсов, а также характеристик проектной группы и процесса разработки на появление, объём и количество итераций заданий, требующих переработки.

4) Структура интерактивной обучающей среды для практического обучения технологиям распределения ресурсов в проекте.

Практическая значимость. На основе результатов диссертации была разработана интерактивная обучающая среда для обучения менеджеров проектов разработки КПО. Среда обеспечивает приобретение навыков распределения ресурсов в процессе управления проектом. Основу работы составляют результаты исследований, проводимых по планам научно-исследовательских работ Института информатики и математического моделирования технологических процессов Кольского научного центра РАН в сотрудничестве с Институтом информационных наук Университета Бергена (Норвегия).

Реализация и внедрение результатов. Результаты исследований нашли практическое применение в следующих разработках, в которых автор принимал непосредственное участие:

1) Результаты работы использованы в проекте РФФИ № 02-07-90074 «Интеллектуальная система поддержки создания концептуальных моделей сложных систем и синтеза адекватных им имитационных моделей».

2) ИОС используется на курсах Консорциума по Созданию Курсового программного обеспечения, участником которого является Университет Бергена (Норвегия).

3) ИОС используется в рамках проекта «Изучение эффектов использования динамических моделей в обучающих программах» при группе «Информационные науки и технологии в образовании» в Институте информационных наук Университета Бергена (Норвегия).

Апробация работы. Основные положения и некоторые результаты диссертационной работы докладывались и обсуждались на Международной конференции European Simulation Multiconference - ESM'98, (Manchester, UK, 1998), Международной конференции 1б"' International System Dynamics Conference, (Quebec, Canada, 1998), Международной конференции European Concurrent Engineering Conference, (Erlangen, Germany, 1999), Международной конференции EUROMEDIA'99 (München, Germany, 1999), Международной конференции ENABLE'99, (Espoo, Finland, 1999), Международной конференции 7th European Concurrent Engineering Conference, (Leicester, UK, 2000), 14th European Simulation Multiconference - ESM'2000, (Ghent, Belgium, 2000).

Публикации. По теме диссертации опубликовано 9 работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (77 наименований), имеет общий объем 159 машинописных страниц, содержит 22 рисунка и 10 таблиц. Приложение к диссертации содержит модели процессов разработки KCO/ISD (4 рисунка), диаграммы уровней и потоков (22 диаграммы), листинг уравнений модели и графики поведения, демонстрирующие результаты исследования в третьей главе (10 рисунков и 1 таблица).

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цели и методы исследования. Приводится краткое изложение содержания и основных результатов работы, а также положений, выносимых на защиту.

Первая глава посвящена обзору существующих методов планирования и управления проектами. В ней рассматриваются особенности проектов KCO/ISD и обосновывается использование метода системной динамики.

Традиционно в планировании и управлении проектами используются методы и техника, которые описывают работу с помощью оценок длительности заданий и

возможных внешних и внутренних ограничений, связывая время начала и окончания различных работ (метод критического пути, PERT диаграммы и т.д.). Данные методы, включают возможность повторов и переработки в оценку длительности заданий, и поэтому не позволяют явно описывать процесс итерации заданий. Кроме того, эти методы предполагают наличие линейных взаимосвязей в процессе разработки, тогда как многие отношения на практике носят нелинейный характер.

Как правило, разработка проектов KCO/ISD задаётся некоторой моделью описывающей фазы разработки и составляющие операции проекта. В настоящее время используется так называемая модель четвертого поколения KCO/ISD4, которая используется как теоретическая основа для построения динамической модели. В модели KCO/ISD4 вводится понятие итеративного процесса разработки в виде прототипов, включая фазы: анализ, дизайн, производство, внедрение, поддержка, с постоянной ситуационной оценкой статуса развития в ходе развития каждой фазы. Фазы анализа и дизайна в разработке КПО считаются наиболее критическими, комплексными, трудоёмкими и дорогостоящими из всего процесса разработки. Характерно, что количество заданий определяется или идентифицируется по ходу проекта, а наличие переработки за счёт возврата на предыдущие этапы вызывает наибольшие затруднения при планировании и контроле разработки проектов КПО.

Успешность управления проектом напрямую зависит от того насколько глубоко и полно исследованы динамические характеристики процессов разработки. Для понимания динамики процесса разработки проекта требуется динамическое описание причинно-следственных структур, которые движут развитием проекта. Развитие проекта зависит от структуры процесса разработки, ресурсов, объема работ, целей и задач проекта. Различные характеристики данных подструктур могут изменяться в ходе проекта и накладывать ограничения на возможную скорость выполнения проекта.

Для отражения динамических характеристик процессов разработки в проектах KCO/ISD предлагается использовать метод системной динамики. Этот метод, на основе причинно-следственных связей, позволяет явно описывать обратные связи, задержки и нелинейные зависимости в процессе разработки, характеристиках рабочей группы и структурах управления. В первой главе, на примере обработки потока заданий группой разработчиков, демонстрируются основные способы описания структуры, используемые в системной динамике: причинно-следственные диаграммы и диаграммы уровней и потоков. Даются основные определения уровня, потока и вспомогательных

переменных. Уровнем является переменная состояния - в проекте это может быть количество заданий на различных стадиях разработки, количество распределенной рабочей силы, конечная дата завершения и т.д. Поток описывает скорость изменения уровня во времени и может зависеть от сопредельных уровней напрямую или посредством обратных связей. Поток также является выражением или следствием принимаемых решений. Потоками в проекте являются процессы идентификации, обработки, распознавания ошибок или переработки заданий, распределения ресурсов на различные типы заданий, процессы изменения конечных сроков или оценки размеров проекта. Вспомогательные или промежуточные переменные описывают взаимосвязи, информацию, используемую для принятия решений, а также могут выражать нелинейные зависимости возникающие между переменными. Посредством информационных связей все переменные объединяются в диаграмму уровней и потоков. В математической форме модель выражается системой нелинейных дифференциальных уравнений, интегрирование которых позволяет воспроизводить поведение системы во времени.

Использование динамической модели для оценки объемов и сроков работ позволит принять во внимание динамику процесса развития и изменения характеристик рабочей группы и учесть итеративную форму процесса разработки КПО.

Во второй главе на основе модели четвертого поколения КСОЛЭО4 разрабатывается системно-динамической модель для двух начальных фаз проекта КПО.

Модель системы управления проектом задаётся набором подсистем входящих в процесс управления и разработки КПО. Структура системы представлена в виде диаграммы связей, описывающей потоки информации между подсистемами, Каждой подсистеме соответствует модель уровней и потоков, представляющих причинно-следственные связи между элементами/переменными, описывающими разработку и управление проектом. В модели представлены следующие подсистемы: процесс разработки, группа разработчиков (человеческие ресурсы) и руководство. В функции последнего входит контроль, планирование и управление ресурсами проекта. Эти подсистемы взаимодействует посредством следующих потоков информации: потребность в ресурсах, доступность ресурсов, статусы развития, количество незавершенных работ, планируемые сроки завершения. Характеристики структурных элементов проекта включают:

1) в процессе разработки: идентификацию, обработку и переработку заданий, доступность работ или степень параллельности процесса и размеры проекта;

2) в группе разработчиков: производительность, мотивацию и усталость, эффекты обучаемости и опыта, а также методы распределения ресурсов (разработчиков) между различными типами заданий;

3) в процессе планирования: установление конечных сроков завершения проекта либо изменение показателей необходимой рабочей силы, в соответствии с условиями в проекте;

4) в процессе контроля выполнения заданий: предполагаемые размеры проекта в заданиях и в человеко-днях, зависящие от предполагаемой производительности. Подсистема процесса разработки описывает потоки работ (заданий) в фазах и

между фазами разработки, количество доступных работ, наличие итераций в пределах и между фазами, а также задержки в процессах (например, время, необходимое на распределение ресурсов или опознавание неверно завершенных заданий). В структуре процесса разработки выделен ряд нелинейных взаимоотношений:

- процент/доля идентифицируемых заданий как функция реального прогресса или степени завершенности проекта - характеризует структуру организации проекта и описывает степень параллельности заданий;

- время идентификации задания как функция количества идентифицированных заданий - характеризует интервал времени, необходимый для идентификации нового задания;

- процент верно обрабатываемьи задании как функция реального прогресса -характеризует скорость адаптации группы разработчиков к специфике проекта;

- процент распознаваемых ошибок как функция реального прогресса - характеризует скорость выявления группой разработчиков неверно завершенных заданий;

- процент/вероятность верной переработки заданий как функция прогресса -характеризует долю правильно перерабатываемых группой разработчиков ошибочных заданий;

- процент возврата как функция прогресса - характеризует долю распознаваемых группой разработчиков ошибочных заданий появившихся в результате неверной обработки в предыдущей фазе.

Нелинейные взаимосвязи в модели задаются с помощью графических таблиц-функций, что облегчает получение и обмен необходимой информации с экспертами. Формы

кривых для базовых значений модели выведены на основе интервью с экспертами и участниками проектов по созданию КПО.

Фактическая скорость обработки или переработки заданий ограничивается минимальным временем, требуемым для разработки и потенциально возможной скоростью обработки, обусловленной имеющимися ресурсами.

В подсистеме моделирующей группу разработчиков ресурсы распределяются на различные типы заданий. Поскольку на изменение проектной группы требуется время (перевести, найти новых, либо вывести задействованных разработчиков), то данный процесс может вносить задержку в развитие проекта. При расчете производительности рабочей группы учитывается процентное соотношение опытных работников и новичков, накопленный опыт специфики проекта (кривая обучаемости - learning curve), время коммуникационных затрат и реальный процент времени работы над проектом (последний зависит от степени усталости и мотивации к работе). Мотивация зависит от заданных сроков выполнения проекта и отражает жесткость или давление плана на рабочую группу. В экстремальных условиях допустимо увеличение процента рабочего времени разработчиками для ускорения темпов обработки, однако, это ведет к накоплению эффектов усталости. По достижении определенного уровня усталости мотивация к работе сверх нормы пропадает.

В подсистеме контроля над проектом оценивается количество уже завершенных заданий в сравнении с предполагаемым полным количеством заданий и количество затраченных человеко-дней в сравнении с выделенным количеством человеко-дней на разработку проекта. Так как количество заданий, получаемое при оценке проекта, как правило, оказывается ниже реального, то в функции контроля входит внесение поправок в оценку предполагаемого количества заданий, а также корректировка количества выделяемых на проект человеко-дней. Корректировка количества выделяемых человеко-дней обусловлена двумя основными факторами: появлением заданий свыше изначально предполагаемого количества и изменением оценки реальной производительности рабочей группы. Расчет необходимых затрат в человеко-днях ведется исходя из предполагаемого количества заданий и предполагаемой производительности рабочей группы. Изначально предполагаемая производительность основана на оценке затрат на единичное задание. По ходу проекта эта оценка смещается в сторону реальной производительности рабочей группы.

В подсистеме планирования проекта оценивается необходимое количество ресурсов в проекте, необходимых для завершения проекта в заданные сроки. Оценка основана на информации о выделяемых человеко-днях из подсистемы контроля и информации о количестве реальной рабочей силы из подсистемы рабочей группы, исходя из чего, рассчитывается предполагаемая дата завершения проекта. По ходу проекта расчетная дата завершения проекта может изменяться. В таком случае есть возможность либо ввести дополнительные ресурсы, либо сдвинуть планируемую дату завершения. Выбор осуществляется на основе готовности руководства сдвигать дату или желания уложиться в строго заданные сроки, используя дополнительные ресурсы.

Описанные подсистемы представляют совокупность динамических характеристик проекта, взаимодействующих между собой посредством обратных связей, и образуют системно-динамическую модель проекта, позволяя изучать его поведение во времени.

В третьей главе описывается методика оценки и результаты исследования на основе системно-динамической модели проекта КСОЛЭО4. Сформулированы задачи оценки объёма работ, показатели оценки и метрика проекта.

Задача оценки проекта состоит в определении объема работ или трудоёмкости проекта, включая процент возможной переработки, при выдвигаемых предположениях о количестве заданий в проекте, характеристиках процесса и рабочей группы. Предварительная оценка размеров проекта основана на традиционных методах и включает значение предполагаемого количества заданий в проекте РегсТогТт и оценку предполагаемого занижения ГгУ5г/'егси, в процентах от полного количества, тогда

_ _ РегсТоЛ^

оценка полного количества Тои_, =-—. Предварительная оценка также

Рг^гРегс^

содержит предположения о трудоёмкости одного задания в человеко-днях опытным разработчиком ЫотМОКцТ^.

Исходная метрика включает набор параметров и нелинейных функций:

1) Временные параметры: минимальное время обработки/переработки, время распределения ресурсов, время найма/вывода разработчиков, интервал запаздывания при принятии различных решений.

2) Нелинейные характеристики процесса разработки и рабочей группы, определенные во второй главе.

Дальнейшие шаги оценки и планирования включают использование динамической модели проекта, используя исходную метрику и предварительные оценки проекта. Результаты анализа включают рекомендуемые пределы количества разработчиков, оценку времени завершения, объёма работ и процент переработки.

В ходе проекта возможны изменения оценок объёмов работ, длительности, затрат и изменения плана, а также градуировка метрики в соответствии с ретроспективой развития. При разработке проекта в задачу контроля и мониторинга входит оценка возможного количества заданий на каждом из этапов разработки на очередной управляющий цикл: = Т,(1 + Тгеп(1(Т1)хТРРС, где Тем /+/ — оценка количества заданий на предстоящий цикл управления с длительностью ТРРС, Т, -количество заданий в текущий момент времени и Тгеп<1(Т^ - тенденция/тренд изменения числа заданий. Тренд отражает процентное изменение кол-ва заданий в

(Т-Т \ 1

единицу времени: Тгепй(Т,) = -— -, где ТНЯС - время сбора информации.

V. ) ТНЯС

На основании оценки числа заданий определяется количество ресурсов lndPersea.it требуемых на каждый из типов заданий (/) ШРегз№, = Тои х АзтёР,, где АзтйР -предполагаемая производительность. Также оценивается процент переработки „ 1П 11е сЮТ + Тт Ле «г ^

РспЖлу --, который должен соответствовать функции доли

РегсСТ

опознаваемых ошибок заданной в метрике. Исходя из выявленного процента переработки, оценивается количество возможно неверных заданий в обработке ГЛГшР,,, = ТтР, х РсмЯч/,, и корректировка предполагаемо завершенных заданий РегсСТт = РегсСТ) х (1 - РсМкк,). На основе чего делаются оценки воспринимаемого прогресса: РегсРа1-РегсСТт1МЭЕхр1, воспринимаемой производительности: РР„, = РегсСТ/ РегсТо1Т и текущей переработки: То®^к1 =РегсТо1ТхРспЖ\у1. Оценка вероятности верной переработки основана на

количестве повторов заданий (#Й) Рг оЬЯы = —.

Пи

По завершении проекта необходимым этапом является пост-оценка развития. В базу данных проекта(ов) заносится информация для воспроизведения реальных характеристик проекта и процесса разработки. Важно восстановить реальную кривую доли неверно обрабатываемых заданий, информация о которой в ходе проекта будет

?

I

»

появляться со значительной задержкой. Эта зависимость восстанавливается на основе данных о сроках завершения заданий, которые включают даты завершения и опознавания неверных заданий. Конечные объёмы работ и переработки необходимо сопоставить с начальной оценкой и определить процент занижения (завышения). Все данные пост-оценки служат необходимой информацией для оценки и проведения последующих проектов.

Для демонстрации методики оценки объёма работ исследован абстрактный пример типичного проекта КПО. Исследование разбито на два этапа. На первом этапе исследуется влияние структуры процесса разработки на появление переработки. Считается что все процессы разработки и переработки идут с максимально возможной скоростью и, следовательно, не зависят от количества распределенных ресурсов, начала исследуется однофазовый проект, а затем проект с двумя фазами, как вариант многофазового проекта. В исследовании влияния структуры процесса разработки рассматривается динамика поведения проекта при различных структурных характеристиках. Для каждой из характеристик рабочей группы рассматривается набор высокого, среднего и малого опыта, включая набор постоянных величин и несколько типичных нелинейных функций. Для характеристик процесса разработки рассматривается набор нелинейных и линейных функций, а также неограниченный (полностью параллельный) процесс. На втором этапе исследуется влияние ресурсов на появление и объём переработки. Основными характеристиками являются доступные разработчики, т.е. полное число разработчиков в проекте и распределенные разработчики, т.е. число разработчиков, выделенных на разные виды заданий.

На основе исследования влияния различных характеристик, описывающих способность рабочей группы к качественному завершению заданий и распознаванию ошибок в проекте на различных стадиях, выработаны некоторые рекомендации для распределения ресурсов на различных этапах проекта. Так из результатов исследования отчетливо видно как фактор экспертных знаний и опыта влияет на развитие проекта на ранних этапах анализа и при переработке в дизайне, что необходимо учитывать при распределении ресурсов. Исследование зависимости сроков завершения проекта от количества используемых ресурсов показывает, что время завершения проекта ассимптотически стремится к некоторому минимальному сроку завершения. Этот срок возможно определить при заданных условиях путем иммитации развития проекта. Соответствующая кривая затрат в человеко-днях претерпевает минимум, при

некотором определяемом значении количества ресурсов, после которого увеличение задействованных ресурсов ведет к увеличению затрат, но не приводит к более быстрому завершению проекта.

Исследование поведения проекта показывает возможности использования динамических моделей для оценки объемов работ, учитывая переработку заданий, при различных характеристиках рабочей группы и различной степени параллельности работ; а также для оценки допустимого количества ресурсов, которое можно использовать эффективно для скорейшего завершения проекта без увеличения затрат.

В четвертой главе описывается использование динамической модели в интерактивной обучающей среде (ИОС) - «On Time, Within Budget».

Основной целью интерактивной среды «On Time, Within Budget» является возможность изучения поведения проекта и оценка влияния принимаемых решений на результаты проекта, осознание задержек и нелинейных эффектов, существующих в проектах, а также сложности и неоднозначности задачи управления проектом. В обучающей среде пользователи должны выполнить проект с наименьшими затратами ресурсов и времени. Конечные сроки завершения задаются пользователями, но не должны превышать некоторого максимально допустимого значения, которое задается инструктором/преподавателем. Проделанная работа оценивается по затратам ресурсов и времени, а также эффективности использования ресурсов.

В проекте определены следующие позиции или роли: руководитель проекта, руководитель фазы анализа и руководитель фазы дизайна. В функции руководителя проектом входит установка конечных сроков исполнения проекта и отдельных фаз, изменение при необходимости полного количества ресурсов, задействованных в проекте, а также композиция ресурсов, т.е. соотношение количества экспертов и новичков, вводимых в проект или выводимых из проекта. Функции руководителей фазами сводятся к запросу и распределению ресурсов на разработку основных заданий либо на переработку неверно завершенных заданий в соответствующей фазе.

Структура ИОС является многоуровневой и организована по принципу нарастающей сложности на основе социально ориентированной познавательной учебной модели. Проблема управления разбита на несколько подструктур в соответствии с подсистемами, входящими в процесс управления проектом:

I) блок решений по распределению ресурсов - Human Resource Allocation,

2) блок планирования проекта для управляющего проектом, и блок сообщения установленных временных рамок для управляющих фазами - Time Planning,

3) блок структуры процесса разработки - Process development information,

4) блок информации о рабочих ресурсах - Personnel information;

5) блок информации о статусе развития - Progress Perceptions.

На начальном уровне участникам предоставляется минимальная информация о проблеме. На последующих уровнях они получают описание структур в виде причинно-следственных диаграмм и затем в виде диаграмм уровней и потоков.

ИОС создана для использования ее в индивидуальном или сетевом варианте. В индивидуальном варианте пользователь может выполнять одну из описанных функций или ролей, а остальные роли будут имитироваться компьютером в соответствии с заложенными в модель линиями поведения для каждой из ролей. Пользователям предоставляется два режима взаимодействия с моделью: «Стратегический» и «Принятие решений». «Стратегический» режим предоставляет возможность испытания линий поведения, делая предположения о поведении других участников. В режиме «Принятия решений» решения сообщаются всем участникам, в соответствии с которыми, модель воспроизводит поведение проекта на очередной цикл.

Интерактивная обучающая среда реализована в программном пакете Powersim0 и функционирует в операционной системе Windows 9Х, NT, ME.

ЗАКЛЮЧЕНИЕ

Разработанная модель проектов КПО описывает динамику процесса разработки и управления на основе причинно-следственных взаимосвязей характеристик в структуре проекта. Модель может быть использована как для прогнозов, так и для объяснения причин поведения, а также в образовательных целях. В совокупности с методикой оценки и метрикой проектов KCO/ISD динамическая модель позволяет планировать и контролировать проект, учитывая следующие характеристики проекта:

1) Структуру процесса разработки КПО, включая идентификацию, обработку и

переработку заданий, степень доступности/параллельности работ, размеры

проекта и описания потоков работ/заданий в проекте.

2) Ограничения, обусловленные процессом разработки и доступными ресурсами.

3) Коллектив исполнителей, включая состав, производительность, мотивацию и усталость, а так же эффекты обучаемости и опыта.

4) Систему контроля исполнения проекта и введения изменений в план проекта. При этом учитываются изменения как за счет появления новых заданий, так и за счет неадекватной оценки объёма работ в связи с завышением предполагаемой производительности.

5) Планирование проекта с заданием и возможным изменением конечных сроков исполнения или соответствующего количества рабочей силы необходимой, для завершения проекта.

В работе получены следующие результаты:

1) Разработана системно-динамическая модель управления двумя начальными фазами типичного проекта КПО, отражающая динамику процессов разработки, состава и характеристик группы исполнителей, планирования и контроля.

2) Разработана методика оценки объёмов работ и переработки и формализована метрика проекта для сопоставления данных модели с результатами развития проекта Методика позволяет использовать данные моделирования в процессе планирования и мониторинга проекта для оценки приемлемых затрат и сроков завершения.

3) Сформулированы рекомендации для более эффективного распределения ресурсов, ведущего к снижению количества появляющейся переработки, затрат и сокращению сроков завершения.

4) На основе динамической модели создана интерактивная обучающая среда для практического обучения технологиям управления и распределения ресурсов в проектах КСОЛБО. Предложена технология использования среды для поддержки обучения управления проектами.

Результаты работы показывают, что метод системной динамики является эффективным средством для описания динамики процессов разработки и управления проектами. Метод позволяет формально отразить как процессы разработки, так и изменения характеристик рабочей группы. Динамическая модель, в совокупности с традиционными методами управления и планирования, позволяет учитывать итерационную форму процесса разработки последнего поколения проектов КСОЛЭО.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Путилов В.А., Сютин A.B. Динамические модели в управлении научно-исследовательскими проектами - В кн.: Имитационное моделирование в исследованиях проблем регионального развития, Апатиты, изд. Кольского научного центра РАН, 1999. -с.6-13.

2. Сютин A.B. Системно динамическая модель управления проектами ISD4 - В кн.: Simulation Past, Present and Future. Сборник статей 12-й международной конференции «European Simulation Multiconference - ESM'98» Манчестер, Великобритания, 1998. -с.876-878.

3. Sioutine A.V., Davidsen P.I. and Spector J.M. Modelling resource allocation in instructional systems development projects - In: Celebrating over forty years of advancing policy simulation. Collected papers of 16ft International System Dynamics Conference. Eds. Pugh, Alexander and Rahn, Joel. Quebec, Canada, 1998. - c. 79.

4. Сютин A.B. Моделирование параллельных соотношений в многофазных проектах по созданию обучающих программ. - В кн.: Concurrent engineering: from product design to product marketing. Сборник статей 6-й европейской конференции «European Concurrent Engineering Conference». Университет Эрлангена, Германия, 1999. - с. 59-63.

5. Sioutine A.V., Spector J. М. On Time Within Budget: A Simulation Based Learning Environment for Practising Resource Allocation in Instructional Systems Development Projects - In: Featuring Webtec-Mediatec-Comtec-Aptec collected papers of EUROMEDIA '99 conference. Eds. Winfried Hahn, Ellen Walther-Klaus and Jan Knop München, Germany, 1999. - p. 202-206.

6. Сютин A.B. Концептуальное и динамическое моделирование управления проектами по созданию обучающих программ дистанционного управления. - В кн. Enable Network Based Learning. Сборник статей международной конференции «ENABLE'99». Ред. Эрки Рамо. Технологический Институт Эспо-Ванта, Эспо, Финляндия, 1999. - с. 230-241.

7. Сютин A.B. Исследование влияния параллельности процессов на объем переработки в проектах по созданию обучающих программ. - В кн.: Concurrent Engineering in the framework of IT Convergence. Сборник статей 7-й европейской конференции «European Concurrent Engineering Conference». Editors: Uwe F. Baake, Richard N. Zoebel Университет ДеМонтфорт, Лестер, Великобритания, 2000. -с. 93-95.

8. Сютин А.В. Исследование влияния распределения ресурсов на объем переработки в проектах по созданию обучающих программ - В кн.: Simulation and Modelling: enablers for a better quality of life. Сборник статей 14-й международной конференции «European Simulation Multiconference - ESM 2000». Университет Гента, Бельгия, 2000. -с.746-748.

9. Spector J.M., Christensen D.L., Sioutine A.V., McCormack D. Models and Simulations for Learning in Complex Domains: Using Causal Loop Diagrams for Assessment and Evaluation. Journal Computers in Human Behavior 17: Instructional Design Special Interest Group of the European Association for Research on Learning and Instruction. 2001 -p.517-545.

Автореферат

СЮТИН Алексей Викторович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ДИНАМИЧЕСКОЙ МОДЕЛИ УПРАВЛЕНИЯ ПРОЕКТАМИ ПО СОЗДАНИЮ КОМПЬЮТЕРНЫХ ОБУЧАЮЩИХ ПРОГРАММ

Технический редактор Каржавина С.И.

Лицензия ЛР №040110 от 10.11.96 г Подписано к печати 14.10.2003

Формат бумага 60x841 1/16. Бумага типографская. Печать офсетная. Уч. - издл. 1. Усл. краско-от. Заказ ОДГираж 100 экз.

Издательство Петрозаводского государственного университета Петрозаводск, пр.Ленина, 33

Отпечатано подразделением оперативной полиграфии Кольского филиала ПетрГУ Апатиты, ул. Космонавтов, 3

P 17623

ВВЕДЕНИЕ.

1. МЕТОДЫ ПЛАНИРОВАНИЯ И УПРАВЛЕНИЯ ПРОЕКТАМИ ПО РАЗРАБОТКЕ КОМПЬЮТЕРИЗИРОВАННЫХ СРЕДСТВ ОБУЧЕНИЯ.

1.1. Традиционные методы управления и планирования проектами.

1.1.1. Задача управления проектами.

1.1.2. Процедуры и техника планирования.

1.1.3. Недостатки и проблемы традиционных методов.

1.2. Общая характеристика проектов KCO/ISD.

1.2.1. Эволюция проектов KCO/ISD.

1.2.2. Инструментальные средства поддержки проектов KCO/ISD.

1.2.3. Особенности и проблемы управления проектами по созданию КПО.

1.2.4. Проблема переработки и распределения ресурсов.

1.3. Динамические модели в управлении проектами.

1.3.1. Метод системной динамики.

1.3.2. Управление проектами с динамической точки зрения.

1.3.3. Основные динамические подструктуры в управлении проектами.

1.3.4. Использование системной динамики в управлении проектами.

1.3.5. Последовательность применения динамических моделей в управлении проектом.

1.4. Выводы.

2. ДИНАМИЧЕСКАЯ МОДЕЛЬ ТИПИЧНОГО ПРОЕКТА ПО РАЗРАБОТКЕ КОМПЬЮТЕРИЗИРОВАННЫХ СРЕДСТВ ОБУЧЕНИЯ.

2.1. Общая структура модели.

2.1.1. Моделируемые фазы проекта и отображение процесса разработки.

2.1.2. Границы модели и основные предположения.

2.1.3. Подсистемы модели.

2.2. Формальное описание модели проекта.

2.2.1. Процесс разработки.

2.2.1.1. Идентификация заданий.

2.2.1.2. Обработка и переработка заданий.

2.2.2. Подсистема ресурсов.

2.2.2.1. Распределение ресурсов.

2.2.2.2. Состав проектной группы.

2.2.2.3. Текущая производительность группы.

2.2.2.4. Выделение ресурсов.

2.2.3. Подсистема контроля.

2.2.3.1. Статус развития и предполагаемая производительность.

2.2.3.2. Оценка объёма работ.

2.2.4. Подсистема планирования.

2.3. Адекватность модели.

2.4. Выводы.

3. МЕТОДИКА ОЦЕНКИ ОБЪЕМОВ РАБОТ И ПЕРЕРАБОТКИ В ПРОЕКТЕ.

3.1. Задача оценки объёма работ.

3.1.1. Последовательность оценки в цикле управления.

3.1.2. Предварительные предположения и исходная метрика.

3.1.3. Оценка длительности, затрат и объёма работ.

3.1.4. Планирование.

3.1.5. Контроль и мониторинг.

3.1.6. Пост-проектная оценка.

3.2. Исследование и оценка объёма работ в типичном проекте.

3.2.1. Спецификация проекта и основных параметров.

3.2.2. Влияние структуры процесса разработки.

3.2.2.1. Однофазный проект.

3.2.2.2. Двухфазный проект.

3.2.3. Влияние ресурсов.

3.2.3.1. Постоянное распределение ресурсов.

3.2.3.2. Относительное распределение ресурсов.

3.2.4. Показатели выполнения проекта в зависимости от выделенных ресурсов

3.3. Выводы.

4. ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ РАЗРАБОТАННОЙ МОДЕЛИ В ИНТЕРАКТИВНОЙ ОБУЧАЮЩЕЙ СРЕДЕ.

4.1. Интерактивная обучающая среда.

4.1.1. Цель обучающей среды.

4.1.2. Требования к инструктору и студентам.

4.1.3. Роли в проекте.

4.2. Структура интерактивной обучающей среды.

4.2.1. Принцип построения и структура обучающей среды.

4.2.2. Инструментальные средства и принципы разработки.

4.2.3. Пользовательский интерфейс и принципы работы.

4.2.4. Использование обучающей среды.

4.3. Выводы.

Актуальность проблемы. Увеличение сложности и информативности образовательных программ и возрастание важности аспектов экономического характера определяют высокие требования как к процессу разработки, так и оперативности и качеству управления проектами по созданию обучающих программ. В настоящее время все большее распространение получают курсы и программы, использующие средства компьютерной поддержки, включая средства мультимедиа. Подобные программы часто именуются системами курсового программного обеспечения (КПО), а проекты по их созданию -проектами компьютеризированных средств обучения (КСО, в английской терминологии «courseware» или «Instructional Systems Development» - ISD проекты). Успешность решения проблемы управления подобными проектами напрямую зависит от того насколько глубоко и полно исследованы динамические характеристики процессов разработки проектов, насколько полны и адекватны используемые модели.

Компьютеризированные системы обучения требуют значительных и дорогостоящих разработок методического и программного обеспечения, что приводит к дополнительным сложностям нехарактерным для типичных проектов по разработке бизнес-ориентированного программного обеспечения. Концептуально процесс разработки обучающих программ достаточно хорошо структурирован и отлажен. Как правило, проекты KCO/ISD содержат несколько фаз процесса разработки, аналогичных тем, которые обычно описывают проекты по созданию программного обеспечения. Процессы разработки KCO/ISD последнего поколения описываются концептуальной моделью четвертого поколения — KCO/ISD4. В этой модели вводится понятие итеративного процесса разработки в форме прототипов. Процесс разработки KCO/ISD проектов описан в терминах эволюции нескольких фаз: анализ — дизайн — производство - внедрение — поддержка, с постоянной ситуационной оценкой статуса развития в каждой из фаз. Фазы анализа и дизайна считаются наиболее критическими, сложными и дорогостоящими из всего процесса разработки курсового обеспечения. В ходе развития фаз могут происходить внутренние и внешние итерации работ/заданий, количество которых может меняться в зависимости от локальных условий и ограничений.

Определение количества возможных заданий и вероятного объёма переработки в проекте - одни из основных вопросов, возникающих в проектах KCO/ISD. Количество заданий изначально неизвестно, а определяется или идентифицируется по ходу проекта. В процессе разработки возможны неоднократные возвращения на предыдущие этапы и повторное выполнение работ не только в пределах одной фазы, но также между фазами. Количество возвращений во многом зависит от опыта и уровня знаний группы разработчиков, которые, как правило, меняются в ходе разработки проекта. Большинство методов моделирования и планирования, используемых в управлении проектами, достаточно эффективно отражают структуру проектов и взаимосвязи различных фаз разработки, но не динамику процесса разработки и не динамику рабочей группы. Поэтому для исследования динамики процесса разработки проектов необходимо создать и использовать модели, отражающие внутренние динамические характеристики и взаимосвязи в проекте.

Целью диссертационной работы является разработка системно-динамической модели развития и управления проектами создания КПО для оценки результатов принимаемых управленческих решений на основе имитации процесса разработки с учетом характеристик проекта и проектной группы.

Основные задачи, решаемые в работе:

1) Разработка системно-динамической модели процессов разработки и управления проектами по созданию КПО.

2) Разработка методов исследования и оценки объёмов работ в проектах КПО.

3) Исследование методов распределения ресурсов.

4) Разработка структуры обучающей среды с использованием' динамической модели для обучения руководителей проектов на основе имитации процесса разработки проекта.

Используемые методы. Для решения поставленных в работе задач используются методы системной динамики, элементы теории управления, интегрального и дифференциального исчисления, теории графов и теория познавательного обучения.

Научная новизна заключается в следующем:

1) Разработана системно-динамическая модель на основе концептуальной модели проектов четвертого поколения KCO/ISD, описывающая динамику процессов разработки проекта исходя из структуры причинно-следственных взаимосвязей между элементами процесса, состава и характеристик группы исполнителей, процессов планирования и управления для двух начальных фаз анализа и дизайна.

2) Разработана методика оценки объёма работ, сроков завершения и затрат на основе динамической модели проектов КПО. Формализована метрика, необходимая для связи с реальным проектом, включающая параметры и нелинейные характеристики проекта.

3) Исследовано на основе динамической модели влияние характеристик проектной группы и процесса разработки на появление и объем заданий требующих возврата на предыдущие стадии процесса в пределах двух начальных фаз типичного проекта КПО.

4) Предложена методика планирования и мониторинга проекта на основе разработанной модели и методики оценки проекта.

На защиту выносятся следующие результаты:

1) Динамическая модель развития и управления фазами анализа и дизайна в проекте КПО, отражающая динамику процессов разработки, состава и характеристик группы исполнителей и управления.

2) Методика оценки объёмов работ и переработки, сроков завершения и затрат на основе динамической модели проектов КПО.

3) Полученные оценки влияния распределения ресурсов с учетом характеристик проектной группы и процесса развития на появление, объём и количество итераций заданий, требующих переработки, в пределах двух начальных фаз типичного проекта КПО.

4) Структура интерактивной обучающей среды, предназначенной для практического обучения технологиям распределения ресурсов в проекте.

Практическая значимость. На основе результатов диссертации была разработана интерактивная обучающая среда для обучения менеджеров проектов разработки КПО обеспечивающая приобретение навыков распределения ресурсов в процессе управления проектом. Основу работы составляют результаты исследований, проводимых по планам научно-исследовательских работ Института информатики и математического моделирования технологических процессов Кольского научного центра РАН в сотрудничестве с Институтом информационных наук Университета Бергена (Норвегия).

Реализация и внедрение результатов. Результаты исследований нашли практическое применение в следующих разработках, в которых автор принимал непосредственное участие:

1) Результаты работы использованы в проекте РФФИ № 02-07-90074 «Интеллектуальная система поддержки создания концептуальных моделей сложных систем и синтеза адекватных им имитационных моделей».

2) ИОС используется в рамках проекта «Изучение эффектов использования динамических моделей в обучающих программах» при группе «Информационные науки и технологии в образовании» (Educational Information Science and Technology) в Институте информационных наук Университета Бергена (Норвегия).

Апробация работы. Основные положения и некоторые результаты диссертационной работы докладывались и обсуждались на Международной конференции European Simu/afion

Multiconference - ESM'PS, (Manchester, England, 1998), Международной конференции 7dh International System Dynamics Conference; (Quebec, Canada, 1998), Международной конференции European Concurrent Engineering Conference, (Erlangen, Germany, 1999), Международной конференции EUEOMEB/AVP {Munchen, Germany, 1999), Международной конференции ENABLE'99, (Espoo, Finland, 1999), Международной конференции 7th European Concurrent Engineering Conference\ (Leicester, United Kingdom, 2000), 14th European Simulation Multiconference- ESM'2000, (Ghent, Belgium, 2000).

Публикации. По теме диссертации опубликовано 9 работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (77 наименований), имеет общий объем 159 машинописных страниц, содержит 22 рисунка и 10 таблиц. Приложение к диссертации содержит модели процессов разработки KCO/ISD (4 рисунка), диаграммы уровней и потоков (22 диаграммы), листинг уравнений модели и графики поведения, демонстрирующие результаты исследования в третьей главе (10 рисунков и 1 таблица).

Результаты работы показывают, что эффективным средством для понимания динамики процессов разработки и управления проектами KCO/ISD является средства системной динамики, позволяющие формально отразить как эти процессы, так и изменения характеристик рабочей группы. При этом динамическая модель, в совокупности с традиционными методами управления и планирования, позволяет учитывать итерационную форму процесса разработки последнего поколения KCO/ISD.

ЗАКЛЮЧЕНИЕ

Разработанная модель проектов КПО описывает процесс развития и управления в подобных проектах на основе причинно-следственных взаимосвязей совокупности динамических характеристик в структуре проекта. Поэтому она может быть использована как для прогнозов, так и для объяснения причин поведения, а также в образовательных целях. В совокупности с методикой оценки и метрикой проектов KCO/ISD динамическая модель образует методику динамического планирования и контроля, которая в отличие от традиционных методов явно отображает следующие характеристики проекта:

1) Процесс разработки КПО, включая идентификацию, обработку и переработку заданий, степень доступности/параллельности работ, размеры проекта и описания потоков работ/заданий в проекте.

2) Ограничения, обусловленные процессом разработки и доступными ресурсами.

3) Коллектив исполнителей, включая состав, производительность, мотивацию и усталость, а так же эффекты обучаемости и опыта.

4) Систему контроля исполнения проекта и введения изменений в план проекта. При этом учитываются изменения как за счет появления новых заданий, так и за счет неадекватной оценки объёма работ в связи с завышением предполагаемой производительности.

5) Планирование проекта с заданием и возможным изменением конечных сроков исполнения или соответствующего количества рабочей силы необходимой для завершения проекта.

В работе получены следующие результаты:

1) Формализована в виде системно-динамической модели модель четвертого поколения KCO/ISD, отражающая динамику процессов разработки, состава и характеристик группы исполнителей и управления для двух начальных фаз - анализа и дизайна в проекте KCO/ISD.

2) Разработана методика оценки объёмов работ и переработки и формализована метрика проекта для сопоставления данных модели с результатами развития проекта. Методика позволяет использовать данные моделирования в процессе планирования и мониторинга проекта для оценки приемлемых затрат и сроков завершения.

3) Сформулированы рекомендации для более эффективного распределения ресурсов, ведущего к снижению количества появляющейся переработки, затрат и сокращению сроков завершения.

4) Создана на основе разработанной динамической модели интерактивная обучающая среда для практического обучения технологиям управления и распределения ресурсов в проектах KCO/ISD. Предложен технология использования среды в качестве средства поддержки обучения управления проектами.

1. Мазур И.И,, Шапиро В.Д. и др. Управление проектами. Справочник для профессионалов. — М., Изд-во «Высшая школа», 2001. -875с.

2. Шапиро В.Д. Project management. Управление проектами. Толковый англо-русский словарь-справочник. -М. Изд-во «Высшая школа», 1999. -379с.

3. Либерзон В.И. Основы Управления Проектами, М. 1997.

4. РМВОК-1996 A Guide to the Project Management Body of Knowledge. Project Management Institute, PMI Publishing Division, Forty Colonial Square, Sylva, North Carolina 28779, 1996.

5. Попова E., Песоцкая E., Стутко H. «Инструмент диагностики состояния проекта: анализ по освоенному объёму». http://www.projectmanagement.ru/worldpm/Diagnostics.htm

6. Abdel-Hamid Т. К., Sengtupa К., Ronan D. Software Project Contorl: An Experimental Investigation of Judgment with Fallible Information. In IEEE Transactions on Software Engineering, Vol. 19, NO 6, June 1993. -p.603-612.

7. Abdel-Hamid Т. K., Madnick S. E. Software Project Dynamics, an integrated approach. -Englewood Cliffs, N.J., Prentice Hall, Inc., 1991.

8. Бурков B.H., Новиков Д.А. Как управлять проектами. Научно-практическое издание. Изд. «СИНТЕГ», 1997. -188с.

9. Решке X. Шелле X. Мир Управления Проектами. М., Изд. «Алане», 1994. -303с.

10. Cooper K.G. The Rework Cycle: Benchmarks for the Project Manager// Project Management Journal, 24:1 1993a. -p.00-17.

11. Полковникова E.B. Полковников A.B. Планирование и управление проектами с использованием Time Line -М. Диалог-МИФИ, 1994.

12. The Standish Group Report. "Chaos" © The Standish Group 1995. http://www.scs.carleton.ca/~beau/PM/Standish-Report.html

13. Rodrigues A.G., Bowers J. System Dynamics in Project Management: A Comparative Analysis With Traditional Methods // System Dynamics Review, Vol. 12, No. 2, 1996. -p.121-139.

14. Cooper K.G. The Rework Cycle: How It Really Works . and Reworks.// Project Management Journal, 24:1 1993b. p.l 8-29.

15. Cooper K.G. The Rework Cycle: How Projects are Mismanaged // Project Management Journal, 24:1. 1993c. p.30-36.

16. Иордон Э. Путь камикадзе. Как разработчику программного обеспечения выжить в безнадёжном проекте. Изд: ЛОРИ, 2001. -256с.

17. Tennyson R.D., Morrison G.R. Instructional development: Foundations, Process, and Methodology. Englewood Cliffs, NJ: Educational Technology, 1999.

18. Tennyson R.D. (Ed.) Automating instructional design, development, and delivery. -Berlin: Springer. 1994

19. Instructional design: International perspectives, Vol. I: Theory and research. Eds: Tennyson R.D., Schott F., Seel N. Dijkstra S. -Hillsdale, NJ: Erlbaum, 1997.

20. Seels В., Richey R. Instructional technology: The definition and domains of the field. -Washington, DC: Association for Educational Communications and Technology. 1994.

21. Glaser R. The reemergence of learning theory within instructional research / American Psychologist Vol. 45,1990. -p.29-39.

22. Foshay W.R. The problem with ISD models // Paper presented at the annual meeting of the National Society for Performance and Instruction, Chicago. 1995.

23. AF Manual 36-2234 "Instructional System Development", US Department of the Air Force, November 1993.

24. Tennyson R.D. A framework for automating instructional design. / In Automating Instructional Design: Concepts and Issues. Eds: Spector J.M., Poison M.C., Muraida D.J. -Englewood Cliffs, NJ: Educational Technology, 1993.

25. Gagne R.M., Glaser R. Foundations in learning research. / In Instructional technology: Foundations/ Ed. Gagne R.M., -Hillsdale, NJ: Erlbaum, 1987. p. 49-84.

26. Dick W. Carey L. The systematic design of instruction (3rd ed.). Glenview, IL: Scott, Foresman. 1990.

27. Morrison G. The media effects question: Unresolvable or asking the right question. // Educational Technology Research and Development 42(2), 1994. -p41-44.

28. Yang C.S., Moore, D.M., Burton J.K. Managing courseware production: An instructional design model with a software engineering approach. // Educational Technology Research and Development, 43(4), 1995. -p.60-70.

29. Gagne R.M., Tennyson R. D., Gettman D. J. Designing an advanced instructional design advisor: Conceptual frameworks / Report No. AL-TP-1991-0017-Vol. 5. Brooks AFB, TX: Armstrong Laboratory. 1991.

30. Wilson В., Jonassen D., Cole P. Cognitive approaches to instructional design. / In The ASTD handbook of instructional technology. Ed. Piskurich G.M., -New York: McGraw-Hill, 1993. -p.21.1-21.22.

31. Greer M. ID Project Management: tools and techniques for instructional designers and developers. -Educational Technology Publications, Inc., Engelewood Cliff, New Jersey, 1992.

32. Perez R.S., Neiderman E.C. Modeling the expert training developer. In Advanced technologies applied to training design, Eds. Seidel R.J., Chatelier P.R. New York: Plenum Press. 1993.-p.261-280.

33. Игнатьев М.Б., Путилов B.A., Смольников Г.Я. Модели и системы управления комплексными экспериментальными исследованиями. -М,: Наука, 1986. -228 с.

34. Кузьмин И.А., Путилов В.А., Фильчаков В.В. Распределенная обработка информации в научных исследованиях. -Д.: Наука, 1991.-304 с.

35. Путилов В.А., Фильчаков В.В., Фридман А.Я. CASE-технологии вычислительного эксперимента. Апатиты: КНЦ РАН, 1994. Том 1. -249 с. - Том 2. -169 с.

36. Форрестер Дж. Основы кибернетики предприятий (Индустриальная динамика) М., Прогресс, 1971,229с.

37. Richardson G.P. Pugh G.L.III. Introduction to System Dynamics Modelling and DYNAMO. -Cambridge, MA: The M. I. T. Press. 1981.

38. Горохов A.B., Путилов B.A. Динамическое моделирование социально-экономических систем // Математические методы описания и исследования сложных систем. Апатиты: изд-во КНЦ РАН, 2001, с.45-55.

39. Sterman J.D. Learning in and about complex systems // System Dynamics Review, Vol. 10,2-3 (Summer-Fall) 1994. -p.291-330.

40. Abdel-Hamid Т.К. The Dynamics of Software Development Project Management: An Integrative System Dynamics Perspective: Doctoral Thesis, MIT, Cambridge, MA. 1984.

41. Cooper K.G. Naval Ship Production: A Claim Settled and a Framework Built// Interfaces 10:6, The institute of Management Sciences. 1980.

42. Ford D.N. The Dynamics of Project Management: An Investigation of the Impacts of Project Process and Coordination on Performance. PhD thesis, Massachusetts Institute of Technology. Cambridge, MA 1995.

43. Kim D.H. Sun Microsystems, Sun3 Product Development/Release Model. Technical report D-4113, System Dynamics Group, MIT, Cambridge, MA. 1988.

44. Roberts E.B. A Simple Model of R&D Project Dynamics//R&D Management, 5:1.1974. -pp.1-15.

45. Homer J. Worker Burnout: a dynamic model with implications for prevention and control // System Dynamics Review, -1. -1985. -p. 42-62.

46. Rodrigues A. G., Bowers J. The role of system dynamics in project management // International Journal of Project Management, Vol.14, No. 4, 1996. -p.213-220,

47. Rodrigues^A.G. SYDIP A System Dynamics-based Project Management Integrated Methodology. // 15th International System Dynamics Conference Proceedings, Istanbul, Turkey, 1997. -p.439-442.

48. Rodrigues A.G., Williams T.M. System Dynamics in Software Project Management: towards the development of a formal integrated framework // European Journal of Information Systems, Vol. 6, No. 1,1997. -p.: 51-66

49. Сютин А. В (Sioutine A.V.) A System Dynamics Based model of ISD4 Project development and Management // 12th European Simulation Multiconference ESM'98 Proceedings, Manchester, England, UK, 1998. - P.876-878.

50. Sioutine A.V., Davidsen P.I. and Spector J.M. Modelling resource allocation in instructional systems development projects // 16th International System Dynamics Conference Proceedings. Quebec, Canada, 1998. Abstract p. 79, full paper is on CD.

51. Jiong You. Impacts of Dynamic Concurrence on Development Project Manageability. Master Thesis, University of Bergen, Norway, 1999.

52. Сютин А. В (Sioutine A.V.) Modelling Concurrency Relationships in Multiple Phase Courseware Development Projects // 6th European Concurrent Engineering Conference Proceedings. Erlangen, Germany, 1999. p. 59-63.

53. Grimstad Group. Applying system dynamics to courseware development. Computers in Human Behavior \ \ (2), 1995. -p.325-339.

54. Steiner I.D., Models for Inferring Relationships Between Group Size and Potential Group Productivity// Behavioral Science, 1966, -p.273-283.

55. Грэм, Роберт Дж. "Управление проектами: Сочетание технических и поведенческих подходов для эффективного воплощения в жизнь". Нью-Йорк: Van Nostrand Reinhold, 1985

56. Weinberg G.M. Understanding the Professional Programmer. -Boston: Little, Brown. 1982.

57. Boehm B.W. Software Engineering Economics. -Englewood Cliffs, N.J.: Prentice Hall, Inc. 1981.

58. Anthony, R.N., Dearden, J. Management Control Systems. Chicago IL Richard D. Irwin, Inc. 1980.

59. Aron J.D. Estimating Reasons for Large Programming Systems, In Software Engineering: Concepts and Techniques, ed. J. M. Buxton, P. Naur, and B. Randell Litton Educational Publishing. 1976.

60. Abdel-Hamid Т.К., Madnick S.E. Software Productivity: Potential, Actual, and Perceived // System Dynamics Review, Vol.5 No.2. Summer 1989. -p.93-113

61. Forrester J.W., Senge P. Tests for Building Confidence in System Dynamics Models. // TIMS Studies in the Management Sciences. 14,1980. -p.209-228

62. Barlas Y. 1989. "Multiple Tests for Validation of System Dynamics type of Simulation Models." // European Journal of Operations Research. N 42, p. 59-87.

63. Sioutine A.V., Spector J.M. On Time Within Budget: A Simulation Based Learning Environment for Practising Resource Allocation in Instructional Systems Development Projects // EC/ROMEDI4'99zoxii<i,xv№Q Proceedings. Munchen, Germany, 1999. p. 202-206.

64. Collins A. Cognitive apprenticeship and instructional technology. In Idol L. & Jones B.F. (Eds.), Educational values and cognitive instruction: Implications for reform. Hillsdale, NJ: Erlbaum, 1991.

65. Lave, J. 1988. Cognition in practice. Cambridge: Cambridge University Press.

66. Reigeluth C.M. Instructional-design theories and models: An overview of their current status. -Hillsdale, NJ: Erlbaum. Chapter 1. 1983.

67. Dorner D. (Translated by Rita and Robert Kimber). The logic of failure: Why things go wrong and what we can do to make them right. New York: Holt. 1996