автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Планирование системотехнических параметров при эксплуатации программно-технических комплексов коллективной обработки информации

Список иллюстраций.

Список таблиц.

Введение.

Глава 1. Анализ методов научно-технического обеспечения процессов эксплуатации программно-технических комплексов в условиях развития сложных автоматизированных систем.

1.1 Задачи эксплуатации в жизненном цикле программно-технических комплексов.

1.2 Основные задачи научно-технического обеспечения процессов эксплуатации программно-технических комплексов.

1.3 Требования к технологии деятельности эксплуатирующей организации по прогнозированию, планированию и контролю системотехнических параметров ПТК КОИ в процессе его эксплуатации.

Глава 2. Разработка технологии контроля, прогнозирования и планирования системотехнических параметров программно-технического комплекса КОИ в процессе его эксплуатации.

2.1 Формализация и разработка технологии контроля, прогнозирования и планирования системотехнических параметров программно-технического комплекса КОИ в процессе его эксплуатации.

2.1.1 Формализация технологии.

2.1.2 Базовые положения по описанию технологии.

2.1.3 Разработка технологии контроля, прогнозирования и планирования системотехнических параметров ПТК КОИ в процессе его эксплуатации.

2.2 Основные элементы автоматизированной технологии контроля, прогнозирования и планирования системотехнических параметров программно-технического комплекса КОИ в процессе его эксплуатации.

2.2.1 Имитационное моделирование.

2.2.2 Нагрузочное тестирование.

2.2.3 Единый комплекс метамоделей исходных данных и свойств ПТК КОИ для имитационного моделирования и для нагрузочного тестирования.

2.2.4 Модель регламентов.

2.2.5 Модель нагрузки.

2.2.6 Модель системы.

Выводы по главе 2.

Глава 3. Экспериментальная отработка элементов технологии.

3.1 Экспериментальное исследование модели нагрузки.

3.1.1 Исследование характеристик потока сообщений.

3.1.2 Разработка модели нагрузки.

3.1.3 Выбор интервала для имитации потока.

3.1.4 Выбор характеристик модели нагрузки.

3.2 Метод повышения пропускной способности обработки платежных документов, основанный на использовании особенностей входных потоков этих документов.

3.3 Оценка адекватности имитационной модели путем поверки ее результатами реальной эксплуатации и автоматизированного нагрузочного тестирования.

Выводы по главе 3.

Глава 4. Опыт применения технологии контроля, прогнозирования и планирования системотехнических параметров программно-технического комплекса на примере КЦОИ.

4.1 Внедрение технологии контроля, прогнозирования и планирования системотехнических параметров программно-технического комплекса в процесс эксплуатации КЦОИ.

4.2 Имитационное моделирование.

4.3 Нагрузочное тестирование.

В выводы по главе 4.

Актуальность. В настоящее время в ряде крупных организаций осуществляются проекты по модернизации архитектур информационно вычислительных систем (ИВС) с целью снижения совокупной стоимости владения ИВС.

При этом осуществляется переход от децентрализованных архитектур ИВС к централизованным архитектурам с виртуализацией.

Сутью переходного процесса модернизации архитектуры является поэтапный перенос программных приложений с множества серверов, изолированно выполнявших каждое из приложений, на единый более мощный сервер (программно-технический комплекс - НТК - коллективной обработки информации), коллективно и совместно выполняющий все приложения с динамическим распределением ресурсов между приложениями (консолидация приложений).

В силу большой размерности (десятки - сотни приложений), организационных и системотехнических трудностей, подобные проблемы консолидации на практике решаются в течение ряда лет.

При этом в конце каждого календарного года возникает проблема определения (планирования) необходимых вычислительных мощностей il l К коллективной обработки информации (системотехнических параметров), достаточных для обеспечения требуемой пропускной способности всех ранее консолидированных программных приложений и вновь консолидируемых приложений всего последующего года, совместно исполняемых и конкурирующих за ресурсы единого ПТК коллективной обработки информации (КОИ).

При решении задачи долгосрочного планирования вычислительных ресурсов, предположительно достаточных для эффективного исполнения всей смеси приложений, возникает противоречие между:

- недостаточным априорным знанием изменения интенсивности входных потоков на приложения во времени (дискретным возрастанием - при размещении на сервере новых приложений и непрерывным возрастанием и убыванием - ежедневным, ежемесячным, ежегодным);

- неявной зависимостью пропускной способности смеси приложений от ресурсных параметров с одной стороны и высокими требованиями к качеству прогноза потребных вычислительных ресурсов, исключающему риски снижения дневной пропускной способности ниже критического уровня для каждого из приложений в смеси с другой стороны.

Актуальным поэтому является решение задачи долгосрочного планирования системотехнических (ресурсных) параметров, определяющих необходимую пропускную способность программных приложений в условиях неполного априорного знания интенсивности входных потоков, обрабатываемых приложениями в течение года, с ограничениями на наращивание системотехнических параметров, накладываемых размерами бюджета.

Целью работы является решение научных задач планирования (прогнозирования) системотехнических (ресурсных) параметров смеси программных приложений, исполняемых на едином вычислительном комплексе - ПТК КОИ, конкурирующих за ресурсы этого ПТК, обеспечивающих максимизацию пропускной способности в ходе эксплуатации, а также обеспечивающих исключение в течение планируемого периода (на практике - более года) рисков снижения ниже критического уровня дневной пропускной способности каждого из приложений смеси в отдельности.

Научная новизна. Решена актуальная задача планирования системотехнических параметров ПТК КОИ для исполнения смеси программных приложений, конкурирующих за ресурсы этого ПТК, в условиях неполного априорного знания прогноза изменения (дискретного и непрерывного) во времени интенсивности входных потоков данных программных приложений.

Для решения указанной задачи в работе разработана новая технология прогнозирования пропускной способности смеси приложений, планирования на основании прогноза пропускной способности смеси приложений потребных вычислительных ресурсов (системотехнических параметров Ш К КОИ), в основу которой положено установление зависимости значений целевой функции (пропускной способности смеси приложений) от системы аргументов (системотехнических параметров).

В рамках этой технологии:

- предложено задачу планирования системотехнических параметров свести к задаче максимизации целевой функции (пропускной способности смеси программных приложений, конкурирующих за ресурсы) по системе аргументов (системотехнических параметров) с ограничениями типа неравенств, накладываемых на пределы изменения параметров (бюджетно-ресурсные ограничения);

- предложено комплексно автоматизировать полный цикл работ по планированию системотехнических параметров НТК КОИ и оценке их адекватности, для чего совместно применить: а) методы и инструментальные средства имитационного моделирования для автоматизированного прогнозирования значений целевой функции и расчета значений системотехнических параметров; б) методы и инструментальные средства нагрузочного тестирования для: оценки целевой функции - пропускной способности, достигаемой НТК КОИ при реализации системотехнических параметров, количественно обоснованных методом имитационного моделирования; оценки адекватности имитационного моделирования; определения достижимых характеристик эксплуатируемого программно-технического комплекса ПТК КОИ в течение инвестиционного цикла.

Впервые для обеспечения адекватности имитационного моделирования и нагрузочного тестирования разработан единый комплекс метамоделей исходных данных и свойств ПТК КОИ, как моделируемого (тестируемого) объекта.

Достоверность результатов работы в части планирования (прогнозирования) системотехнических параметров подтверждена экспериментальными результатами эксплуатации программно-технических комплексов централизованной обработки информации на примере вычислительных центров Банка России в период 2003-2006 г.г.

Практическая значимость работы определяется тем, что при планировании системотехнических параметров на основе полученных автором результатов в период 2003-2006 г.г. обеспечен переход от распределенной к централизованной обработке информации на одном вычислительном комплексе без срывов обработки при существенном росте входного потока. К настоящему времени ПТК коллективной обработки информации перешел от обработки информации одного региона в 2002 году (порядка 170 тыс. электронных платежных документов в день) к обработке в 2006 г. информации 26 регионов-участников коллективной обработки информации (порядка 1 100 000. электронных платежных документов в день).

Апробация работы и публикации. Разработанные методы и технологии использованы при эксплуатации Типового программного комплекса учетно-операционной системы в КЦОИ Главного управления Банка России по Санкт-Петербургу, о чем свидетельствуют акты внедрения, включенные в состав работы. Автор в течение шести лет руководил работами по разработке, сопровождению и эксплуатации ПТК КЦОИ в качестве главного конструктора, а также руководителя НИР и ОКР в период 2001-2006 г.г. В ходе этих работ под его руководством разработано 11 отчетов по ПИР и 3 комплекта документации на программные комплексы

Результаты работы докладывались на:

- XXXII международной конференции молодых ученых «IT+S&E'05» 20-30 мая 2005 г., Украина, Крым, Ялта-Гурзуф;

- Международной научно-практической конференции «Реинжиниринг бизнес-процессов на основе современных информационных технологий системы управления знаниями», 2005-2006 г.г.;

- II Всероссийской научно-практической конференции по имитационному моделированию и его применению в науке и промышленности «Имитационное моделирование. Теория и практика», 19-21 октября 2005 г. (ИММОД-2005), Санкт-Петербург;

- II Научной сессии ИЛИ РАН, 18-22 апреля 2005 г., Москва и опубликованы в 9 печатных работах.

Методы исследования. В данной работе использовались методы математического моделирования и теории множеств.

Основные результаты, выносимые на защиту. На защиту выносятся следующие теоретические и экспериментальные результаты:

- технология прогнозирования и планирования системотехнических параметров смеси программных приложений, исполняемых на едином вычислительном комплексе - ПТК КОИ, конкурирующих за ресурсы этого 111 К, обеспечивающая максимизацию пропускной способности в ходе эксплуатации, а также обеспечивающая исключение в течение планируемого периода (на практике - более года) рисков снижения ниже критического уровня дневной пропускной способности каждого из приложений смеси в отдельности;

- единый комплекс метамоделей исходных данных и свойств ПТК КЦОИ, как моделируемого (тестируемого) объекта, для имитационного моделирования и нагрузочного тестирования сложной автоматизированной системы;

- новый метод повышения пропускной способности программных приложений с использованием свойств входного потока документов.

Работа состоит из введения, 4 глав, заключения и трёх приложений общим объемом 166 страниц, иллюстрирована 33 рисунками и 8 таблицами. Список использованных источников составляет 106 наименований.

Основные результаты работы

1. Решен комплекс научных задач планирования (прогнозирования) системотехнических (ресурсных) параметров смеси программных приложений, исполняемых на едином вычислительном комплексе - ПТК КОИ (конкурирующих за ресурсы этого ПТК), обеспечивающих максимизацию пропускной способности в ходе эксплуатации, а также исключение в течение планируемого периода (на практике - более года) рисков снижения дневной пропускной способности каждого из приложений смеси в отдельности ниже критического уровня.

2. Разработана новая технология прогнозирования пропускной способности смеси приложений в ходе эксплуатации, планирования на основании прогноза пропускной способности смеси приложений потребных вычислительных ресурсов (системотехнических параметров ПТК КОИ), в основу которой положено установление зависимости значений целевой функции (пропускной способности смеси приложений) от системы аргументов (системотехнических параметров).

3. В рамках этой технологии:

- предложено задачу планирования системотехнических параметров свести к задаче максимизации целевой функции (пропускной способности смеси программных приложений, конкурирующих за ресурсы) по множеству аргументов (системотехнических параметров) с ограничениями типа неравенств, накладываемых на пределы изменения параметров (бюджетно-ресурсные ограничения);

- предложено комплексно автоматизировать полный цикл работ по планированию системотехнических параметров ПТК КОИ и оценке их адекватности, причем, для расчета целевой функции использовать классическую двухпотоковую схему априорного имитационного моделирования и апостериорного нагрузочного тестирования на реальном объекте.

4. Предложен и разработан инструментарий для комплексной автоматизации цикла планирования системотехнических параметров ПТК КОИ, который состоит из двух инструментальных программных комплексов, в совокупности обеспечивающих возможность расчета целевой функции и решения задачи ее максимизации по множеству системотехнических параметров, а именно: а) инструментальный программный комплекс имитационного моделирования для автоматизированного прогнозирования значений целевой функции и расчета значений системотехнических параметров; б) инструментальный программный комплекс нагрузочного тестирования для: оценки целевой функции - пропускной способности, достигаемой ПТК КОИ при реализации системотехнических параметров, количественно обоснованных методом имитационного моделирования; оценки адекватности имитационного моделирования; определения достижимых характеристик эксплуатируемого программно-технического комплекса ПТК КОИ в течение инвестиционного цикла.

5. Предложен новый единый комплекс метамоделей для описания необходимых для вычисления целевой функции условий развития и исходных данных для имитационного моделирования и нагрузочного тестирования сложных автоматизированных банковских систем. Разработаны программные средства поддержки ввода исходных данных из комплекса моделей в комплекс имитационного моделирования и в систему автоматизированного нагрузочного тестирования и внедрены в эксплуатацию, что обеспечило возможность сокращения длительности ввода исходных данных от 30 до 1-2 чел - дней.

6. Использование комплекса метамоделей обеспечивает возможность сопоставления результатов моделирования (при планировании) и нагрузочного тестирования (при эксплуатации и сопровождении) и постановки процессов систематической верификации системотехнических требований в ходе

139 эксплуатации ПТК КОИ. Комплекс метамоделей предоставляет единую методическую основу при имитационном моделировании ПТК КОИ и при его нагрузочном тестировании для того, чтобы сформировать необходимые исходные данные, определить критерии оценки результатов и четко определить объект моделирования или тестирования. Комплекс метамоделей включает модель регламентов технологического процесса обработки информации, модель нагрузки на систему и модель системы.

7. Внедрение разработанной технологии автоматизированного нагрузочного тестирования обеспечило снижение трудоемкости проведения этих работ в 6-8 раз, в 3-5 раз уменьшить длительность и стоимость этих работ. Вне зависимости от количества регионов-участников КОИ удалось отказаться от привлечения дополнительного персонала регионов к созданию нагрузки; добиться постановки в течение 3-5 рабочих дней и проведения в течение одного дня экспериментальных работ по нагрузочному тестированию силами персонала 111К КОИ.

8. Внедрение предложенной технологии прогнозирования и планирования системотехнических параметров при эксплуатации ПТК КОИ обеспечило повышение более, чем в 2,5 раза, коэффициента использования процессоров ПТК КОИ и дало возможность обосновать в 2005 году возможность увеличения нагрузки на 20% без изменения системотехнических параметров ПТК КОИ, то есть дополнительных капитальных вложений. В период перехода на централизованную обработку ни разу не отмечено случаев нарушения целевой функции, неточного выбора системотехнических параметров или выхода за пределы бюджета.

9. Обеспечена высокая точность расчета целевой функции методом имитационного моделирования за счет итерационной проверки адекватности имитационной модели, ее настройки и использования единого комплекса метамоделей. По большинству системотехнических параметров (загрузка процессоров, памяти, каналов и др.) точность оценки методом имитационного моделирования составила:

- по отношению к результатам нагрузочного тестирования 4-6%;

- по отношению к измерениям на реальном ПТК КОИ при одинаковой нагрузке - 5-7%.

10. Разработан новый метод повышения пропускной способности программных приложений с использованием свойств входного потока документов, применение которого позволило сократить время обработки пакетов платежных документов более чем на 35%.

Заключение

1. Андон Ф.И., Коваль Г.И., Коротун Т.М., Суслов В.Ю. «Основы инженерии качества программных систем». К.: Академпериодика, 2002 г.

2. Ахо А. Ульман Д. «Теория синтаксического анализа, перевода и компиляции». М.: Мир, 1978 г.

3. Баронов В.В., Калянов Г.Н., Попов Ю.И. и др. «Автоматизация управления предприятием». М.: Инфра-М, 2000 г.

4. Баронов В.В., Калянов Т.Н., Попов Ю.И., Титовский И.Н. «Информационные технологии и управление предприятием». М.: ДМК Пресс, 2004 г.

5. Безкоровайный М.М., Костогрызов А.И., Львов В.М. «Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем «КОК»». М.: СИНТЕГ, 2000 г.

6. Боггс, Боггс «UML и Rational Rose». Издательство: Вильяме, 2001. 582 с.

7. Боев В.Д. «Моделирование систем. Инструментальные средства GPSS World». СПБ: БХВ-Петербург, 2005 г. - 368 с.

8. Боэм Б.У. «Инженерное проектирование программного обеспечения»: Пер. с англ. /Под ред. А.А. Красилова. М.: Радио и связь, 1985 г.

9. Бурков В.Н., Грацианский Е.В., Дзюбко С.И., Щепкин А.В. «Модели и механизмы управления безопасностью». М.: СИНТЕГ, 2001 г.

10. Бусленко Н. П. «Моделирование сложных систем». М:, 1961 г.

11. Буч Гради. «Объектно-ориентированный анализ и проектирование с примерами приложений на С++». Издательство: Бином, 2001 г. 560 с.

12. Буч Грейди, Рамбо Джеймс, Джекобсон Айвар «UML. Руководство пользователя». Издательство: ДМК, 2001 г. 432 с.

13. Буч Грейди, Рамбо Джеймс, Джекобсон Айвар «UML. Специальный справочник». Издательство: Питер, 2002 г. 656 с.

14. Вендров A.M. «Проектирование программного обеспечения экономических информационных систем». Учебник. М.: Финансы и статистика, 2002 г.

15. Гаганов П.Г., Зубковский А.Н. и др. «Применение имитационного моделирования для динамической отладки и испытаний комплексов программ управления». Киев: Управляющие системы и машины. №3. 1984 г.

16. Гамма, Хелм, Джонсон, Влиссидес «Приемы объектно-ориентированного проектирования. Паттерны проектирования». Издательство: Питер, 2001 г. -368 с.

17. Гейн К., Сарсон Т. «Системный структурный анализ: средства и методы». -М.: Эйтекс, 1992 г.

18. Герасименко В.А. «Защита информации в автоматизированных системах обработки данных». Книга 1 и 2. М.: Энергоатомиздат, 1994 г.

19. Гласс Р., Нуазо Р. «Сопровождение программного обеспечения»: Пер. с англ. /Подред. Ю.А.Чернышева. М.: Мир, 1983 г.

20. Глудкин О.П. и др. «Всеобщее управление качеством»: Учебник для вузов. -М.: Радио и связь, 1999 г.

21. Деминг У.Э. « Новая Экономика» М.: ЭКСМО, 2006,208 с.

22. Зиглер К. «Методы проектирования программных систем». Пер.с англ. / Под ред. Я.А.Хетагурова. М.: Мир, 1985 г.

23. Калянов Г.Н. «CASE: структурный системный анализ (автоматизация и применение)». М.: ЛОРИ, 1996 г.

24. Калянов Г.Н. «Консалтинг при автоматизации предприятий (подходы, методы, средства)». М.: СИНТЕГ, 1997 г.

25. Калянов Г.Н. «Теория и практика реорганизации бизнес-процессов». -М.: СИНТЕГ, 2000 г.

26. Калянов Г.Н. «CASE-технология: консалтинг в автоматизации бизнес-процессов». М.: Горячая линия - Телеком, 2002 г.

27. Калянов Г.Н. «Консалтинг: от бизнес-стратегии к корпоративной информационно-управляющей системе». М.: Горячая линия - Телеком, 2004 г.

28. Кватрани Терри «Визуальное моделирование с помощью Rational Rose 2002 и UML». Издательство: Вильяме, 2003 г. 192 с.

29. Кельтон В., Jloy А. «Имитационное моделирование. Классика CS», 3-е изд. -СПБ: Питер; Киев: Издательская группа BHV, 2004 г. 847 е.: ил.

30. Козлов А.Н., Образцов М.В. Пути повышения производительности бизнес-процессов в ИТС ВД. // Проблемы и методы информатики. II Научная сессия ИЛИ РАН, 18-22 апреля 2005 г. Тезисы докладов. Москва.

31. Козлов А.Н., Малюгин К.А. Анализ алгоритмов обработки платежных документов в системе коллективной обработки платежной информации Банка России. // Проблемы и методы информатики. II Научная сессия ИЛИ РАН, 18-22 апреля 2005 г. Тезисы докладов. Москва.

32. Кейер П.А., Будзко В.И., Козлов А.Н. Оптимизация построения и функционирования средств обеспечения катастрофоустойчивости. // Проблемы и методы информатики. II Научная сессия ИЛИ РАН, 18-22 апреля 2005 г. Тезисы докладов. Москва.

33. Кейер П.А., Будзко В.И., Козлов А.Н. Оптимизация построения и функционирования средств обеспечения катастрофоустойчивости. // Наукоемкие технологии №2, 2006, т.7 («Системы высокой доступности»), издательство «Радиотехника», стр. 30-45.

34. Коналлен «Разработка Web-приложений с использованием UML». Издательство: Вильяме, 2001 г. 288 с.

35. Костогрызов А.П., Липаев В.В. «Сертификация качества функционирования автоматизированных информационных систем». М.: Вооружение. Политика. Конверсия, 1996 г.

36. Крачтен «Введение в Rational Unified Process». Издательство: Вильяме, 2002 г. 240 с.

37. Круглов М.Г., Шишков Г.М. «Управление качеством TQM». М: МГТУ СТАНКИН, 1999 г.

38. Ларман Крэг «Применение UML и шаблонов проектирования». Издательство: Вильяме, (2-е издание), 2002 г. 624 с.

39. Леман М.М. Программы, жизненные циклы и законы эволюции программного обеспечения //ТИИЭР. Техника программного обеспечения: Пер. с англ. М.: Мир. 1980 г.

40. Леффингуэлл, Уидриг Принципы работы с требованиями к программному обеспечению. Унифицированный подход. Издательство: Вильяме, 2002 г. -448 с.

41. Липаев В.В., Серебровский Л.А., Гаганов П.Г., Штрик А.А. и др. Технология проектирования комплексов программ АСУ. М.: Радио и связь, 1983 г.

42. Липаев В.В., Потапов А.И. Оценка затрат на разработку программных средств. М.: Финансы и статистика, 1988 г.

43. Липаев В.В., Позин Б.А., Штрик А.А. Технология сборочного программирования, М., Радио и связь, 1992. - 272 с.

44. Липаев В.В. Документирование и управление конфигурацией программных средств. Методы и стандарты. М.: СИНТЕГ, 1998 г.

45. Липаев В.В. Надежность программных средств. М.: СИНТЕГ, 1998 г.

46. Липаев В.В. Обеспечение качества программных средств. М.: СИНТЕГ, 2001 г.

47. Липаев В.В. Выбор и оценивание характеристик качества программных средств. М.: СИНТЕГ, 2001 г.

48. Липаев ВВ. Системное проектирование сложных программных средств для информационных систем. Изд. второе переработанное и дополненное. М.: СИНТЕГ, 2002 г.

49. Лонгботтом Р. Надежность вычислительных систем: Пер. с англ. /Под ред. П.П. Пархоменко. М.: Энергоатомиздат, 1985 г.

50. Маклаков С.В. «BPwin, Erwin. CASE-средства разработки информационных систем». М.: ДИАЛОГ-МИФИ, 1999 г.

51. Малиновский Б.Н. История вычислительной техники в лицах. Киев: КИТ, 1995 г.

52. Мюллер Базы данных и UML. Проектирование. Издательство: Лори, 2002 г. -432 с.

53. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. М: МИР, - 500 с.

54. Общесистемное проектирование АСУ реального времени/С.В. Володин, А.Н. Макаров, Ю.Д. Умрихин, В.А. Фараджев. Под ред. В.А. Шабалина-М., Радио и связь, 1984.-232 с.

55. ПРОМЕТЕЙ-технология промышленная технология и комплекс средств автоматизированной разработки и сопровождения программных средств/Липаев В.В., Меликян К.А., Позин Б.А., Серебровский Л.А., Штрик А.А.//Ереван-1987-38 с.

56. Попов Э.В., Экспертные системы. -М., Наука, 1983 г.

57. Розенберг, Скотт Применение объектного моделирования с использованием UML и анализ прецедентов. Издательство: ДМК, 2002 г. -160 с.

58. Ройс Управление проектами по созданию программного обеспечения. Издательство: Лори, 2002 г. 424 с.

59. Рыжиков Ю.И. Имитационное моделирование: Теория и технологии.- СПБ: Альтекс-А, 2004 г. 380 с.

60. Смирнова Г.Н., Сорокин А.А., Тельнов Ю.Ф. Проектирование экономических информационных систем М.:Финансы и статистика, 2001г.

61. Советов Б. Я., Яковлев С. А. Моделирование систем (учебник). М.: Высшая школа; (3-е изд.), 2001 г. - 343 с.

62. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике. Учебное пособие. М.: СИНТЕГ, 1999 г.

63. Томашевский В.Н., Жданова Е.Г. Имитационное моделирование в среде GPSS. М.: Бестселлер, 2003 г. - 416с.

64. Трубачев А.П., Долинин М.Ю., Кобзарь М.Т. и др. Оценка безопасности информационных технологий. Общие критерии. Под ред. В.А. Галатенко. -М.: СИП РИА, 2001 г.

65. Фаулер, Скотт UML. Основы. М.: Символ-Плюс, 2001 г., - 192 с.

66. Холстед М.Х. Начала науки о программах. М.: Финансы и статистика, 1981г.

67. Шаракшанэ А.С., Шахин В.П., Халецкий А.К. Испытания программ сложных автоматизированных систем. М.: Высшая школа, 1982 г.

68. Шеер А.В. Моделирование бизнес-процессов. М.: Весть-Мета Технология, 2000 г.

69. Шеннон Р. Дж. Имитационное моделирование систем искусство и наука. -М.: Мир, 1978 г.-418 с.

70. Шрайбер Т. Дж. Моделирование на GPSS. М.: Машиностроение, 1980 г. -592 с.

71. Штрик А.А., Осовецкий Л.Г., Мессих И.Г. Структурное проектирование надежных программ встроенных ЭВМ. Л.: Машиностроение, 1989 г.

72. Уайт Управление конфигурацией программных средств. Практическое руководство по Rational ClearCase. М.: ДМК, 2002 г. - 272 с.

73. Устинов Г.Н. Основы информационной безопасности систем и сетей передачи данных. М.: СИНТЕГ, 2000г.

74. Юдицкий СА. Сценарный подход к моделированию бизнес-систем. М.: СИНТЕГ, 2001 г.

75. Концепция защиты средств вычислительной техники и автоматизированных систем от несанкционированного доступа к информации. Руководящий документ. Гостехкомиссия России. М.: Военное издательство, 1999 г.

76. КОЛЕС 20000-1,2:2005 Information technology Service management, 2005 г.

77. Искусственный интеллект, в 3-х книгах, Книга 2.Модели и методы. Справочник/под ред. Д.А. Поспелова. М.: Радио и связь, 1990 г.

78. ГОСТ Р ИСО/МЭК 12207-99 «Информационная технология. Процессы жизненного цикла программных средств». М.: Госстандарт России, 1999 г. - 90 с.

79. ISO/IEC 15288 «Life Cycle Management System Life Cycle Processes». ISO (the International Organization for Standardization), 2000 r.

80. Beizer B. Software testing techniques. N.Y.: Van Nostrand Reinhold, 1990.

81. Buckle J.K. Software configuration management. London: Macmillan Press, 1982.

82. Cargill C.F. Information technology stangardization. Digital Press, 1989.

83. Charett R. Software engineering risk analysis and management. N.Y.: McGraw -Hill, 1989.

84. Encyclopedia of Software Engineering. Vol.1 A-N; Vol.2 O-Z. Editor In -Chief John J. Marciniak. John Wiley & Sons. Inc. 1995.

85. Gane Ch., Sarson T. Structured Systems Analysis: Tools and Techniqnes. Englewood Cliffs, N.J. Prentice-Hall. 1979.

86. Gordon, Geoffrey. «System Simulation», 2nd ed. Prentice-Hall, 1978 r.

87. Howden W.E. Functional program testing and analysis. N.Y.: McGraw - Hill, 1987.

88. Kaner G. Testing computer software. -TAB INC. Blue Ridge Summit. 1988.

89. Kit E. Software Testing in the Real World Improving the Process. Addison-Wesley. 1996.

90. Londeix B. Cost estimation for software development. Cornwall: Addison-Wesley. 1987.

91. Martin J., McClure C. Software maintenance, the problems and its solutions. -N.Y.: Prentice-Hall. 1983.

92. Musa J.D., lannino A., Okumoto K. Software Reliability: Measurement, Prediction, Application. N.Y.: McGraw Hill. 1987.

93. Ng P.A., Yeh R.T. ed. Modern software engineering. Foundations and current perspectives. -N.Y.: Van Nostrand Reinhold. 1990.

94. Schindler M.J. Computer aided software design. Build quality software with CASE. - N.Y.: John Wiley & Sons, 1990.

95. Sommerville I. Software engineering. Addison-Wesley. Lancaster University. 2000.

96. Metamodeling, (From Wikipedia, the free encyclopedia) http://en.wikipedia.org/wiki/Metamodel, 2006.

97. Meta-Process Modeling. http://en.wikipedia.org/wiki/Meta-Process Modeling, 2006.

98. ISO/IEC DTR 19759 Software Engineering Guide to the Software Engineering Body of Knowledge - SWEBOK, 2003 r.