автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Организация мониторинга параметров вычислительного процесса в комплексах и сетях ЭВМ при натурных и имитационных экспериментах
Автореферат диссертации по теме "Организация мониторинга параметров вычислительного процесса в комплексах и сетях ЭВМ при натурных и имитационных экспериментах"
ГОМЕЛЬСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИМЕНИ Ф. СКОРИНЫ
УДК 681.3
ДЕМУСЬКОВ Александр Борисович
р Г 5 ОА 2 1 ДПР 2303
ОРГАНИЗАЦИЯ МОНИТОРИНГА ПАРАМЕТРОВ ВЫЧИСЛИТЕЛЬНОГО ПРОЦЕССА В КОМПЛЕКСАХ И СЕТЯХ ЗВМ ПРИ НАТУРНЫХ И ИМИТАЦИОННЫХ ЭКСПЕРИМЕНТАХ
05.13.13 — Вычислительные машины, комплексы, системы и сети
Автореферат
на соискание ученой степени
кандидата технических наук
Гп'.: чь I?'-'
Работа выполнена в Гомельском государственном университете им. Ф. Скорины
Научный руководитель - д. т. н., профессор И. В. Максимей
Официальные оппоненты - д. т. н., профессор А. Г. Дадонов
- д. т. н., профессор С. В. Назаров
Оппонирующая организация - ВНИИ проблем вычислительной
техники и информатизации
Защита состоится 9 декабря 1999 г. в 9-00 на заседании Совета по защите диссертаций К.02.1201 в Гомельском государственном университете им. Ф. Скорины тю адресу: г.Гомель, ул. Советская 104, зал заседаний учёного Совета университета.
Отзывы на автореферат (в двух экземплярах), заверенные печатью учреждения, просим направлять по адресу: 246699, г. Гомель, ул. Советская 104, ГГУ им. Ф.Скорины, учёному секретарю Совета К.02.1201.
С диссертацией можно ознакомится в библиотеке Гомельского государственного университета им. Ф. Скорины.
Автореферат разослан ^ ноября 1999 г.
.1
Учёный секретарь
Совета по защите диссертаций,
кандидат технических наук,
доцент
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. -Диссертационная работа посвящена разработке метода и средств исследований и адаптации вычислительного процесса на основе мониторинга параметров ВП и РН на ВС и имитационного моделирования технологии обработки информации на ВС и ЛВС. Задачи, возникающие при проектом моделировании ЕП, адаптации ВП под РН и эксплуатации ЕПО ВС и ЛВС отличаются большой размеренностью, сложностью и трудоемкостью. Их решение требует дорогостоящих исследований и измерений на реально функционирующих ЭВМ, ВС и ЛВС. Поэтому разработано большое число средств аналитических исследований, методик измерения и адаптации параметров ВП под РН. Большинство из них, как правило, предполагает выполнение весьма сильных ограничений, существенных упрощений реальных процессов, что побудило развитие имитационных, методов исследований ВС и ЛВС. Однако, и здесь возникают проблемы задания адекватной исходной информации для организации имитационных экспериментов (ИЭ). В силу трудоемкости и ресурсоемкости ИЭ задачи автоматизации измерений н разработки экономичных способов имитации ИЭ приобретают первостепенное значение. Как правило, существующие средства измерения в составе базового программного обеспеченн т (БПО) действующих или поставляемых ВС или ЛВС, не удовлетворяют исследователя. Из-за этого актуальна разработка средсгв мониторинга параметров ВП и РН как на реальных ВС и ЛВС, так и при постановке ИЭ. Множество проблем исследования ВП и РН на высоком уровне их легализации, наличие конкуренции модулей ЕПО за ресурсы ВС, отсутствие экономичных алгоритмов измерений параметров ВП и РН определило необходимость разработки метода исследования и адаптации ВП на основе средств мониторинга и технологий их применения. Учитывая наличие перечисленные выше проблем актуальной является задача разработки технологии организации мониторинга параметров ВП и РН в комплексах и сетях ЭВМ при натурных и имитационных экспериментах, которая базировалась бы на методе и средствах измерения и адаптации параметров ВП и РН.
Цель работы. Целью диссертации является разработка нового метода и средств автоматизации измерений параметров ВП и РН и создание технологии исследования и адаптации ВП под РЙ при натурных и имитационных экспериментах на ЭВМ.
Методы исследования, используемые в диссертации базируются на известных подходах к формализации сложных систем, способах перехвата прерываний ЦП, методах имитационного моделирования, математической статистики и планирования эксперимента. При создании измерительных мониторов и пакетов прикладных программ использовался общий технологический инструментарий прикладного программирования и базовая система моделирования М1С1С.
Научная новизна работы на момент опубликования ее основных результатов заключалась в следующем:
1. Предложена методика формализации ВП н РН на ВС с семиуровневой их детализацией, основанная на представлении процесса использования ресурсов ВС и известных принципах трассировки функционирования компонентов ВС. Она позволила представить иерархию информационных услуг по уровням детализации и разделить параметры ВП на базовые и производные, формируемые на разных стадиях процессов измерения. В отличие от известных подходов к измерению параметров ВП и РН состав статистики ориентирован на описание динамики взаимодействия РН и компонентов ЭВМ.
2. Разработано семейство измерительных мониторов, отличающееся наличием автоматической их настройки на режим работы управляющей программы ОС и возможностью активизации и деактивизации их работы. Специализация по измерительным функциям, двухстадинчая организация измерений и возможность выбора состава измеряемых параметров ВП и РН обеспечивают минимум расхода ресурсов ЭВМ на организацию мониторинга. В семейство мониторов включена также библиотека имитационных моделей ВП и РН с транзактно-процессным способом имитации, реализующая довычисление тех характеристик ВП и РН, которые трудно выполнить в ходе натурных экспериментов с ВС.
3. Предложена методика организации мониторинга с помощью двух ППП МАТкОБ и ОЗБТАЫ, обеспечивающая возможность экспериментального определения степени совмещения операций ввода-вызода с работой ЦП и автоматической настройки наборов данных при генерации ОС или при подгонке режимов ее работы к медленно меняющейся РН на ВС.
4. При организации итерационной процедуры мониторинга параметров ВС с помощью имитационного моделирования предложено в качестве критерия остановки использовать^ максимальное значение коэффкци-
ента чувствительности откликов ИМ ВП и РН к изменениям ее параметров.
5. Построена полумарковская модель использования ЦП задачами пользователей, позволяющая проводить анализ качества мультипрограммной смсси задач для ОС ЬС ЭВМ.
6. Предложена технология автоматической реорганизации библиотечных наборов данных и выбора состава резидентных модулей ОС ЕС.
Практическая значимость работы на момент основных публикаций и
внедрения ее результатов заключалась в следующем:
1. Метод и средства автоматизации измерений параметров ВП и РН обеспечивают оперативную организацию натурных экспериментов на ЕС ЭВМ с высокой эффективностью и малой ресурсоемкостью измерительных операций.
2. Относительно малые накладные расходы на организацию мониторинга с поиощыо Г1ПП МАНЮБ параметров ВП и РН позволяет проводить в условиях промышленной эксплуатации ОС ЕС комплексные исследования ВП и РН для получения необходимой статистики для "запитки" ИМ ВП и РН.
3. Возможность измерения нестандартной статистики моделирования ВП и РН при решении следующих задач проектного моделирования: поиск узких мест в организации ВП ЭВМ, комплексов и сетей ЭВМ; адаптация ВП под существующую РН; оценка влияния характеристик надежности оборудования БС на параметры ВП и качестпо обслуживания пользователей.
4. Большинство операций мониторинга автоматизировано и от пользователей требуются только минимальные навыки работы на ЭВМ как для адаптации ВП под существующую РН, так и при исследовании качества организации ВП и РН.
5. Сами методики перехвата являются универсальными и могут использоваться при различных типах ЭВМ и для различных вариантов организации обработки информации на ЭВМ, ВС и сетях ЭВМ.
6. Полученные при апробации методики модификации ИМ ВП для целей мониторинга рабочие области изменения параметров интенснвностей РН. Их можно использовать в регрессионных моделях при исследовании влияния архитектуры информационной базы данных (ИЕД) и скоростей работы ЦП для предсказания изменения характеристик 53П и РН.
Реализация результатов исследования. Исследования проводились в рамках госбюджетной и хоздоговорной тематики Гомельского государственною университета им. Ф. Скорины в соответствии с техническим заданием на следующие НИР:
1.НИР ХД-81-06 "Разработка методов и средств повышения эффективности применения ЕС ЭВМ", № roc. Per. 81032727;
2. ХД 82-08 "Разработка измерительно - моделирующего комплекса для автоматизированной системы управления и развития ВККП САПР". № гос. Per. 0i 830011162;
3. ХД 84-01 "Разработка и апробация средств исследования и адаптация вычислительного процесса ЕС ЭВМ под структуру запросов пользователей ИВЦКП", № гос. Per. 1840007599;
4. ХД 84-02 "Разработка методики оценки функционирования ВЦКГТ на базе ЕС ЭВМ с помощью пакета задач исследования OSSTAN" № гос. Per. 01840014310;
5. НИР ХД-85-01 "Разработка технического проекта на создание программных комплексов". № roc. Per. 01850025945;
6. САПР-15 "Разработка методики использования моделей при создании ВККП, ориентированных на САПР, и реализация ее в виде программг ных модулей в составе комплексной Белорусской республиканской проблемы САПР. № roc. Per. 81018592;
7. ГБЦМ-91-03 "Разработка системы моделирования интеллектуальных систем". № гос. Per. 01910017997;
8. ГБЦД-92-10 "Разработка методологии и средств имитационного моделирования сложных кибернетических систем с программируемым интеллектом; • -
9. "ИНТЕЛЛЕКТ -33" "Автоматизация имитационного эксперимента с моделями интеллектуальных процессов в инженерно - информационных системах" в составе комплексной Белорусской республиканской проблемы "ИНТЕЛЛЕКТ". № гос. per. 19971338;
10. ППП "STATOS" сдан в ГосфАП г.Кштинин. 1983 г. НПО "Центрпрограммсистем" под номером П006469;
11. ППП "OSSTAN" сдан в ГосфАП г.Калинин, 1985 г. НПО "Центрпрограммсистем" под номером 30830000405;
Модифицированные модели ИМ ВП и РН на ВС и ИМ ВП и РН на ЛВС, а также методики их применения внедрены в учебный процесс и используются при подготовке студентов математического факультета ГГУ им. Ф.Скорины по специальности Н.08.01 ("Прикладная математика" ).
ППП "МЛ'ПШБ" и ППП "ОБЗТАЫ" внедрены соответственно в 5 и 7 организациях СССР с общим экономическим эффектом в 632,4 гыс,руб.( в ценах 1990 г.) при долевом участии автора в 94.9 тыс.рублей.
ППП "МАТНОБ" и технология его использования демонстрировались в 1988 году на ВДНХ СССР и награждены серебряной медалью.
Личный вклад соискателя определяется следующим. Все основные положения формализации ЗП и РН, методик организации измерения и основные программные средства мониторинга параметров ВГ1 и РН выполнены автором лично. Результаты апробации средств и методик организации мониторинга изложены автором в совместных работах.
Апробации работы. Основные результаты работы доложены и обсуждены на следующих научно-технических конференциях:
• всесоюзная конференция " Проблемы проектирования ВЦКП", Минск, 1981 г.;
• всесоюзная конференция " Проблемы проектирования ВЦКП и развития АСУ, Душанбе, 1983 г.;
• республиканская конференция "Теория и практика имитационного моделирования сложных систем", Одесса, 1983 г.;
• всесоюзная конференция "Моделирование дискретных управляющих и вычислительных систем", Свердловск, 1984 г.;
• всесоюзная конференция опыт организации вычислительного процесса в АСУ", Ижевск, 1984 г.;
• научно-практическая конференция НИЦЭВТ, М. МДНТП, 1985 г.;
• научно-практическая конференция НИИ ЭВМ "Перспективы развития и.проблемы эффективного использования ЭВМ общего назначения и персональных ЭВМ", Минск, (987 г.;
• всесоюзная научно-практическая конференция "Вопросы экономики и организации информационных технологий", Гомель, 1991 г.;
• международная математическая конференция, посвященная 25 -летаю ГГУ им. Ф. Скорины, Гомель, 1994 г.;
• международная научно-практическая конференция "Информатка и рыночная экономика" Гомель, 1994 г.;
• международная конференция памяти академика С.Л.Чушшша "Проблемы алгебры и кибернетики", Гомель, 1995 г.;
• VI международная научная конференция "актуальные проблемы информатики", Минск, 1998 г.;
» первая международная конференция "Цифровая обработка и управленцев чрезвычайных ситуациях", Минск, 1998 г.; » В] оран международная научно-техническая конференция "Моделирование интеллектуальных процессов проектирования и производства", Минск. 1998 г.; • международная научно-техническая конференция " Актуальные проблемы развития транспортных систем", г. Гомель, 1998г.; Публикации. Основные результаты диссертации опубликованы в 13 печатных работах, 14 тезисах докладов всесоюзных и международных научно-технических конференций, а также в итоговых отчетах ГГУ им. Ф. Скорины по перечисленным ПИР. 11а защиту выносится:
1. Методика многоуровневой формализации ВП и РН.
2. Меч од и средства автоматизации измерений параметров и адаптации ВП под РН при организации натурных экспериментов на ЕС ЭВМ.
3. Технология организации мониторинга параметров ВП в ЭВМ комплексах и сетях ЭВМ При натурных и имитационных экспериментах с
• помощью разработанных средств автоматизации измерении.
4. Результаты апробации метода, средств измерений и методик организации мониторинга при натурных экспериментах с ОС НС ЭВМ и модельных экспериментах в ходе проектного моделирования ЛВС. Достоыг-рнооь научных положении и практических рекомендаций метода и технологий использования средств измерения при реализации метода подтверждено в ходе выполнения НИР в ГГУ им. Ф. Скорины, при внедрении и опытной эксплуатации ПГ1Г1 MATROS и OSSTAN, а также при использовании ИМ ВП и РН и ЛВС в учебном процессе.
Структура и объем диссертации. Диссертации состоит из: впадения, 5!» глав, выводов и списка использованных источников из 136 наименований, 4-х приложений. Полный объём диссертации содержи! 207 страницы, из них 100 страниц основного текста, 59 страниц занимают приложения, (> страниц содержит список использованных источников, 17 страниц иллюстрации (в количестве 17 нл ук), на 28 станицах приведено 44 таблицы.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Псрр.ци глава посвящена анализу использования средств и методов организации измерения и параметров ВП под РН, а также проблем исследования ВС на момент начата исследований. На основе обширного списка литературных источников было установлено, что:
¡.Известные способы измерения параметров ВП и РИ не обеспечивали полноты состава измеряемых параметров, являлись весьма ресурсоемкими и ориентированными на конкретный состав задач исследования. Поэтому актуальна была проблема разработки нового экономичного способа организации измерении параметров ВП и РН в ходе натурных экспериментов.
2. Существующие подходы к организации ВП и РН затрагивали отдельные уровни детализации объекта измерения и определялись существом решаемых задач исследования. Поэтому актуальна была проблема многоуровневой формализации ВП и РН.
3. Существует множество проблем проеюного моделирования варилигои организации ВС, связанных с отсутствием исходной информации для построения ИМ компонентов ВП и РН. Поэтому актуальна была разработка специализированных средств мониторинга и организации измерений с помощью этих средств.
4. Существующие методики адаптации ВП иод РН не охватывали всех сторон организации обработки информации на ВЦКП и поэтому актуальной была разработка методики комплексной адаптации ВП под статистически устойчивую РН на ВС.
5. Исхода из перечисленных проблем и были поставлены задачи на диссертационное исследование.
Вторая глава содержит результаты разработки многоуровневой формализации ВП и РН, которая обеспечивали бы пол/юту списка параметров ВП и РН для типового состава задач исследования и адаптации ВП под статистически устойчивую РН. Выделено семь уровней организации ВП: отдельных команд, программных секций, отдельных задач., заданий, микротехнологических операций технологических операций, услуг ВЦКП. Для каждого уровня организации ВГ1 или Г'Н определён состав параметров. В основу выделения характеристик ВП и параметров РП положены временные диаграммы взаимодействия компонентов РН с составными программно технологическими частями БПО и операционной системы (ОС). Выделены состояния, в которые они переходят, и определены
временные й ресурсные характеристики ВС, затрачиваемые в ходе БП для каждого уровня детализации ВП и РН. Установлена иерархия вычисления параметров при переходе от уровня информационных услуг (НУ) до систем'* команд. Состав параметров РН для каждого уровня различен и представляет собой вектор расхода ресурсов ВС. Выделены базовые и производные параметры ВН. Базовые параметры ВП определяются структурой РН, а производные зависят от существующей организации ВП на данном уровне его детализации. Например, установлено, что для описания мультипрограммной обработки задач в виде лолушрковского процесса Достаточно определения следующих характеристик: матрицы вероятности переходов от запроса к запросу на их обслуживание SVC - программами супервизора (Mzi=||p„|); гистограммы распределения числа смен
состояний ¡-ой задачи G(f),), гистограммы распределения длительностей квантов времени счёта на ЦП задачи 1-го типа G(t,k). Для описания взаимодействия задач i-ro типа с супервизором достаточно опреде ;ггь похожий состав характеристик: матрицу (MS) вероятностен перехода от одной SVC программы к другой, гистограммы распределения длительностей выполнения SVC программ (tiK). гистограммы распределения количества SVC - прерывании ЦП при обработке одного запроса i-ro типа к супервизору G(in). Для описания полумаркоьского процесса конкуренции заданий за ресурсы ВС достаточно нахождения: матрицы вероятностей следования задач в к-ом задании {р6'|, количества шагов в задании (qO, функции распределения длительностей выполнения задания j-ro типа в однопро-граммном режиме
Предложенная методика формализации ВП в ВС на семи уровнях его детализаций, использующая представление процесса расхода ресурсов ВС и известные принципы трассировки функционирования компонентов ВС, позволяет в едином стиле описать организацию ВП в ВС, РН на входе ВС и переходы от одного уровня детализации ВП к более детальному Разделение параметров организации ВП и РН на две группы позволило разделить процессы измерения на две стадии. Отметим, что описание орхани-зации обработки задач в мультипрограммном режиме в виде полумарковского процесса включает в себя описание взаимодействий задач с супервизором ВС'.
Предложенная формализация ВП сети ЭВМ, позволяет представить процессы обслуживания запросов РН на уровне узла обработки сети. Разработана схема декомпозиции ВП в ВС при повышении уровня дегализа-
ции к для каждсго шага декомпозиции приведены расчётные формулы вычисления критериев качества организации ВП при заданной РН на ВС. Состав параметров ВП и РН может измеряться при натурных экспериментах (НЭ) на ВС и дополняться п$гём измерений на ИМ ВП в ВС в ходе имитационного эксперимента (ИЭ). Подходы к формализации ВП и РН не зависят от использования конкретной ВС и сети ЭВМ.
Третья глава содержит изложение принципов организации измерений параметров ВП и РН. Процесс сбора статистики ВГ1 основан на перехвате управления у ОС ЕС при возникновении ограниченного набора событий. При этом обеспечена автоматическая настройка разработанных для каж дого уровня детализации ВП измерительных мониторов с возможностью их активизации н деактивнзации. каждый из которых специализирован по измерительным функциям. На эгих принципах реализованы программные средства для исследования ВП и РН, состоящие из двух пакетов прикладных программ (MATROS и OSSTAN), мониторы измерения характеристик в среде UNIX USVC80. В главе приведено описание составу, структуры и функционального назначения подпрограмм этих пакетов и измерительных мониторов.
lio выполняемым функциям все программы ППП MATROS делятся на три группы: измерительные мониторы (STAT 1, STATIO, STATTTR, STATMOD); формирования характеристик ВП из трассы событий, полученных соответствующими мониторами; адаптации под РН ОС и внешней памяти прямого доступа. Мониторы по функциональным возможностям дополняют друг друга. Так STAT1 организует измерение базовых характеристик функционирование ОС ЕС, её компонент и задач решаемых в системе. Монитор STATIO обеспечивает динамический контроль параметров функционирование системы ввода-вывода, а монитор STATTTR измеряв* характеристики использов. лий устройств прямого доступа. Наконец, STATMOD фиксирует характеристики использования разделов библиотечных наборов данных.
Определение параметров ВП и РН осуществляется прогряммой STAT-PRO с помощью языка директивного типа. Каждая из директив имеет своё функциональное назначение. Обработка грассы зафиксированной мониторов STATl, производится последовательно но ка ждой директиве и порядке их задания » задании на обработку статистики. Вторую группу составляют программы настройки ОС и внешней памяти прямого доступа обрабатывающие трассу, зафиксированную мониторами STATTTR и STATMOD. Определение частотных характеристик использования тсмов
прямого доступа обеспечивает программа STATTOM. Программа STAT-YOL формирует характеристики использования наборов данных и цилиндров исследуемого тома. Программа STATDSN и SORTMOD формируют характеристики использования разделов исследуемых библиотечных наборов данных и специальных управляющих операторов для автоматической реорганизации библиотек. Собственно реорганизацию библиотечных наооров данных обеспечивает программа REORDSN.
Измерение статистики использования ресурсов ВС на других уровнях детализации обеспечивает ППП OSSTAN. С помощью этой статистики можно-решить следующие комплексные задачи анализа ВП: выбор рационального уровня мультипрограммирования на базе статистики СМП; построение регрессионных моделей выполнения программ в ВС; поиск аналитического вида функций распределения параметров РН; классификация пользователей на основе запросов заданий на ресурсы ВС.
В тех случаях, когда архитектура ВС включает в себя сетевые коммуникации и проводить натурные эксперименты в условиях реальной эксплуатации ВС практически невозможно, предложено использовать библиот „ку ИМ ВП. Для этой цели используются три тиНа параметризованных ИМ ВП: узла сети ЭВМ, персональной ЭВМ, сети обобщённых ЭВМ. Эти ИМ специальным образом модифицированы для целей мониторинга дополнительных параметров ВП и РН. ИМ ВП и РН используют транзактно -процессный способ формализации с набором управляющих транзактов для планирования расхода ресурсов ВС, ОС в сети и управляющих Сигналов, регулирующих расход реСурсой 13С при обслуживании требований РН.
Предложенная технологий организации измерения в виде пят и фаз (перехвата управления ОС, выбора и фиксации из ВД ВП только необходимых статистик, выгрузки статистик во внешнюю память, организация возврата управления в ОС, начала и завершения Сбора статистики) является универсальной для построения мониторов различною назначения и не зависят от типа и структуры ВС.
И четверной главе изложены методики измерения параметров РН и ВП с ЭВМ, ВС и сетях ЭВМ. Они включают в себя методики: организации НЭ на ЕС ЭВМ для двух режимов обработки информации (СРВ и пакетного); адаптации ВС под РН путём рационального nepepai .ределёйия наборов данных ио внешней памяти; организации мониторинга в модельных экспериментах на ЭВМ,
Методика организации НЭ предполагает итеративное исследование с помощью разработанных средств мониторинга параметров ВП и РН, включающие в себя следующие стадии: подготовка исходной информации, модификация ОС ЕС и планирование НЭ на ЕС ЭВМ; мониторинг параметров ВП и РН в ходе серии НЭ с записью статистики измерений на внешний носитель и восстановление прежних состояний ОС ЕС; экспресс анализ первичной статистики параметров ВП и РН и принятие решения об окончании итеративного процесса исследований; вторичная обработка результатов мониторинга и формирование последовательностей откликов ВП и РН; комплексный анализ результатов НЭ и принятие решений о модификации ВП в выбранном варианте организации ВС; собственно модификация ВП на ВС и опенка результатов исследований. Для изучения ВП в режиме СРВ предлагаются методики оценки характеристик ВП и получение на jïoit основе моделей РН для построения ИМ ВП СРВ в среде ЕС ЭВМ. В ходе организации па..¿гной обработки заданий с помощью ОС ЕС предложенная методика позволяет: провести анализ характеристик супервизора, получить Исходную Информацию для полумарковского представления РН на входе ЕС ЭВМ, построить универсальную модель РН для целей проектного моделирования вариантов ВП и РН на ЕС ЭВМ.
Методика адаптации под РН путём рационального размещения наборов данных во внешней нам- тн позволяет оперативным образом перераспределить информацию на томах прямого доступа и увеличить степень совмещения со счётом на ЦГ1 операций ввода - вывода, которое приводит к повышению производительности ВС. Она также обеспечиваег возможность нахождения рационального состава резидентных модулей ОС ЕС для уменьшения расходов на организацию и управление ВП в ЭВМ, ВС и сетях ЭВМ. Малые накладные расходы На организацию мониторинга параметров ВП и РН позволяют проводить исследования в условиях промышленной эксплуатации ОС и при наличии реально медленно меняющейся РН на ВС. Методика организации мониторинга в имитационных экспериментах реализуется следующими этапами: проведение натурных экспериментов с прототипами компонентов узла cetu ЭВМ; задание исходной информации ИМ ВП узла сети по данным НЭ; мониторинг параМетров ВП и РЙ в составе ИМ ВП узла сети ; Пересчет значений откликов ИМ и реЗз'льтатов мониторинга ВП и РН для построения моделей РН; "эапитка" ИМ ВП сети с использованием результатов пересчёта параметров РН и ВП; мониторинг йарйметров ВП и PII fi составе ИМ сети; анализ рабочей области параметров моделпр >вания; модификация исходной нн-
формации в ИМ ВП узла сета по данным НЭ с ИМ ВП сети, В качестве критериев остановки этого итерационного процесса мониторинга параметров ВП и РН в ИМ используется максимальное значение коэффициента чувствительности откликов ИМ к изменению её параметров.
Результаты апробации метода и средств автоматизации исследования и адаптации ВП под РН Изложены в главе 5. Были выделены три группы за-, дач. Первая группа включала задачи оценки накладных расходов на организацию измерений параметров ВП и РН с помощью ППП MATROS; измерение характеристик ВП ЕС ЭВМ в режиме разделения времени на ВЦКП ВНИИПОУ; измерение характеристик ВП и РН в режиме пакетной обработки в условиях промышленной эксплуатации ВЦКП СОАН; натурные эксперименты для получения и обоснования полумарковской модели использования ЦП задачами пользователей при анализе мультипрограммной смеси задач для ОС ЕС ЭВМ.
Вторая группа задач имела своей целью проиллюстрировать примене-' ние метода н средств адаптации ВП под РН. Сюда вошли: натурные эксперименты для выбора рационального состава резидентных моделей OG ЕС; апробация средств мониторинга параметров ВП и РН при реорганизации библиотечных наборов данных. Третья группа задач имела целью апробацию методику мониторинга й ИМ BIT для многомашинных ЁС. В качестве базовых средств для Организации мониторинга использовалась CM M1CIC и разработанные с её помощью библиотека параметризован-1 пых ИМ ВП в вычислительных системах и сетях ЭВМ. При этом с помощью системы мониторинга в ИЭ исследовалось влияние архитектуры И БД на параметры ВП н РН, а также была оценена эффективность применения мониторинга b ИМ при исследовании параметров ВП и НЦ на разных уровнях их детализаций.
В результате первой серии экспериментов было установлено:
1. Накладные расходы на организацию сбора статистики ВП и РН с помощью ППП MATROS не превышает 9% машинного времени;
2. Загрузка ЦП системными программами в режиме СРВ яя ВЦКП ВНИИПОУ составила 20% йри достаточно высоких накладных расходах супервизора ОС ЕС (22%) й существующих простоях ЦП из-за обмена (43%). Поэтому для ВЦКП ВНИИПОУ весьма актуальной быйа балансировка взаимодействия ЦП с магнитными дис. ши. ''
3. В результате исследований на ВЦКП СОАН получено три ttma полумарковских моделей функционирования задач пользователей, систем-
ных задач, супервизора ОС ЕС. Выделены наиболее активно используемые компоненты супервизора ОС ЕС. 4. Получена обширная информация для построения ИМ РН и оценки параметров ВП в виде гистограмм распределений характеристик режимов обработки информации на ЕС ЭВМ, которая может служить в качестве исходной информации при ИЭ с различными вариантами организации ВП и РН на ВС.
При второй серии НЭ в результате выбора рационального состава резидентных модулей ОС ЕС в условиях ИВЦ ГГУ им. Ф. Скорины удалось сократить время обработки тестового пакета задач на 30%, что подтвердило эффективность метода комплексной адаптации ВП под существующую РН на ВС. Вторая апробация метода адаптации ВП под РН была проведена в условиях ИВЦ ИТК АН БССР, которая включала в себя реорганизацию библиотечных наборов по методикам приведенным в главе 4. В ходе 'тих исследований было установлено, что на организацию измерения параметров ВП происходит потеря производительности ЕС ЭВМ на 4%. А за счёт перераспределения наборов данных по данным измерений производительность ЕС ЭВМ повысилась на 33%.
Третья серия экспериментов имела целью оценить эффективность системы мониторинга на базе ИМ ВП и РН для случая распределённой базы данных информационно - поисковой системы (АИС) в сети ЭВМ. РН на АИС представляла собой поток задач, каждая из которых декомпозировалась в граф, узлами которого являются программные модули (ПМу), а дуги определялись секторами ((¡¡, фц.фуп), где фу - вероятности перехода к j - му модулю для 1 - го типа запроса; ф^п - вектор обращений к следующему 1 - му модулю распределённой ИБД, при условии, что предыдущим модулем ИБД был Г - й модуль ИБД; ^ - длительность выполнения j - го ПМ по запросам пользователей »- го типа. Наличие или отсутствие связей между модулями ИБД задавались булевой матрицей Мфп). Система мониторинга в ИМ позволила фиксировать статистику времени обслуживания 1 - х типов запросов пользователей (Т|).
При апробации метода модификации ИМ ВП в ВС п ЛВС для целей организации мониторинга тех параметров ВП и РН, которые трудно или ресурсоёмко измq)игь в ходе НЭ на ВС и ЛВС, были получены уникальные результаты. Например, анализ результатов ИЭ позволил установить: операции фонового режима вдвое короче чем транзитные операции из-за отсутствия в фоновых заказах обращений к внешней памяти; увеличение связей между модулями ИБД приводит к существенному ухудшению ха-
рактеристик ВП и качества обслуживания запросов пользователей; при увеличении размера ИБД VW характер падения отклика ИМ Т™ имеет экспоненциальный характер; изменение скорости работы ЦП (VP) является очень сильным фактором, обеспечивающим улучшение характеристик BII и статистик обслуживания РН при переходе к И БД, распределённой на нескольких узлах ЛВС.
Апробация методики мониторинга на ИМ В Л и РН была повторена при моделировании ВП в ЛВС, состоящей из шести одинаковых узлов типа ЕС ЭВМ. Под управлением сетевого варианта ОС ЕС. В результате декомпозиции ВП были построены две взаимосвязанные ИМ ВП узла сети и ИМ сети ЭВМ. Первая in этих ИМ использовала в качестве исходных данных результаты мониторинга НЭ с ЕС ЭВМ и результаты мониторинга характеристик ВГТ и PH п ИМ септ ЭВМ. ИМ сети ЭВМ, в свою очередь, использогала результаты мониторинга ММ ВП узла сети для формирования фактических значений параметров ВП. Результаты взаимодействия обоих ИМ позволили решить задачи: исследования свойств ИМ на каждой нтераиии с использованием соответствующей подсистемы; на последней итерации построить планы ИЭ для обеих ИМ для многопрогонных ИЭ; по результатам ИЭ определить вид регрессионных зависимостей откликов от входных параметров и проверить их адекватность; ка основе результатов ИЭ провести расчёты использования ресурсов ЦП при обслуживании заданий различных классов пользователей.
Обе апробации системы мониторинга ИМ ВП позволили оценить их эффективность для разных уровней детализации ВС. Наличие модифицированной бибтшотеки ИМ ВП обеспечила необходимый уровень автоматизации проектного моделирования технологии обработки информации как на ВЦКП, так и при анализе архитектур сетей ЭВМ.'
Универсальность полученных результатов апробации заключается в возможности применении метода, средств и методик исследования ВП и РН в ВС п сетях ЭВМ для тех случаев, когда необходимо решение вопросов распределения ограниченного состава ресурсов ВС между задачами пользователей, ОС и системными программами.
ЗАКЛЮЧЕНИЕ
В настоящей работе разработан новый метод н средства измерения параметров и методики исследования ВП и РН при проектном моделировании вариантов организации ВС и ЛВС и адаптации ВП под сущест-
вуюыую РН на ЕС и ЛВС. В ходе апробации метода и средств измерения, методик исследования и адаптации ВП под РН решен ряд практических задач, подтверждающих эффективность метода, средств и методик адаптации ВГ1 под РН. Основные результаты диссертационной работы состоят и следующем.
1. Предложена методика иерархической формализации ВП и РН на ВС на семи уровнях детализации, основанная на представлении процессо:* использования ресурсов ВС и принципах трассировки функционирования компонентов ВС. При этом состав измеряемых параметров ориентирован на описание динамики взаимодействия РН и компонентов ЭВМ [4,6,7,8, 12, 17, 19,20,21].
2. Разработан метод измерения параметров ВП и РН, базирующийся ил методике иерархической формализации динамики использования ресурсов ВС и ЛВС и обеспечивающий оперативную организацию натурных экспериментов на ЕС ЭВМ с высокой эффективностью и малой ресурсоемкостыо измерительных операций [3, 4, 7, 8, 9, 10,11, 16, 17,18,19,21,22,26].
3. Разработано семейство измерительных мониторов и имитационных моделей ВП, отличающихся наличием автоматической настройки их на режим работы управляющей программы ОС ЕС и специализацией по измерительным функциям. Семейство мониторов, программ обработки статистики и ИМ ВП и РН в ВС и ЛВС обеспечивают реализацию метода измерений, анализа узких мест в реализации ВП и адаптацию В Ь под РН на ВС или ЛВС [1,2, 5,6,9,12,13, 14, 15, 16, 17, 22, 23, 24, 25].
4. Предложена методика организации мониторинга параметров ВП и Р11 с помощью ППП МАТКОЗ и ОБЕ ГАЙ, обеспечивающая возможность экспериментального определения степени совмещения операций обмена с работой ЦП и автоматической настройки наборов данных при генерации ОС ЕС или при адаптации режимов работы ОС ЕС к медленно меняющейся РН па ВС[3, 4, 7, 8, 9, 10, 11, 14, 16, 17, 19, 20, 22, 26].
5. Построена полумарковская модель использовани ЦП задачами пользователей, позволяющая проводить анализ качества мультипрограммной смеси задач дчя ОС ЕС ЭВМ. Это открывает возможность углубленного исследования организации обработки задач на ЦП с помощью анализичеекпх методов и таким образом увеличить иредеклза-
тельные возможности проектного моделирования ВП и РН на ВС [4, 6, 8,10,11,23,24,26].
6. Предложена технология автоматической реорганизации библиотечных наборов данных для эффективной организации ВП при существующей РН. Разработана также технология выбора рационального состава резидентных модулей ОС Ь'С, обеспечивающая минимизацию накладных расходов ОС ЕС на организацию ВП в ВС и ЛВС [3, 9, 13, 14, 16, Г/].
7. Разработаны алгоритмы измерения нестандартной статистки моделирования ВП и РН при решении ряда важных задач проектного моделирования ВС: поиск узких мест в организации ВП ЭВМ, комплексов и се ген ЭВМ; адашацня ВП под существующую РН; оценка влия-'ння характеристик надежности оборудования ВС на параметры ВП 1! качество обслуживания пользователей [1, 2, 3, 4, 6,7, 9,10,13, 14, 16,17, 23, 241.
Н. При апробации метода и средств автоматизации исследования измерены характеристики ВП и РН в четырёх организациях страны с различной географией, целевой направленностью решаемых задач и технологией обработки информации. Получены уникальные но представительности эмпирические характеристики распределений параметров В11 я РН, позволяющие на этой основа формировать адекватные имитационные VI регрессионные модели РН на ВС, построенные на базе ЕС ЭВМ [6, 7, 8, 9, 11, 12, 15,22).
9. В ходе апробации доказаны эффективность, оперативноегт п приемлемая для практики исследований ресурсоёмкое! ь средств моппгорнн-1а ВП и РН, что позволило рекомендовать меюц и средства к широкому использованию. Это обеспечило многократность внедрения сис- . тем мониторинга ВП и РН в различных организациях страны (6, 7, 8, 9,11,23].
10. Сами технологии исследования и адаптации ВП под с шествующую РН являются универсальными и могут использовался при изучении ВП для различных типов ЭВМ и разных вариантов организации обработки информации на ЭВМ, ВС и сетях ЭВМ [3, 4, 6, 7, 8, 9, 10, 11, 19, 20, 72, 24, 26[.
СПИСОК ОПУБЛИКОВАННЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ
1. Демусъков А. Б.. Короткевич В. А., Максимей И. В Программа для измерения пара метров функционирования ОС ЕС // Проблемы проектирования ВЦКП. Тез. докл. всесоюзн. конф. - Минск, 1981. - С. 110-112.
2. Демуськав А. Б.. Короткевич В. А.. Максимей И. В. Программа для измерения параметров ВП в ОС ЕС / Деп. в ВИНИТИ 20.08.81. - № 4152 - 81
3. Демусъков А. Б., 1\пиев Р. С., Макспмей И. В. и др. Об использовании пакета ОБЗТАЫ при опенке эффективности использования ВЦКТ1 И Тез. докл. Всес. Проблема проектирования и создания ВЦКП и развития АСУ. - Душанбе, 1983. - С. 117-119.
4. Демусъков Л. Б., Годнее Р. С., Максимей II. В. Об одной методике построения имитационных моделей вычислительного процесса в ОС ЕС // Теория и практика имитационного моделирования сложных систем. Респ. публ. научн,- техн. копф. - Одесса, 1983.-С. 46-48.
5. Демус \ов А. Б.. Короткевич В. А., Максимей И. В. Пакет программ для измерения задач в ОС ПС (ЯТАТС^) / ГосФАП № П006469. - 1983.
6. Демуськав Л. Б, Максимей И. В. Пакет программ измерения характеристик для моделирования операционной системы ЕС ЭВМ // В кн. "Теория сложных систем и методы их моделирования. Труды семинара". -М.: - ВНИИСИ, 1984. - С. 126-134.
7. Демусъков А. Б.. Гуржий В. П., Максимей И. В. Измерение характеристик вычислительного процесса ЕС ЭВМ в режиме разделения времени. Проблемы информационных систем//МЦНТИ. - М, 1984.2.-С. 98 - 109.
8. Демуськав А. Б.. Короткевич В. А., Максимей И. В. Об исследовании вычислительного процесса в ОС ЕС // УСиМ, - 1984. -№ 1. - С. 2 - 47. '
9. Демусъков А. Б., Макспмей И. В. Использование пакета МАТ1Ю5 для рационального распределения ресурсов ЕС ЭВМ // Конф. "Опыт организации вычислительного процесса в АСУ. - 1 Гжевск, 1984 . - С. 117 - I (9.
10. Демусъков А. Б., Аксенов А. С. Галиев Р. С, Максимей И. В., Эдигер П. П. Пакет ОББТАМ в имитационном моделироЕанин вычислительных процессов ,'/ В кн.: Моделирование дискретных управляющих и вычислительных систем. Тезисы доклада. - Свердловск, 1984. - С. 4 - 6.
11. Демусъков А. Б., Максимей И. В. Модель супервизора ОС ЕС, построенная по результатам натурных экспериментов // В кь. ''Теория сложных систем и методы их моделирования. Труды семинара". - М.: ВШШСИ, 1985.-С. 129- 141.
12. Демусъков А.Б., Заиорин А.П., Максимей И.В. и ор. Структура и возможности пакета ОЭЯТАЫ по исследованию вычислительного процесса на уровне задании и задач // Научно практическая конференция. - М.: МДНТП, 1985.-С. 133- 137.
¡3. Пакет Программ исследования я адаптации вычислительного процесса в ОС ЕС (058ТАМ)/Дс и>г!,г(>и Л. Б., Максимей И. В., ЭдтерП. П., Черных Г. В., Те-хепиёа л. П., Гречншкииа Т В, - Гомель: ГГУ, 1985. - 414 с. В ГосФАП, инв,№ 50850000405.
14. Демуськоа А. Б. Пакет прикладных программ для измерения характеристик функционирования и настройки ОС ЕС (МАТкОБ) // Научно-техническая конференция "Перспективы развития и проблемы эффективного использования ЭВМ общего назначения и персональных ЭВМ". - Минск, 1987.
1.5. Демусъкоп А. Б.. ДслиОвачч В. П. Средства измерения в МОС ЕС // Материалы Всесоюзной научно-практической конференции ' Вопросы экономики и организации информационных технологий". Часть I.-Гомель, 1991.-С. 108.
(6. Д'-муа-кт А. Б.. Короткськч В. А.. Большакова Г. И., Друк Н. В., Зундаль Л. И., Шелслмсаа Г. А. Организация контроля за использованием ЕС ЭВМ в условиях многомашинного ВЦ // Материалы Всесоюзной научно-практической конференции "Вопросы экономики и организации информационных технологий". Часть 1. -Гомель. 1991.-С. Ill - 114.
17. Дсмцьков А. Б. Стчтиетическая идентификация к прогноз отказов внешних запо-мипшошх устройств ЭВМ со съёмным носителем информации // Материалы Всесоюзной научно-практической конференции "Вопросы экономики и организации информационных технологии". Часть I.-Гомель, 199!. -С. 167 -169. Демуськоа А. Б. Комплексный анализ неоднородной сети ЭВМ кольцевой структуры // Материалы международной математической конференции, посвящённой 25-лсшю Гомельского госуниверситета имени Ф. Скорнны "Проблемы математики и информатики". Часть 2' Проблемы прикладной математики и информатики. - Гомель, 199-1. - С. 141.
19. Демуськоа А. Б. Комплексный анализ неоднородном сети ЭВМ кольцевой структуры // Материалы международной научно практической конференции "Информатика и рыночная экономика". Часть 2: "Информатика". - Гом.ль, 1994. -С. 146 — 149.
20. Дем\chKofí А. Б., Ефимов Л. //.. Жогчлъ С. П.. Копчиц А. П.. Косарев А. £., Коротке-ачч Н. А., Лепчук В. Д., Мережа В. Л., Оситжп А. //., Рахунок В. В. Система коллективного анализа радиоэкологических данных П Материалы международной ма-темашческои конференции, посвящённой 25-летию Гомельского госуниверситета имени Ф. Скорины "Проблемы математики и информатики". Часть 2: Проблемы прикладной математики и информатики, - Гомель, 1994.-С. ISO. '
21. Демуськоа А. Б. Многоуровневая формализация вычислительною процесса ь сетях ЭВМ /' Мате; 1алы международной конференции, посвящённой памяти академика С.А. Чунихина "Проблемы алгебры и кибернетики". Часть 2: "Кибернетика" - Гомель, 1995. -С. 109.
22. Дсмуськов А. Б. Организация мониторинга в вычислительных системах // Международная научно-техническая конференция. Актуальные проблемы развития транспортных систем. - Гомель. БелГУТ, 1998.
23. Библиотека имитационных моделей вычислительного процесса в сетях ЭВМ ¡Демуськоа 4. Б.. Агеенко И. В., Бескова О. И., С.укач Е. П., Летук В. Д., Мака/меО И. В. И Сборник тр>доБ VI международной научной конференции "Актуальные проблемы информатики". Ч. 2. - Минск, 1998. - С. ЗВЗ - 394.
24. Дсмугъков А. Б. Комплекс мониторов и имитационных моделей для исследования вычислительных систем // Сб. тр. VI межд. -научи, конф. "Актуальные проблемы информатики". Часть 1.-Минск, 199Н. - С. 214 - 220. -
25. Дему<ьксв А. Б. Средстза оперативного сбора и анализа статистики функционирования информационных систем принятия решений в чрезвычайны;; ситуациях. Н Первая международная конференция "Цифровая обработка информации и управление в чрезвычайных ситуациях". Том 3. - Минск, 1998. - С. 220 - 225.
76. Демуськоа А. Б., Агеенко И. В., Еськова О. П., Левчук В. Д. и др. Технология проектного моделирования информационного обеспечения систем оперативного реагирования при чрезвычайных ситуациях // Первая международная конференция "Цифровая обработка информации и управление в чрезвычайных ситуациях". Том 3. - Минск. 1998. - С. 124 - 127.
ГОЗЮМЭ
Дземуськоу Аляксандр Барысшич. "Аргатзащя маппорыша параметрау пьпйчальнага працэсу у комплексах 1 сетках ЭВМ прм натурных \ ¡мггацыйных эксперыментах".
Вьипчалышя астэма, вьийчальны працес, працоуная нагрузка, ¡»¡тацмнная мадэль, апаратнае забеспячэнне, базавае праграмнае забеспячэнне, часовая дыяграма, лакальная вылгмльная сетка, натурны эксперымент, сктэмнае праграмнае забеспячэнне, ¡мшцыйны эксперымент.
На падстапе праведзенага анализу лггаратурных крыгпц выяулена актуальнасць тэмы 1 вызначаны задачы на даследаванне. Прананапана методика шматузроуневай фармшизацьн вьшчальнага працэсу ]' працоунай нагрузкь Распрацаваны мегад 1 сродм аутаматызацьп вьшярэнняу параметрау 1 адаптацьй вьипчальнага працэсу пад працоуную нагрузку пры аргашзацьп натурных эксперыментау на ЭВМ. Ашсзна тэхналопя аргашзацьп машторыига параметрау вьш1чальнага працэсу у ЭВМ комплексах 1 сетках ЭВМ пры натурных 1 ¡мгтаныйных эксперыментах. Прыведзены найбольш ¡стотныя вышм апрабацьн методы к 1 сродкау пры ¡;; укаранешй у сями аргашзацыях крашы.
РЕЗЮМЕ
Демуськов Александр Борисович. " Организация мониторинга параметров вычислительного процесса в комплексах и сетях ЭВМ при натурных и имитационных экспериментах".
Вычислительная система, вычислительный процесс, рабочая нагрузка, имитационная модель, аппаратное обеспечение, базовое программное обеспечение, временная диаграмма, локальная вычислительная есть, натурный эксперимент, системное программное обеспечение, имитационный эксперимент. 4 .
На основе проведенного анализа литературных источников установлена актуальность темы и определены задачи на исследование. Предложена методика многоуровневой формализации вычислительного процесса и рабочей нагрузки. Разработан метод и средства автоматизации измерений параметров и адаптации вычислительного процесса под рабочую нагрузку при организации натурных экспериментов на ЭВМ. Описана технология организации мониторинга параметров вычислительного процесса в ЭВМ комплексах и сетях ЭВМ при натурных, и имитационных экспериментах. Приведены наиболее существенные результаты апробации методик и средств при внедрении в семи организациях страны.
RESUME
Dzemuskov Aliaksandr Borisovich. "Organization of computing process parameters monitorinq in computer complexes and networks during full-scale and imitative experiments".
Computing system, computing process, operation load, simulation model, hardware, base software, time chart, local area network, full-scale experiment, system software, imitative experiment.
On the basis of the analysis of references the urgency of the subject is ascertained and the problems for research are determined. The technique of all-level formalising of computing process and operation load is offered. The method and means of parameter measurement automation and computing process adapting to the operation load is designed while organizing computer full-scale experiments.
The know-how of organizing the computing process parameters monitoring in computer complexes and computer network during full-scale and imitative experiments is described.
The most essential results of approbating these techniques and means when applied in seven organizations of the country are given.
Подписано в печать 3.11.99 г. Формат бумаг и 60x84 '/|б. Бумага писчая. Печать офсетная. Ь ^л. п; л. 1,16. Зак.,2б12. Тираж 100 экз.
Типография БелГУТа, 246022, г. Гомель, ул. Кирова, 34. ЛП Ns 360 от 26.07.99 Г.
-
Похожие работы
- Разработка и анализ каркаса имитационной системы на основе логической сети действия
- Разработка метода и имитационных средств анализа эффективности функционирования информационно-вычислительных систем ЕС ЭВМ
- Разработка комплекса имитационного моделирования узлов вычислительных сетей с коммутацией пакетов
- Семантическое моделирование корпоративных вычислительных сетей
- Оптимизация работы маломощной беспроводной сенсорной сети на базе её имитационной модели
-
- Системный анализ, управление и обработка информации (по отраслям)
- Теория систем, теория автоматического регулирования и управления, системный анализ
- Элементы и устройства вычислительной техники и систем управления
- Автоматизация и управление технологическими процессами и производствами (по отраслям)
- Автоматизация технологических процессов и производств (в том числе по отраслям)
- Управление в биологических и медицинских системах (включая применения вычислительной техники)
- Управление в социальных и экономических системах
- Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
- Системы автоматизации проектирования (по отраслям)
- Телекоммуникационные системы и компьютерные сети
- Системы обработки информации и управления
- Вычислительные машины и системы
- Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)
- Теоретические основы информатики
- Математическое моделирование, численные методы и комплексы программ
- Методы и системы защиты информации, информационная безопасность