автореферат диссертации по документальной информации, 05.25.05, диссертация на тему:Совершенствование качества функционирования информационных систем организационной сферы

На правах рукописи

Исаев Георгий Николаевич

СОВЕРШЕНСТВОВАНИЕ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ ИНФОРМАЦИОННЫХ СИСТЕМ ОРГАНИЗАЦИОННОЙ СФЕРЫ

Специальность 05.25.05 - Информационные системы и процессы, правовые аспекты информатики

Автореферат диссертации на соискание ученой степени доктора технических наук

2 6 [.;д? 2009

Москва-2009

003464930

Работа выполнена в Федеральном государственном образовательном учреждении высшего профессионального образования «Российский государственный университет туризма и сервиса» Федерального агентства по образованию Министерства образования и науки Российской Федерации

Научный консультант доктор технических наук, профессор,

Заслуженный деятель науки РФ Серов Валерий Романович

Официальные оппоненты: доктор технических наук, профессор Мальцева Светлана Валентиновна доктор технических наук, профессор Надеждин Евгений Николаевич доктор технических наук, профессор Сергеева Ирина Васильевна

Ведущая организация Институт системного анализа РАН

Защита состоится 22 апреля 2009 г. в 11 часов на заседании диссертационного Совета Д 002.026.01 при Всероссийском институте научной и технической информации РАН по адресу: 125190, Москва, ул. Усиевича, д. 20.

С диссертацией можно ознакомиться в библиотеке Всероссийского института научной и технической информации РАН.

Автореферат разослан «2 0 » марта 2009 г.

Ученый секретарь диссертационного совета

доктор технических наук, профессор Цветкова В.А.

£ "

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В современном мире происходит интенсивное внедрение информационных систем (ИС). На проектирование, построение и функционирование ИС направляются значительные ресурсы. По объему валовой продукции мира информационная индустрия занимает одно из первых мест. Вместе с тем, направляемые капиталовложения на ИС иногда не обеспечивают ожидаемого эффекта. С особой остротой этот вопрос относится к функционированию информационных систем организационной сферы. Часто спроектированные и принятые в эксплуатацию ИС на стадии функционирования снижают технико-экономические показатели, не отвечают проектным требованиям. Наиболее критичной стороной проблемы качества функционирования ИС (КФИС) является то, что выдаваемая пользователю результатная информация, бывает недостоверной, неполной, несвоевременной и др. Применение информации неудовлетворительного качества ведет к ухудшению качества решений, к существенному снижению эффективности управления хозяйственным комплексом.

Проблема качества функционирования ИС имеет и социальный аспект. Плохое качество функционирования ИС сдерживает развитие информационной индустрии, снижает конкурентоспособность информационной продукции, престиж фирмы-разработчика и государства. Проблема КФИС приобретает системный характер. Современные стандарты («ИСО/МЭК 15288.Системная инженерия. Процессы жизненного цикла систем», «ГОСТ Р ИСО 9001-2001.Системы менеджмента качества. Требования», «ИСО 9003. Системная и программная инженерия» и др.) отражают только общие требования к построению рациональных процессов улучшения качества в рамках жизненного цикла систем. Стандарты способствуют улучшению качества функционирования ИС и инвариантны типу ИС и организаций.

В настоящее время более четко обозначилось то, что передовые рубежи социального прогресса будут занимать те страны, которые решат проблему эффективной генерации и применения информации необходимого качества. Большой вклад в решение этой проблемы внесли отечественные ученые Арский Ю.М., Белоногов Г.Г., Гиляревский P.C., Данчул А.Н., Дружинин Г.В., Залаев Г.З., Колин К.К., Костогрызов А.И., Лахути Д.Г., Липаев В.В., Мальцева

C.B., Михайлов А.И., Надеждин E.H., Сергеева И.В., Серов В.Р., Синавина B.C., Соколов И.А., Телыгов Ю.Ф., Финн В.К., Харкевич А.Н., Цветкова В.А., Череш-кин Д.С.,Черный А.И. и др., и зарубежные - Edmans A., Eppler M., Herget J., Kahn B.K, Marchand D., Schutz T., Skalski D., Freytag J. и др.

Общая тенденция непрерывного роста объемов и усложнения современного производства, а также другие факторы, обусловливают в перспективе постоянное возрастание требований к качеству ИС на всех стадиях жизненного цикла. Более остро это проявляется на стадии функционирования ИС, являющейся основной, наиболее прагматичной и длительной по времени. На этой стадии должны возвращаться средства, затраченные на создание ИС. Исторически сложилось так, что для улучшения функционирования ИС используются отдельные, часто хорошие разработки совершенствования ИС. Однако эти разработки слабо связаны между собой, качество их построения и применения часто ухудшается по причине отсутствия системного представления, концепции качества функционирования ИС. Усиливаются противоречия между необходимостью системного улучшения качества принимаемых решений, с одной стороны, и неадекватным качеством функционирования современных ИС, обеспечивающих эти решения, с другой. Для снятия противоречия необходимо разнообразные, подчас хорошие, но слабо связанные процессы, методы и средства интегрировать посредством логики определенной системы. Эта система должна обладать комплексом креативных свойств, в частности, способностью системного и активного воздействия на качество функционирования ИС в целом и на качество её компонентов. Сложную проблему КФИС организационной сферы можно решать разными путями. Наиболее рациональным представляется путь создания и реализации системы методов и средств совершенствования качества функционирования информационных систем (СКФИС).

Целью работы является исследование и разработка комплекса моделей, методов и средств совершенствования качества функционирования информационных систем организационной сферы.

Основные задачи диссертации. Для достижения указанной цели в работе поставлены и решены следующие задачи:

1. Разработка структуры парадигмы и методологических положений совершенствования качества функционирования информационных систем.

2. Разработка с позиций традиционной логики методики синтеза дефиниций понятий по совершенствованию качества функционирования информационных систем и создание дефиниций по исходному составу понятий СКФИС.

3. Разработка концепции совершенствования качества функционирования информационных систем на основе создания комплекса моделей, методов и средств совершенствования качества функционирования ИС.

4. Разработка метода синтеза Комплексной системы управления качеством функционирования ИС (КС УКФИС), на основе её машинной модели, как редуцированного варианта (прототипа) реального средства СКФИС.

5. Экспериментальная проверка эффективности разработанных методов и средств, оценка адекватности моделей совершенствования качества функционирования информационных систем.

6. Разработка рекомендаций по результатам диссертации и перспективным исследованиям в области совершенствования качества функционирования ИС.

Методы исследования теоретического и экспериментального характера базируются на создании и применении моделей СКФИС. Для построения моделей применены средства системного анализа, теории систем, теории информационных систем, теории управления, теории вероятностей и математической статистики, теории измерений, теории квалиметрии и др. Построение и исследование машинных моделей проведено в рамках экспериментов на базе ЭВМ.

Объектом исследования являются информационные системы организационной сферы в области образования, научно-информационной деятельности и промышленности.

Предметом исследования определены свойства и закономерности информационных процессов и систем организационной сферы в границах предметной области совершенствование качества функционирования ИС.

Научная новизна работы:

- впервые разработаны структура парадигмы и методологические положения СКФИС как теоретико-методологической базы, определяющей предметную область, принципы, логику организации, методы и средства СКФИС;

- впервые по проблеме КФИС разработана методика синтеза дефиниций понятий на базе распознавания свойств объекта посредством упорядочения по уровням иерархии лексем составного понятия, формирования набора смежных признаков по каждой лексеме и выбора наиболее значимых признаков для синтеза дефиниции какого-либо понятия по рассматриваемой проблеме;

- впервые, с учётом сформулированных принципов, разработана концепция совершенствования качества информационных систем на основе создания и применения комплекса моделей, методов и средств для непрерывного совершенствования качества функционирования ИС;

- впервые создан метод определения состава первичных показателей качества ИС на основе модели кластер-анализа многомерной статистической структуры дефектов функционирования ИС, как более адекватный, по сравнению с традиционным и экспертным методами;

- впервые создан метод определения значений обобщенных показателей качества функционирования ИС на основе модели множественной регрессии, отображающей закономерную зависимость функционального типа между значениями обобщенных показателей и дефектами функционирования ИС, который, в отличие от других методов, обеспечивает прогнозирование, контроль и идеализированное представление качества функционирования ИС;

- впервые создан, на основе модели табличных документов, метод программного контроля данных, который в отличие от имеющихся программных методов, автоматически восстанавливает достоверность значений показателей в реальном времени без вмешательства оператора и др.

- впервые создан метод синтеза комплексных систем управления качеством информационных систем, как информационных системы нового типа, реализующих систематический анализ и совершенствование качества функционирования ИС на информационно-технолошческом уровне в реальном времени и на организационно-техническом уровне в регламентном времени;

- впервые, в результате исследования взаимодействия КС УКФИС и управляемой ИС, выявлено свойство метаинформационности у КС УКФИС, которое в практических задачах синтеза КС УКФИС, в отличие от систем управления качеством промышленной продукции, дает возможность совместного использо-

вания в функционировании КС УКФИС аппаратных, программных и трудовых ресурсов управляемой ИС, что существенно сокращает затраты на создание и эксплуатацию КС УКФИС;

- впервые, на основе разработанных классификаторов ряда категорий КФИС, форматов документов, инструкций, обработки на ЭВМ многомерной статистической структуры дефектов, проведен системный анализ дефектов, методов их обнаружения и исправления, причин дефектов, а также факторов, условий, «узких» участков, снижающих уровень качества функционирования ИС, выполнена оценка созданных методов, и разработаны стандарты, нормативные документы и рекомендации по совершенствованию КФИС;

- впервые разработан ряд моделей и устройств по совершенствованию качества функционирования ИС, некоторые защищены патентами автора.

На защиту выносятся:

1. Концепция совершенствования качества функционирования ИС в виде структуры парадигмы, методологических положений, комплекса моделей, и созданных на их основе методов и средств совершенствования КФИС.

2. Метод синтеза КС УКФИС, как средства для системного анализа и совершенствования качества функционирования информационных систем.

3. Расчетно-аналитический метод определения состава первичных показателей, а также метод определения значений обобщенных показателей качества функционирования информационных систем.

4. Метод автоматического обнаружения искажений и восстановления достоверных значений показателей в документах табличной структуры.

5. Методика синтеза дефиниций понятий и созданные на её основе дефиниции исходного состава понятий по предметной области СКФИС.

6. Рекомендации по совершенствованию качества функционирования информационных систем, основанные на реализации концепции СКФИС, применительно к информационным системам организационной сферы.

Практическая значимость работы состоит в том, что представленные в диссертации результаты, обеспечивают решение задач по совершенствованию качества ИС, в частности, это метод синтеза КС УКФИС, как информационной системы нового типа. Предложены расчетно-аналитические методы определе-

ния, с применением ЭВМ, состава первичных показателей качества ИС. Разработанные методы обеспечивают идентификацию причинно-следственных связей и закономерностей функционирования ИС, измерение, оценку, анализ и прогнозирование качества функционирования ИС и на этой основе определение тактики и стратегии совершенствования КФИС, в частности, увеличение производительности ИС, уменьшение себестоимости обработки данных и др. Например, метод автоматического исправления ошибок в значениях показателей обеспечивает повышение уровня достоверности информации, сокращая при этом время работы процессора ЭВМ на 15%, и др.

Достоверность научных положений, выводов и практических рекомендаций обосновывается корректностью построения моделей, методов и алгоритмов решения задач, экспериментальной проверкой работоспособности и адекватности разработанных моделей и методов на ЭВМ, проверкой и оценкой достоверности результатов исследования на основе их анализа и сопоставления с результатами, полученными из других источников, реализацией разработанных средств совершенствования КФИС, а также апробацией работы.

Реализация результатов. Результаты диссертации были использованы в решении практических задач совершенствования КФИС. Проведены работы по внедрению результатов работы, в частности, КС УКФИС и её компонентов в ряде организаций. Внедрены: метод синтеза КС УКФИС, методы измерения и оценки качества функционирования ИС, а также алгоритм и программа восстановления достоверных значений показателей табличных документов, которые прошли экспертизу, документация хранится во Всероссийском фонде алгоритмов и программ, и др.

Результаты использовались при выполнении работ по темам: «Создание АСУ-Росминвуз», «Исследование и разработка рациональной организации процессов управления и контроля на основе совершенствования автоматизированной системы сводного тематического планирования и координации выпуска литературы в стране» (АССТПК), «Проблемы управления качеством информационных систем в сфере сервиса», «Создание Комплексной системы управления качеством информационных систем ОАО завода ЖБИ-23», «Информационные ресурсы и средства в режиме он-лайн» Берлинского университе-

та им. Гумбольдта и др. Результаты работы применяются также в учебном процессе ряда российских и зарубежных вузов.

Личный вклад автора в подготовке диссертации заключается в разработке концепции СКФИС, моделей, методов, методик, алгоритмов и средств по реализации концепции. Разработаны форматы документов, классификаторы, нормативные и методические материалы. Автором проведены также постановка экспериментов, сбор и обработка экспериментальных данных и непосредственное участие в разработке программ и выполнении экспериментов на ЭВМ по проверке адекватности созданных моделей, методов и средств СКФИС.

Апробация работы. Основные положения и результаты работы докладывались на всероссийских, всесоюзных и международных научных конференциях, в частности: Республиканской научно-техн. конф. «Организация и управление высшим учебным заведением» (Томск, 1972), Всес. научно-техн. конф. «Динамическое моделирование сложных систем» (Тбилиси, 1982), Межвуз. конф. «Вопросы информационного обслуживания» (Москва, 1982), Всес. научно-практ. семинаре «Информационное обеспечение руководителей и систем управления разных уровней» (Суздаль, 1983), 2-ой Всес. конф. «Системное моделирование социально-экономических процессов» (Таллин, 1983), Научно-практ. семинар Комиссии по документалистике при Научном совете АН СССР по комплексной проблеме «Кибернетика» (Москва, 1988), 1-ой Всес. научно-техн. конф. «Качество информации» (Москва,1988), 2-ой Всес. научно-техн. конф. «Качество информации» (Москва, 1990), Межд. форум информатизации, МФИ-92 (Москва, 1992), 3-й Межд. науч. конф. «Индустрия сервиса в XXI веке» секция «Информ. технологии в XXI веке» (Гос. Кремлев. Дворец, 17-18 дек. 2001 г.), Межд. конф.-выставке «Информационные технологии в образовании» (4-8 ноября 2002 г., Минобр. РФ Ин-т ЮНЕСКО по информ. технол. в образов.), 1-я Межд. науч. конф. «Системы международного информационного обмена. Возможности и риски глобального объединения» (Берлин, февраль 2002 г.), Науч.-практ. конф. «Информационно-аналитические средства поддержки принятия решений и ситуационные центры» (Москва, РАГС, март 2005 г.), Науч.-практ. семинаре «Качество информации» при МИИТе, лекции и доклады в Берлинском университете им. Гумбольдта и др.

Публикации. По теме диссертации опубликовано 62 работы, в том числе: 4 монографии, одна из них опубликована в ФРГ в соавторстве, как результат работы соискателя по теме НИР Берлинского университета им. Гумбольдта, часть статей опубликована в журналах ФРГ, часть статей переведена и опубликована в США, 6 учебных пособий, одно из них (в двух книгах) издано в соавторстве в ФРГ для студентов Берлинского университета им. Гумбольдта, один учебник для вузов с грифом Минобрнауки РФ, одно учебное пособие с грифом УМО. Созданы учебно-методические комплексы по ряду дисциплин для вузов, в частности, по авторскому курсу «Управление качеством информационных систем», опубликованы учебные программы, получено 3 патента, имеется 39 отчетов о НИР по теме диссертации.

Структура н объем работы. Диссертация состоит из введения, пяти глав, заключения, списка использованной литературы и приложений. Основной объем диссертации составляет 300 стр., в том числе 21 рисунок, 31 таблица, список литературы из 225 источников на 22 стр., а также 6 приложений на 50 стр., в том числе 2 рисунка, 1 таблица, акты о внедрении на 13 стр.

Благодарности. Автор выражает искреннюю благодарность профессору Валерию Романовичу Серову за плодотворные научное руководство кандидатской, а затем и консультирование докторской диссертаций, а также коллегам, способствовавшим реализации этой работы на всех её этапах.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, указаны цель и задачи исследования, методы исследования, объект и предмет исследования, аннотация глав диссертации и другие признаки работы.

В первой главе рассмотрены состояние проблемы и теоретико-методологические условия совершенствования качества функционирования информационных систем. Для лучшего анализа современного состояния проблемы КФИС и определения задач исследования рассмотрена эволюция процессов, методов и средств КФИС по периодам. Периодизация проведена по хроно-

логическому признаку с лагом в 10 лет. По результатам анализа состояния проблемы выделены нерешенные вопросы и определены задачи работы.

Рассмотрение теоретико-методологических условий проводится посредством определения структуры парадигмы и методологических положений СКФИС. В результате исследования разработана структура парадигмы СКФИС, как модель постановки проблемы. Структура отображена в форме таблицы и представляет собой трехуровневую иерархическую систему опорных категорий, на первом уровне которой выделены:

1. Понятийный аппарат КФИС.

2. Структура КФИС и её компоненты.

3. Свойства и закономерности процессов совершенствования КФИС.

4. Методы, средства и эволюция совершенствования КФИС.

По определенным категориям структуры парадигмы в диссертации выделено более трех уровней компонентов. Структура призвана обеспечить определение основных направлений исследований, очередности и последовательности решения задач, границ предмета КФИС и др. Понятийный аппарат является семантическим фундаментом, на котором формируется парадигма СКФИС.

Основные системные категории СКФИС целесообразно определить с позиций системного анализа и общей теории систем: цели, задачи, функции, структура, технология, измерение, оценка, критерии КФИС и др. В работе определены их содержание, порядок реализации, место в общем комплексе работ по решению задач СКФИС. По признаку субординации в контуре совершенствования КФИС управляющей системой (субъектом) является КС УКФИС, а управляемой (объектом) - качество функционирования ИС.

Выявление и изучение свойств является принципиальным аспектом для идентификации латентных закономерностей и синтеза средств совершенствования КФИС. При изучении КФИС с позиций семиотики выделяются следующие группы свойств ИС - семантические, синтаксические и прагматические. Эти свойства могут обеспечить выявление закономерностей, в частности, в форме функциональной зависимости определенных категорий КФИС.

При рассмотрении методологических положений СКФИС определена структура методологии СКФИС в составе категорий: принципы, логика органи-

зации, методы и средства СКФИС. К принципам отнесены категории, которые определяют базовые положения решения задач СКФИС, например, системность, адекватность, непрерывность, самоорганизация, гармонизация, целостность, устойчивость, метаинформационность, автоматизация, эффективность и др.

Логика организации рассматривается как категория, призванная обеспечить гармонизацию средств и процессов в решении задач совершенствования КФИС. К составу логики организации отнесены: целеориентирование, определение задач, выделение функций, анализ и синтез структур качества, технологии, критерии, нормы и правила в области КФИС. Одной из опорных категорий логики организации СКФИС представляется структурно-параметрический синтез, в частности, таких структур, как КС УКФИС в целом, так и её компонентов.

В методологии СКФИС одним из перспективных методов представляется моделирование. С целью выбора адекватных путей и методов изучения КФИС проводится классификация моделирования по ряду признаков. Наиболее адекватным представляется признак логической последовательности моделирования в решении задач СКФИС: дескриптивное - для построения концептуальных моделей, формализованное - для построения математических моделей, машинное -для построения моделей на базе ЭВМ, как прототипов реальных средств совершенствования КФИС. В составе методологии обозначаются средства, применение которых обеспечивает реализацию задач СКФИС. Средства являются исходными в логике организации СКФИС. К ним отнесены следующие классы: научные, информационные, материальные, правовые, организационные и др.

Методология СКФИС представляет собой сложный комплекс категорий по формированию и развитию систем СКФИС. Одной из эффективны категорий здесь является синтез структур и процессов, например, таких как КС УКФИС. Реализация синтеза компонентов СКФИС выполняется в соответствии с логикой структурно-параметрического синтеза при условии наличия, в частности, идентификации структурных модулей, правил их интеграции, системы целевых функций и др. Модель синтеза компонентов СКФИС представлена в главе в виде схемы взаимосвязанных определенным образом модулей, последовательная реализация которых обеспечивает создание и развитие систем СКФИС.

Во второй главе в соответствии с методологическими положениями рассмотрены вопросы разработки концептуальных моделей СКФИС. Опорными категориями здесь являются понятийное представление и дескриптивное моделирование СКФИС. Синтез дефиниций понятий проводится в соответствии с разработанной методикой. Для её создания проведена характеристика имеющихся видов определений, сформулированы требования, правила, способы и последовательность формирования дефиниций. Одним из принципиальных вопросов является создание способа формирования и распознавания существенных признаков для синтеза дефиниций понятий СКФИС. В частности, была составлена схема иерархического размещения лексем составного понятия. Уровень иерархии каждой лексемы определяется в соответствии с её значимостью. По каждой лексеме понятия формируется тематическое поле смежных признаков. На основе анализа тематических полей выбираются наиболее существенные признаки дефиниции. Посредством этой схемы синтезированы дефиниция понятия «совершенствование качества функционирования информационных систем» и дефиниции других необходимых исходных понятий СКФИС.

С учетом дефиниций понятий формируется концепция СКФИС. Она отображается в виде комплекса моделей, методов и средств, состав и содержание, которого определяются логикой организации СКФИС. На начальном этапе исследования определены дескриптивные модели первоочередного блока: концептуальная модель СКФИС, модель измерения качества ИС, модель определения состава показателей оценки качества ИС, модель расчета значений показателей, модель определения значений обобщённых показателей и коэффициентов их весомости оценки качества ИС, модель автоматического исправления ошибок в табличных документах и др. На основе выполненной группировки свойств, идентифицированы существенные свойства, в частности, свойство метаинфор-мационности, как априори принципиальное в задачах синтеза КС УКФИС.

Концептуальная модель включает модели функциональной и обеспечивающей частей структуры СКФИС. В рамках модели обеспечивающей части структуры разработана модель рационализации структуры носителей информации, в частности, документов КС УКФИС, источников научной информации (ИНИ), как элементов информационных ресурсов науки и др. Относительно

ИНИ определены состав и содержание идентификационных признаков: дефиниция вида ИНИ, типология ИНИ, цель, задачи, функции, структура, технология обработки, пространство и время отображения (топология депозитариев и баз данных ИНИ, порядок их актуализации), измерение, оценка качества ИНИ и др. Улучшение качества источников информации способствует рационализации социальной коммуникации, в частности, интеллектуализации учебно-методических материалов и эффективности автоматизации учебного процесса.

Для разработки модели определения состава показателей КФИС проведен анализ эвристического, экспертного и расчетно-аналитического методов. Установлено, что наиболее адекватным для задач СКФИС представляется расчетно-аналитический метод. Реализация этого метода лежит через определение порядка измерения, выбора шкал измерения, определения состава показателей качества, порядка расчета их значений, анализа и установления уровня КФИС.

Система показателей КФИС состоит из следующих групп: единичные (первичные), групповые, интегральные, обобщающие, фактические, базовые, относительные и др. Нужен индикатор, который обеспечил бы адекватность определения показателей качества по полноте состава, их содержанию и интенсивности проявления. Таким индикатором представляется дефект (сбой, отказ и др.) функционирования ИС, как элемент многомерной статистической структуры дефектов. Одним из адекватных путей определения показателей может быть применение модели распознавания свойств посредством анализа неоднородности статистической структуры дефектов. Для этого, например, методом кластер-анализа можно провести группировку дефектов на ЭВМ, выделить свойства дефектов и определить адекватный набор показателей.

На основе исследования свойств ИС высказано предположение о возможности выявления закономерностей процессов формирования качества ИС, например, влияние дефектов обработки данных на обобщённые показатели качества ИС. Формой проявления указанной закономерности может быть выбрана модель регрессии. Для этого, с учетом практических условий, выбор вида линейной функции обобщённого показателя от единичных и/или групповых показателей качества выполняется так, чтобы получаемая при этом линейная зависимость была бы лучшей аппроксимацией функциональной зависимости.

Логичным в методологии СКФИС является решение задач минимизации дефектов функционирования ИС. В рамках системы программного контроля разрабатывается, в частности, метод автоматического обнаружения дефектов в цифровых значениях показателей табличных документов и программной замены в реальном времени дефектного значения на достоверное значение, вычисляемое программно, то есть без вмешательства оператора ЭВМ.

В третьей главе в развитие концептуальных моделей проведена разработка математических моделей СКФИС. Ниже они приводятся в сокращённом виде. Опорной моделью в общем комплексе работ является разработанная обобщённая модель СКФИС. В контуре СКФИС два основных взаимодействующих компонента - управляемая ИС и КС УКФИС (рис. 1).

Внешние воздействия

хк(0 - Начальные условия

КС УКФИС

- Управляющие воздействия

Информационная система

- Изменение внутреннего состояния ИС

Выходные координаты

Рис. 1. Схема взаимодействия КС УКФИС и управляемой ИС

В этом контуре качество ИС отображается функциональной зависимостью

вида

Ук(1) -/у 0% Щ), (1)

где - й-мерный вектор выходных координат ИС; $■({) - ¿-мерный вектор, определяющий совокупность начальных (входных) условий и внешних воздействий, определяемых режимом функционирования ИС; БЧ^) - ^-мерный вектор, определяющий возможные внутренние состояния ИС; - /-мерный век-

тор, определяющий управление качеством ИС. Управляющие воздействия, вырабатываемые и реализуемые КС УКФИС в процессе улучшения качества, определяются следующим соотношением

и1«) =/(%, гЬ(0) (2)

Обозначим через Ц(у) фазовое пространство выходных координат на _/'-м этапе управления, характеризующих поведение ИС с позиций критерия качества. После задания Ц(у) следует выбрать показатель качества ИС в зависимости от свойств ИС. В общем случае критерий качества I] можно рассматривать как оценку математического ожидания от некоторого функционала Gj, определяемого на траекториях процесса У^'ф

1ГМ[С}(ФНф] (3)

Поскольку ИС характеризуется, как сложная система, многомерностью и иерархичностью свойств, то адекватную оценку качества необходимо проводить не одним показателем, а набором показателей. Здесь следует определить несколько типов функционалов, наблюдаемых на траекториях Отсюда задача системы управления качеством в измерении и оценке качества ИС состоит в выработке таких значений и чтобы от этапа к этапу критерий качества 7/ улучшался до требуемого или максимально возможного значения. Таким образом, на каждом этапе ИС имеем и значений функционалов

(?7/ ..., Оу,..., вгу, (4)

представляющих собой выборку п значений случайных событий, например, искажений значений показателей, которые можно подвергнуть обычной статистической обработке с применением ЭВМ для получения оценок качества.

В пространстве можно выделить подмножество состояний, когда

ИС не соответствует требованиям по качеству - ОнР^Ц и соответствует - £2 с[¥(:)]■ Функционал оценки качества может быть как качественным, так и количественным. Применение качественных показателей возможно, если, например, функционал (4) принимает значение

_ | 0, если до момента 1уу({) е Оц>

1, если до момента ¡ууф £ (5)

В этом случае показатель качества характеризует соответствие ИС установленным требованиям за время / на7-м этапе ИС

1](1)-М[Оу]=Ят (6)

Если за значение функционала йу принять время работы ИС до первого попадания Уу(0 в Он, то показатель качества (3) равен среднему времени успешной работы на_/-м этапе ИС

1ГМ[Оф = Т} (7)

В подобных случаях оценку качества ИС можно и целесообразно проводить посредством количественных показателей. При применении качественных показателей в результате управления ИС фиксируется только факт успешности события Е}, идентифицируемого условием отсутствия дефекта, или неуспешности события Ео, идентифицируемого условием наличия дефекта. Для случайной величины т] (состояние обработки документа) получим

0 - обработка /-го документа на 7-м этапе была неудовлетворительной (есть дефект);

1 - обработка г'-го документа на 7-м этапе была удовле- (8) творительной (нет дефекта).

Подобные величины применимы для оценки качества ИС путем обозначения удовлетворительного или неудовлетворительного функционирования ИС, выраженной через такую, например, величину как частота дефектов. Однако для определения состава показателей качества методом, например, кластер-анализа, расчета значений обобщенных показателей, требуется проводить квантифика-цию каждого наблюдаемого события. В этом аспекте результат или состояние г'-го документа на 7-м этапе обработки характеризуется случайной величиной которая может принимать множество положительных значений. Результаты наблюдения серии из п документов на т этапах ИС можно отобразить матрицей размерности пхт, каждый элемент которой представляет собой случайные величины

18

f <• içn, ..., ..., £ lm,

При условии испытания i-го документа данная матрица представляется вектор-строкой 1хт

[¿ijj =Ш1.....Я} .... ïim) (10)

На базе статистики для выполнения последующей оценки целесообразно и можно получить показатели комплексного вида

Kj kî=£§ (11)

i=i H i=ifl ^^

где Kj, Kj, К - сумма столбцов, строк и всех элементов матрицы (9), которые являются соответственно числом неуспешных испытаний и документов на j-м этапе, /-й последовательности документов на m этапах, общим числом неуспешных испытаний. Эти величины могут быть применимы для определения значений, например, фактических единичных, групповых, интегральных и других видов показателей качества ИС. В соответствии с методологией и обобщённой моделью СКФИС разрабатывается модель оценки качества ИС с позиций принципов квалиметрии в виде конкретных формул расчета количественных значений показателей качества, построенных в соответствии с формулами (1-11).

Определение состава показателей качества ИС выполняется методом агло-меративного кластер-анализа. По существу кластер-анализа, дефекты, оказавшиеся в одной группе, должны быть однородными между собой, а дефекты, принадлежащие разным классам, разнородными, относящимися к разным ветвям классификации. Критерием однородности выбрано евклидово расстояние.

Пусть множество D={ D1,D2,...,D„} отображает выборку, состоящую из дефектов, регистрируемых по этапам ИС. Имеется некоторое множество характеристик G={G1,G2,...,Gbi }, присущих каждому из D,. Количественное измерение

у-ой характеристики дефекта D, обозначим , тогда вектор Xi =[xtJ ] размерности mxl будет соответствовать каждому ряду измерений для каждого D,. От-

сюда множество дефектов И располагает множеством векторов измерений X = х1,х2,...,х„, которые характеризуют множество £>. Отметим, что множество £> может быть отображено как п точек в /т-мерном евклидовом пространстве Ер . Задача кластерного анализа дефектов заключается в том, чтобы для анализа некоторого целого числа 5 ($-<п) на основе еХ разбить множество £> на подмножества

Щ^сИ) (12)

где 15 / < .$, так, чтобы

^,000=0, цей (13)

0^=-°. 04)

¡-1

Полученные в результате кластеризации однородные статистические структуры (классы дефектов), должны быть подвергнуты дальнейшей обработке на ЭВМ для получения параметров по времени и стоимости.

Для определения значений обобщённых показателей качества и коэффициентов весомости независимых переменных может быть принята модель множественной линейной регрессии

У, = ао + А'х1 + = ао + а\ха + а1ха +>-> +ачх;ч + (15)

где У, — зависимая (прогнозируемая) переменная — производительность и (или) себестоимость; Х1 - независимые (прогнозирующие) переменные (значения времени или стоимости обнаружения и исправления дефектов соответственно по достоверности, полноте, своевременности); а0 - свободный член регрессии; А' -вектор оценок коэффициентов линейной регрессии; £- латентные факторы.

Оценка параметров аа, А', производится методом наименьших квадратов, то есть из условия минимума суммы квадратов отклонений значений У,

Д2=Е^.-А--До)2 (16)

¡=1

Это приводит к системе уравнений

Яп = м„ - А'Мх

где Л=(о1 - вектор оценок коэффициентов линейной регрессии; ¿Т1-обратная матрица ковариаций между переменными С^- вектор оценок

ковариаций между переменными у и переменными ту. оценка средне-

го значения у, Мх - вектор средних значений переменных

Для решения задачи контроля и исправления ошибок (дефектов) проводится моделирование процесса восстановления достоверных значений показателей в документах посредством анализа структуры и свойств документов. Модель табличного документа можно отобразить четверкой

й = (&,А,В,0) (18)

где б* -матрица документа $ = г = 1,п, / = 1,т; ду - реквизиты-основания (числа), отражающие количественное состояние объектов;

А - кортеж реквизитов-признаков (наименование строк таблицы), отражающий качественные стороны состояния объектов;

В - кортеж реквизитов-признаков, (наименования столбцов таблицы), отражающий качественные стороны состояния объектов;

О — кортеж реквизитов-признаков, отражающий качественные стороны состояния объектов общего уровня и относящиеся к А и В]

<11М1' Чт+1,реквизиты-основания типа «итого», «всего» или контрольные суммы соответственно по строкам и столбцам, отражающие количественное состояние объектов.

С учетом выявленных выше элементов аналогии представим модель алгоритма автоматического восстановления достоверности показателей. Исходя из анализа природы реквизитов-оснований, наблюдается взаимосвязь элементов типа арифметического баланса

(19)

м

т

Чт+и = ХА (20)

М

При условии внесения ошибки (дефекта) в какой-либо элемент q¡j на этапах обработки нарушаются соотношения типа (19), (20). С целью обнаружения оши-

бок и их исправления при вводе в ЭВМ указанные соотношения проверяются программно. Сначала проверяется равенство

т п

(21)

>1 м

Если равенство не соблюдается, то на принтер или дисплей, в рамках протокола ввода документов в ЭВМ, выдается идентификатор дефекта -сообщение об отсутствии равенства указанного типа и адрес дефекта. Если же равенство (21) соблюдается, то проверяется далее условие

и

X 9 9 = Я 1.^1

(22)

если в г-й строке равенство

п

X 9 и = Я (23)

не выполняется, то производится замена строки Г на строку с элементами

Ч-1} = Ят+и ~ X Яд

>*< , (24)

после чего выдается на принтер и/или дисплей сообщение - идентификатор дефекта, его исправление с указанием индекса документа, а также значение замененного ошибочного реквизита-основания и заменяющего достоверного реквизита-основания. Алгоритм, построенный на основе модели, может обеспечить программное исправление однократных и обнаружение всех ошибок относительно строки и/или столбца матрицы документа.

В четвертой главе представлены вопросы проведения экспериментов по проверке адекватности разработанных моделей, методов и средств СКФИС. Для экспериментального исследования моделей были разработаны алгоритмы, программы, инструкции, форматы документов и др. В частности, в соответствии с методологией СКФИС для реализации экспериментов была разработана машинная модель УКФИС, как прототип КС УКФИС.

Проведен сбор и регистрация дефектов функционирования ИС, обрабатывающей сложные многостраничные документы - учетные бланки (УБ). В ЭВМ

были введены ведомости дефектов и проведена их обработка. Посредством программы кластер-анализа выполнена группировка дефектов. В результате получены данные пошагового процесса объединения кластеров, а также дендро-грамма кластеризации дефектов (рис. 2).

Рис. 2. Фрагмент дендрограммы кластеризации дефектов

Дендрограмма отображает данные в виде древовидной горизонтальной схемы. Слева от схемы помещены 3 столбца цифр. 1-й столбец означает номера

строк (реализаций) вводимых данных в ЭВМ из «Ведомости дефектов», 2-й -содержит коды дефектов, участвующих в кластеризации, 3-й - указывает последовательность объединения дефектов на каждом шаге. В соответствии с кластеризацией на 497 шаге завершено объединение дефектов в классе по достоверности - дефекты с кодами 72,74,77, 85, 86 и др. На шаге 504 сформировался класс дефектов по полноте - коды 12, 22. На шаге 514 сформировался класс дефектов по своевременности - код 3. В результате кластеризации обозначены массивы экспериментальных данных по достоверности, полноте и своевременности. Каждый массив представлялся в измерении по времени и стоимости дефектов.

Затем по каждому массиву были получены статистические оценки, в частности, среднее выборочное, среднее квадратичное отклонение, гистограммы классов дефектов по параметрам времени и стоимости, согласие эмпирических распределений представлены по унифицированной форме в виде «Карты данных распределения дефектов». В общем случае эмпирические данные подчиняются нормальному закону распределения. На основе статистических оценок по разработанной методике проведены расчеты значений показателей КФИС.

Значения обобщенных показателей КФИС определены на базе моделей прогнозирования обобщенных показателей средствами регрессионного анализа. Для оценки переменных регрессии на базе ЭВМ данные представлены в виде двух матриц фиксированных данных - по производительности и себестоимости. Расчет значений матриц выполнен, исходя из зависимости повышения производительности ИС от снижения времени на исправление дефектов с размерностью шага на 1% и, наоборот, - снижения себестоимости от уменьшения стоимости дефектов на 1%. С учетом условий надежности и практичности результатов указанные зависимости были просчитаны до 20%.

В результате реализации программы регрессионного анализа составлены уравнения множественной линейной регрессии соответственно по производительности и по себестоимости:

7я =348,14-0,18425Х, -0,072831^ -0,038581х3-

У° = 3,61 + 0,0073265 Я + 0,0092365 Хг + 0,024459^.

В правой части уравнений расположены слева направо соответствующие свободные члены регрессии, затем коэффициенты регрессии. Они обозначают

соответственно значения базовых показателей производительности и себестоимости и коэффициентов весомости по переменным достоверности, полноты и своевременности. Подставляя значения этих показателей можно достаточно оперативно в практических задачах диспетчеризации и управления качеством функционирования ИС определять фактические или прогнозируемые значения показателей производительности и себестоимости.

По результатам расчетов построены графики зависимости обобщенных показателей от дефектов обработки, один из которых приведен ниже (рис. 3). Относительно коэффициентов множественной корреляции, коэффициентов детерминации, уровней значимости нулевой гипотезы, а также среднего квадратичного отклонения ошибки качество линейного прогноза очень хорошее. Коэффициенты регрессии укладываются в 95%-ную доверительную вероятность.

Рис. 3. График зависимости себестоимости обработки документов от снижения трудоемкости устранения дефектов обработки

Графики распределения нормированных остатков также подтвердили адекватность модели. График зависимости величины нормированного остатка от ве-

личины процента снижения дефектов показывает отсутствие четко выраженного криволинейного тренда (рис. 4). Наблюдается разброс, характер которого показывает то, что модель едва ли можно или целесообразно улучшить.

Рис. 4. График зависимости величины нормированного остатка от величины процента снижения дефектов по стоимости

По результатам экспериментальной обработки данных разработана Карта анализа и оценки качества ИС (таблица 1). Анализ показателей и оценку качества обработки УБ целесообразно начать от общих показателей к частным. Относительный уровень производительности ИС, равный 0,58, свидетельствует о том, что используются только 58% потенциальных возможностей технологического процесса ИС. Если действия учтенных дефектов обусловливают производительность на уровне 200,79 документов в день, то при условии устранения 100 % дефектов производительность может подняться до её базового, то есть идеализированного значения - 348,14 док./день. Относительный уровень себестоимости обработки составляет 0,32, то есть ниже, чем соответствующий показатель по производительности. Подобное расхождение можно объяснить сравнительно большим удельным весом в стоимости капитальных вложений в ИС - ЭВМ, оборудование, аренда здания и т.д. Вместе с тем, на величину себестоимости также отрицательно действуют факторы-дефекты, при условии устранения которых себестоимость может быть снижена более чем в 3 раза. Указанная принципиальная зависимость в объемах классов дефектов подтверждается и значениями других показателей.

Таблица 1

Карта оценки и анализа качества ИС

№ Наименование показа- Значения показателей

Л: телей Фактические Базовые Относи-

и тельные

п Единичные Групповые

1 2 3 4 5 6

1 Достоверность: Этап ввода 0,99846 0,9992275 0,99999996 0,99992278

Этап выдачи 0,999995 - - -

2 Полнота: - 0,9866784 0,9999993 0,986679

Этап приема Этап выдачи 0,97344 0,9999169 ; - ;

3 Своевременность: Этап приема от предприятий Этап приема от индек- 0,6930694 0,0238096 0,5715997 0,9999804 0,5716109

сировщиков Этап выдачи 0,9979202 _

4 Интегральные - 0,8525018 0,9999932 0,8527375

5 Обобщенные:

Производительность Себестоимость _ 200,79 11,24 348,14 3,61 0,58 0,32

Если относительный уровень интегрального показателя равен 0,85, ниже

соответствующих значений достоверности и полноты 0,99 и 0,98, то здесь видно влияние относительного уровня своевременности - 0,57. Та же зависимость наблюдается и по групповым фактическим показателям. Если значение достоверности и полноты сравнительно сглажены, то значение группового фактического показателя своевременности свидетельствует о том, что объем дефектов по данному фактору значительно выше, чем в среднем по групповым показателям. Здесь интегральный групповой показатель равен 0,85, а своевременность -0,57. Если этап приема УБ от организаций имеет значение своевременности 0,69, то этап приема УБ от этапа индексирования УБ имеет своевременность только - 0,02. Дефекты по полноте наибольший объем имеют на этапе приема УБ от организаций - 0,97.

На этапе анализа по «Ведомости дефектов» проведена машинная обработка данных по ряду признаков. В результате получены аналитические таблицы по

следующим разрезам: виды дефектов, причины дефектов и др. Наибольшая доля дефектов обусловлена несвоевременностью представления данных (документов) - 37,9%, а затем по неполноте данных 32,2% и недостоверности данных -29,9%. Удельный вес классов дефектов по трудоемкости и стоимости представлен посредством диаграммы Парето.

Для оценки работоспособности и эффективности модели автоматического обнаружения ошибок и восстановления достоверности значений показателей документов табличного вида были разработаны алгоритм и программа. Экспериментальная обработка осуществлялась на массиве из 20 документов (по 7 таблиц в каждом отчете) по двум вариантам. По первому варианту входной контроль выполнялся средствами штатной системы подготовки данных (СПД) с подключением испытуемой программы. Затем документы контролировались по второму варианту - только средствами СПД, то есть с отключением рассматриваемой программы. По обоим вариантам получены соответствующие протоколы ввода и диагностики ошибок во входных документах (распечатка принтера).

Последующий анализ показал следующее. Одиночные ошибки автоматически обнаруживаются, вычисляются достоверные значения, затем последние заменяют ошибочные значения и оператору для контроля правильности работы программы выдаются сообщения типа «В документе ХХХХХ УУ обнаружена ошибка, строка ХХХХХХ-графа XX, значение XX скорректировано на значение УУУУ». Программа выдает диагностические сообщения и по другим модификациям ошибок, которые она обнаруживает.

Анализ результатов эксперимента подтвердил ожидаемые функциональные свойства алгоритма и программы. Большая часть ошибок исправляется автоматически. По сравнению с существующими программами контроля рассматриваемая программа обнаруживает такие ошибки, которые в принципе не могли быть обнаружены средствами традиционных программ входной диагностики документов, например, перестановки значений показателей по строкам или графам. Кроме того, возможность автоматического исправления ошибок обеспечивает восстановление пропущенных реквизитов-оснований в документе и др.

Оценка эффективности программы показала следующее. С включением испытуемой программы в штатную СПД время работы процессора составило

38,02 сек. Процессорное время контроля без применения рассматриваемой программы (только средствами СПД) составило 44,98 сек. Таким образом, применение программы сократило время работы процессора на 6,96 сек., то есть на 15,5 %. Вместе с тем, взаимодействуя с СПД, программа освобождает от необходимости объемной распечатки диагностики ошибок. Так, например, распечатка диагностики ошибок по протоколу ввода и контроля 20 отчетов при условии включения рассматриваемой программы в СПД заняла 8 листов бумаги формата 207x210 мм. Распечатка диагностики указанных отчетов без включения программы, то есть только средствами СПД, заняла 14 листов бумаги указанного формата. Таким образом, применение программы уменьшает расход бумаги при выполнении этапа ввода и контроля документов ориентировочно на 40%.

В пятой главе рассмотрен синтез Комплексной системы управления качеством функционирования ИС, как средства совершенствования КФИС. Структурно-параметрический синтез выполнен в соответствии с положениями методологии СКФИС, в частности, логикой организации и создания моделей СКФИС. Определены системообразующие компоненты: цель, задачи, функции, структура, порядок функционирования КС УКФИС, регламент синтеза, условия функционирования системы, критерии, система целевых функций и др. В соответствии с моделью УКФИС технологические процессы обработки данных КС УКФИС и управляемой ИС построены по принципу их непосредственного взаимодействия в реальном времени.

Синтез КС УКФИС проводится на методологической основе СКФИС, комплексе дескриптивных, математических и машинных моделей, полученных в результате теоретических и экспериментальных работ. Определение системообразующих элементов, в данном случае целей КС УКФИС, выполняется на основе анализа их содержания и формы проявления. Доминантной категорией в УКФИС принимается «улучшение качества удовлетворения информационных потребностей». Для идентификации, построения и организации функционирования проводится выделение свойств КС УКФИС. С этой целью выполнена классификация КС УКФИС и получен набор свойств, на основе которых проведены работы по улучшению КФИС. Основной целью КС УКФИС является обеспечение совершенствования качества функционирования ИС.

В соответствии с целью основными задачами КС УКФИС являются:

1. Управление качеством функционирования информационных систем на информационно-технологическом уровне в реальном времени и на организационно-технологическом уровне в регламентном времени.

2. Экономия ресурсов в решении задач совершенствования КФИС.

3. Повышение уровня информационной культуры организационной системы.

В работе выделены специфические задачи КС УКФИС. Они формируются в зависимости от признаков: характер управляемых ИС, содержание обрабатываемой информации, масштаб предприятия, характер продукции и др. Система выполняет информационно-технологические функции: сбор, регистрация, передача, обработка, поиск, хранение, выдача многоаспектной информации о качестве функционирования ИС и др. Решение задач обеспечивается следующими функциями управления: планирование, прогнозирование, учет, контроль, регулирование качества ИС и др. Таким образом, КС УКФИС может быть идентифицирована как информационно-управляющая система, как ИС особого класса.

Структура КС УКФИС является многоуровневой категорией для реализации функций управления. При построении структуры учитываются ее свойства, в частности, целостность, призванная определить адекватный набор компонентов и обеспечить устойчивость функционирования КС УКФИС. Структуру КС УКФИС можно условно разделить на функциональную и обеспечивающую части, которые можно обозначить как подсистемы. В соответствии с выполненными работами по исследованию КФИС строится функциональная структура КС УКФИС (рис. 5). В соответствии с этой структурой проектируется обеспечивающая часть структуры КС УКФИС, которая состоит из подсистем информа-ционно-документационного, технического, программно-математического и организационно-правового обеспечения. Эти подсистемы имеют собственную структуру и обеспечивают функциональную устойчивость программно-технического комплекса КС УКФИС.

Управление качеством происходит на основе обработки и анализа информации о качестве функционирования ИС, в частности, в форме взаимодействия технологических процессов обработки данных (ТПОД) управляющей и управ-

Рис. 5. Принципиальная схема функционирования КС УКФИС

ляемой систем. На этапе синтеза КС УКФИС рассмотрены различные схемы организации ТПОД. Анализ взаимодействия ТПОД показывает, что в любом случае происходит «обработка информации об обработке информации». Выше это свойство идентифицировано нами как метаинформационность КС УКФИС. В определенной мере подобное условие относится и к другим компонентам ТПОД. С учетом этих условий в рамках задачи синтеза КС УКФИС была построена теоретико-множественная модель взаимодействия ТПОД управляющей и управляемой систем. Модель подтвердила, в частности, выдвинутое ранее предположение о том, что метаинформационность проявляется уже на уровне документов, обрабатываемых в ТПОД управляемой ИС и КС УКФИС.

В методологическом плане выделенное свойство метаинформационности может быть эффективно использовано на практике. Становится целесообразным и возможным не проектировать и не вводить специальные формы первичных

документов КС УКФИС, если включить сведения о качестве функционирования ИС в существующие формы обрабатываемых документов управляемой ИС. Для этого необходимо, чтобы первичный документ ИС имел унифицированную зону (субполе) для фиксирования сведений о своем состоянии и прохождении по этапам ТПОД. Таким субполем может быть «Зона технологических реквизитов» (ЗТР). ЗТР содержит сведения о качестве обработки документа ИС и в этом смысле является метадокументом. С учетом этого и других условий строится схема взаимодействия ИС и КС УКФИС на технологическом уровне (рис. 6).

Схема взаимодействия ТПОД управляемой ИС и КС УКФИС состоит из трех контуров - А, Б и В. Контуры А и Б отражают этапы (блоки) ТПОД управляемой ИС. В контуре А показаны этапы подготовки документов на уровне объектов управления (подразделения, филиалы фирмы, представляющие данные о своей работе). В контуре Б отображены этапы ТПОД на уровне управляющего объекта, например, центрального аппарата ведомства (информационно-вычислительный центр и др.). Контур В отражает этапы, выполняемые в рамках КС УКФИС, в частности, формирования выходных документов о качестве функционирования управляемой (управляемых) ИС.

Подобное положение исключает необходимость увеличения состава и объема обрабатываемых документов, следовательно, снижает временные, трудовые и материальные ресурсы на обработку информации. Кроме того, унификация существующих форм документов в сторону минимизации состава и форм документов может обеспечить дополнительное снижение объема обрабатываемой информации. Использование одних и тех же документов в контурах Б и В дает и другие преимущества. Становится возможным практически синхронно выполнять сбор и обработку документов по субполю ЗТР контура В о прохождении какого-либо этапа технологии контура Б соответствующего массива документов в реальном времени.

Кроме того, выделенное свойство метаинформационности КС УКФИС позволяет при ее построении обеспечить в определенной мере экономию временных, трудовых, информационных, программных и аппаратных ресурсов. Данное условие существенно повышает эффективность КС УКФИС по сравнению с системами подобного класса в области управления качеством объектами, не

1 СПД 2 АСПД

Контур А

14 КОКИС

24 АДКСК

1 '

25

26

ОКИС

ОТМ

РОТМ

Рис. 6. Схема взаимодействия технологических процессов обработки данных КС УКФИС и управляемой ИС

Обозначения к рис. 6: СПД- составление первичных документов, АСПД-аналитико-синтетическая переработка документов, ЕО? - есть ошибки?, ПД ' прием документов, ИИО - идентификация и исправление ошибки, ВД ЭВМ -

ввод документов в ЭВМ, РВДВН - размещение входных документов на внешнем накопителе (НМЖД), ОВПД - обработка и вывод результатных документов, ВДАИС - выдача выходных документов абонентам ИС, АВД - анализ выходных документов, КОКИС - заполнение «Карты оценки качества информационной системы», ВДН- входные данные, ВВДН- ввод данных «Зоны технологических реквизитов» в ЭВМ, РДВН - размещение данных на внешнем накопителе, ОВПД- обработка данных и выдача производных документов, ВПДКСК-выдача на терминалы производных документов абонентам КС УКФИС, АДКСК - анализ документов о качестве ИС, ОКИС - оценка качества ИС, ОТМ - разработка организационно-технических мероприятий по улучшению качества ИС, РОТМ-реализация оргтехмероприятий.

относящихся к классу информационных. Так, например, для реализации системы управления качеством промышленной продукции специально выделяется комплекс информационных, вычислительных, программных и трудовых ресурсов. В нашем случае экономия средств достигается за счет использования в контуре КС УКФИС вышеуказанных ресурсов управляемой ИС.

Создание КС УКФИС выполняется в соответствии с методологическими положениями СКФИС, в частности, с логикой организации посредством синтеза КС УКФИС. Технология синтеза КС УКФИС осуществляется путем последовательной реализации элементов системы в соответствии с моделью структурно-параметрического синтеза. Определение состава и разработка элементов КС УКФИС выполняется с позиций логики организации СКФИС с учетом принципа целостности системы, в частности, цель, задачи, функции, структура, технология функционирования, критерии, нормы, правила КС УКФИС и др. На основе комплекса выполненных работ определена структура жизненного цикла КС УКФИС, расширяющая и уточняющая структуру парадигмы СКФИС. Жизненный цикл определен в виде трехуровневой иерархической структуры: фазы-стадии-эталы. С учетом структуры жизненного цикла КС УКФИС проводится решение задач по этапам исследования, проектирования, построения, внедрения, эксплуатации, развития системы. Рассмотрение этапов жизненного цикла в ра-

боте проводится в аспекте назначения, структуры, функционирования, совершенствования КСУКФИСидр.

В заключении изложены основные научные результаты по диссертации и сформирован перечень тем перспективных исследований по дальнейшему совершенствованию качества функционирования информационных систем.

Основные результаты работы

В диссертации решена крупная научная проблема по созданию моделей, методов и средств совершенствования качества функционирования информационных систем. Выполнен комплекс теоретических, экспериментальных и практических работ в области СКФИС:

1. Разработаны структура парадигмы и методологические положения СКФИС, как теоретико-методологическая основа, для решения задач по проблеме качества функционирования информационных систем.

2. В соответствии со структурой парадигмы и методологическими положениями разработана концепция СКФИС в виде комплекса дескриптивных, математических и машинных моделей. Показано, что модели СКФИС должны выполнять функции описания, объяснения, прогнозирования и идеализированного представления компонентов системы СКФИС. На основе моделей разрабатываются методы и средства совершенствования качества функционирования ИС.

3. Разработан метод синтеза КС УКФИС как средства совершенствования КФИС. Проведена классификация, определен жизненный цикл, выполнен синтез и разработана КС УКФИС, как информационно-управляющая система нового типа. КС УКФИС работает на информационно-технологическом уровне в реальном масштабе времени и на организационно-техническом уровнях в регламентном масштабе времени. Выявленное у КС УКФИС свойство метаинфор-мационности позволяет, в отличие от систем управления качеством промышленной продукции, уменьшить ресурсы на функционирование КС УКФИС путем совместного использования определенных ресурсов управляемой ИС.

4. На основе синтеза КС УКФИС создана модель построения и взаимодействия технологических процессов обработки данных КС УКФИС и управляемой ИС. Модель определяет регистрацию данных о качестве в особой зоне входных

документов ИС, синхронный ввод, обработку, коррекцию определенных дефектов и выдачу данных о качестве функционирования ИС в реальном времени. С учетом этих условий разработана технология обработки данных как средство взаимодействия КС УКФИС и управляемой ИС в реальном времени.

5. В соответствии с методологией СКФИС сформулированы принципы и требования к измерению и оценке КФИС. В квалиметрии ИС исходным индикатором качества может быть дефект функционирования И С. Репрезентативная выборка дефектов представляет собой статистическую неоднородную структуру. Для измерения качества определены шкалы и способы измерения и проведена квантификация результатов измерения. Показано, что система показателей качества функционирования ИС должна формироваться в соответствии с принципами квалиметрии, адаптированными для СКФИС.

6. Разработан метод определения первичных показателей качества функционирования ИС. Сделано предположение, что одним из адекватных методов определения набора первичных показателей может быть применение модели анализа неоднородности статистической структуры дефектов функционирования реальной ИС. В этом контексте построена модель кластер-анализа структуры дефектов по распознаванию свойств дефектов ИС. На этой основе построена адекватная система показателей качества функционирования ИС.

7. Разработан метод определения значений обобщенных показателей качества функционирования ИС, обеспечивающий представление идеализированного состояния, прогнозирование, регулирование ИС и принятие адекватных решений по совершенствованию качества функционирования ИС. Выявлена статистическая закономерность путем идентификации свойств и анализа причинно-следственной связи функционального характера между дефектами функционирования ИС, с одной стороны, и значениями обобщенных показателей качества ИС, с другой. Для расчета значений обобщенных показателей качества и коэффициентов весомости переменных может быть принята модель множественной линейной регрессии. Показано, что некоторые реальные ИС используют свой потенциал по производительности и себестоимости обработки документов соответственно только на 58% и 32%.

8. Разработан метод автоматического обнаружения и исправления дефектов в значениях показателей документов табличного вида. Метод базируется на соответствующей формализованной модели структуры и свойств табличных документов. Экспериментальные исследования алгоритма и программы показали эффективность метода в функциональном и экономическом отношениях. Метод обеспечивает автоматическое исправление искажений в значениях показателей, минимизируя время работы процессора ЭВМ по задаче более чем на 15%, объем бумаги принтера на протокол диагностики дефектов до 40% и др.

9. В рамках экспериментов выполнены сбор и регистрация статистики дефектов функционирования ИС, многомерное измерение дефектов, обработка данных измерения на ЭВМ. Для реализации экспериментов и эксплуатации КС УКФИС разработаны организационно-методические документы - рабочие инструкции, формы документов, ряд классификаторов - видов дефектов, причин дефектов, методов контроля дефектов ИС и др. По результатам обработки получены статистические оценки, таблицы и графики. Проведены необходимые расчеты и анализ результатов экспериментов. Проведенные эксперименты подтвердили адекватность и работоспособность созданных моделей, эффективность методов и средств и результатов диссертации в целом.

10. По формулам математических моделей измерения и оценки качества определены значения показателей качества ИС, которые отображаются в специально разработанной «Карте оценки и анализа качества ИС». По результатам анализа «Карты», факторов, влияющих на качество, проведена оценка качества функционирования ИС. Показано, что наиболее адекватным для СКФИС представляется расчетно-аналитический метод оценки качества без абсолютного игнорирования по общим условиям других методов.

11. На базе ЭВМ проведен комплексный анализ статистики дефектов, распределения по их видам, причин дефектов, факторов, условий, «узких» мест ИС, снижающих уровень КФИС. Показано, что уровень КФИС будет выше, если учитываются все факторы, выявленные в результате измерения, оценки качества и последующего анализа дефектов функционирования ИС.

12. Разработана с позиций традиционной логики методика синтеза дефиниций понятий по проблеме КФИС. На этой основе определен исходный состав и

сформулированы дефиниции соответствующих понятий. Эти дефиниции можно идентифицировать как концептуальные редуцированные модели, занимающие верхние уровни иерархической структуры парадигмы СКФИС.

13. Показано, что разработанные теоретико-методологические основы СКФИС обеспечивают структурно-параметрический синтез компонентов системы совершенствования качества функционирования ИС, в частности, КС УКФИС.

14. Разработаны рекомендации по результатам диссертации, а также намечены пути по дальнейшему совершенствованию КФИС в виде перечня тем перспективных научных исследований.

Основные научные публикации по теме диссертации Монографии

1. Skalski D., Isaev G.N., Lobig P., Pautz E. Glossar zu «OnlineInformationsressourcen und -mittein»: deutsche-russisch Wörterverzeichnis. Heft 57. Berlin: Humboldt-Universität zu Berlin, 1998.- 164 s.

2. Исаев Г.Н. Информационные ресурсы науки. - М.: МИРЭА, 2002.- 132 с.

3. Исаев Г.Н. Управление качеством информационных систем.-М.:МИРЭА, 2003.-200 с.

4. Исаев Г.Н. Моделирование оценки качества информационных систем.-М.: ИМСГС, 2006.-230 с.

Научные публикации в журналах, рекомендованных ВАК для опубликования научных результатов докторских диссертаций

5. Исаев Г.Н. Показатели качества функционирования автоматизированных информационных систем: методика определения //НТИ. Сер. 2.- 1996.- № 3.-с.12-16.'

6. Исаев Г.Н Разработка регрессионной модели определения обобщенных показателей оценки качества функционирования информационных систем //НТИ Сер. 2.- 2003.- № 8.-е. 1-7.

7. Исаев Г.Н. Теоретические основания управления качеством информационных систем //НТИ. Сер. 2.- 2004.- № 2.-е. 15-25.

8. Исаев Г-Н. Методологические основания управления качеством функционирования информационных систем //НТИ. Сер. 1 .-2005.-№ 2.-е. 1-11.

9. Исаев Г.Н. Синтез системы управления качеством функционирования информационных систем //НТИ. Сер. 1.-2005.-№ 11.-е. 1-12.

10. Исаев Г.Н. Модель определения обобщенных показателей и коэффициентов их весомости для оценки качества функционирования информационных систем //Обозрение прикладной и промышленной математики,- 2006.- том 13, вып. 4.- с. 647-648.

11. Исаев Г.Н. Концептуальная модель развития качества информационного сервиса //Теоретические и прикладные проблемы сервиса.-2006.-№ 3 (20).-с.25-30.

12. Исаев Г.Н. Модель кластер-анализа определения единичных показателей качества функционирования информационных систем //Обозрение прикладной и промышленной математики.- 2006.- том 13, вып. 5.- с. 861-862.

13. Исаев Г.Н. Моделирование качества функционирования информационных систем //Обозрение прикладной и промышленной математики.-2006.- том 13, вып.5.- с. 910-912.

14. Исаев Г.Н. Модель алгоритма автоматического исправления ошибок в задачах качества функционирования информационных систем //Обозрение прикладной и промышленной математики.- 2006,- том 13, вып.6.- с. 1081-1082.

15. Исаев Г.Н. Синтез определений понятий в области качества функционирования информационных систем //НТИ. Сер. 1.- 2006.- № 9.- с. 1-6.

16. Исаев Г.Н. О программном обеспечении достоверности данных для улучшения качества функционирования информационных систем //НТИ. Сер. 2.- 2006.-№ 10.-c.6-10.

17. Исаев Г.Н. Разработка модели достоверности данных в улучшении качества функционирования информационных систем//НТИ,Сер. 1.-2006.-№ 11.-е. 19-24.

18. Исаев Г.Н. О методическом подходе к анализу качества функционирования информационных систем //НТИ.Сер.2.-2007.- № з,- с. 24-30.

19. Исаев Г.Н. О разработке модели улучшения качества функционирования информационных систем //НТИ. Сер. 2,- 2007, № 7, с. 10-14.

Научные публикации в других изданиях

20. Исаев Г.Н. К вопросу повышения достоверности информации в автоматизированных системах управления.- В сб.: Техническое и информационное обеспечение АСУП.Барнаул,Алт. политех. ин-т,1973, с. 34-38.

21. Исаев Г.Н. Об опыте автоматизации отраслевого учета подготовки специалистов высшей квалификации.-В сб.: Проблемы автоматизации управления высшей школой, разработками и производством. М., МАИ, 4.1,1973, с. 18-19.

22. Исаев Г.Н. О методе расчета объемов информации при проектировании АСУ. - В сб.: Техническое и информационное обеспечение АСУП, Барнаул, Алт. политехи, ин-т, 1973, с. 21-25.

23. Исаев Г.Н., Рождественский А.М. К вопросу повышения достоверности данных в автоматизированных информационных системах.-В сб.: Кибернетика и вуз, Томск, ТПИ, 1974, вып. 8, с. 52-60.

24. Исаев Г.Н. Серов В.Р. Моделирование и исследование качества автоматизированной обработки учетной документации. - В сб.: Материалы Всесоюз. науч-но-техн. конф. «Динамическое моделирование сложных систем» (15-17 марта 1982, Тбилиси). М„ 1982, с. 145-147.

25. Исаев Г.Н. Особенности построения автоматизированных систем обработки плановой и учетной документации.-В сб.: Проблемы проектирования подсистемы «Сводный нархозплан АСПР Госплана союзной республики». Таллин. НИИЭП Госплана ЭССР, 1982, ч. 1, с. 104 - 108.

26. Исаев Г.Н. О создании системы управления качеством обработки учетной документации, выдаваемой для анализа и принятия решений.-В. сб.: Тезисы докладов Всесоюз. научно-практ. семинара «Информационное обеспечение руководителей систем управления разных уровней» (15-17 марта 1983 г. Суздаль), т. 2, М., ВНИИПОУ, 1983, с. 33 - 35.

27. Исаев Г.Н. Об одной модели восстановления достоверности значений показателей в системах автоматизированной обработки социально-экономической информации.-В сб.: Тезисы докладов 2-й Всес. конф. «Системное моделирование социально-экономич.процессов» (16-20 мая 1983г., Таллин), ч.1,Таллин,НИИЭП Госплана ЭССР. - 1983, с. 148 - 149.

28. Исаев Г.Н., Гаврилин А.И. О разработке стандартов по управлению качеством обработки учетной документации в области научно-информационной дея-тельности.-В сб.: Вопросы информационного обслуживания, М., МГИАИ, 1983, с. 69-77.

29. Исаев Г.Н. Квалиметрическая оценка обработки учетной документации в системах управления.- В сб.: Тезисы докл. Респ. научно-техн. конф. «Проблемы совершенствования планирования и управления машиностр. производством». Ворошиловград, ВМИ, 1983, с. 66 -67.

30. Исаев Г.Н. Определение понятия «качество обработки учетной документации».^ сб.: Документоведение, документационное обеспечение управления. ЭИ, М., ВНИИДАД, 1985, № 1 (15), с. 22 - 24.

31. Исаев Г.Н. Исследование факторов, влияющих на качество обработки учетных документов в АИС.-В сб.: Актуальные направления исследований в научно-технич. информации-М.: МГИАИ, 1985, с. 159- 163.

32. Исаев Г.Н. Исследование факторов, влияющих на качество обработки учетной документации в автоматизированных информационных системах. - В сб.: «Актуальные направления исследований в области научно-технической информации». - М.: МГИАИ, 1986, с.45-50.

33. Исаев Г.Н. Моделирование и определение показателей оценки качества обработки учетной документации. - В межвуз. сб.: «Актуальные направления научных исследований в области научно-технической информации», М., МГИАИ, 1986, с. 45-50.

34. Исаев Г.Н. Гутков A.A. Автоматическое обнаружение ошибок и программное восстановление достоверных значений показателей в документах табличного вида /МГИАИ, 85.06. Описание применения алгоритма и программы, УДК 519.688. В информ. бюллетене: «Алгоритм и программы» ВНТИЦентр ГКНТ СССР, ГосФАП, ЦИФ, 1987, № 8, с. 3, per. № 50870000234.

35. Исаев Г.Н., Серов В.Р. Улучшение качества обработки учетной документации в совершенствовании механизма управления.-В сб.: Документоведение, документационное обеспечение управления. ЭИ, М., ВНИИДАД, № 2 (12), 1987, с. 15-23.

36. Исаев Г.Н. Применение принципов квалиметрии в оценке качества автоматизированной обработки информации. - В межвуз. сб.: «Проблемы повышения качества информации», М., МИИТ, 1988, вып. 808, с. 9-11.

37. Исаев Г.Н. Управление качеством автоматизированной обработки документации.- В сб.: «Документирование, документационное обеспечение управления», ЭИ, М., ВНИИДАД, 1988, №2(22), с. 15-25.

38. Isaev G.N. Uber die Theorie der Information in der UDSSR. -Leipzig, Zentral bl. Bibl. Wes.104 (1990), № 4, s. 12-18.

39. Исаев Г.Н. Применение кластерного анализа в определении факторов, влияющих на качество функционирования автоматизированных информационных систем.- В сб.: Тезисы докл. 2-ой Всесоюзн. конф. «Качество информации», октябрь, Москва, 1990 г., М., ВОИВТ, 1990, с. 60-62.

40. Исаев Г.Н. Применение кластерного анализа в определении факторов, влияющих на качество функционирования автоматизированных информационных систем.- В сб.:Междун. форум информатиз., МФИ - 92, 1992, с. 4-6.

41. Исаев Г.Н. Концепция оценки качества функционирования информационных систем.-В сб.: Межотраслевая информационная служба, М., ВИМИ, 1992, № 5, с. 8-21.

42. Исаев Г.Н., Серов В.Р. Квалиметрия информационной технологии в концепции XXI века.- В сб.: Тезисы докл. 3-ей межд. конф. «Индустрия сервиса в XXI веке» секция «Информационные технологи в XXI веке» (Гос.Кремлев. Дворец, 17-18 декабря 2001 г.), М., МГУС, 2001 г., с. 21-23.

43. Исаев Г.Н., Скальски Д. О методическом подходе к созданию учебных глоссариев.-В сб.: Тезисы докл. 3-ей междун. конф. «Индустрия сервиса в XXI веке» секция «Информац. технолог, в XXI веке» (Гос.Кремлев. Дворец, 17-18 дек. 2001 г.), М.,МГУС, 2001 г., с. 77-79.

44. Исаев Г.Н. Методология оценки качества функционирования информационных систем.- В сб.: 3-й Всерос. научно-практ. конф. «Информ. технол. XXI века» (март 2002,Москва), М., МГУС,2002,с.35-39.

45. Исаев Г.Н. О концепции квалиметрии функционирования информационных систем. - В сб.: 4-й Междун. науч.-практ. конф. «Информ. технол. XXI века» (2002 г., Москва) М., МГУС, 2002, с. 25-28.

46. Исаев Г.Н. О концептуальной модели оценки качества автоматизированной информационной системы.-В сб.: 4-й Междун. науч.-практ. конф.«Индустрия сервиса в XXI веке»,секция «Информ. технологии XXI века» (19 ноября 2002, Москва), МГУС, 2002, с. 52-57.

47. Исаев Г.Н. О методике определения единичных показателей качества информационных систем.- В сб.: 4-й Междун. науч.-практ. конф. «Индустрия сервиса в XXI веке», секция «Информационные технологии XXI века» (19 ноября 2002 г., Москва), МГУС, 2002, с. 27-30

48. Исаев Г.Н. Оценка качества информационных систем в сфере образования.-В сб.: XII Междун.конф.-выставке «Информационные технологии в образовании» (4-8 ноября 2002 г., Минобр. РФ Ин-т ЮНЕСКО по информ. технол. в образов, сборник трудов, часть Ш). М., МИФИ, 2002, с. 181-183.

49. Исаев Г.Н. Регрессионная модель определения обобщенных показателей оценки качества информационных систем. - В сб.: «Наука - сервису» (УШ Междун. Научно-практ. конф. 22 апреля 2003 г., Москва, Минобр. РФ, МАИ, Академия проблем качества, ИИТ МГУС), М., ИИТ МГУС, 2003, с. 40-43.

50. Исаев Г.Н. О концепции управления качеством информационных систем.- В сб.: «Информационные технологии XXI века» (Материалы У межвузовской на-учно-практ. конф., Москва, 19 декабря 2003 г.) М., Ин-т информ. технол. МГУС, Минобр. РФ, 2003, с. 30-33.

51. Исаев Г.Н. О методе определения понятий в области управления качеством информационных систем.-В сб.: «Информационные технологии XXI века» (Материалы У1 межвузовской научно-практ. конф., Москва, 22 октября 2004 г.) М., Ин-т информ. технол. МГУС, Минобрнауки РФ, 2004, с. 16-20.

52. Исаев Г.Н. Качество информационного сервиса и парадигма качества жизни // Сервис Плюс.- 2005.- № 7.- с. 23-27.

53. Исаев Г.Н. О типологии методов, применяемых в моделировании управления качеством информационных систем.-В сб.: «Информационные технологии XXI века» (Материалы У11 межвуз. научно-практ. конф., Москва, 24 марта-1 апреля 2005 г.) М., Ин-т информ. технол. МГУС, Минобрнауки РФ,2005,с. 16-20.

54. Исаев Г.Н. Синтез систем управления качеством информационных систем.-В сб.: «Наука - сервису» (Х-я междун. научно-практ. конф., Москва, 21 октября

2005 г.) М., Ин-т информ. технол. МГУС, 2005, с. 15-20.

55. Исаев Г.Н. Качество информационных дисциплин в образовательных стандартах информатики.- Учебно-методические проблемы наукоемких технологий образования: Межвузовский сборник научно-методических трудов. Том 11.-М.: КОС-ИНФ Минобрнауки РФ, 2005, с. 75-78.

56. Исаев Г.Н. Моделирование качества информации как средство поддержки принятия решений.- В сб.: Информационно-аналитические средства поддержки принятия решений и ситуационные центры: Материалы науч.-практ.конф., Москва, РАГС, 28-29 марта 2005 г./Под общ.ред. А.Н.Данчула.- М.:Изд-во РАГС, 2006, с.209-211.

57. Исаев Г.Н. Исторический аспект проблемы улучшения качества информационных систем в социальной сфере. Межвуз. науч.-практ. конф. по актуал. вопр. социал.-гуманит. наук. Сб. стат. проф.-препод. состава.-М.: Ин-т межд. социал.-гуманит. связей, 2006, с. 14-27.

58. Исаев Г.Н. Регрессионная модель в задачах улучшения качества управленческих решений.- В сб.: Ситуационные центры: модели, технологии, опыт практической реализации: Материалы науч.-практ. конф., Москва, РАГС 18-19 апреля

2006 г./Под общ.ред. А.Н.Данчула.- М.:Изд-во РАГС, 2007, с.209-212.

59. Исаев Г.Н. Применение метаинформации в задачах синтеза (К вопросу об улучшении качества функционирования информационных систем) //НТИ. Сер. 2.-2008,- №3,- с. 13-18.

Патенты, полученные автором

60. Устройство для определения значений показателей качества информационных систем: патент RU № 46371 U1 /Исаев Г.Н.- Бюллетень Федеральной службы по интеллектуальной собственности, патентам и товарным знакам, № 18 от 27.06.2005.

61. Модель управления качеством информационной системы: патент 1Ш № 46596 Ш /Исаев Г.Н.- Бюллетень Федеральной службы по интеллектуальной собственности, патентам и товарным знакам, № 19 от 10.07.2005.

62. Устройство для определения состава показателей качества информационных систем: патент № № 484211Л /Исаев Г.Н. - Бюллетень Федеральной службы по интеллектуальной собственности, патентам и товарным знакам, № 10 от 10.10.2005.

Личный вклад автора в опубликованные работы

Все результаты, составляющие основное содержание работы, получены автором самостоятельно. В работах, опубликованных в соавторстве, вклад автора состоит в следующем: в работах [1,43] - участие в разработке концепции глоссария, составление развернутых статей и дефиниций понятий по качеству информационных ресурсов Интернет, информационных систем; в работе [23] - разработка методов улучшения достоверности данных, в работах [24,35,42] - разработка моделей оценки и управления качеством ИС; в работе [28] - разработка структуры и содержания стандартов по оценке качества ИС; в работе [34] -разработка модели и алгоритма, участие в составлении программы и проведении экспериментов.

Подписано в печать: 16.03.2009

Заказ № 1723 Тираж -100 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.auIoreferat.ru