автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка и исследование моделей и алгоритмов повышения достоверности в системах оперативной обработки информации

кандидата технических наук
Липкин, Дмитрий Игоревич
город
Москва
год
2001
специальность ВАК РФ
05.13.11
цена
450 рублей
Диссертация по информатике, вычислительной технике и управлению на тему «Разработка и исследование моделей и алгоритмов повышения достоверности в системах оперативной обработки информации»

Оглавление автор диссертации — кандидата технических наук Липкин, Дмитрий Игоревич

Введение.

Глава 1. Анализ методов оценки и обеспечения достоверности обработки информации в автоматизированных системах.

1.1. Анализ особенное гей автоматизированных систем операт ивной обработки транзакций.

1.1.1. ОЬТР-системы как подкласс автоматизированных систем обработки информации.

1.1.2. Технология обработки информации в ОЬТР-системах.

1.1.3. Особенности возникновения и распространения искажений в ОЬТР-системах.

1.1.4. Повышение достоверности обработки информации в ОЬТР-системах.

1.2. Разработка модели решения задач повышения достоверности обработки информации.

1.2.1. Требования к показателям и алгоритмам, используемым при решении задач повышения достоверности обработки информации.

1.2.2. Трехуровневая модель решения задач повышения достоверности обработки информации.

1.3. Анализ существующих методов оценки и обеспечения достоверности обработки информации.

1.3.1. Анализ существующих показателей достоверности.

1.3.1.1. Существующие технические показатели достоверности.

1.3.1.2. Существующие экономические показатели достоверности.

1.3.2. Существующие методы оценки показателей достоверности.

1.3.3. Средства повышения достоверности обработки информации.

1.3.3.1. Классификация средств повышения достоверности.

-3Стр.

1.3.3.2. Методы оценки эксплуатационно-технических показателей средств повышения достоверности.

1.3.4. Существующие алгоритмы выбора оптимального комплекса средств повышения достоверности.

1.4. Вывод требований к моделям и алгоритмам, подлежащим разработке в диссертации.

1.4.1. Результаты анализа существующих методов оценки и обеспечения достоверности обработки информации.

1.4.2. Требования к моделям и алгоритмам, подлежащим разработке в диссертации.

Выводы.

Глава 2. Разработка моделей и алгоритмов анализа показателей достоверности обработки информации.

2.1. Разработка показателей достоверности обработки информации.

2.1.1. Технический показатель достоверности.

2.1.2. Экономический показатель достовеюности.

2.2. Разработка и исследование схемы потоков искажений.

2.2.1. Элементы схемы потоков искажений и их назначение.

2.2.2. Уровни представления информации в схеме потоков искажений.

2.2.2.1. Уровень обобщения потоков.

2.2.2.2. Уровень детализации процессов.

2.2.3. Характеристики элементов схемы потоков искажений.

2.2.3.1. Характеристики процессов формирования информационных элементов.

2.2.3.2. Характеристики процедур формирования информационных элементов.

2.2.3.3. Характеристики потоков искажений.

2.2.3.4. Характеристики входных выборок информационных элементов.

2.3. Формализация описания технологии возникновения и распространения ошибок с помощью схемы потоков искажений.

2.4. Оценка базовых показателей достоверности обработки информации проектного решения с помощью схемы потоков искажений.

Выводы.

1 лав а 3. Выбор комплекса средств повышения достоверности обраб отки информации.

3.1. Разработка экономических критериев применимости средств повышения достоверности на этапах обработки информации.

3.2. Разработка технологии выбора и формализованного описания средств повышения достоверности.

3.2.1. Технология выбора средств повышения достоверности.

3.2.2. Формализация описания средств повышения достоверности.

3.3. Опенка экономического э(Ь(Ьекта от поименения соедств повышения

XX X X ' ' достоверности обработки информации и их комплексов.

3.3.1. Метод перерасчета схемы потоков искажений.

3.3.2. Метод оценки показателей.

3.4. Разработка и исследование алгоритма выбора комплекса средств повышения достоверности обработки информации.

3.4.1. Постановка задачи выбора комплекса средств повышения достоверности.

3.4.2. Алгоритм решения задачи выбора комплекса средств повышения достоверности.

3.4.3. Исследование погрешности алгоритма последовательного ранжирования.

Выводы.

Глава 4. Автоматизация решения задач повышения достоверности обработки информации.

4.1. Разработка пакета прикладных программ повышения достоверности обработки информации.

4.2. Разработка инженерной методики повышения достоверности обработки информации.

4.2.1. Описание инженерной методики.

4.2.2. Применение инженерной методики на этапах проектирования.

4.3. Практическая реализация инженерной методики.

4.3.1. Описание предметной области применения инженерной методики.

4.3.2. Реализация инженерной методики.

4.4. Анализ предложенных моделей и алгоритмов.

Выводы.

Введение 2001 год, диссертация по информатике, вычислительной технике и управлению, Липкин, Дмитрий Игоревич

В последнее десятилетие автоматизированные системы обработки информации и управления (АСОИУ) получили широкое коммерческое применение в различных областях жизни и деятельности общества. В этой ситуации наблюдается повышение требований к способности автоматизированных систем приносить определенный экономический эффект.

Одним из наиболее критичных факторов, снижающих экономический эффект от внедрения АСОИУ является достоверность обрабатываемой информации. Низкое качество информации является основной причиной выработки некорректных управляющих воздействий, приводящих к экономическому ущербу и соответствующему снижению экономического эффекта от внедрения системы в целом.

В этих условиях возникает задача разработки экономически целесообразного комплекса средств повышения достоверности обработки информации, решение которой должно базироваться на результатах анализа экономического эффекта от применения этого комплекса. Усиление роли экономической составляющей применения А.СОИУ делает невозможным решение обозначенной задачи существующими методами, предлагаемыми в работах таких известных ученых как Мамиконов А,Г. Кульба В.В,, Шелков А.Б., Пивоваров А.Н., Майерс Г., Laprie J., Tang D., Hecht M, Hecht H., поскольку они ограничиваются преимущественно анализом технических показателей достоверности. Кроме того, характерная для АСОИУ сложная технология обработки информации является дополнительным препятствием на пути использования существующих методов оценки экономических показателей достоверности, изложенных в работах таких известных ученых как Николаев Ф.А., Фомин В.И., Хохлов JIM.

С учетом сказанного задача повышения достоверности обработки информации в АСОИУ приобретает характер проблемы, решение которой требует разработки оригинальных инженерных методик, выходящих за рамки существующих подходов.

В АСОИУ выделяются два подкласса систем:

- автоматизированные системы оперативной обработки транзакций, предназначенные для сбора и обработки оперативно изменяемой информации и

- автоматизированные системы анализа данных, предназначенные для анализа информации, собранной в системах оперативной обработки транзакций.

Современные АСОИУ представляют собой сложные интегрированные информационно-технические комплексы, сочетающие в себе оперативную обработку информации и ее последующий анализ, реализуемые в форме соответствующих функциональных задач. В этом случае система может рассматриваться, как состоящая из подсистемы оперативной обработки транзакций и подсистемы анализа информации.

Автоматизированные системы оперативной обработки транзакций предназначены для сбора, хранения, поиска и последующей обработки разносторонней информации, активно используемой человеком в процессе решения повседневных задач, и являются, таким образом, основными источниками информации для систем анализа данных.

Ошибки, возникающие в системах анализа данных имеют наиболее тяжелые последствия, поскольку могут приводить к обесцениванию значительной части результатов работы системы, кроме того коррекция таких ошибок связана со сложными дорогостоящими процедурами. В этой связи проблема обеспечения достоверности обработки информации в системах оперативной обработки транзакций становится особенно актуальной.

-8В диссертации объектом исследования являются автоматизированные системы оперативной обработки транзакций (далее АСОИУ).

Автоматизированные системы оперативной обработки транзакций представляют собой многофункциональные системы со сложной технологией обработки информации. Ошибки в обрабатываемой информации могут возникать на любых этапах ее обработки. Источником ошибок является некорректная работа процедур формирования информационных элементов, которая обусловлена низким качеством работы операторов, сбоями в работе комплекса технических средств и программного обеспечения. Сложная технология обработки информации предполагает ситуацию, при которой искаженные информационные элементы, сформированные на одних этапах обработки информации, могут впоследствии использоваться в качестве входных данных на других этапах, обусловив искажения других информационных элементов. Таким образом ошибки могут распространяться в системе и в конечном счете приводить к искажению выходных данных, что часто является причиной соответствующих некорректных управляющих воздействий, связанных с нанесением непосредственного экономического ущерба объекту автоматизации. Повышение качества обработки информации в АСОИУ достигается за счет применения так называемых средств повышения достоверности (СПД), которые позволяют снизить до определенного уровня число ошибок в обрабатываемых информационных элементах, а следовательно уменьшить экономические убытки от недостоверности.

Для создания автоматизированных систем с экономически целесообразным уровнем обеспечения достоверности обработки информации необходимо сочетание и параллельное проведение проектирования и анализа достоверности обработки информации проектных решений АСОИУ. Поэтому в диссертации предметом исследования являются вопросы, связанные с анализом и обеспечением достоверности обработки информации на этапах проектирования АСОИУ.

Основные существующие методы оценки и обеспечения достоверности обработки информации в автоматизированных системах изложены в следующих базовых работах: [33, 64, 68, 70, 76, 77, 91].

В общем случае задача анализа достоверности заключается в определении соответствующих показателей достоверности обработки информации для проектного решения АСОИУ и должна осуществляться с учетом уровня детализации проводимого исследования.

В работах [68, 76, 77] проводится анализ различных показателей достоверности обработки информации в автоматизированных системах. Предлагаемые показатели могут быть разделены на технические [68, 77] и экономические [76] показатели достоверности обработки информации. Однако рассматриваемые в указанных работах показатели предполагают обобщенный учет всех ошибок, возникающих при обработке информационного элемента не зависимо от степени их тяжести, что не позволяет проводить анализ для различных уровней детализации проводимого исследования.

В этих же работах подробно рассматриваются различные модели и алгоритмы определения показателей достоверности. В частности в работе [68] приводится методика определения технических показателей достоверности обработки информации, учитывающая особенности технологии обработки информации в автоматизированной системе, однако представленная методика не учитывает влияния входных выборок на процессы формирования информационных элементов и не учитывает связи технических и экономических показателей достоверности. Методика оценки показателей достоверности, предложенная в [76], позволяет оценивать экономические показатели достоверности на основе данных о технических показателях, но при этом не учитывает особенностей технологии автоматизированной обработки информации в автоматизированной системе и предусматривает неоправданно большое использование экспертных оценок.

В работах [20, 99, 100, 109-111, 114-116, 117, 123-127] показатели достоверности и методы их оценки сводятся к показателям надежности и соответствующим методам для комплекса технических средств и программного обеспечения. В работах [18, 19] приводятся методики анализа достоверности для частных случаев фрагментов технологий обработки информации. И наконец, в работах [2, 9, 12, 19, 20, 26, 35, 40, 54, 65, 82, 95] приводятся практические примеры определения показателей достоверности обработки информации для реальных автоматизированных систем обработки информации и их частей.

Важной частью процесса анализа достоверности обработки информации в автоматизированных системах является получение исходных данных, касающихся технических и экономических показателей достоверности для различных операций обработки информации. Особенности современной технологии обработки информации отражены в работах [3, 21, 28, 31, 34, 41, 42, 44, 55, 72, 73, 78, 79, 87, 93]. Статистика ошибок, возникающих на различных этапах обработки информации, и методики ее получения приводятся в работах [68, 77]. В частности, в работе [77] собрана статистика ошибок для типовых операций ввода и обработки информации в автоматизированных системах. В работе [68] излагается методика сбора статистических данных о качестве обработки информации операторами автоматизированных систем. В работе [76] излагается методика проведения экспертных оценок для определения экономических последствий от недостоверности в обрабатываемых информационных элементах автоматизированных систем.

Задача повышения достоверности в АСОИУ заключается в развитии средств предотвращения искажений информации, оперативном контроле достоверности информационных элементов, обнаружении ошибок и их оперативном исправлении на различных этапах обработки информации в АСОИУ. Указанная задача решается за счет применения в АСОИУ средств повышения достоверности (СПД), которые подразделяются [76] на две группы:

1) Мероприятия по предотвращению ошибок (МПО).

2) Методы контроля и коррекции информации (МКК).

СПД позволяют предотвращать, выявлять и корректировать ошибки информационных элементов на различных этапах их обработки, обусловленные некорректной работой процедур или ошибками во входных данных. В общем случае, использование СПД на различных этапах обработки информации в АСОИУ позволяет снизить число ошибок в обрабатываемых информационных элементах.

Вопросы применения средств повышения достоверности широко обсуждаются в технической литературе [1, 4, 20, 26, 27, 29, 35, 53, 54, 62, 63, 68, 70, 74, 76, 77, 82, 90, 92, 98, 99, 100]. В частности, существует большое число работ посвященных каталогизации и классификации существующих средств повышения достоверности [68, 70, 76, 77], в которых приводятся классификации существующих СПД по количеству основных операций, по частоте контроля, по времени контроля, по виду оборудования контроля и по уровню автоматизации, по способу их реализации и по наличию избыточной обработки информации. Также в указанных работах рассматриваются особенности применения некоторых наиболее распространенных средств повышения достоверности обработки информации.

Методы оценки эксплуатационно-технических показателей функционирования средств повышения достоверности в составе автоматизированных систем, подробно рассматриваются в работах [68, 76, 77]. В частности в работе [68] рассматривается так называемая стандартная схема обработки информации, на основе которой выводятся соотношения, устанавливающие взаимосвязь между характеристиками методов контроля и коррекции информации и требуемыми временными и стоимостными ресурсами. Там же приводится методика решения задач о выделении необходимых временных и стоимостных ресурсов на обработку определенного объема единиц информации с учетом операций по их контролю и коррекции. Рассматриваются производные случаи стандартной схемы обработки: последовательная схема обработки, последовательная схема обработки с обратной связью, циклическая и последовательно-циклическая схема, сеть обработки данных. В работе [77] производится анализ основных показателей оценки качества и эффективности методов контроля. Там же излагаются практические подходы к определению параметров функционирования различных групп методов контроля и коррекции информации; собрана статистика о работе наиболее популярных СПД. В работе [76] в качестве технического показателя функционирования СПД вводится коэффициент редукции и приводится методика его практической оценки для отдельных МКК и их групп. Также осуществляется вывод соотношений для определения показателей методов контроля и коррекции информации, для случая если процедура контроля носит циклический характер. Важной частью рассматриваемой работы является разработка методов и соотношений необходимых при решении задач по определению временных и стоимостных затрат, связанных с эксплуатацией методов контроля в составе автоматизированных систем.

Анализ рассмотренных работ позволяет сделать вывод, что в настоящее время достаточно хорошо и подробно проработаны вопросы применения средств повышения достоверности обработки информации, а также методы оценки их эксплуатационно-технических характеристик. Накопленных знаний вполне достаточно для корректного применения СПД и их комплексов в АСОИУ, а также для оценки их технических и экономических параметров функционирования в составе автоматизированных систем оперативной обработки транзакций.

Различные постановки задачи выбора оптимального комплекса средств повышения достоверности обработки информации приводятся в работах [68, 76]. В частности в работе [76] искомый комплекс предлагается определять по критерию минимизации суммы средневзвешенных потерь от недостоверности обработки информации и средневзвешенных затрат на средства обеспечения достоверности, однако алгоритмов решения задачи не приводится. В работе [68] отмечается, что задача оптимизации состоит в выборе такой структуры обработки (т.е. определения узлов обработки, этапов контроля и исправления обнаруженных ошибок, выборе методов обнаружения и исправления ошибок), т/,ЛТЛ*ЮО г\^£»лттритП)Г?^т1 » иг» г ттг\ртг\т?апттЛЛТТ* л^по^отт тг>пл-»1т IV ттотттгт IV гтгчп ли1ирил ии^сПСи-ти^! ДиV1 иЬирпи11 и иираит в1ЬаыУ1Д1л ДаппЫл 11р*1

3 иДиИНЫХ ОГр ЗНИЧ6Щ1ЯХ 113. время и материальные затраты. Также указывается на возможность постановки обратной задачи - выбора оптимальной структуры обработки, минимизирующей время и материальные затраты при ограничении на достоверность обрабатываемых данных. В работе также рассматривается методика решения задачи оптимизации комплекса средств повышения достоверности по критерию минимизации числа необнаруженных ошибок при ограничениях на временные и стоимостные ресурсы для последовательной схемы обработки, последовательной схемы обработки с обратной связью, циклической и последовательно-циклической схем, сети обработки данных.

Обобщая вышеизложенное, можно сделать вывод, что совокупность известных методик анализа и обеспечения достоверности обработки информации в автоматизированных системах недостаточна для решения аналогичных задач в АСОИУ по следующим причинам:

- предлагаемые показатели достоверности и алгоритмы их оценки не позволяют осуществлять анализ достоверности с учетом различных требований к уровню детализации проводимого исследования,

- не существует алгоритмов комплексного анализа экономических и технических показателей достоверности обработки информации, в полной мере учитывающих особенности технологии обработки информации в АСОИУ,

- отсутствуют алгоритмы решения задачи выбора комплекса средств повышения достоверности обработки информации по критерию максимизации экономического эффекта от его применения.

В связи с этим целью диссертационной работы является разработка и исследование моделей и алгоритмов повышения достоверности обработки информации для проектных решений АСОИУ.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ существующих методов оценки и обеспечения достоверности обработки информации для автоматизированных систем.

2. Разработать модели и алгоритмы анализа показателей достоверности обработки информации проектных решений АСОИУ.

3. Разработать методы оценки экономического эффекта от применения средств повышения достоверности и их комплексов.

4. Разработать алгоритмы решения задачи выбора комплекса средств повышения достоверности по критерию максимизиции экономического эффекта от его применения.

5. Разработать пакет прикладных программ и инженерную методику его применения при решении задач повышения достоверности в проектных решениях АСОИУ.

Структура работы соответствует решению поставленных задач.

В первой главе проведен анализ основных особенностей АСОИУ оперативной обработки транзакций актуальных для настоящего исследования. По результатам проведенного анализа:

-15- предложена трехуровневая модель решения задачи выбора комплекса средств повышения достоверности обработки информации проектных решений АСОИУ;

- выведены требования к показателям достоверности и алгоритмам их оценки, используемым в проектных решениях АСОИУ.

Основываясь на результатах анализа особенностей систем оперативной обработки транзакций исследованы существующие методы оценки и обеспечения достоверности на предмет их применимости для достижения целей диссертационной работы. В частности, исследованы существующие:

- Технические и экономические показатели достоверности обработки информации в автоматизированных системах.

- Модели и алгоритмы оценки показателей достоверности обработки информации.

- Средства повышения достоверности (СПД) и методики оценки их эксплуатационно-технических показателей функционирования в составе автоматизированных систем. Приводятся существующие классификации СПД. Приводятся результаты анализа методов оценки технических и экономических показателей функционирования СПД в составе автоматизированных систем.

- Методы выбора комплекса средств повышения достоверности.

Сделаны выводы о применимости существующих методов оценки и обеспечения достоверности для достижения целей работы. Выведены требования к моделям и алгоритмам, подлежащим разработке в составе диссертации. Показано, что:

- Существующие технические показатели достоверности не могут напрямую использоваться в АСОИУ поскольку не обеспечивают возможности анализа с учетом различных требований к уровню детализации проведения исследования.

-16- Существующие модели формализованного описания технологии возникновения и распространения искажений не учитывают влияния входных выборок на показатели процессов формирования информационных элементов.

- Отсутствуют алгоритмы комплексной оценки базовых технических и экономических показателей достоверности проектных решений АСОИУ.

- Существующие методики оценки эксплуатационно-технических показателей функционирования СПД являются достаточными для оценки аналогичных показателей в АСОИУ. Однако, не разработаны экономические критерии применимоеги СПД на этапах автоматизированной обработки информации и алгоритмов их оценки.

- Не существует алгоритмов решения задачи выбора комплекса средств повышения достоверности обработки информации, максимизирующие экономический эффект от его применения.

Во второй главе предлагается технический показатель достоверности обработки информации, в качестве которого используется вероятность возникновения определенного класса искажении информационного элемента. Установлено, что предложенный показатель позволяет повысить точность оценки экономических последствий от недостоверности, а также проводить анализ достоверности обработки информации с учетом различных требований к уровню детализации проведения исследований.

Разработана модель формализованного описания технологии возникновения и распространения искажений в проектных решениях АСОИУ, получившая название схема потоков искажений. В предложенной схеме выделены два уровня представления информации:

- уровень обобщения потоков - определяет общую технологию возникновения и распространения искажений в системе и

-17- уровень детализации процессов - определяет характеристики отдельных элементов схемы потоков искажений.

Представлены описания основных элементов схемы потоков искажений и соответствующих им характеристик. Разработаны математические модели определения показателей достоверности для всех элементов схемы потоков искажений. Исслсдустся влияние предложенных моделей на точность определения технических и экономических показателей достоверности обработки информации.

Предложен алгоритм разработки схемы потоков искажений для проектных решений АСОИУ. В соответствии с предложенным алгоритмом разработка схемы осуществляется в два этапа:

- разработка схемы потоков искажений проектного решения АХОИУ на уровне обобщения потоков и

- разработка схемы потоков искажений проектного решения АСОИУ на уровне детализации процессов.

Разработан алгоритм комплексной оценки базовых технических и экономических показателей достоверности проектного решения. В соответствии с предложенным алгоритмом экономические показатели достоверности (в частности, показатель базовых средних экономических потерь от недостоверности в системе) рассчитываются с помощью предложенной математической модели на основе определенных технических показателей.

В третьей главе предложены экономические критерии применимости средств повышения достоверности на этапах автоматизированной обработки информации, в качестве которых выступают средние экономические потери от недостоверности, рассчитанные для этих этапов. Разработаны математические модели и алгоритм оценки средних экономических потерь от недостоверности для элементов схемы потоков искажений. Показано, что вычисленные в результате реализации алгоритма экономические показатели определяют размер негативного вклада этапов обработки информации в общие потери от недостоверности и позволяют:

- выявить наиболее критичные с точки зрения достоверности этапы обработки информации, а также

- оценить максимальный размер инвестиций в средства повышения достоверности применяемые на соответствующих этапах.

Ведено понятие множества альтернативных средств, которое формируется из средств повышения достоверности доступных для повышения качества обработки информации в рассматриваемом проектном решении. Предложена технология разработки множества альтернативных средств на основе справочной, статистической и методической информации, накопленной в литературных источниках

Дано определение комплекса средств повышения достоверности. Исследованы особенности совместной работы средств повышения достоверности в комплексе. Рассмотрен так называемый эффект наложения средств, соответствующий ситуации, когда одна и та же типовая ошибка предотвращается или корректируется одновременно несколькими средствами повышения достоверности из комплекса. Разработана формализация описания комплексов средств применительно к схеме потоков искажений.

Предложены альтернативные методы оценки экономического эффекта от применения средств и их комплексов - это так называемые метод перерасчета схемы потоков искажений (основан на процедуре полного перерасчета показателей достоверности схемы потоков искажений) и метод оценки показателей (основан на предложенной математической модели). Исследованы погрешность и временной эффект метода оценки показателей по отношению к методу перерасчета схемы потоков искажений для случаев применения отдельных средств повышения достоверности.

Формализована задача выбора комплекса средств повышения достоверности. Записано, что комплекс должен выбираться из множества альтернативных средств и обеспечивать максимизацию экономического эффекта применяемого комплекса. При этом должны учитываться ограничения по времени обработки информации на соответствующих этапах.

Предложен эвристический алгоритм последовательного ранжирования, предназначенный для решения задачи выбора комплекса средств повышения достоверности. В соответствии с этим алгоритмом искомый комплекс наращивается последовательно, причем на каждом шаге в комплекс добавляется одно средство, целевая функция для которого является максимальной. Исследована погрешность предложенного алгоритма по сравнению с методом полного перебора. Для этих целей разработаны: модель выбора комплекса СПД, а также пакет программ анализа погрешности алгоритма последовательного ранжирования. Сделан вывод, что погрешность алгоритма последовательного ранжирования является приемлемой при решении большинства задач рассматриваемого класса.

В четвертой главе разрабатывается пакет прикладных программ (111111), реализующий предложенные в диссертации модели и алгоритмы. 111111 работает в диалоговом режиме и представляет собой инструментальное средство проектировщика для анализа показателей достоверности и выбора комплекса СПД проектного решения АСОИУ. Приводится описание функциональной схемы и структурной схемы ППП, описания инфологической и даталогической моделей данных, примеры графического интерфейса пользователя.

Разработана инженерная методика решения задач повышения достоверности обработки информации в проектных решениях АСОИУ с использованием ППП. Даны рекомендации по использованию инженерной методики и lililí на этапах проектирования АСОИУ.

Выполнена практическая реализация инженерной методики на примере реального проектного решения АСОИУ. В частности решалась задача повышения достоверности информации, обрабатываемой в подсистемах учета материалов и готовой продукции производственного предприятия.

Исследованы основные показатели предложенных моделей и алгоритмов, применительно к результатам практической реализации инженерной методики.

В заключении представлены основные результаты работы.

Методы исследования. Результаты диссертационной работы получены на основе использования научных положений теоррш вероятностей, тории множеств, тории баз данных, математической статистики, математического анализа, исследования операций, формализации, программирования и др.

Научная новизна. В диссертационной работе получены новые научные результаты:

1. Предложен технический показатель достоверности обработки информации, основанный на группировке схожих по степени тяжести типовых ошибок информационных элементов.

2. Разработана и исследована модель формализованного описания технологии возникновения и распространения искажений в обрабатываемой информации проектных решений АСОИУ - схема потоков искажений.

3. Предложен алгоритм комплексной оценки технических и экономических показателей достоверности обработки информации проектного решения АСОИУ.

4. Выделены экономические критерии применимости средств повышения достоверности на этапах автоматизированной обработки информации -средние экономические потери от недостоверности для этапов обработки информации.

5. Приведен алгоритм определения средних экономических потерь от недостоверности для различных этапов обработки информации.

6. Разработаны альтернативные методы оценки экономического эффекта от применения средств повышения достоверности и их комплексов: метод перерасчета схемы потоков искажений и метод оценки показателей.

7. Предложен эвристический алгоритм решения задачи выбора комплекса средств повышения достоверности обработки информации проектного решения по критерию максимизации экономического эффекта от его применения.

8. Разработана инженерная методика решения задач выбора комплекса средств повышения достоверности обработки информации для проектных решений АСОИУ.

Достоверность полученных результатов подтверждается теоретическим обоснованием моделей и методов и результатами экспериментального исследования.

Практическая ценность. Применение результатов диссертационной работы позволяет проводить анализ достоверности обработки информации и решать задачи выбора комплекса средств повышения достоверности обработки информации для проектных решений АСОИУ.

Пакет прикладных программ, разработанный на основе полученных результатов диссертационной работы, позволяет решать указанные задачи для различных проектных решений АСОИУ с меньшими трудовыми и временными затратами, при этом повышается точность расчетов.

Полученные теоретические и практические результаты рекомендуются к внедрению в предприятиях и организациях, ведущих разработку автоматизированных систем оперативной обработки информации.

Внедрение: Результаты диссертационной работы внедрены в ПК ЗАО «Фирма ОСМОС» и в ЗАО «СЕДЕС».

Апробация работы. Содержание отдельных разделов и диссертации в целом было доложено:

- на заседаниях аттестационной комиссии при ежегодной аттестации аспирантов кафедры «Автоматизированные системы обработки информации и управления» МГТУ имени Н.Э. Баумана;

- на технических конференциях, семинарах и заседаниях кафедры «Автоматизированные системы обработки информации и управления» МГТУ имени Н.Э. Баумана.

Публикации. Материалы и результаты диссертации нашли отражение в 9 печатных работах.

Заключение диссертация на тему "Разработка и исследование моделей и алгоритмов повышения достоверности в системах оперативной обработки информации"

-187-Выводы.

1. Разработан пакет прикладных программ, предназначенный для решения задач повышения достоверности обработки информации в проектных решениях АСОИУ.

2. Разработана инженерная методика решения задач повышения достоверности обработки информации в проектных решениях АСОИУ с помощью разработанного пакета прикладных программ.

3. Решена задача повышения достоверности обработки информации в реальном проектном решении АСОИУ. Даны рекомендации по организации рационального комплекса средств повышения достоверности обработки информации.

-188

ЗАКЛЮЧЕНИЕ

1. Проведен анализ основных особенностей систем оперативной обработки транзакций как объекта проводимого исследования. По результатам анализа:

- предложена трехуровневая модель решения задачи выбора комплекса средств повышения достоверности обработки информации проектных решений АСОИУ.

- определены требования к показателям достоверности и алгоритмам их оценки для проектных решений АСОИУ.

2. Разработана и исследована модель формализованного описания технологии возникновения и распространения искажений в обрабатываемой информации проектных решений АСОИУ - схема потоков искажений. По результатам исследований установлено, что предложенная схема позволяет:

- учитывать влияние входных выборок на показатели достоверности процессов формирования информационных элементов;

- повысить точность оценки экономических потерь от недостоверной обработки информации и

- варьировать уровень детализации проводимого анализа достоверности без перестройки структуры схемы потоков искажений.

3. Разработан алгоритм определения показателей достоверности обработки информации проектных решений АСОИУ на основе схемы потоков искажений. Алгоритм позволяет осуществлять комплексную оценку технических и экономических показателей достоверности обработки информации.

4. Предложено в качестве экономических критериев применимости средств повышения достоверности на этапах автоматизированной обработки информации использовать средние экономические потери от недостоверности, рассчитанные для этих этапов. Разработаны соответствующие математические модели и алгоритм определения средних экономических потерь от недостоверности для этапов обработки информации проектного решения АСОИУ. Установлено, что вычисляемые в результате реализации алгоритма экономические показатели позволяют выявлять наиболее критичные с точки зрения достоверности этапы обработки информации и ограничить размер инвестиций в средства повышения достоверности, применяемые на этих этапах.

5. Разработана технология формирования множества альтернативных средств повышения достоверности и определения эксплуатационно-технических показателей функционирования его элементов в составе проектного решения АСОИУ. Предложена формализация описания средств повышения достоверности обработки информации и их комплексов применительно к схеме потоков искажений проектного решения АСОИУ.

6. Предложены альтернативные методы оценки экономического эффекта от применения средств повышения и их комплексов: метод перерасчета схемы потоков искажений и метод оценки показателей. Исследования показали, что метод оценки показателей может активно использоваться для снижения временных и вычислительных затрат в процессе решения задачи формирования множества альтернативных средств повышения достоверности и на стадии технического проектирования при решении задачи выбора комплекса средств повышения достоверности.

-1907. Разработан и исследован эвристический алгоритм последовательного ранжирования, предназначенный для решения задачи выбора комплекса средств повышения достоверности обработки информации для проектных решений АСОИУ по критерию максимизации экономического эффекта от его применения. Вычислительная сложность алгоритма пропорциональна квадрату числа элементов множества альтернативных средств повышения достоверности. Погрешность алгоритма является приемлемой при решении большинства задач рассматриваемого класса.

8. Предложенные в диссертации модели и алгоритмы реализованы в форме пакета прикладных программ. Разработана инженерная методика применения пакета прикладных программ для решения задач повышения достоверности обработки информации в проектных решениях АСОИУ.

9. Практическое применение и результаты внедрения предложенных в диссертации моделей и алгоритмов показали эффективность разработанной инженерной методики.

Библиография Липкин, Дмитрий Игоревич, диссертация по теме Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

1. Абдурахманов Ж.К. О геометрической структуре кодов, исправляющих ошибки: Автореферат диссертации на соискание ученой степени канд.физ.-мат.наук: 01.01.09-Ташкент, 1991.-11 с.

2. Абишала B.C., Тарасявичус А.П. Обеспечение достоверности информации в условиях функционирования распределенного банка данных // Моделирование экономических систем: Сб.ст. Вильнюс, 1984.- С. 96-107

3. Автоматизация и компьютеризация информационной техники и технологии: Сб. ст. / Под ред. О.Н. Новоселов М., 1995. -184 с.

4. Алексеев В.М., Кузнецов Ю.А. Контроль процессов и средств передачи и обработки информации на основе помехозащитных кодов: Учеб. пособие.- Пенза, 1993. -67 с.

5. Алехин С.И. On reducing systematic errors in some statistical analysis -Protvino, 1995. 4 p.

6. Алехин С.И. Systematic errors of and point-to-point correlations of deep inelastic scattering data Protvino, 1995. -5 p.

7. Анализ и синтез систем контроля и защиты данных с использованием сетей Петри / В.В. Кульба, А.Е. Волков, А.А. Климов и др. Тольяти, 1998-239 с.

8. Архангельский А.В. Канторовская теория множеств М.: МГУ, 1988. -112 с.

9. Бегунов А.А. Система обеспечения эффективности и качества аналитической измерительной информации в условиях пищевой промышленности: Автореферат диссертации на соискание ученой степени д-ра техн. наук: 05.11.13, 05.11.15. СПБ, 1998.-51 с.

10. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем "КОК": Руководство системного аналитика М.: Синтег, 2000. - 113 с.

11. Бейбер P.JI. Программное обеспечение без ошибок: Приемы и секреты создания правильных программ М.: Радио и связь, 1996. - 173 с.

12. Белоконь Р.Н. Разработка методов оценки и обеспечения достоверности контроля технического состояния авиационного РЭО: Автореферат диссертации на соискание ученой степени д-ра техн.наук:05.22.14. Киев, 1991.-38 с.

13. Белоусов С.Г., Горбатов B.C., Малюк A.A. Достоверность фрагментов интегрированной базы данных. М., 1988. - 20 с. (Препринт МИФИ, 091-88)

14. Бобровски С. Oracle 7 и вычисления клиент/сервер. М.: ЛОРИ, 1995. -652 с.

15. Богатин Ю.В., Швандар В.А. Оценка эффективности бизнеса и инвестиций М., 1999. - 254 с.

16. Брудник С.С. Оценка экономической эффективности автоматизированной системы управления предприятием М.: Экономика, 1972г. - 52 с.

17. Вентцель Е.С. Теория вероятностей М.: ВШ, 1988. - 576 с.

18. Вертлиб В.А., Вейцман В.М. Анализ достоверности многофазного процесса обработки информации с повторениями и коррекцией

19. Достоверность и эффективность информационных процессов Кишинев: Штиинца, 1977. - С. 47-65

20. Возняк Г.В., Карповский Е.Я., Титов В.Г. Влияние достоверности информации на величину запасов в системах управления запасами

21. Достоверность и эффективность информационных процессов Кишинев: Штиинца, 1977.-С. 3-8

22. Волошина В.Н., Синявский Е.П. Обеспечение достоверности информации при хранении в АСУ Владивосток, 1989. - 23 с.

23. Вуколов М.В. Компьютерные технологии сбора, обработки и передачи информации: Ч. 1. Москва, 2000. -79с.

24. Голинкевич Т.А. Прикладная теория надежности: Уч. для вузов по спец. "Автоматизированные системы управления" М.: ВШ, 1985. - 168 с.

25. Грушин В.В. Выполнение математических операций в ЭВМ: Погрешности компьютерной арифметики СПб, 1999. -55 с.

26. Дейт К.Д. Введение в системы баз данных. Киев: Диалектика, 1998. -784с.

27. Диллон Б., Сингх Ч. Инженерные методы обеспечения надежности систем М.: Мир, 1984. - 318 с.

28. Дмитриев Н.И., :Жуланова А.В. Методы повышения достоверности обработки информации в АСУ подшипникового завода М., 1975. - 70 с.

29. Дмитриев Н.И., Пескова Н.С. Исследование эффективности некоторых методов контроля информации в АСУ // Механизация и автоматизация производства. Пермь, 1978, - №9. С. 49-52.

30. Дубинин В.Н., Зинкин С.А. Спецификация и верификация процессов обмена информацией в вычислительных системах и сетях: Учеб. пособие. -Пенза, 1992.-95 с.

31. Егоров С.И. Аппаратные средства и алгоритмы защиты от ошибок внешней памяти и телевизионного канала ПЭВМ: Автореферат диссертации на соискание ученой степени канд. техн. наук: 05.13.05. -Курск, 1995.-20 с.

32. Егошина Т.В. Математическое и программное обеспечение формирования технологических процессов обработки данных в информационных системах: Автореферат диссертации на соискание ученой степени канд. физ.-мат. наук: 05.13.11. Протвино, 1998. - 15 с.

33. Егошина Т.В. Формирование знаний о технологии обработки данных в информационных системах Протвино, 1998. - 9 с.

34. Загрутдинов Г.М., Прищепа В.А. Точность измерений и достоверность контроля Казань, 1994. -318 с.

35. Зингер И.С., Куцык Б.С. Обеспечение достоверности данных в автоматизированных системах управления производством М., 1974. -136 с.

36. Иванов А.П., Абрамов С.Б. Регистрация и сбор первичной информации в АСУП М.: Энергия, 1978. - 88 с.

37. Илюхин М.В. Методы и средства повышения эффективности и достоверности функционирования систем ТУ-ТС: Автореферат диссертации на соискание ученой степени канд.техн.наук:05.22.08. -СПб., 1996. 19 с.

38. Илющенко В.И. Lathology the reversible deterministic theory of errors -Dubna, 1995. - 11 c.

39. Исследование операций. В 2-х томах. / Р. Браун, Р. Мэзон, Э. Фламгольц и др.; Под ред. Дж. Моудера, С. Элмаграби. М.: Мир, 1981. - 677с.

40. Калинина В.Н., Панкин В.Ф. Математическая статистика М.: ВШ, 1998. -236 с.

41. Калянов Г.Н. CASE структурный системный анализ. М.: ЛОРИ, 1996г. -246 с.

42. Карповский Е.Я., Титов В.Г. Повышение достоверности информации в системах управления запасами // Достоверность и эффективность информационных процессов Кишинев: Штиинца, 1977. - С. 9-14

43. Компьютерные технологии сбора, обработки и передачи информации: Ч. 2 / Д.С. Алексанов, М.В. Вуколов, Ю.Р. Стратонович и др. М., 2000. -43с.

44. Компьютерные технологии обработки информации / C.B. Назаров, В.И. Першиков, В.М. Савинков и др. М.: Финансы и статистика, 1995. - 248 с.

45. Корнеев Д.Г. Исследование и анализ качества языкового интерфейса систем обработки экономической информации: Автореферат диссертации на соискание ученой степени канд.экон.наук:08.00.13. М., 1993. - 23 с.

46. Коротков A.M. Информатика и информационные технологии. Ч. 1 -М., 1999. -141с.

47. Костогрызов А.И., Петухов A.B., Щербина A.M. Основы оценки, обеспечения и повышения качества выходной информации в АСУ организационного типа М., 1994. -278 с.

48. Костогрызов А.И., Липаев В.В. Сертификация функционирования автоматизированных информационных систем М., 1996. -280 с.

49. Котик М.А., Емельянов A.M. Природа ошибок человека-оператора на примерах управления транспортными средствами М.: Трансп., 1993. -252 с.

50. Кузовлев В.И., Липкин Д.И. Формализованное описание процессов возникновения и распространения искажений в АСОИУ с помощью схемы потоков искажений М., 2001. Деп. в ВИНИТИ, № 1093-В2001 -22с.:

51. Кузовлев В.И., Липкин Д.И. Определение базовых показателей достоверности обработки информации проектных решений АСОИУ М., 2001. Деп. в ВИНИТИ, № 1094-В2001 - 12 с.

52. Кузовлев В.И., Шкатов П.Н. Математические методы анализа производительности и надежности САПР // Разработка САПР М.: ВШ, 1990. -144 с.

53. Курс экономики: Учебник. / Под ред. Райзберга. М.: ИНФРА-М, 2000. -716 с.

54. Кутовой В.И. Разработка и внедрение алгоритмических и технических средств повышения достоверности информационного обеспечения АСУТП Киев, 1986. - 132 с.

55. Ларин В.Д. Обеспечение достоверности кодов при обработке экономической информации в автоматизированных системах управления -М„ 1975. 59 с.

56. Левин М.Г., Шаблова Г.Л. Компьютерные технологии обработки экономической информации: Учеб. пособие Кострома, 1999. -63 с.

57. Липкин Д.И., Кузовлев В.И. Определение убытков от недостоверности информации в АСОИУ // Проблемы построения и эксплуатации систем обработки информации и управления: Сб. ст. / Под ред В.М. Черненького -М., 2000.-С. 124-131

58. Липкин Д.И., Кузовлев В.И. Обеспечение достоверности информации в системах электронной коммерции // Проблемы построения и эксплуатации систем обработки информации и управления: Сб. ст. / Под ред В.М. Черненького М., 2000. - С. 131-137

59. Липкин Д.И. Оценка экономических потерь от недостоверной обработки информации в различных элементах схемы потоков искажений проектных решений АСОИУ М., 2001. Деп. в ВИНИТИ, № 1095-В2001. - 12 с.

60. Липкин Д.И. Определение показателей достоверности обработки информации проектного решения АСОИУ с учетом применяемых методов обеспечения достоверности М., 2001. Деп. в ВИНИТИ, № 1096-В2001. -10 с.

61. Липкин Д.И. Определение рационального комплекса методов обеспечения достоверности обработки информации для проектных решений АСОИУ М., 2001. Деп. в ВИНИТИ, № 1097-В2001 - 10 с.

62. Литвинов В.А. Методы контроля информации в АСУ Киев, 1980. - 26 с.

63. Литвинов В.А. Контроль информации в АСУ на основе естественной избыточности Киев, 1981. - 24 с.

64. Литвинов В. А., Крамаренко В.В. Контроль достоверности и восстановление информации в человеко-машинных системах Киев: Техника, 1986.-200 с.

65. Лотова О.В., Сидорова Г.А. О достоверности расчетов в комплексе "Зарплата" // Сборник научных трудов под редакцией И.М. Бобко -Новосибирск, 1990.-С. 147-152

66. Лукова О.Н. Анализ качества стохастической цифровой передачи речевой информации (методика и ее использование при разработке информационных систем): Автореферат диссертации на соискание ученой степени канд. техн. наук: 05.13.17. М., 1994. - 26 с.

67. Майерс Г. Надежность программного обеспечения М.: Мир, 1980. - 360 с.

68. Мамиконов А.Г., Кульба В.В., Шелков А.Б. Достоверность, защита и резервирование информации в АСУ М.: Энергоатомиздат, 1986. - 304 с.

69. Марка Д., Макгоуэн К. Методология структурного анализа и проектирования М., 1993. - 240 с.

70. Мельников Ю.Н. Достоверность информации в сложных системах М.: Советское радио, 1973. - 192 с.

71. Мельников Ю.Н. Учебное пособие по курсу "Основы построения АСУ": Разд. обеспечения достоверности информации М.: МЭИ, 1978 - 56 с.

72. Методы и средства обработки информации Хабаровск: Гос. Техн. Ун-т,1998.-Вып. 1. 120 с.

73. Методы и средства обработки информации Хабаровск: Гос. Техн. Ун-т,1999.-Вып. 7.91 с.

74. Морей А. Исследование и разработка методов оценки достоверности передачи информации в цифровых многоканальных когерентных ВОСП: Автореферат диссертации на соискание ученой степени к.т.н. М., 1991. -24 с.

75. Мясников В.А., Мельников Ю. Н. Достоверность информации в системах телеобработки: Учеб. пособие по курсу "Основы построения систем телеобработки данных" М.: МЭИ, 1986 - 60 с.

76. Николаев Ф.А., Фомин В.И., Хохлов JI.M. Проблемы повышения достоверности в информационных системах Л.: Энергоиздат, 1982. -142 с.

77. Пивоваров А.Н. Методы обеспечения достоверности информации в АСУ: обзор методов и фактические данные М. Радио и связь, 1982. - 144 с.

78. Проблемы создания автоматизированных систем и современных технологий обработки информации: Сб. Науч. тр. / Под ред. С.Б. Байзаков Алма-Ата, 1992. -154 с.

79. Процессы автоматизированной обработки информации: состояние, перспективы, новые технологии: Сб. науч. тр. / Под ред. Е.И. Велесько, В. А. Павлечко Минск, 1990. - 111 с.

80. Раховецкий А.Н. О достоверности информации в АСУ // Организация и управление морским транспортом. М., 1976, - № 3(4). С. 3-16

81. Рудельсон Л.Е. Об управлении достижимостью и достоверностью данных в системах информационного обеспечения // Известия Академии наук. Техническая кибернетика. -М.: 1996. №5. С. 124-131

82. Савельев Б.А. Повышение качества хранения информации на оптических ЗУ: Автореферат диссертации на соискание ученой степени д-ра техн. наук: 05.13.05. Пенза, 1997. - 37 с.

83. Синавина B.C. Комплексная проблема повышения качества информационных процессов в экономике: Диссертация на соискание ученой степени д-ра экон.наук в виде науч.докл. М., 1997. - 82 с.

84. Сиротюк В.О. Методы повышения достоверности структур баз данных ¡J V Международная конференция "Проблемы управления безопасностьюсложных систем". Тезисы докладов. М., ИЛУ РАН, 1998. - С. 92-93

85. Скопинцев Д.А. Совершенствование информационных параметров качества управления промышленной организации: Автореферат диссертации на соискание ученой степени канд. экон. наук: 08.00.05. -Оренбург, 1999. 19 с.

86. Современные технологии в задачах управления и обработки информации: Сб. трудов международного научно-технического семинара Алушта: МАИ, 1996. -165 с.

87. Современные технологии обработки данных с применением ПЭВМ (опыт и проблемы): Сб. научн. тр. / Под ред. Н.В. Синилова-М., 1990. -88 с.

88. Старик Д.Э. Как рассчитать эффективность инвестиций М., 1996. - 96 с.

89. Сухов А. Н. Контроль и обеспечение достоверности информации в АСУ -М.: Знание, 1977. 64 с.

90. Тарасов С. А. Устройства совместной коррекции независимых и модульных ошибок хранения информации: Автореферат диссертации на соискание ученой степени канд.техн.наук:05.12.17. Минск, 1993. - 16с.

91. Теория и практика современных технологий обработки данных: Учеб. пособие для спец. 010200 "Приклад, математика и информатика" / Э.А. Бабкин, M.JI. Зубов, О.Р. Козырев и др. Нижний Новгород, 1999. - 157 с.

92. Тер-киркоров A.M., Шабунин М.И. Курс математического анализа М.: МФТИ, 1997. - 720 с.

93. Тувальбаев Б.Г. Разработка и внедрение проектно-конструкторских решений повышенной достоверности и эффективности оборудования и схем тепловой части ТЭС: Автореферат диссертации на соискание ученой степени д-ра техн.наук:05.14.14. -М., 1993. -39с.

94. Учет качества информации в экономическом планировании: Текст лекции. / A.A. Баженов, Н.В. Муравьева, Е.А. Тарасова и др. Владимир, 1999. -11с.

95. Хованов Н.В. Анализ и синтез показателей при информационном дефиците СПб., 1996. - 196с.

96. Чачко С.А. Предотвращение ошибок операторов на АЭС. М.: Энергоатомиздат, 1992. -256 с.

97. Щербаков Н.С. Достоверность работы цифровых устройств. М.: Машиностроение, 1986. -150 с.

98. Щербаков Н.С. Надежность и достоверность работы цифровых устройств и ЭВМ. Ч. 1. М., 1994. -70 с.

99. An experimental evaluation of software redundancy as a strategy for improving reliability / Eckhardt D.E., Caglayan A.K., Knight J.C. et al. // IEEE Trans. Software Software Reliability Measurement Prediction. Los Alamitos, 1991. - № 7. P. 692-702

100. Arazi B. A commonsense approach to the theory of error correcting codes -London: MIT press, 1988. -X. 208 p.

101. Dinesh T., Tip F. A slicing-based approach for locating type errors -Amsterdam, 1998. 24 p.

102. Dugan A.D., Trivedi K.S. Coverage Modeling for Dependability Analysis of Fault-Tolerant Systems // IEEE Transactions on Computers. Los Alamitos, 1989. - №. 6. P. 775-787

103. Eltefaat H.S., Kam S.T. Ada95 Object-Oriented and Real-Time Support for Development of Software Fault Tolerance Reusable Components Beverly Hills, 1996.-8 p.

104. Engineering Oriented Dependability Evaluation: MEADEP and Its Applications / D. Tang, M. Hecht, J. Agron et al. // 1997 Pacific Rim International Symposium on Fault-Tolerant Systems. Taipei, 1997. - P. 15-16

105. Error control and adaptivity in scientific computing: Proc. of the NATO advanced study inst. on error control and adaptivity. / Ed. H. Bulgak, C. Zenger. Antalya, 1999. - XVI. 354 p.

106. Geist R., Trivedi K. Reliability Estimation of Fault-Tolerant Systems (Tools and Techniques) // IEEE Computer. Los Alamitos, 1990. - P. 52- 61.

107. Herbert H. A Proposal for Standardized Software Dependability Data -Montreal, 1995. 9 p.

108. Hecht H., Hecht M. Dependability Assessment for Decentralized Systems, Second International Symposium on Autonomous Decentralized Systems -Beverly Hills, 1995. 6 p.

109. Herbert H., Dolores W. Error Classification and Analysis for High Integrity Software Beverly Hills, 1996. - 10 p.

110. Iyer R., Tang D. Experimental Analysis of Computer System Dependability -Prentice- Hall, 1995. 12 p.

111. Johnson W.L. Intention-based diagnosis of novice programming errors -London: Pitman, 1986. 333 p.

112. Laprie J.C. Trustable evaluation of computer system dependabilityjj Mathematical computer performance and reliability. Netherlands, 1984. - P. 341-360

113. Laprie J.C. Dependable Computing and Fault Tolerance: Concepts andA

114. Terminology // Proceedings of the 15 International Symposium on Fault -Tolerant Computing Netherlands, 1985. - P. 2-11

115. Laprie J.C. Dependability (Basic Concepts and Terminology) Springer Verlag, 1992-9 p.

116. Lee I., Iyer R. Software Dependability in the Tandem GUARDIAN System Jj IEEE Transactions on Software Engineering. Los Alamitos, 1995. - № 5. P.455.467

117. MEADEP and Its Applications in Evaluating Dependability for Air Traffic Control Systems / D. Tang, M. Hecht, J. Handal et al. Anaheim, 1998. - 8 p.

118. O'Neill T.J. The bias of estimating equations with application to the error rate of logistic discrimination Canberra, 1993. - 32 p.

119. Piestrak S.J. Design of self-testing checkers for unidirectional error detecting codes Wroclaw, 1995. - 111 p.

120. Saad Y. Theoretical error bounds and general analysis of a few Lanczos-type algorithms. Minneapolis, 1994. -12 p.

121. Tang D, Iyer R., MEASURE+ A Measurement-Based Dependability Analysis Package // Proceedings of the ACM SIGMETRICS Conference on Measurement and Modeling of Computer Systems. - Santa Clara, 1993. - P. 110-121

122. Tang D., Hecht M. Evaluation of Software Dependability Based on Stability Test Data // Proceedings of the 25th International Symposium on Fault-Tolerant Computing. Pasadena, 1995. - P. 434-443

123. Tang D., Hecht M., Hecht H, A Methodology and Tool for Measurement-Based Dependability Evaluation of Digital I&C Systems in Critical Applications San Francisco, 1995. - 7 p.

124. Tang D., Hecht M. Evaluation of Software Dependability Based on Stability Test Data // Proc. 25th Int. Symp. Fault-Tolerant Computing Pasadena, 1995. p. 434-443

125. Tang D., Hecht M., Hecht H. A Methodology and Tool for Measurement-Based Dependability Evaluation of Digital Systems in Critical Applications -Beverly Hills, 1996. 7 p.

126. Vanstone S.A., Van'Oorschot P.C. An introduction to error correcting codes with applications Boston: Kluwer, 1989. - XV. 289 p.