автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Методы и модели комбинирования экспертных оценок характеристик надёжности

На правах рукописи

Чернобай Мария Львовна

МЕТОДЫ И МОДЕЛИ КОМБИНИРОВАНИЯ ЭКСПЕРТНЫХ ОЦЕНОК ХАРАКТЕРИСТИК НАДЁЖНОСТИ

Специальность 05.13.18 - математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание учёной степени кандидата технических наук

Санкт-Петербург - 2004

Работа выполнена в Санкт-Петербургской государственной лесотехнической академии

Научный руководитель - доктор технических наук, доцент

Уткин Лев Владимирович

Официальные оппоненты: доктор технических наук, профессор

Холодное Владислав Алексеевич,

кандидат технических наук, доцент Шеховцов Олег Иванович

Ведущая организация - Санкт-Петербургский политехнический университет

диссертационного совета Д 212.230.03 при Государственном образовательном учреждении высшего профессионального образования Санкт-Петербургском государственном технологическом институте (техническом университете) по адресу: 190013, Санкт-Петербург, Московский пр., 26 (ауд.61).

С диссертацией можно ознакомиться в библиотеке института.

Отзывы на автореферат, заверенные печатью, просим направлять по адресу: 190013, Санкт-Петербург, Московский пр., 26, СПбГТИ(ТУ), Учёный Совет.

Защита диссертации состоится 27 апреля 2004 г. в

часов на заседании

Автореферат разослан

2004 года.

Учёный секретарь

диссертационного совета,

к.т.н., доцент

В. И. Халимон

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Экспертные оценки используются для получения оценок самых различных физических величин во многих практических задачах. Чаще всего используются экспертные оценки квантилей - 5%-ных, 50%-ных и 95%-ных. В настоящее время отсутствуют строгие с математической точки зрения модели комбинирования неполной информации, учитывающей степени доверия к источникам её получения. Комбинирование экспертных оценок до сих пор производилось путём введения дополнительных предположений о законах распределения исследуемой характеристики системы. Это может привнести дополнительную ошибку в окончательную оценку характеристики, если предполагаемое распределение не совпадает с реальным. Поэтому построение модели комбинирования экспертных оценок с уровнями доверия, которая не требовала бы введения дополнительных предположений о законах распределения исследуемой величины, актуально не только для задач комбинирования оценок надёжности, но и для задач комбинирования оценок различных других величин, для которых возможно применение экспертных оценок. Экспертные оценки здесь понимаются в широком смысле - это также могут быть результаты статистической обработки данных объективных измерений с соответствующими значениями доверительной вероятности.

На этапе построения сложной высоконадёжной технической системы исходная информация о надёжности её элементов часто представляет собой именно экспертные оценки. На данный момент отсутствуют строгие с математической точки зрения модели комбинирования экспертных оценок не самих случайных величин, а их характеристик (среднего времени до отказа, моментов времени до отказа, вероятности отказа в заданных интервалах времени) при наличии доверительных вероятностей этих оценок и отсутствии каких бы то ни было предположений о законах распределения случайного времени до отказа.

Решению этих проблем посвящена диссертация, что и определяет её актуальность.

Цель работы. Целью диссертационной работы является разработка универсальной модели комбинирования экспертных оценок с учётом степени доверия к ним для оценки новых характеристик надёжности без дополнительных предположений о законах р а с п ] случ за, времени восстановления и т.д.).

ИОЦИОИЛ^ЦНМвЫ о отка-библиотекл I

О»

Для достижения поставленной цели были решены следующие задачи:

- разработка строгой математической модели комбинирования экспертных оценок надёжности систем при полном или частичном отсутствии информации о законах распределения отказов составных элементов на базе теории интервальных средних с учётом уровней доверия исходным оценкам;

- разработка методов и алгоритмов расчёта комбинированных оценок надёжности для различных типов экспертных оценок;

- разработка комплекса программных средств для расчётов с использованием предложенных моделей комбинирования оценок надёжности.

Методы и средства исследований. В работе использовались методы теории интервальных средних и интервальных статистических моделей, методы оптимизации, методы математического анализа и методы теории вероятностей.

Научная новизна работы заключается в следующем:

1. Предложена и исследована модель комбинирования экспертных оценок характеристики надежности при наличии доверительных вероятностей этих оценок, которая отличается от существующих моделей инвариантностью по отношению к типам исходных оценок. Новым является строгое математическое обоснование того, когда можно применять некоторые известные эвристические методы комбинирования таких оценок.

2. Предложена и исследована модель комбинирования экспертных оценок разнородных характеристик, которая отличается от существующих моделей отсутствием каких-либо предположений о законах распределения случайной величины, и возможностью учёта степени достоверности оценок.

3. Предложена и исследована модель комбинирования экспертных оценок разнородных характеристик надёжности элементов, входящих в систему, которая, в отличие от использующихся моделей, не требует введения дополнительной информации о законах распределения случайной величины, о независимости элементов системы, а также позволяет получать оценки надёжности для большого класса систем и учитывать степени доверия исходным оценкам.

4. Для расчёта предложенных моделей разработаны алгоритмы, которые включают оригинальную методику декомпозиции задачи нелинейной бесконечномерной оптимизации к решению конечного числа задач линейной оптимизации, и программные средства, реализующие эти алгоритмы.

Практическая ценность результатов работы заключаются в том, что разработанные модели позволяют унифицировать расчёты, связанные с обработкой экспертной информации для анализа надёжности систем. Строгое математическое обоснование делает предлагаемые модели универсальными по отношению к различным системам и исходным данным. Основной практический выход диссертационной работы заключается в полученных теоретических результатах и разработке на их основе инструментария для заказчиков и инженеров служб надёжности предприятий.

Реализация работы. Результаты работы были использованы в ЗАО «Тех-транс» (г. Санкт-Петербург) для предварительной оценки надёжности основной структуры микропроцессорной системы диспетчерской централизации «Тракт».

Апробация работы. Основные результаты работы докладывались на международной конференции по мягким вычислениям SCM'2001 25-27 июня Санкт-Петербург, межвузовской научно-практической конференции «Современные математические методы и новые информационные технологии при решении навигационных и военно-прикладных задач» 23-24 ноября 2000г. СПб ВМИ и конференциях профессорско-преподавательского состава СПб ЛТА.

Публикации. По материалам диссертационной работы опубликовано 2 работы, в том числе в 1 статья и тезисы 1 доклада на международной конференции по мягким вычислениям и измерениям SCM'2001.

Структура и объём диссертации. Работа состоит из введения, четырёх глав, выводов, библиографии, включающей 44 наименования, приложения, содержащего акт об использовании результатов диссертационной работы. Основное содержание работы состоит из 122 страниц, 12 таблиц, 13 рисунков.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность решаемой проблемы, сформулированы цель работы, основные задачи и методы исследования; показана научная новизна и практическая значимость проблемы.

В первой главе проведён анализ существующих моделей комбинирования экспертных оценок в условиях отсутствия доверительных вероятностей для этих оценок, а также рассмотрены вопросы неполноты исходной информации при анализе надёжности различных систем и различия типов исходных экс-

пертных оценок, которые требуется комбинировать для оценки надёжности. Также выделены преимущества, которые даёт использование теории интервальных статистических моделей для комбинирования экспертных оценок любых типов.

О надёжности элементов системы имеется полная информация, если известны точные законы распределения времени безотказной работы элементов и их параметры, а также имеется информация о независимости элементов. Если нарушается одно из условий, то считаем, что информация о надёжности элементов неполная.

Условие независимости на практике редко соблюдается, поэтому во многих реальных системах при оценке надёжности приходится учитывать зависимость элементов, которая возникает из-за того, что элементы системы подвержены одним и тем же внешним нагрузкам и т.д. Задача усложняется, если вообще нет сведений о том, зависимы ли элементы системы или нет, а также неизвестна степень зависимости.

Условие наличия точных законов распределения времён до отказа элементов на практике также часто нарушается. Классическая вероятностная модель, использующая предположение о каком-либо законе распределения, должна применяться для математического описания надёжности системы, только если вся имеющаяся информация о функционировании системы основана на статистическом анализе. Однако вероятность не всегда может быть точно определена вследствие неточных измерений или недостаточности информации. Даже если имеется большой объём статистических данных, они могут быть неустойчивыми и давать неточные средние.

Математический аппарат, используемый в данной модели, позволяет анализировать в качестве исходных данных произвольные типы неопределённостей, имеющие самые различные источники. С этой точки зрения теория интервальных средних является перспективным средством для анализа сложных технических систем.

Теория интервальных средних даёт универсальный способ описания, как имеющихся знаний, так и их отсутствия. Интервально-статистическая модель функционирования элемента или системы позволяет унифицировать представление самой различной исходной информации. Точные вероятности и средние' - это всегда идеальный случай. Реальный подход - считать их интервальными.

Аппарат теории интервальных статистических моделей создаёт естественную иерархию интервальных моделей от простых к сложным. Любые сведения, какой бы размытый вид они ни обретали, формируют работающую модель. По мере накопления сведений модель совершенствуется, усложняется. Наконец, если имеются точные вероятности событий, то получается вероятностная модель.

В работе введена система обозначений, принятая в интервально-статистическом анализе. Произвольную числовую функцию fPQ называют признаком случайного явления, если Хе£, где Q - пространство элементарных исходов. Например, признаком является время до отказа, тогда ДХ)=Х, или любая его степень, тогдаДХ)=Х'1, а также отказ в интервале времени [а, Ь], в этом случае /(х) = /[а>г,](Х). Для признака можно определить его точное среднее M(f) по

известной формуле: Л/(/)= , где р(х) - плотность распределе-

ния вероятностей случайной переменной. Для введенных выше признаков средними являются соответственно среднее время до отказа, любые моменты времени до отказа и, наконец, вероятность отказа в интервале времени [а, Ь]. Интервальным средним признака называется отрезок [M(f),M(fj\, что соответствует случаю, когда неизвестна точная функция распределения F(x), а можно лишь говорить о её границах для всех значений

тогда и точное среднее тоже находится в некоторых пределах M(f)$M(f)ZM(f).

Пусть информация, полученная от экспертов или в результате статистического анализа, представляется как множество интервальных средних M(<ptj(Xty) И Л/(^(Х,)) первичных (исходных) признаков ф/ХД j=l,...,т,,

i=l,...,n, где т, - количество оценок для z-ой случайной величины. Обозначим - вектор случайных величин - вектор

значений случайных величин. - непрерывная случайная величина, то

согласно принципу продолжения (или теореме о продолжении средних) для нахождения верхнего и нижнего средних некоторого нового признака необходимо решить следующую задачу оптимизации

M(g) = sup ¡Rn g{X)p(X)dX, M(g) = inf \Rl g{X)p{X)dX

при ограничениях на р

Р(Л0*0,1япр{Х)сК=1, (ру{х1)р{х)ах<м{(р>]{х1)),

То есть оптимизация выполняется по множеству плотностей, для которых верны исходные интервальные оценки. Если непрерывную случайную величину X представить в дискретном виде, что естественно для численного решения задачи оптимизации, то очевидно, что задача оптимизации является линейной по своей переменной оптимизации р(Х). Для этой линейной задачи оптимизации можно записать двойственную. Двойственная задача имеет вид:

- для верхнего среднего нового признака

=+ (X,)) - апьш>ц (х,)))|

при ограничениях на коэффициенты с, с,ь

с + в(Х),\/Х >0, сл,(1р е Д+,се Л,

- и для нижнего среднего

^ +1(X,))-Л7(^'(Х,.)))|

при ограничениях

Из проведённого анализа традиционных моделей обработки экспертных оценок надёжности вытекает, что в большинстве своём они являются эвристическими, то есть опираются на какой-либо практический опыт, причём выбор той или иной модели не всегда может быть обоснован строго математически. Простейшая модель - это субъективное комбинирование экспертных свидетельств, которое осуществляет лицо, принимающее решения. Следует отметить, что эксперты могут совещаться между собой посредством различных совещательных схем. Для комбинирования полученных оценок используются правила, например, Демпстера или Байеса, которые предполагают наличие независимости в исходной информации, а это предположение верно крайне редко вследствие, например, совещания экспертов.

Существуют модели попарного сравнения вероятностей набора событий, которые вовсе не обязаны быть взаимоисключающими или исчерпывать все возможные исходы как, скажем, в вероятностном выводе Байеса. Слабость таких моделей комбинирования заключается в невозможности получения оценок для характеристик, отличных от присутствующих в исходных данных. То есть, эти модели не учитывают непрерывность времени функционирования систем и обеспечивают обработку большого количества данных (суждений) при помощи вероятностного подхода. Понятно, что в таком объёме информация о системе присутствует далеко не всегда. Наиболее широко использовавшиеся Байесовские модели комбинирования не делают различия между полным незнанием законов распределения случайной величины и случаем, когда точно известно, что она распределена равномерно. Байесовская модель предполагает выбор параметра, в зависимости от значения которого получаются различные модели комбинирования - такие, как весовая сумма, обобщённое геометрическое среднее, взвешенное гармоническое среднее и др. Как правило, обосновать выбор того или иного значения параметра комбинирования в каждом конкретном случае невозможно, и лицо, принимающее решение, делает этот выбор субъективно, исходя из своего опыта, что обычно привносит дополнительную ошибку в результирующую оценку.

Во второй главе разработана математическая модель комбинирования однородных экспертных оценок статистических характеристик при наличии доверительных интервалов вероятностей этих оценок. Экспертные оценки здесь понимаются в широком смысле, то есть, в качестве них могут выступать как оценки экспертов, так и результаты статистической обработки данных объективных измерений.

Задача комбинирования экспертных оценок возникает не только в задачах оценивания надёжности, но и во многих задачах оценивания различных характеристик, где только имеют место экспертные оценки. В данной главе рассматривается случай, когда все оценки даны для одной характеристики надёжности, то есть являются однородными. Предположим, что имеется множество оценок, полученных от т экспертов, оценивавших некоторую характеристику случайного события, представимую в виде математического ожидания функции /(X) случайной величины X, обозначенного Мф. Например, это может быть среднее время до отказа, или вероятность безотказной работы в заданном интервале

времени, или какой-либо момент случайного времени до отказа. От каждого 1-го эксперта были получены верхние и нижние границы (которые в част-

ном случае могут быть равны) для среднего от признака

Доверительные вероятности к экспертным оценкам определяются доступной информацией об экспертах, об их компетенции и опыте. То есть, каждый из этих экспертов характеризуется доверительной вероятностью определяющей степень доверия оценкам эксперта, или интервалом вероятностей = Тогда всю информацию, полученную от экспертов и об экс-

пертах, совместно можно записать в следующем виде

Рг^МСО^ЬЬг,], ' =

Однородность оценок заключается в том, что они получены для среднего одной и той же функции Под доверительной вероятностью экспертной оценки подразумевается то, что если, скажем, эксперт предоставляет 80% верных суждений, то из, грубо говоря, 1000 интервалов, которые он предоставил в качестве своих оценок неизвестной величины, 800 будут содержать её истинное значение. Но если имеется в наличии только 1001-й интервал и ничего неизвестно о предыдущих 1000 интервалах, то можно лишь сказать, что истинное значение величины находится в этом интервале с доверительной вероятностью 0.8 и с 0.2 вне него. Теперь необходимо получить новое свидетельство, которое является результатом комбинирования уже имеющихся оценок.

Предположим, что и есть величина, оценку для которой надо получить, что соответствует случаю комбинирования экспертных оценок однородных характеристик надёжности. Тогда имеется два типа связанных с этой величиной задач.

1. Так как исходные оценки экспертов имеют доверительные вероятности, то и любая их комбинация также будет иметь доверительную вероятность, поэтому возникает первая задача: вычислить границы вероятности [у.у] некоторой новой интервальной оценки

2. Зачастую требуется иметь усреднённую оценку рассматриваемой характеристики надёжности, поэтому необходимо решить вторую задачу: вычислить "средний" интервал для Мф на основании имеющейся экспертной информации.

и

Рассматривая M(f) как случайную величину с областью определения 0=[inf M.i(0> SUP Mi(f)], обозначим Y ~Мф. Таким образом, предполагая, что

Yимеет неизвестную плотность распределения вероятностей р(у), для решения первой задачи необходимо использовать основной математический инструмент теории интервальных статистических моделей - теорему продолжения интервальных средних для функции :

/ = У^ООРОО^, Y = supy^-p)p{y)dy,

при ограничениях на

bp{y)dy = \, p{y)t0, r±y\att7p)p(y)dyZy„ ^ 0)

Здесь Р - множество всех плотностей, удовлетворяющих (1). Соответствующая двойственная задача линейной оптимизации имеет вид

где переменные оптимизации должны

удовлетворять условию С(у) £ "]00 , С(у) = с0 + Л(с, -¿.У^^ОО- (3)

Рассмотрим вторую задачу. Процедура "усреднения" представляет собой вычисление среднего (или математического ожидания) от случайной переменной, как если бы имелась непрерывная случайная величина Yc плотностью распределения р(у). Тогда математическое ожидание У определяется как

M(Y)=^yp(y)dy.

Но так как плотность р(у) неизвестна точно а, известны лишь ограничения на множество плотностей, то для вычисления а», а принцип продолжения записывается в виде при ограничениях

нар(у), определяемых (1).

Используя обозначение (3), можно записать соответствующую двойственную задачу линейной оптимизации для верхней границы усреднённой оценки рассматриваемой характеристики. Целевая функция совпадает с (2), а ограничения отличаются правой частью: с„ ¿¡¡еR+, c^eR, i=l,...,m, и Vyed: С(у)£у.

Аналогично записывается задача оптимизации для нахождения для нижней усреднённой оценки.

Эти задачи линейной оптимизации достаточно просто решаются численно при помощи, например, симплекс-метода, но для типовых частных случаев исходных оценок могут быть получены решения задачи комбинирования в виде аналитических выражений.

Первый случай - вложенности интервалов экспертных оценок и возрастания уровней их доверия соответственно от внутренних к внешним, самым широким интервалам оценок. В данном случае прослеживается аналогия с функцией распределения возможностей случайной величины. Из принципа продолжения меры возможности, имея функцию распределения возможностей случайной величины, можно вычислить некоторые средние границы, в которых находится нечёткое число. Формула для вычисления средних границ совпадает с выражением, полученным при использовании предложенной модели комбинирования экспертных оценок.

Второй случай - последовательного расположения на оси интервалов оценок, полученных от экспертов, в результате комбинирования по предложенной модели получено выражение, называемое правилом взвешенной суммы.

Третий случай — отсутствия информации о доверительных вероятностях экспертных оценок - в результате комбинирования нижняя оценка получена равной минимальной среди нижних, а верхняя равной максимальной среди верхних оценок экспертов. То есть, при отсутствии данных по доверительным вероятностям при комбинировании получен самый широкий из допустимых по исходным данным интервал результирующей оценки.

Четвёртый случай - когда наоборот, имеет место полное доверие всем без исключения экспертам, в результате комбинирования получается самый узкий из допустимых по исходным данным интервал результирующей оценки характеристики.

Данные аналитические выражения, полученные для известных типовых случаев набора исходных экспертных оценок, совпадают с традиционно используемыми формулами комбинирования таких наборов. Это, с одной стороны, математически строго доказывает правильность ранее интуитивно используемых формул комбинирования. С другой стороны, данное совпадение демонстрирует эффективность использования аппарата теории интервальных средних

для комбинирования экспертных. Данные аналитические выражения позволяют в рассматриваемых случаях не прибегать к численной процедуре оптимизации, а подставлять конкретные данные в полученные результирующие выражения.

Модель комбинирования на основе принципа продолжения интервальных средних применима для сравнения двух систем по одному признаку, при наличии определённой доли недоверия экспертным оценкам рассматриваемого вида. Числовые примеры показали, что предлагаемая модель также позволяет достаточно просто выявить противоречивость исходных оценок экспертов, если таковая имеется.

В третьей главе осуществлена разработка математической модели комбинирования экспертных оценок разнородных характеристик надёжности при наличии уровней доверия этим оценкам. В предыдущей главе были исследованы модели комбинирования экспертных оценок, являющиеся однородными в том смысле, что эксперты оценивали одну и ту же характеристику надёжности. Однако, зачастую оценки могут быть разнородными в том смысле, что каждый из экспертов оценивал свою характеристику надёжности в соответствии со своими предпочтениями, привычками и т.д.

Предположим, что имеется множество экспертных оценок для некоторых характеристик представимых в виде математического ожидания

функций /¡(X) случайной величины X - случайного времени до отказа, то есть, в данном случае размерность X п=1. Таким образом, имеем нижние и верхние средние апсл, для таких характеристик, как среднее время до отказа, моменты времени до отказа или вероятности отказа в различных заданных интервалах времени. В общем случае данные характеристики не могут быть выражены через одну какую-либо случайную величину, то есть каждая характеристика рассматривается как самостоятельная случайная величина, обладающая своей собственной плотностью распределения на уровне неопределённости второго порядка. Но эти характеристики и не являются независимыми, так как они относятся к одной и той же случайной величине и связаны через общую плотность распределения, например, случайного времени до отказа, на уровне неопределённости первого порядка.

Предположим, что каждый из т экспертов характеризуется вероятностью у, или интервалом вероятностей i=J,...,m Тогда экспертные свидетель-

ства могут быть записаны в виде

Рг{a, z M(ft(X)) й а,} е |], i=l.....m.

Здесь множество {g,,^/} содержит средние, соответствующие неопределённости первого порядка, а множество {^»Т^} содержит вероятности, характеризующие неопределённость второго порядка и

Возникает два вида задач, связанных с конечным результатом комбинирования исходной информации:

1). Получение нового свидетельства, которое представляет собой результат комбинирования исходных свидетельств, то есть необходимо вычислить границы вероятностей для некоторого интервала соответствующего

новому среднему некоторого, в общем случае произвольного признака

f(X).

2). Вычисление усреднённого значения характеристики M(f(X)) Заметим, что вероятность события может быть

представлена через среднее для индикаторной функции

'[„„^(W,™ = f,{x)p{x)dx).

Пусть Р - множество всех возможных плотностей {р(х)}, то есть, множество таких функций, что ¡¡^ p(x)dx = 1, pipe) 2:0. Тогда для решения задачи

первого типа, или вычисления верхней вероятности у> принцип продолжения примет вид

у = м(1уГа](М(ДХ))))= Jnid[c0 +1{c,rt - dj_t )j, (4)

где .

СШ)"о + lip, ~^га1){к fiMPM*)* /WPM*)

Решение данной задачи значительно усложняется вследствие её нелинейности, а также бесконечной размерности. Однако, в работе предлагается метод

декомпозиции рассматриваемой задачи, использующий то, что неизвестные плотности распределения вероятности входят в ограничения в качестве параметров индикаторных функций, принимающих только два значения - 0 и 1. Алгоритм решения (4) сводится к решению 2т+1 задач линейного программирования. Из них 2т задач имеют вид

max |д+ f{x)p(x)dx, где р(х)>0, p(x)dx = 1,

£í * !л+ ft{x)p(x)dx <. а„ íbJ; а,-^ (ft{x)-a¿p{x)dx, i € J. (5)

И задача имеет целевую функцию (4) и ограничения вида

c0 + Zjfo -d^ 1(0), Jc{l,2.....m}

Аналогичными рассуждениями можно получить выражения для расчёта нижнего среднего.

Рассмотрим вторую проблему, связанную с анализом множества экспертных оценок разнородных характеристик надёжности, имеющих доверительные вероятности, а именно, получение на основе комбинирования этих оценок усреднённого значения некоторой новой, интересующей нас характеристики надёжности.

Требуется рассчитать усреднённый интервал [ а», а] для характеристики надёжности М(/) И Л/(/). Принцип продолжения для нахождения верхней усреднённой оценки имеет целевую функцию (4) и ограничения. c¡, d, eR+, CoeR,

такие, что

Данная задача оптимизации также является нелинейной и бесконечномерной. Аналогично предыдущим случаям эта задача сводится к решению конечного числа задач линейной оптимизации.

Ограничения для рассматриваемой задачи нахождения верхней усреднённой оценки приводятся к виду

С0 + l(c,-di)7> sup iR+ f(x)p(x)dx , W с {l,2,...,«}.

Здесь .sup ищется по множеству Р плотностей {/з(х)}, которые удовлетворяют множеству ограничений (5),

Аналогичная модель комбинирования записывается для вычисления нижней усреднённой оценки.

Далее рассматривается задача комбинирования экспертных оценок разнородных характеристик надёжности элементов, входящих в систему, причём каждая оценка имеет свою доверительную вероятность, и требуется получить оценку характеристики надёжности системы в целом. Пусть система состоит из и элементов, для каждого из которых известно т, свидетельств вида

<м(/)(Х,));£щ}е ^Гу^ = , I = 1,..,и.

Необходимо найти доверительную вероятность того, что рассматриваемая характеристика надёжности, представимая в виде среднего М(/{Х)), X еН", попадёт в заданный интервал [а, а]. Тогда задача оптимизации для нахождения верхней доверительной вероятности, записанная на основе принципа продолжения интервальных средних, имеет вид

Ь-¿луЛ

(6)

при ограничениях ^я р(Х)с1Х = 1, и таких, что

и

В работе предлагается метод декомпозиции данной задачи оптимизации, как это делалось в предыдущих задачах, и алгоритм её решения сводится к решению конечного числа задач линейной оптимизации.

Аналогично записывается задача оптимизации для расчёта нижней вероятности попадания системной характеристики в заданный интервал значений.

Задача оптимизации для расчёта верхней усреднённой оценки получена из принципа продолжения средних для некоторой системной характеристики М(ДХ)) и имеет целевую функцию (6) и ограничения на плотности распределения вероятностей отличаются лишь правой частью, то есть: С{р{х))^кп/{х)р(х)с1х).

Ограничения аналогично тому, как это было сделано ранее, переписываются в виде , где

/./с {(/,_/):/'e {l,2,...«},_/e{l,2,...,Шу}}, Р — множество плотностей, удовлетворяющих ограничениям

Р(Х)*0, p(X)dX = l, ^¡^fj(х,)p(X)dX<a^j, i,jeIJ,

Аналогично записывается задача определения нижней усреднённой оцен-YSLftX).

В третьей главе приводится ряд примеров, связанных с анализом надёжности различных типовых систем таких, как последовательная, параллельная, с холодным резервом. Данные примеры иллюстрируют декомпозицию и решение сложных оптимизационных задач.

В главе приводятся алгоритмы числешюго расчёта разработанных моделей комбинирования экспертных оценок, сводящихся к последовательному решению конечного числа задач линейной оптимизации. Представленные алгоритмы являются численными методами расчёта разработанных математических моделей.

Также показано, что в случае дискретного представления исходных характеристик расчёты для модели упрощаются, от точности дискретизации зависит близость рассчитанного результата к аналогичному, полученному при использовании модели комбинирования без дискретизации характеристик. Если комбинируются вероятности отказа в заданных интервалах, то результаты расчётов по обеим моделям совпадают.

В четвёртой главе приводятся результаты экспериментального исследования разработанных моделей комбинирования экспертных оценок характеристик надёжности при наличии доверительных вероятностей этим оценкам.

Разработанная автором программа One Unit предназначена для комбинирования экспертных оценок надёжности элемента или системы, рассматриваемой как один элемент, по совокупности исходных данных, представленных в виде интервальных средних, все исходные оценки имеют доверительные вероятности. В качестве исходных данных выступают средние времена до отказа, второй и третий моменты времени до отказа, вероятности отказа в заданном интервале, полное время функционирования системы или элемента, доверительные вероятности экспертных оценок. В качестве результатов расчётов выступают усреднённая по исходным данным оценка рассматриваемой характери-

стики любого из перечисленных видов или уровень доверия заданной интервальной оценки этой характеристики. Алгоритм её решения, изложенный в главе 3, в свою очередь, включает в себя решение конечного числа задач линейного программирования предварительного этапа, также реализующих принцип продолжения. Эти задачи предварительного этапа осуществляют проверку совместности подмножеств ограничений и так же, как и основная задача оптимизации, решены в программах One Unit и Sysanal при помощи алгоритма Симплекс метода.

Другая разработанная автором программа Sysanal предназначена для комбинирования экспертных оценок надёжности элементов типовых систем, состоящих из двух независимых элементов, все исходные оценки обладают уровнями доверия. Исходные данные аналогичны исходным данным программы One Unit. В качестве типовых систем используются последовательные, параллельные системы и системы с ненагруженным резервом. В качестве результатов расчётов выступают величины, аналогичные результатам программы One Unit, но для системы в целом. Программа реализует алгоритм комбинирования, описанный в главе 3, и также решает задачу линейной оптимизации. Обе программы реализованы на языке C++.

Разработанные программные модули имеют унифицированную структуру и интерфейс независимо от решаемой задачи.

Программы OneUnit и Sysanal позволяют анализировать широкий класс структур при ограниченной информации, когда законы распределений отказов неизвестны.

Проведённые расчёты свидетельствуют, что информация о доверии экспертам существенно влияет на результат комбинирования, его зависимость от уровней доверия оценок является линейной. При увеличении доверительной вероятности оценок результирующий интервал комбинированной оценки сужается.

При варьировании самих оценок экспертные оценки с большей доверительной вероятностью сильнее влияют на результат комбинирования.

Сравнивая влияние на конечный результат комбинирования случая варьирования уровней доверия со случаем изменения самих оценок экспертов, можно сделать вывод, что изменение значений экспертных оценок сильнее влияет

влияет на результат комбинирования, чем изменение доверительных вероятностей оценок.

В диссертационной работе проведён анализ надёжности системы диспетчерской централизации (ДЦ) «Тракт», предназначенной для применения на железнодорожном транспорте в целях обеспечения заданной пропускной способности железных дорог и безопасности движения при централизованном (диспетчерском) управлении устройствами сигнализации на станциях. Исходные оценки характеристик надёжности элементов, входящих в систему «Тракт», имели доверительную вероятность 0.95. В результате расчёта с использованием модели комбинирования экспертных оценок характеристик надёжности элементов системы при неполной информации было получено, что усреднённое значение среднего времени до отказа системы «Тракт» находится в интервале [0, 1.45] лет. На основании расчётов можно сделать вывод о том, что, так как наиболее низкими показателями надёжности обладает приёмно-передающая аппаратура волоконно-оптической линии связи, то именно её надёжность оказывает определяющее влияние на надёжность системы в целом. Таким образом, для увеличения среднего времени до отказа системы «Тракт» можно рекомендовать повышение надёжности передающей аппаратуры волоконно-оптической линии связи.

В выводах подводятся итоги диссертационной работы.

В приложении содержится акт об использовании результатов диссертационного исследования.

ВЫВОДЫ

В результате анализа литературы, научного поиска и проделанной работы получены следующие основные результаты:

1. В работе дано описание модели комбинирования экспертных оценок для какой-либо характеристики надёжности элемента или системы, рассматриваемой как один элемент, позволяющей рассчитать либо усреднённое значение этой характеристики, либо доверительную вероятность того, что рассматриваемая характеристика попадёт в заданный интервал. Модель позволяет учитывать при комбинировании уровни доверия исходным оценкам. Получены аналитические оценки для известных типовых случаев исходных данных и дано их сравнение с имеющимися эвристическими методами весового комбинирования

И«- 62 78

оценок экспертов. Полученные аналитические оценки показывают, в каких случаях должны применяться те или иные эвристические модели комбинирования.

2. Разработана модель комбинирования экспертных оценок для разнородных характеристик надёжности элемента или системы, рассматриваемой как элемент, позволяющая рассчитать усреднённое значение некоторой новой исследуемой характеристики надёжности, или доверительную вероятность того, что эта характеристика попадёт в заданный интервал. Модель учитывает доверительные вероятности исходных оценок.

3. Разработана модель комбинирования экспертных оценок для разнородных характеристик надёжности элементов, входящих в систему с целью получения вывода о некоторой исследуемой характеристике надёжности системы в целом. Комбинирование осуществляется с учётом доверительных вероятностей оценок. В качестве результата расчёта модель даёт усреднённое значение исследуемой характеристики или доверительную вероятность попадания её значения в заданный интервал.

4. Разработан комплекс алгоритмов и программных средств, осуществляющих численный расчёт по указанным моделям, комбинирования экспертных оценок, имеющих доверительные вероятности. Задачи нелинейной оптимизации, содержащиеся в моделях, допускают декомпозицию и сводятся к решению конечного числа задач линейной оптимизации.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Уткин Л.В., Чернобай М.Л. Комбинирование разнородной нечёткой информации. - СПб.: Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2001 25-27 июня 2001 г., Том1.-С.174-180.

2. Чернобай М.Л. Комбинирование экспертных оценок некоторой характеристики надёжности при наличии интервалов доверительной вероятности. // Вестник молодых учёных. Технические науки. 2001. - №2. -С.74-85.

17.03.04 г. Зак.52-60 РТП ИК «Синтез» Московский пр., 26

ОГЛАВЛЕНИЕ.

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР МЕТОДОВ АНАЛИЗА НАДЁЖНОСТИ.

1.1. Проблема неполноты исходной информации.

1.2. Оценки надёжности систем с использованием результатов теории интервальных средних.

1.3. Различные типы экспертных оценок.

1.4. Модели комбинирования экспертных оценок в условиях отсутствия доверительных вероятностей для этих оценок.

1.4.1. Комбинирование экспертных оценок вероятности набора событий.

1.4.2. Топологические и возможностные методы комбинирования оценок надёжности.

1.4.3. Интервальная статистическая модель комбинирования экспертных оценок.

1.5. Выводы. - 3S

ГЛАВА 2. КОМБИНИРОВАНИЕ ЭКСПЕРТНЫХ ОЦЕНОК ОДНОРОДНЫХ ХАРАКТЕРИСТИК НАДЁЖНОСТИ.

2.1. Постановка задачи.

2.2. Формулировка принципа продолжения для задачи комбинирования экспертных оценок характеристики надёжности, имеющих уровни доверия.

2.3. Решение проблемы комбинирования экспертных оценок для частных случаев.

2.3.1. Вложенные интервалы [а, ai ]

2.3.2 Последовательные смежные интервалы. - 49

2.3.3. Отсутствие информации о доверительных границах -51

2.3.4. Случай полного доверия всем без исключения экспертам. - 52

2.4. Комбинирование сравнительных свидетельств в условиях неполноты информации. - 53

2.5. Примеры расчёта моделей комбинирования экспертных оценок однородных характеристик надёжности. - 57

2.6. Выводы. - 61

ГЛАВА 3. КОМБИНИРОВАНИЕ ЭКСПЕРТНЫХ ОЦЕНОК СРЕДНИХ

РАЗНОРОДНЫХ ХАРАКТЕРИСТИК ПРИ НАЛИЧИИ ИНТЕРВАЛОВ ДОВЕРИТЕЛЬНОЙ ВЕРОЯТНОСТИ ДЛЯ ЭТИХ ОЦЕНОК. - 63

3.1. Постановка задачи. - 63

3.2. Математическая модель комбинирования экспертных оценок разнородных характеристик надёжности. - 66

3.3. Алгоритм реализации вычислительной процедуры, примеры составления моделей и расчёта вероятности попадания характеристики в заданный интервал. - 73

3.4. Расчёт усреднённого значения характеристики на основе модели комбинирования экспертных оценок, имеющих уровни доверия. - 76

3.5. Модель комбинирования экспертных оценок для случая разнородных дискретных характеристик. - 81

3.6. Расчёт вероятности попадания системной характеристики надёжности в заданный интервал при наличии доверительных вероятностей для исходных данных. -87

3.7. Постановка задачи расчёта усреднённой оценки системной характеристики. Алгоритмы вычислений оценок системных характеристик. - 91

3.8. Выводы. - 97

ГЛАВА 4. КОМПЛЕКС ПРОГРАММ ОЦЕНКИ НАДЁЖНОСТИ ЭЛЕМЕНТОВ И СИСТЕМ ПРИ НЕПОЛНОЙ ИСХОДНОЙ

ИНФОРМАЦИИ. - 98

4.1 Результаты расчётов по программе One Unit. - 99

4.2. Результаты расчётов по программе Sysanal. - 106

4.3. Анализ надёжности системы ДЦ «Тракт». -110

4.4. Выводы. -114

ВЫВОДЫ. -115

Актуальность темы. Экспертные оценки используются для получения оценок самых различных физических величин во многих практических задачах. Чаще всего используются экспертные оценки квантилей - 5%-ных, 50%-ных и 95%-ных. В настоящее время отсутствуют строгие с математической точки зрения модели комбинирования неполной информации, учитывающей степени доверия к источникам её получения. Комбинирование экспертных оценок до сих пор производилось путём введения дополнительных предположений о законах распределения исследуемой характеристики системы. Это может привнести дополнительную ошибку в окончательную оценку характеристики, если предполагаемое распределение не совпадает с реальным. Поэтому построение модели комбинирования экспертных оценок с уровнями доверия, которая не требовала бы введения дополнительных предположений о законах распределения исследуемой величины, актуально не только для задач комбинирования оценок надёжности, но и для задач комбинирования оценок различных других величин, для которых возможно применение экспертных оценок. Экспертные оценки здесь понимаются в широком смысле - это также могут быть результаты статистической обработки данных объективных измерений с соответствующими значениями доверительной вероятности.

На этапе построения сложной высоконадёжной технической системы исходная информация о надёжности её элементов часто представляет собой именно экспертные оценки. На данный момент отсутствуют строгие с математической точки зрения модели комбинирования экспертных оценок не самих случайных величин, а их характеристик (среднего времени до отказа, моментов времени до отказа, вероятности отказа в заданных интервалах времени) при наличии доверительных вероятностей этих оценок и отсутствии каких бы то ни было предположений о законах распределения случайного времени до отказа.

Решению этих проблем посвящена диссертация, что и определяет её актуальность.

Цель работы. Целью диссертационной работы является построение универсальной модели комбинирования экспертных оценок с учётом степени доверия к ним для оценки новых характеристик надёжности; без дополнительных предположений о законах распределения случайных величин (времени до отказа, времени восстановления и т.д.). Разрабатываемая модель является интервально-статистической моделью функционирования элемента или системы, которая позволяет унифицировать представление самой различной исходной информации.

Для достижения поставленной цели были решены следующие задачи: разработка строгой математической модели комбинирования экспертных оценок надёжности систем при полном или частичном отсутствии информации о законах распределения отказов составных элементов на базе теории интервальных средних;

- разработка методов и алгоритмов расчёта комбинированных оценок надёжности для различных типов экспертных оценок;

- разработка комплекса программных средств для расчётов с использованием предложенных моделей комбинирования оценок надёжности.

Методы и средства исследований. В работе использовались методы теории интервальных средних и интервальных статистических моделей, методы оптимизации, методы математического анализа и методы теории вероятностей.

Научная новизна работы заключается в следующем: 1. Предложена и исследована модель комбинирования экспертных оценок характеристики надёжности при наличии доверительных вероятностей этих оценок, которая отличается от существующих моделей инвариантностью по отношению к типам исходных оценок. Новым является строгое математическое обоснование того, когда можно применять некоторые известные эвристические методы комбинирования таких оценок.

2. Предложена и исследована модель комбинирования экспертных оценок разнородных характеристик, которая отличается от существующих моделей отсутствием каких-либо предположений о законах распределения случайной величины, и возможностью учёта степени достоверности оценок.

3.Предложена и исследована модель комбинирования экспертных оценок разнородных характеристик надёжности элементов, входящих в систему, которая, в отличие от использующихся моделей, не требует введения дополнительной информации о законах распределения случайной величины, о независимости элементов системы, а также позволяет получать оценки надёжности для большого класса систем и учитывать степени доверия исходным оценкам.

4. Разработаны алгоритмы расчёта предложенных моделей и программные средства, реализующие эти алгоритмы.

Практическая ценность результатов работы заключаются в том, что разработанные модели позволяют унифицировать расчёты, связанные с обработкой экспертной информации для анализа надёжности систем. Строгое математическое обоснование делает предлагаемые модели универсальными по отношению к различным системам и исходным данным. Основной практический выход диссертационной работы заключается в полученных теоретических результатах и разработке на их основе инструментария для заказчиков и инженеров служб надёжности предприятий.

В первой главе освещается проблема неполноты информации и то, как она решается с позиций интервальных статистических моделей. Также рассматриваются основные типы экспертных оценок и основные типы комбинирования экспертной информации. Первый тип — субъективное комбинирование, при котором эксперт сам выбирает из набора оценок ту, что максимизирует некоторый критерий. Второй тип — комбинирование, при котором выбор осуществляется на языке бинарных отношений, когда исходные оценки задаются парами с отношениями предпочтения, а затем строится функция полезности, чей максимум и определяет выбор искомой оценки. Третий тип комбинирования — когда в условиях статистической неопределённости строится функция байесова риска, чей минимум задаёт оптимальный алгоритм обработки наблюдений. Этот тип комбинирования относится к параметрической статистике. Далее рассмотрены варианты комбинирования, основанные на теории возможности. Последний тип комбинирования относится к непараметрической статистике, то есть, когда функциональный вид распределения неизвестен, - это комбинирование на основе теории интервальных статистических моделей. Далее проведён сравнительный анализ типов комбинирования и выделены преимущества последнего подхода.

Во второй главе рассматривалась модель комбинирования экспертных оценок, когда все эксперты оценивали одну и ту же статистическую характеристику, каждая из оценок имела свой уровень доверия, и в результате комбинирования необходимо было получить оценку той же самой рассматриваемой характеристики. Так как для данной задачи существует множество эвристических способов решения, в главе проведено сравнение результатов комбинирования с использованием интервальных статистических моделей и с использованием эвристических методов для известных типовых случаев исходных данных.

В третьей главе рассматривалась модель комбинирования экспертных оценок, когда все оценки относились к различным статистическим характеристикам, и каждая из исходных оценок обладала собственным уровнем доверия. Модель построена на основе принципа продолжения теории интервальных статистических моделей, она решает нелинейную задачу оптимизации. В главе предлагается алгоритм сведения её к последовательному решению конечного числа задач линейной оптимизации. Далее приводится модель комбинирования экспертных оценок различных статистических характеристик, снабжённых доверительными вероятностями и относящихся к элементам, входящим в систему. В качестве результата модель даёт оценку рассматриваемой статистической характеристики системы в целом. Данная интервальная статистическая модель также является нелинейной, и в главе приводится алгоритм сведения её к последовательному решению конечного числа задач линейной оптимизации.

В четвёртой главе приведены результаты расчётов и численных экспериментов с использованием комплекса программ, разработанного автором и реализующего алгоритмы, предложенные в диссертационной работе. Также описано использование разработанного комплекса программ для комбинирования оценок характеристик надёжности элементов, входящих в систему диспетчерской централизации «Тракт».

Реализация работы. Результаты работы были использованы в ЗАО «Техтранс» (г. Санкт-Петербург) для предварительной оценки надёжности основной структуры микропроцессорной системы диспетчерской централизации «Тракт» на Октябрьской железной дороге.

Апробация работы. Основные результаты работы докладывались на международной конференции по мягким вычислениям SCM'2001 25-27 июня Санкт-Петербург, межвузовской научно-практической конференции «Современные математические методы и новые информационные технологии при решении навигационных и военно-прикладных задач» 23-24 ноября 2000г. СПб ВМИ и конференциях профессорско-преподавательского состава СПб ЛТА.

Публикации. По материалам диссертационной работы опубликовано 2 работы, в том числе в 1 статья и тезисы 1 доклада на международной конференции.

Структура и объём диссертации. Работа состоит из введения, четырёх глав, выводов, библиографии, включающей 44 наименования, приложения, содержащего акт об использовании результатов диссертационной работы. Основное содержание работы состоит из 122 страниц, 12 таблиц, 13 рисунков.

Выводы.

1. В работе дано описание модели комбинирования экспертных оценок для какой-либо характеристики надёжности элемента или системы, рассматриваемой как один элемент, позволяющей рассчитать либо усреднённое значение этой характеристики, либо доверительную вероятность того, что рассматриваемая характеристика попадёт в заданный интервал. Модель позволяет учитывать при комбинировании уровни доверия исходным оценкам. Получены аналитические оценки для известных типовых случаев исходных данных и дано их сравнение с имеющимися эвристическими методами весового комбинирования оценок экспертов. Полученные аналитические оценки показывают, в каких случаях должны применяться те или иные эвристические модели комбинирования.

2. Разработана модель комбинирования экспертных оценок для разнородных характеристик надёжности элемента или системы, рассматриваемой как элемент, позволяющая рассчитать усреднённое значение некоторой новой исследуемой характеристики надёжности, или доверительную вероятность того, что эта характеристика попадёт в заданный интервал. Модель учитывает доверительные вероятности исходных оценок.

3. Разработана модель комбинирования экспертных оценок для разнородных характеристик надёжности элементов, входящих в систему с целью получения вывода о некоторой исследуемой характеристике надёжности системы в целом. Комбинирование осуществляется с учётом доверительных вероятностей оценок. В качестве результата расчёта модель даёт усреднённое значение исследуемой характеристики или доверительную вероятность попадания её значения в заданный интервал.

4. Разработан комплекс алгоритмов и программных средств, осуществляющих численный расчёт по указанным моделям комбинирования экспертных оценок, имеющих доверительные вероятности. Задачи нелинейной оптимизации, содержащиеся в моделях, допускают декомпозицию и сводятся к решению конечного числа задач линейной оптимизации.

1. Барзилович Е.Ю., Беляев Ю.К., Каштанов В.А. и др. Вопросы математической теории надёжности / Под ред. Б.В. Гнеденко. — М.: Радио и связь, 1983 - 376 с.

2. Барлоу Р., Прошан Ф. Математическая теория надёжности. М.: Сов. радио, 1969.-488 с.

3. Барлоу Р., Прошан Ф. Статистическая теория надёжности и испытания на безопасность. М.: Наука, 1984. - 328 с.

4. Безопасность железнодорожной автоматики и телемеханики. Организация сбора и обработка информации о безопасности систем железнодорожной автоматики и телемеханики. Отраслевой стандарт ОСТ. 32.27-93. СПб, 1993. 18 с.

5. Беленький А.С. Исследование операций в транспортных системах: идеи и схемы методов оптимизации планирования. М.: Мир, 1992.582 с.

6. Грабовецкий В.П., Глазунов Л.П., Щербаков О.В. Основы теории надёжности автоматических систем управления. JL: Энергоатомиздат, 1984.-208 с.

7. Гуров С.В., Уткин JI.B. Надёжность систем при неполной информации. СПб.: Любавич, 2000. — 160 с.

8. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. М.: Радио и связь, 1990. -288 с.

9. Кузнецов В.П. Интервальные статистические модели. — М.: Радио и связь, 1991.-352 с.

10. Ю.Липаев В.В. Методы обеспечения качества крупномасштабных программных средств. М.:СИНТЕГ, Серия «Управление качеством», 2003.-520 с.

11. Полунин И.Ф. Курс математического программирования. Вышэйшая школа. Минск, 1975. - 384 с.

12. Райншке К. Модели надёжности и чувствительности систем. М.: Мир, 1979.-452 с.

13. Уткин Л.В., Чернобай М.Л. Комбинирование разнородной нечёткой информации. СПб.: Сборник докладов международной конференции по мягким вычислениям и измерениям SCM'2001 25-27 июня 2001 г., Том 1.-С.174-180.

14. Уткин Л.В., Шубинский И.Б. Нетрадиционные методы оценки надёжности информационных систем. СПб.: Любавич, 2000. — 173 с.

15. Чернобай М.Л. Комбинирование экспертных оценок, некоторой характеристики надёжности при наличии интервалов доверительной вероятности. // Вестник молодых учёных. Технические науки. 2001. -№2.-С.74-85.

16. Шубинский И.Б. Активная защита от отказов управляющих модульных вычислительных систем. СПб.: Наука, 1993. - 284 с.

17. Шубинский И.Б. Расчёт надёжности цифровых устройств. М.: Знание, 1984.-48 с.

18. Ayyub В.М. Elicitation of Expert Opinion for Uncertainty and Risks. CRC Press, 2001.-212 p.

19. Berger J.O. Statistical Decision Theory and Bayesian Analysis. Springer-Verlag, New York, 1985,489 p.

20. Bernardo J.M., Smith A.F.M. Bayesian Theory. Wiley, Chichester, 1994, 431 p.

21. Cai K.Y. Software Defect and Operational Profile Modeling. Kluwer Academic Publishers, Dordrecht, Boston, 1998, 356 p.

22. Cai K.Y., Wright D. Representing Uncertainty for Safety Critical Systems. Technical report, PDCS, City University, London, May 1994. №135. 60 P

23. Cooke R. Kraan B. Processing Expert Judgements in Accident Consequence Modeling. // Appearing in Radiation Protection Dosimetry (Expert Judgements and Analysis; special issue), 2000. V.90. - P.311-315.

24. Cooke R.M. Experts in Uncertainty: Opinion and Subjective Probability in Science. Environmental Ethics and Science Policy. Oxford University Press, 1991,321 p.

25. Genest C., Zidek J. Combining probability distributions: A critique and an annotated bibliography // Statistical Science, 1986. №1 - P. 114-148.

26. Gurov S.V., Utkin L.V. A new method to compute reliability of repairable m-out-of-n systems by arbitrary distributions // Microelectronics and Reliability. 1994. V.34(12). - P.1877-1899.

27. Joseph L., Parmigiani G., Hasselblad V. Combining expert judgment by hierarchical modeling: An application to physician staffing // Management Science, 1998.-№44-P.149-161.

28. Morris A. Combining expert judgments, a Bayesian approach // Management Science, 1977. V.23 - P.679-692.

29. Mosleh A., Apostolakis G. Models for the use of expert opinions. In R.A. Waller and V.T. Covello, editors // Low Probability. High Consequence Risk Analysis. Plenum Press, New York, 1984, P.2-43.

30. Robert C.P. The Bayesian Choice. Springer-Verlag, New York, 1994,266p.

31. Utkin L.V. Imprecise probability of cold standby systems // International Journal of Quality and Reliability Management, 2003. №20(6) - P.722-739.

32. Utkin L.V. Imprecise reliability analysis by comparative judgments // In Proceedings of the Second International Conference on Mathematical Methods in Reliability, Boreaux, France, 2000. V.2 - P.l005-1008.

33. Utkin L.V. Reliability of monotone systems by partially defined interval probabilities // In The 3-rd Safety and Reliability International Conference, Gdynia, Poland, May 2003. V.2 - P.187-194.

34. Utkin L.V., Gurov S.V., Shubinsky I.B. Reliability of systems by mixture forms of uncertainty // Microelectronics and Reliability. 1997. V.37(5). -P.779-783.

35. Waley P. Measures of uncertainty in expert systems // Artificial Intelligence, 1983. №83 - P.l-58.

36. Waley P. Statistical inferences based on a second-order possibility distribution I I International Journal of General Systems, 1997. №9 -P.337-383.

37. Walley P. Statistical Reasoning with Imprecise Probabilities. Chapman and Hall, London, 1991. 706 p.

38. Winkler R.L. Combining forecasts: A philosophical basis and some current issues // International Journal of Forecasting, 1989. №5 - P.605-609.

39. Winkler R.L. The consensus of subjective probability distributions // Management Science, 1968. V.15 - P.61-75.

40. Zadeh L.A. Fuzzy sets as a basis for a theory of possibility // Fuzzy Sets and Systems, 1978. V.l. - P.3-28.