автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Оценка эффективности средств обеспечения толерантности деградирующих вычислительных систем бортового базирования



МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ АВИАЦИОННЫЙ ИНСТИТУТ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)

рго сд мли

! С)

'• ; ' ' На правах рукописи

КИЛИЧЕВ Гулам Андамурадовмч

удк 681.324

ОЦЕНКА ЭФФЕКТИВНОСТИ СРЕДСТВ ОБЕСПЕЧЕНИЯ ТОЛЕРАНТНОСТИ ДЕГРАДИРУЮЩИХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ БОРТОВОГО БАЗИРОВАНИЯ

Специальность 05.13.13 - "Вычислительные машины, комплексы, системы и сети"

Автореферат

диссертация на соискание ученой степени кандидата технических наук

Москва 1996

Работа выполнена на кафедре вычислительных машин, систем и сетей факультета систем управления, информатики и электроэнергетики летательных аппаратов Московского государственного авиационного института (технического университета)

Научный руководитель: доктор технических наук,

профессор О.М, Брехов

Официальные оппоненты: доктор технических наук,

профессор, Г.Н. Валаев кандидат технических наук, ведущий научный сотрудник, О.Ф. Самарин

Ведущая организация: НИИ "Аргон"

Защита состоится "_"_1996г. в_час._мин. на заседании

диссертационного совета Д053.18.02 при • Московском государственном авиационном институте (техническом университете) по адресу: 125871, г.Москва, Волоколамское шоссе, д.4

Отзыв на автореферат в одном экземпляре, заверенном печатью, просим высылать по адресу: 125871, ГСП, г.Москва, Волоколамское шоссе, д.4, Ученый Совет, ученому секретарю диссертационного совета Д 053.18.02

Автореферат разослан "_"_1996г.

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

Ю.В.Горбатов

Введение

Актуальность темы диссертации. Среди основных направлений развития аппаратных и програмных средств ВТ в настоящее время можно выделить

уССЛИ'-ЮИмС мрСЯЗБСДмТСЛЬКОСТИ БЫЧИСЛмТСЛЬпЫХ СпСТСм, ü ТйКЖс ПОИСК 11у 1 си ил

наиболее эффективного использования.

Создание гибких, многофункциональных систем, способных автономно функционировать при ограниченном участии человека в течение длительного времени, позволяет расширить сферы использования многомодульных систем. Для таких приложений как управление технологическими и производственными процессами, системой банковских операций, летательными аппаратами и т.д. существует необходимость их решения в реальном масштабе времени с высокой степенью надежности. Это ускорило развитие и создание многомодульных (на основе микроЭВМ, транспьютеров) вычислительных систем (ММВС), предназначенных для обработки большого объема информации. Важным требованием при их эксплуатации является сохранение работоспособности при наличии неисправностей. В связи с этим особое значение приобретает развитие теории толерантных вычислительных систем (TBC), в частности, исследование их свойств методами математического моделирования. Толерантные вычислительные системы, в основе которых лежат различные технические решения, отличаются друг от друга степенью терпимости (безразличия) к отказам и степенью затрат на ■дополнительные аппаратные и программные средства. Уровень отказоустойчивости вычислительных систем зависит: 1) от количества избыточных средств; 2) от способа организации их совместной работы в системе; 3) от режимов эксплуатации; 4) от способов восстановления работоспособности. Основное свойство TBC позволяет снизить потери, обусловленные снижением производительности в результате возникновения ошибок, а также сократить затраты на обслуживание TBC.

Предмет исследований. Предметом исследований настоящей работы являются отказоустойчивые однородные многомодульные вычислительные системы.

Целью диссертационной работы является разработка методики оценки эффективности деградирующих вычислительных систем бортового базирования на всем жизненном цикле летательного аппарата.

В соответствии с поставленной задачей исследования проводились по следующим направлениям:

Анализ современного состояния разработок отказоустойчивых вычислительных систем, классификация восстанавливаемых систем и методов оценки производительности;

- разработка аналитических и имитационных моделей отказоустойчивых вычислительных систем, функционирующих в реальном масштабе времени;

- создание комплекса программных средств для расчета вероятностно-временных характеристик отказоустойчивых вычислительных систем.

Методы исследований основаны на использовании теории вычислительных систем, теории массового обслуживания, теории дифференциальных уравнений, теории аналитических функций, теории построения и анализа аналитических и имитационных моделей.

На защиту выносятся следующие положения:

- модель числа виртуальных вычислительных модулей в зависимости от средств обеспечения толерантности;

- модель производительности ВС при выполнении задания;

- интегрированная модель толерантной ВС;

- макромодель функционирования толерантной ВС с возможностями полного восстановления работоспособности и с наступлением фатального отказа;

Научные результаты. В результате проведения исследований автором получены следующие результаты.

- Разработана аналитическая интегрированная модель (микромодель) оценки влияния методов обеспечения толерантности ВС на производительность.

На основании решения интегрированной модели осуществлено ранжирование методов обеспечения толерантности по показателю качества функционирования системы - времени выполнения задач в условиях отказов ВМ.

- Разработаны аналитические модели (макромодель) оценки числа исправных ВМ в процессе эксплуатации летательного аппарата.

- Произведена оценка влияния эксплуатационных характеристик на производительность ВС.

Практическая ценность работы. Результаты исследования процесса функционирования толерантной вычислительной системы позволяют качественно и количественно оценить эффективность реализации и эксплуатации TBC на жизненном цикле летательного аппарата.

Внедрение результатов работы. Результаты диссертационной работы использовались при выполнении научно-исследовательских работ, что подтверждается соответствующими актами о реализации. Ряд результатов внедрен в учебном процессе Московского Авиационного института (Трхничргк-пго Университета), что подтверждается соответствующим актом.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на Всероссийской научно-технической конференции "Вычислительные системы бортового базирования-95" (МАИ, 1995г.), научных семинарах кафедры № 304 "Вычислительные машины, системы и комплексы" (МАИ, апрель, май 1996г.). Международной научно-технической конференции "Development and application systems" (Romania, Suceava, май, 1996г.);

Публикации. По материалам диссертации опубликовано 5 работ.

Структура и объем работы. Работа состоит из введения, пяти глав, заключения и приложения. Общий объем работы 127 страниц, в том числе 12 рисунков, 6 таблиц. Список литературы включает 65 наименований.

Содержание работы

Во введении приведено краткое обосновании актуальности проблемы, основные научные положения и результаты, выносимые на защиту.

В первой главе рассмотрен широкий класс отказоустойчивых вычислительных систем (ВС), соединенных между собой согласно определенной схеме резервирования, предусматривающей проведение реконфигураций.

Работоспособность таких систем определяется наличием в системе не менее i исправных вычислительных модулей. В качестве критерия производительности выбраны среднее число исправно функционирующих ВМ.

На основании обзорного материала и современных разработок в качестве существенных факторов, учитываемых при построении математических моделей толерантной вычислительной системы (TBC), выбраны: режим функционирования, структура, параметры контроля и диагностики, ряд технологических параметров и корреляция отказов.

В качестве основной (базовой) структуры рассматриваемых ВС выбрана, многомодульная однородная ВС, включающая в себя:

- модульный уровень, представляющий собой определенную структуру из п ВМ со своими межмодульными связями;

- элементный уровень, характеризуемый элементарными исходными параметрами типа интенсивности выполнения функциональных задач, интенсивности контроля и диагностики и т. п.

Во второй главе диссертационной работы рассматривалась многомодульная ВС бортового базирования с постепенной деградацией. Имея в виду работу ВС во время полета, разработаны физическая н математическая модели функционирования ВС с постепенной деградацией в режиме выполнения функциональных задач и контроля/диагностики.

Пусть подсистема ВС содержит п исправных вычислительных модулей. Рабочие временные интервалы и временные интервалы контроля являются случайными величинами с экспоненциальными функциями распределения и их интенсивностями X, и И,. зависящими от / работающих и у контролирующих ВМ,

соответственно. В результате контролирующих мероприятий с вероятностью г происходит фиксация неисправности вычислительного модуля и неисправный модуль исключается из числа исправных, или с дополнительной вероятностью (1-г) число исправных ВМ остается прежним.

Обозначим р,,(0 - вероятность того, что в момент времени I при i+j

исправных ВМ ; ВМ находятся в состоянии выполнения функциональных задач и) ВМ выполняют контролирующие функции.

В силу экспоненциальное™ функций распределения длительности времени выполнения процессов модель функционирования ВС в нестационарном режим« описывается следующей системой уравнений.

Р'п.оО = ~\.Р.Л(0 + П - г)ц1Рщ_1Л(1):

Р',,-,, (О = "ГЦ, - \n-jJ РпЧ, (О + О +

С ) = ~ Рл-и-л, (О + Хи Ра,п.а ('а'

г /. » /.. .л I .> /. \ .

Р„-,-)>\.}-\ 0) + 0~ (1) +

Р'<,-1.„-</-,+1 (%> = - И„-,/-1+1 Р^-и^-м (О + Ъ Ра^-, (0 +

+ Г Рп-м^Рл-Уп-^+г^О' ¡ = 1.П-Л;

Р'^-1.0 =

Исходя из физических соображений, полагаем, что: = <у = 1, р Одругих значений /, / е {о,л},

/),/г = о; = о, Ри(1->а>) = о.

Первые три уравнения последней системы соответствуют случаю поведения системы, когда имеется п исправных ВМ, находящихся в состояниях (п-Ц), что означает, (п-1) - ВМ выполняют функциональные задачи, а ( - ВМ заняты диагностическими меропрятиями.

Уравнения 4,5,6 соответстствуют случаю, когда в системе осталось (п-1) исправных ВМ п - 1> ¡ > <1 , (п-х-]) - ВМ выполняют функциональные задачи, а} -ВМ заняты диагностическими меропрятиями.

Уравнение 7 соответствуют случаю, когда система переходит в состояние отказа.

Общее решение системы может быть получено посредством нахождения обратного преобразования Лапласа либо применения численного метода

непосредственно к системе уравнений с помощью математического пакета Ма^Саё. Для случая, когда параметры интенсивностей отвечают условию Л/ = А , (1, — Ц , из системы в явном виде находим:

7'=°

л-гя-

/ = ¿У,»;

где а = .5 + X + ц , Ь=(1 -г)Хц где

д.

¿Г ЕГ-1/ ((а - цДс^а + - *•)) -

Ра-=

Аналогично могут быть найдены явные выражения для вероятностей Д^Й), т.е. для случая выхода из строя одного ВМ.

Полученные решения дают возможность определить изменения характеристик ВС во времени в зависимости от метода обеспечения толерантности. Так средне« число ВМ, непосредственно участвующих в выполнении функциональных задач равно:

¡-¡1 ¡-о

Так как на выполнение одной задачи требуется с1 £ 1) ВМ ((/ - кратност! копирования), то в пересчете на одну копию задачи число ВМ, непосредственш участвующих в выполнении функциональных задач, должно быть уменьшено в < раз, т. е. число виртуальных модулей равно:

_ Пср_

а

На основании выполненных расчетов можно предложить аппроксимирующуь формулу для расчета среднего числа виртуальных ВМ, занятых выполнение/ функциональных задач:

rt

i/io{i+ g

которая при выполнении условия /< 8000 обеспечивает точность до 5%. От?.;ет"", "тс пр:; временном масштабе у = | сек. значение t = »000

соответствует времени функционирования ВС в течение около 2,5 часов.

Третая глава посвящена постранению интегрированной модели

производительности TBC. В §1 рассмотрена модель производительности в

зависимости от числа исправных ВМ. Пусть ВС содержит v однотипных

виртуальных ВМ, val. Функционирование ВС состоит в выполнении однотипных

задач, при этом одна задача для своего выполнения требует ровно одного ВМ. Без

ограничения общности положим, что максимальное число задач, требующих

выполнения, равно Л, где А 2 v.' Выполненная задача по завершению инициирует /

задач с вероятностью q,, * ,, i = 0,к , 2 < к < h , каждая из которых начинает

1=0 ' *

выполняться при наличии свободного ВМ.

Пусть время Тв выполнения задач ВМ является случайной величиной с экспоненциальной функцией распределения и параметром Y р(хв < t) = 1 - е'^' ■

Для оценки производительности ВС используются различные индексы производительности. Мы получим решение для подсистемы ВС, на основании которого определяются различные индексы производительности всей ВС, в частности, среднее число задач и среднее время выполнения задач.

В силу экспоненциальное™ функции распределения длительности выполнения процессов модель функционирования ВС в стационарном режиме описывается следующей системой уравнений :

*-i _

Hqi(i + j-k)pl_kb,^ipi,j = 2,v, р. = 0 для i + j - к < 0, i-1

£ (v + i+j-k)prtirj_tbl + VZpv bi-l.í = vp i = \,k-2,

J'l j'O

T.P^u,b¡ = />„♦»,.• i = -lh-v-k. .--i '

где р,,

/ < v - стационарная вероятность того, что система имеет i

активных ВМ (инициировано / задач); ,_/ = 1,Л- v- стационарная вероятност того, что активны V ВМ, а ) задач находятся в состоянии ожидания (инициирован v+j задач),

На основе полученных выражений для вероятностей Д, / = можно найт среднее число активизированных задач.

hcp = I min(v.l) р = рх /-1

Л-1-

—1

* — i J L к I 61' х 2

Г«-Ц||1

-2 J

6'23 X

= 0

I!

= 0

А-1 -Z(k-j)ij

к-3

h-\-X(k-j)jj

...X I ¿'з3Х......X I

'»-2 =

3

Л-l- Z(k-j)ij j= 1 fc-3

x 2 1 + wax -

/*-i=o V V v

v + 1

.o mi4xP(/,./2...../*-.)

На основе полученного решения находим среднее время выполнения задач:

_ 1 h<-P Тер —

7 v

В частности, при ограничении числа инициируемых задач (не более двух, т.€ к=2) среднее число активизированных в ВС задач равно

О» _ 1 +Яг '

, __V еГ-|

/7^ - -

(а-1

которое при ^ « принимает вид

к - 1 >(к - У+1)

И + ——1--

I - 2)'

л г/» ~

11 &

В свою очередь последнее выражение может быть аппроксимировано в виде: Г -_2У_ ■

ср а-у . . ,

v

Объединяя модель числа виртуальных ВМ в зависимости от средств обеспечения толерантности и модель времени выполнения функциональных в зависимости от числа виртуальных ВМ, мы получаем интегрированную модель. Интегрированная модель может быть расширена за счет рассмотрения ВС как системы, состоящей из подсистем.

Пусть ВС содержит N однотипных ВМ, N > 1 . Функционирование ВС состоит в выполнении однотипных задач, при этом одна задача для своего выполнения требует ровно одного ВМ. Положим, что максимальное число задач, требующих выполнения, равно //где Н > N .

Будем считать, что распределение задач по ВМ задано посредством взаимно однозначного соответствия между подмножеством Л-/,.. у = и множества М всех

задач у М/ = М, Л/¡Г) М; = 0. /',./' = 1,5 , и подмножеством (подсистемой)

fj, / = и множества / всех ВМ /,п/,= 0. /,у'= , на

которых выполняются эти задачи. Обозначим п ] - число ВМ подсистемы /у и

hj- максимальное число задач подмножества Mj- Таким образом, число всех ВМ N = Z tij и максимальное число всех задач H = f. hj - В связи с указанным можно

y.l J-I

выделить структуры ВС с общим ресурсом ВМ (s=l), локально доступным ресурсом

ВМ (s=N), и частным ресурсом ВМ (1 < s < N ). Выполненная задача по завершении

—

инициирует i задач с вероятностью £<7,-1. = каждая из

которых начинает выполняется при наличии ВМ, соответствующей j - й подсистемы.

В рамках расширенной интегрированной модели получены оценки индексов производительности деградирующей ВС в зависимости от:

1) параметров функциональных задач: вероятности инициации ; задач Ц,

i

Z <7, = 1 , максимального числа задач ВС H и j - подсистемы hj, времени ця

i= о 1

выполнении в / - м подсистеме задачи : р(r < t) = 1 - g~r '' • 2) параметров ВМ: 5 -

числа подсистем, nj - числа ВМ j - й подсистемы, N - числа ВМ ВС, N = Z л,, 3) г -

вероятности фиксации отказа модуля после выполнения контролирующих меропрятий, 4) параметров обеспечения толерантности ВС: времени рабочего

интервала Тр, р(iр < О = 1 ~ ' где ' " числ0 выполняющих

функциональные задачи, времени контроля Ik , р( ?к < I) = 1 - e~M,t> где j ' число

ВМ, выполняющих контролирующие меропрятия, 5) метода обеспечении толерантности d= 1,2,3, .6) времени жизни системы t.

В этом случае среднее время ТСр. выполнения задач / - й подсистемы определяется выражением

1 hep Тср =--

И у v

при п=пj и h = hj, а среднее время Тср выполнения задач ВС является

функцией максимума или другой функцией от TCpt. Дополнительные временные потери, вызванные обнаруженной ошибкой, определяются также, как и для подсистемы.

Четвертая глава посвящена исследованию модели функционирования TBC в режиме работы, контроля/диагностики с возможностью полного восстановления и с учетом фатального отказа системы. Пусть первоначально ВС содержит п единиц однотипных ВМ. ВМ могут выходить из строя в процессе жизни системы. При этом система продолжает функционировать за счет перераспределения функциональных задач, несмотря на одиночные отказы ВМ. Данный процесс продолжается до тех пор, пока в системе не останется ни одного исправного ВМ. Таким образом система обеспечивает толерантность в течение некоторого времени. Поэтому наряду с выполнением функциональных задач необходимо осуществлять контроль правильности функционирования ВС и, тем самым, определять наличие в системе неисправного модуля, если такой существует в данный момент времени. Система может находиться последовательно в двух режимах: 1) режиме работы, когда выполняются функциональные задачи; 2) режиме контроля и диагностики, когда проверяется правильность функционирования системы. При этом при наличии запасных компонентов может быть восстановлена исходная конфигурации системы или сохранено текущее число компонентов системы или может быть определена неработоспособноть ВС. Более точно мы считаем, что и - вероятность полного восстановления работоспособности системы, - вероятность восстановления текущего числа модулей и тг - вероятность отказа одного вычислительного модуля (система постепенно деградирует), v- вероятность фатального отказа, с=1- и- v .

Состояния системы в режиме выполнения функциональной задачи

определяются множеством N= {п,п-1.....1,0), т.е. система находится в состоянии /,

i=0,...,n, если система содержит i исправных модулей.

Состояния системы в режиме контроля и диагностики определяются

множеством М={п,п-1,...,2,1], т.е. система находится в состоянии j, j-1.....п, если в

режиме контроля и диагностики система имеет j исправных модулей. Предположим, что времена пребывания системы в режиме работы и контроля/диагностики являются независимыми случайными величинами, имеющими экспоненциальное распределение, соответственно:

f(i) = Xe""' и ф(/) = д,<Г''

Будем исследовать систему в нестационарном режиме. Определим p(t) как вероятность нахождения системы в момент времени l в режиме выполнения функциональной задачи в состоянии /, где i={0.....л}, a q(t) как вероятность

нахождения системы в момент времени I в режиме контроля и диагностики в состоянии /', где /'= {1,...,л].

Для вероятностей р/0и <],(') справедлива следующая система уравнений:

р'п(0 = -к Рп(^ + спРп дп(0 + и д (I);

р'.(I) = -Л,- р.(I) + сГ2Мм дм(0 + СГ1 тО, i~d.il-1;

п

р' = СГ2 Мс! #/ 0 + v £ И] д/0;

О = -И1 + Л- р.(0, г =

со следующими начальными условиями:

Ря(1 = 0) = 1; р (' = 0) = 0, д.(1 = 0) = 0, ¡ = 7Гп.

Для СУР справедливы соотношения:

(спГ'п^.Дм^+и,)"*

¡-Л

ч]<*> = (сГгТ X, X,-

где

5 + м _

О

ПССз+Х^Хя+^-сп^Х,)

Таким образом, получено аналитическое решение в преобразованиях Лапласа в виде рациональной функции от.Обратное преобразование Лапласа от функций

р (з), / = оГл и ^ (я), ¡ = Тп может быть получено известными методами .

В §2 получено решение для вероятностей р(1) и д/1), когда нет

возможности восстановления исходной конфигурации системы, т.е. при и=0 в виде:

Яп! — 5„2

~ &.1

*

Р,(0 = (сггГ П -К^Х {(*» +

Яс SI г'

e

j=i,jUk2

í = d-1.n:

. n n

q,(t)=Ai(cr2) ~ П ÁjMjp.

-r-1

П (ski-sji)(skl-sj2)

j=i.jUk1

+e

S к 2l

j=ljUk2

i= d,n;

n n

pJt) = (^u)(crJÏ\hV-Z

M

j=d,j2=kï

Sk2

П (л2~5л) (5*2-^2)

j<.d.jUk2

e +

+

• +

+" i (w'tuy^i

I=d+1 j=i k=i

Sk1 П {sklSjljfeklSj?)

-1

MJ2* M

est'' +

+

Si 2

j=i.jUk 2

s12' i

e +

+

п^л-^осй-^г))

J~d

где

s» ="

(-(% + (ijJ - yj(X,+VjJ' +4cn 2

{~(Xj + HjJ + fa+Vj-i? + 4cr,XjHj_,)

sP. =---,

В § 3 и 4 осуществлена проверка полученных аналитических результатов другими математическими методами.

В пятой главе с целью оценки погрешности экспоненцианального функции распределения, рассмотрены:

- оценка влияния математических моделей, использующих экспоненциальные функции распределения, на точность определения индексов производительности ВС;

- имитационная модель функционирования TBC во время полета.

Для оценки влияния математических моделей функционирования ВС с динамическим изменением числа обрабатываемых задач, использующих экспоненциальные функции распределения, на точность определения индексов производительности ВС осуществим слудующее преобразование. Пусть время выполнения задач является случайной величиной с эрланговской функцией распределения с параметром X и с показателем к. Выполненная задача по завершении инициирует i (/ = 0,2) задач с вероятностью q^^q = ь каждая из которых начинает

' I. о '

выполняться, если ВМ свободен. В противном случае задача поступает в очередь. Емкость локальной памяти - п задач. Определим р (!) как вероятность нахождения

в системе /' - инициированных задач в момент времени (. Модель функционирования такой системы в нестационарном режиме описывается системой уравнений:

Po(l)=Ä4oPi(t};

Co следующими начальными условиями: P(m-1)k(l =°M' PiC = °) = = ïv

для вероятностей системы справедливо следующее соотношение; где р^ ^s) - вероятность того, что система находиться в ik+l - м состоянии,

"П т

sb+ii^Q^-i/f^q^iïs+Xf-tc^'clt =

мм X Яо

На основании полученного решения относительная ошибка определения среднего времени выполнения задачи в зависимости от количество этапов As при параметрах = 1, q0 = 0,4 , q1 = 0.25 q2 = 0,35 ,1=1000составляет &s = У/о.

Для имитационной модели функционирования TBC во время полета в отличие от модели гл.2 нестационарное поведение системы исследовано путем машинного эксперимента. В качестве языка моделирования был выбран язык GPSS. Результаты моделирования в обоих случаях совпадает с точностью до 1,3%.

Основные результаты работы

1. Предложена методики оценки влияния средств живучести ВС на производительность ВС. Методика включает макро и микромодели функционирования ВС.

2. Разработана аналитическая интегрированная модель (микромодель) оценки влияния методов обеспечения толерантности ВС на производительность.

3. На основании решения интегрированной модели осуществлено ранжирование методов обеспечения толерантности по показателю качества функционирования системы - времени выполнения задач в условиях отказов ВМ.

4. Разработана аналитическая модель (макромодель) оценки числа исправных ВМ в процессе эксплуатации летательного аппарата.

5. Произведены оценки влияния эксплуатационных характеристик на производительность ВС.

Содержание диссертации отражено в следующих работах:

1. Брехов О.М., Киличев Г.А. Модель толерантной бортовой вычислительной сети. Отчет по НИЭР "Разработка перспективной бортовой транспьютерной вычислительной системы вертолета",. М.:МАИ, 1993, с.70-82.

2. Брехов О.М., Киличев Г.А. Аналитическое моделирование БВС в нестационарном режиме. Отчет по НИЭР "Разработка перспективной бортовой транспьютерной вычислительной системы вертолета", М.:МАИ,1995, с.124-162.

3. Киличев Г. А. Микромодель функционирования вычислительных систем. -М.: МАИ, 1995г. 12с. -Деп. в ВИНИТИ 26.12.95, №3464-В94.

4. Киличев Г. А. Модели функционирования ВС в нестационарном режиме. -Всероссийская научно-техническая конференция "Вычислительные системы бортового базирования-95" (МАИ, 1995г.).

5. Brekhov О. М., Kilichev G. A. An Influence of Methods of Computing System Tolerance Support on System Performance. The Third Internat. Conf. D&AS Suceava. Romania, 1996.