автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методы оценки качества и надежности программного обеспечения систем управления образовательным процессом

На правах рукописи

рте од

1'<Х\\ 'P'V? Шубинский Максим Игоревич

МЕТОДЫ ОЦЕНКИ КАЧЕСТВА И НАДЕЖНОСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

СИСТЕМ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ ПРОЦЕССОМ

05.13.10 - Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 1997

Работа выполнена в Северо-Западной академии государственной службы

НАУЧНЫЙ РУКОВОДИТЕЛЬ

— Заслуженный деятель науки РФ доктор технических наук, профессор Дегтяренко Г.А.

НАУЧНЫЙ КОНСУЛЬТАНТ

— доктор физико-математических наук, Клоков В.И.

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ

— доктор технических наук, профессор Евграфов В.Г.

— кандидат технических наук, Петров В.А.

ВЕДУЩАЯ ОРГАНИЗАЦИЯ

— Санкт-Петербургский университет технологии и дизайна

Защита диссертации состоится "_"_199_г.

в_часов на заседании диссертационного совета К.151.02.02

по адресу: 199178, С-Петербург, 8-я линия ВО, д.61.

С диссертацией можно ознакомиться в библиотеке диссертационного совета К.151.02.02

Автореферат разослан "_"_1997г.

Ученый секретарь диссертационного совета

Оглоблин С.Г.

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИОННОГО ИССЛЕДОВАНИЯ.

Актуальность темы. Объекты исследования

Управление современной социальной системой, какой является высшее учебное заведение (вуз) в настоящее время невозможно без создания надежного и качественного программного обеспечения (ПО), реализующего математические и физические модели, описывающие образовательный процесс.

Управление вузом, как социальный системой, помимо выполнения основных пяти функций планирования, организация, учета, контроля и прогнозировании деятельности, имеет ряд особеностей, важнейшими из которых являются:

• иерархичность управления (вуз — факультет — кафедра);

• разнообразие классов решаемых задач от подбора и рас-стоновки кадров, финансово-экономической деятельности, управления учебно-методической работой, до задач интеллектуальной поддержки в принятии решения руководством любого уровня (кафедра, факультет, вуз);

• многообразие разработчиков программных продуктов, используемых при управлении и др.

Разработка программного обеспечения систем управления образовательным процессом (ПСУОП) часто происходит в самом учебном заведении. Создание программных средств — дорогостоящий и трудоемкий процесс. Каждый программный продукт — это сложное изделие, обладающее множеством различных свойств (качественных характеристик). И поэтому, как разработчик, так и заказчик, должны иметь представление и о комплексном показателе качества созданного программного изделия, и о значениях основных качественных характеристик, таких как безопасность и надежность, и владеть методами их прогноза. Однако, вуз не имеет возможности проводить долгосрочное и дорогостоящее тестирование разработанных ПСУОП.

Традиционные методы оценки качества и надежности программного обеспечения, приспособленные, в основном, к техническим системам, не рассматривают:

• особенности социальных систем и, в частности, образовательных систем;

• случай возможного внесения ошибки при тестировании;

в исправления групп ошибок в процессе отладки;

® влияние человека-программиста на отладочный процесс.

Кроме того, существующие методы требуют большого числа испытаний для оценки качества и надежности ПО, что существенно удорожает и увеличивает по времени процесс отладки, делая его громоздким и недоступным для пользователя (вуз, факультет, кафедра).

Поэтому, для совершенствования управлением социальной системой типа вуз назрела необходимость разработки методов, позволяющих быстро, но в тоже время без потери в объективности, получить обобщенную оценку качества и дать прогноз надежности ПСУОП, расширив границы распространения программных продуктов в вузах различных ведомств.

Цель исследования

Повысить объективность и упростить оценку и прогноз качества и надежности программного обеспечения систем управления образовательным процессом.

Задачи исследования

1. Разработать метод экспертной оценки качества ПСУОП, его алгоритм и программу, снижающие субъективизм оценки и упрощающие работу эксперта, на основе анализа и классификации ПСУОП и методов расчета его качества.

2. Разработать модель оценивания и прогнозирования надежности ПСУОП, учитывающую возможность внесения новых ошибок и исправления группы ошибок в процессе отладки программ и не требующую большого числа испытаний, на основе анализа и классификации ПСУОП и методов расчета и прогнозирования его надежности.

Метода! исследования

При выполнении диссертационной работы использовались: теория надежности, нечеткая математика (теория нечетких множеств, теория возможностей), теория вероятностей, теория многокритериального оценивания, элементы математического программирования, методы экспертных оценок.

Научная новизна На основе предложенной классификации программного обеспечения систем управления образовательным процессом (ПСУОП) обобщения известных моделей надежности программного обеспечения:

• разработана возможностпая модель оценивания и прогнозирования надежности ПСУОП, позволяющая учитывать внесение новых ошибок и исправление группы ошибок в процессе отладки программы;

• Предложен новый многокритериальный экспертный метод оценки качества ПСУОП, использующий теорию нечетких множеств .

Теоретическая и практическая значимость диссертации заключается в следующем:

• разработана теоретическая основа методов и моделей оценки качества и надежности ПСУОП, являющаяся частью общей теории управления, и расширившая границы ее применения для социальных систем типа вуз.

• теоретические результаты доведены до уровня практического применения в виде разработанных алгоритмов и программ;

в разработанные руководства для пользователя по реализации ПСУОП внедрены в практическую деятельность ряда вузов России, что подтверждается актами внедрения.

На защиту выносятся:

1. Метод экспертной оценки, позволяющий, используя теорию нечетких множеств, получить сравнительное обобщенное значение качества ПСУОП.

2. Модель оценки и прогноза надежности ПСУОП, учитывающая особенности социальных систем, возможность внесения ошибок и (или) исправления сразу нескольких ошибок в момент отладки.

Достоверность результатов исследования обусловлена корректным применением математических методов, а также согласованностью результатов с контрольными данными, о чем свидетельствует проведенный эксперимент.

Апробация работы Результаты проведенных исследований были представлены:

• на международных конференциях: "Региональная информатика - 95"(С.-Пб,1995г.); "Актуальныепроблемы инфор-матизаци образования" (С.-П6Д995 г.); "Региональная информатика - 96" (С.-П6Д996 г.);

« на научно-практических конференциях: "Проблемные вопросы сбора, обработки и передачи информации в сложных радиотехнических системах" (С.-Пб.,1995, 1997 г.г.); "Актуальные проблемы повышения качества обучения и подготовки курсантов к выполнению обязанностей по первичной офицерской должности"(С.-Пб.,1997 г.).

Внедрение результатов работы

Результаты исследований были использованы при выполнении научно-исследовательской работы "Система" за 1997 год.

Публикации

По теме диссертации опубликовано 14 печатных работ, из них 6 статей (2 статьи в зарубежных изданиях), 7 тезисов докладов и один итоговый отчет по НИР.

Структура и объем диссертации

Диссертация состоит из введения, трех глав, заключения, приложения и списка литературы . Общий объем — 109 страниц, в том числе 15 рисунков и 5 таблиц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируется цель и задачи работы, определены основные научные положения и результаты выносимые на защиту

В первой главе проведен анализ программного обеспечения систем управления образовательным процессом и моделей оценки качества и надежности ПО, дана их классификация, определены пути совершенствования методов и моделей оценки качества и надежности ПО.

Высшие учебные заведения можно отнести к большим сложным системам социального типа, важнейшим аспектом функционирования которых является качественное управление ими.

Эффективное и современное управление деятельностью вуза является важнейшей задачей, стоящей перед его руководством. Поскольку основная цель вуза - обучение, то в дальнейшем будем говорить о системах управления образовательным процессом (СУОП).

СУОП в вузе осуществляется на трех различных уровнях:

• вузовский уровень - это уровень, на котором решаются задачи относящиеся ко всем структурным подразделениям;

• факультетский уровень - это уровень, на который передается решение задач, связанных с деятельностью именно этого факультета;

• кафедральный уровень - это уровень, на который передаются задачи управления, относящиеся только к этому структурному подразделению.

Необходимо отметить, что в зависимости от специфики организации вуза, те или иные задачи могут передаваться на другие уровни.

Безусловно, дри организации управления образовательным процессом используется различное программное обеспечение (ПО). Необходимое программное обеспечение целесообразно разделить на четыре основных класса, в соответствии с поставленными задачами. При этом одни и те же программы могут входить в разные классы.

• В первый класс входят программы, помогающие решать классические задачи управления:

— подбора и расстановка кадров, финансово-экономической и хозяйственной деятельности вуза

- связанные с составлением учебных планов, распределением нагрузки, расписания и т.п.

• Во второй класс входят программы, обеспечивающие процесс обучения.

• Третий класс включает в себя программы методической поддержки.

• Программы, обеспечивающие научные исследования, составляют четвертый класс программ, необходимых для решения задач СУОП.

В системах управления образовательным процессом на каждом из трех уровней так или иначе используются программ-мы из всех четырех классов (рис.1). Однако, данная классификация не позволяет оценить все проблемы, связанные с программным обеспечением систем управления образовательным процессом (ПСУОП). Лля получения более полной картины требуется классифицировать ПСУОП по месту изготовления или, иначе говоря, по разработчикам (рис.2):

в в первую входят программы, разработанные специализированными фирмами,

Рнс.1. Система управления образовательным процессом

Рис. 2. Классификация ПСУОП по месту разработки

• во вторую включаются программы, разработанные в специализированных НИИ или других вузах, прошедшие сертификацию, и рекомендованные министерством образования (МО) к использованию при организации управления учебным процессом,

• В третью — программы, разработанные внутри высшего учебного заведения. Причем, эту группу разумно разделить на две части:

— программы, разработанные преподавателями или сотрудниками вуза для решения задач организации управления образовательным процессом;

- программы, разработанные студентами (иногда совместно с преподавателями) в процессе обучения, уровень которых позволяет использовать их при решении реальных задач.

Несмотря на широкое использование ПО из первой группы, очевидна необходимость использования программ второй и третьей групп, разработчики которых лучше знакомы с конкретными задачами СУОП.

Для того, чтобы перевести разработанную в вузе програм-" му из третьей группы во вторую (пройти сертификацию), безусловно, необходимо знать, что программа достигла требуемого уровня качества и надежности.

Таким образом, существует острая необходимость в простых, не требующих большого объема времени, методах оценки качества и надежности ПСУОП, учитывающих особенности функционирования социальных систем.

Задачи оценки качества программных средств проработаны недостаточно, что связано с неполной информацией о программе и большим числом критериев качества. Такие задачи поддаются решению при использовании экспертных оценок. Разобранный экспертный метод оценки качества проектируемых программ, использует сводные показатели. Из-за того, что имеет место ряд сложностей, прямое использование данного метода к задаче оценки качества готового программного средства затруднено, что связано, главным образом, с трудностями задания экспертами количественных значений показателей качества. Поэтому целесообразно разработать модифицированный метод и алгоритм оценки качества готового программного продукта с привлечением теории нечетких множеств.

Разнообразие моделей надежности программного обеспечения вызвано их неудовлетворительными свойствами универсальности и трактуемости. Все модели надежности ПО с методологических позиций можно разделить на две группы: вероятностные модели надежности (ВМНП) и возможностные (или нечеткие) модели надежности (НМНП). В свою очередь, ВМНП делятся на четыре класса: Макро, Микро, Байесовские и Модели обоснования, отличающиеся между собой игнорированием или учетом внутренней структуры программ, учетом динамики изменения отладочных данных, наличием отладки программ при тестировании. Общность всех этих моделей состоит в вероятностном описании надежности программ. Вероятностная предпосылка во многих случаях не соответствует практическим наблюдениям, поскольку не учитывает неповторяемость процесса отладки программ вследствии их уникальности, а также недостаточность данных, чтобы поддержать вероятностное предположение.

Все известные модели надежности ПО не учитывают влияние человека-программиста на отладочный процесс. В них предполагается, что исправляется только одна ошибка без внесения новых ошибок в программу. Поэтому необходима разработка универсальной модели надежности ПО, обеспечивающей учет неполных данных, возможные изменения алгоритма программы в процессе ее отладки и внесение при этом новых ошибок, а также исправление сразу нескольких ошибок. Поскольку поведение ПО в смысле надежности является нечетким по природе и описывается функцией от нечеткого аргумента, то для решения поставленной задачи целесообразно использовать теорию возможностей.

Таким образом, современное состояние методов оценки, качества и надежности ПО таково, что для преодоления существующих недостатков необходимы новые подходы, оценки и критерии, каковыми являются:

• методика оценки качества, использующая теорию нечетких множеств для получения обобщенной сравнительной оценки качества ПСУОП;

• новая возможностная модель оценки и прогноза надежности ПСУОП, учитывающая поведение человека-программиста и особенности социальных систем типа вуз.

Во второй главе приведены модифицированный метод и ал-

горитм оценки качества ПСУОП и новая возможностная модель оценки и прогноза надежности ПСУОП.

Известно конечное множество Г свойств программ, таких как: безопасность, надежность, гибкость, практичность и т.д. Эти свойства принято называть факторами. Определен перечень К частных показателей качества, таких как: работоспособность, возможность обучения, скорость ввода-вывода, контроль доступа и др. Каждый г'-й фактор (1 = 1,-Р) определяется некоторым набором $ показателей (5, С К), причем, один и тог же показатель может относиться сразу к нескольким факторам. Требуется с помощью экспертных оценок найти численное значение каждого фактора и численное значение качества готового программного продукта по совокупности факторов.

Для расчета величины ьго фактора используется следующая формула:

где р) — нормированные весовые коффициенты, ^ •— значение _/-го показателя.

Предложенный модифицированный метод оценки качества ПСУОП реализует следующую схему обработки мнений экспертов

1. Каждому из М экспертов предлагается выбрать по своему усмотрению множество = 1, M;K¡ С К} показателей качества и ранжировать их, разместив между каждыми двумя соседними показателями логические условия >,> ,На этом задача, экспертов заканчивается.

2. Принимается, что значения показателей к}- и, следовательно, величины факторов /,• в формуле (1) являются нечеткими. Определяются функции принадлежности каждого фактора (г = и для каждого 1-то эксперта

(1)

Е! "¡¡'Г1!'-*

¡=1

1,

Е

¡-I

х ~ Е т)1Р]П ¿=1

а,-), х > £ турц, 1-1

где 0<1<1, 1иЛ — признаки левой и правой части функции принадлежности. Параметры т,а и /? определяются путем обработки мнений экспертов, представленных логическими условиями и ранжированием показателей качества; весовые коэффициенты рц нормированы и вычисляются с учетом номера позиции соответствующего показателя в порядковом ряду показателей, заданном экспертом.

3. Определяется численное значение качества готового программного продукта для 1-то эксперта как центр тяжести функций принадлежности всех факторов

1 р

IЕ ^/ЛФ^х

О >-1_

1 г '

IЕ

О ¿=1

1 = 1,М.

(3)

4. Вычисляется аналогично пункту 3 обобщенное численное значение каждого фактора качества программы, установленное с учетом мнений всех экспертов.

5. Вычисляется средневзвешеное значение качества программы по результатам обработки мнений всех экспертов.

Для оценки и прогноза надежности ПСУОП предложена новая модель, учитывающая возможность внесения ошибок и исправления нескольких ошибок в процессе отладки программ.

Пусть Т{ - интервал времени между (г — 1)-й и г-й ошибками программы. Эта величина рассматривается как нечеткая переменная, поскольку после исправления ошибки программа может измениться и наблюдаемый интервал времени между

ошибками станет единственной реализацией некоторого распределения. Будем считать, что величина принимает зпа-чение Х{ с возможностью /^(з:,-), которая определяется функцией

/|(:г;) = ехр (-(х,- - Aif), г = М, (4)

где Л,- — ожидаемое время до следующей (1-й) ошибки программы. В свою очередь, время Л,- растет по мере отладки программы и может быть описано функцией роста

Л; = ^(¿),г = Т7п,

которая определяется, например, линейной функцией ф(1) — аг + Ь с параметрами а и Ъ. Требуется оценить параметры а и Ь так, чтобы функция ^(¿) наиболее точно отражала рост времени между ошибками программы.

Для того, чтобы учесть дополнительные предположения, касающиеся числа исправляемых и вносимых ошибок, введем нечеткую переменную Д, которая характеризует число вносимых и исправляемых ошибок после (г — 1)-го отказа. Эта переменная принимает целые значения. Отрицательные значения Д показывают, что в программу были внесены новые ошибки. Положительные значения Д показывают, что число исправленных ошибок после ¿-го отказа увеличилось. Переменная Д является нечеткой, поскольку отладочный процесс полностью зависит от компетенции, опыта и активности программиста. Эти характеристики трудно измерить точно.

Полагаем, что величина Д принимает положительное или отрицательное целочисленное значение к{ с возможностью

7Г (£,) = ехр(-<р2(к1)),г = Т~п, (5)

где <р(к{) такая функция, что 7г(1) = 1 и ¡р(1) = 0. Это означает, что наиболее возможное число ошибок, исправляемых после отказа, равно 1. Если, например, исправлена одна г-ая ошибка и новых не внесено, то £¿=1. Такой же результат будет, если при 1-й отладке исправлено две ошибки и одна новая внесена и т.д. Данная формула не исключает возможности значений = ...,—3,-2,-1,0,1,2,.... При этих предпосылках достаточно представить функцию <р(к{) в виде <р{к$ = — Л, где А > 0.

Тогда можно записать функцию правдоподобия в контексте меры возможностей следующим образом:

После подстановки функции гр{¿) и значений к1,...,к„ в это выражение, значения параметров функции выбираются так, чтобы максимизировать функцию правдоподобия Ь{х\,хп).

В работе доказано, что данную задачу оптимизации можно свести к следующему: минимизировать функцию XV при следующем наборе ограничений

i-i

a YÏ, Щ + w + Ь > Xi - а + a(i - 1) • (w - Л); ;=1 ¡-1

а Щ — «> + Ь < Xi — а + a(i - 1) • (w — А); j=i

ш,- > 0;

m, < 2 • w, i = 1, n,

где

m,- = ki +- w — A, m; > 0,

z = L(x1,xn).

Теперь уже данная задача сведена к задаче линейного программирования и решается с помощью стандартной процедуры симплекс-метода.

Возможность безотказной работы программы в течение времени t определяется как

R(t) - sup max min {/iil+tj+...+iii+l(x), ar(fcn+l)} ,

X>t *n+l

где вектор {¿i, ki,..., ¿л+1} содержит оптимальные значения, полученные после оптимизации функции L(xi,x„).

Таким образом, основу теоретических положений метода экспертной оценки качества программного обеспечения систем управления образовательным процессом (ПСУОП) составили:

• метод экспертной оценки качества ПСУОП, являющийся модификацией метода сводных показателей с применением теории нечетких множеств;

• способ арифметизации факторов качества ПП по результатам отбора, ранжирования критериев и отношения порядка между ними, введенными каждым экспертом;

• алгоритм метода многокритериальной экспертной оценки качества ПООП.

Теоретические основы новой модели оценки и прогноза надежности ПСУОП, учитывающей влияние человека, базиру-. ются на:

• особенностях функционирования социальных систем типа вуз;

• доказательстве того, что оптимизационная задача подбора параметров модели сводится к задаче линейного программирования;

• доказательстве теоремы об инвариантности модели к параметрам размытости составных нечетких величин;

• математической модели оценки и прогноза надежности ПСУОП с нечетким числом исправляемых ошибок.

В третьей главе разобран один из вариантов предложенного метода оценки качества программного обеспечения систем управления образовательным процессом (ПСУОП), описаны результаты эксперимента, подтверждающие корректность модели оценки надежности и даны рекомендации по использованию разработанных методов при практических разработках.

На основе предложенного метода экспертных оценок разработан алгоритм, выполняющий все указанные этапы обработки мнений экспертов. Проведены расчеты по данным группы экспертов. Результаты расчетов показали устойчивость интегральных оценок и возможность выполнять сравнительные оценки качества различных программных средств.

Таблица 1.

Таблица численных значений качества ПП по мнению каждого эксперта

Эксперты Сравнительные оценки качества

1-й эксперт 0.6854

2-й эксперт 0.7825

3-й эксперт 0.7237

4-й эксперт 0.7464

5-й эксперт 0.6961

6-й эксперт 0.7301

среднее значение 0.7274

Для реализации алгоритма на языке Turbo-Pascal 6.0 была написана программа "Пример", с помощью которой были получены результаты, представленные в табл.1 .

В табл.1 приведены значения качества программы для шести гипотетических экспертов.

В условиях рассмотренного примера установлено, что количество выбранных показателей достаточно сильно влияет на значение качества. Так, значение качества программного продукта по мнению второго эксперта, выбравшего 18 показателей, существенно отличается от значений качества по мнению первого (он выбрал 12 показателей) и пятого (он выбрал 13 показателей) экспертов. В случае примерного равенства выбранных показателей (2-й,3-й,4-й и &-й эксперты), существенную роль играет то, какие именно показатели были выбраны и места, на которые поставлены показатели, влияющие сразу на несколько факторов.

Проведенное исследование позволяет определить обобщенное численное значение качества программного продукта для сравнения его с аналогичными продуктами других фирм и первоначально установить те факторы, более серьезная разработка которых позволит улучшить качество данного продукта.

Алгоритм модели оценки и прогноза надежности ПСУ-ОП был реализован в компьютерной программе, позволившей проверить разработанный метод на практике.

Корректность модели была логически доказана путем сравнения ее с возможностной моделью К.Кая на реальных экспериментальных данных. Модель К.Кая, в свою очередь, показывала лучшие результаты по сравнению с известными вероятностными моделями . Для анализа модели были взяты данные, полученные в течение ряда лет в центре надежности программного обеспечения при Лондонском университете, в качестве основной меры точности модели было использовано среднеквадратичное отклонение (СО)

где — реальное значение времени до 1-го отказа, У,ш — модельное значение до 1-го отказа.

В табл.2 приведены результаты вычислительного эксперимента по всем имеющимся наборам данных.

Кроме среднеквадратичного отклонения в качестве меры точности модели было использовало максимальное абсолютное отклонение (МАО).

Анализ результатов прогнозирования показывает, что новая модель в большинстве случаев дает лучший прогноз по сравнению с моделью К.Кая.

Таблица2

Результаты сравнений по среднеквадратичному отклонению

Программы Новая модель Модель К.Кая

твое 172.1 174.86

THW 77.23 203.38

ТиЭЕЙ 99.76 130.32

ШВАБ. 87.95 150.82

ТШАВ 63.83 221.49

88.08 218.96

ШСОМ 80.07 185.54

ББЗ 26.72 56.73

В табл.3 приведены результаты вычислительного эксперимента для набора экспериментальных данных ТШАВ Лондонского центра надежности ПО (где ПВ предсказанное время до ошибки ).

Таблица 3.

Результаты вычислительного эксперимента для набора данных ТиЭАВ

Хар акте рис г шеи Новая модель. Модель К.Кая

МАО 2376.89 12198.1

СО 63.83 221.49

ПВ 2293.73 3213.66

Таким образом, модель оценки и прогноза надежности ПСУОП является корректной и более точной по сравнению с другими моделями, что позволяет использовать на практике разработанные на ее основе алгоритм и программу.

В заключении излагаются основные положения, вытекающие из результатов исследования.

ЗАКЛЮЧЕНИЕ

Задачи исследования решены.

Основными результатами являются

о обоснование особенностей управления социальными системами типа вуз и классификация 11СУОП по поставленным задачам и по месту разработки;

« разработка многокритериального метода экспертной оценки качества ПСУОП, снижающего субъективизм оценки и упрощающего работу эксперта;

• разработка возможностной модели оценивания и прогнозирования надежности ПСУОП, учитывающей особенности социальной системы типа вуз, внесения новых ошибок и исправления групп ошибок в процессе отладки программы;

в оценка адекватности предложенных методов и моделей.

Цель — повысить объективность и упростить оценку и прогноз качества и надежности программного обеспечения систем управления образовательным процессом — достигнута.

Основные положения и результаты диссертационного

исследования изложены в следующих публикациях

1. Дегтяренко Г.А. Шубинский М.И. Анализ программного обеспечения систем управления образовательным процессом //н.-метп.сб.Щ,ВВМУ - С-Пб.,1997(в печати)

2. Дегтяренко Г.А. Мазовер С.И. Шубинский М.И. и др. Совершенствование системы управления образовательным процессом с использованием автоматизированной системы управления. Отчет по НИР "Система", ВВМУ - С-Пб. 1997.

3. Шубинский М.И. Вузы и городской стандарт образования. Тез. докл. II межвед. н.-техн. конф. "Проблемные вопросы сбора, обработки и передачи информации в сложных радиотехнических систелсаа;".,ПВУРЭ ПВО - С-Пб., 1997.

4. Волков A.A. Шубинский М.И. Проект информатизации школы. Тезисы работ российских педагогов ., - С-Пб., 1996.

5. Шубинский М.И. Программное обеспечение систем управления образовательным процессом. Тез. докл. н.-практ. конф. "Актуальные проблемы повышения качества обучения и подготовки курсантов к выполнению обязанностей по первичной офицерской должности.,ВВМУ - С-Пб., 1997.

6. Шубинский M.И. Проблемы надежности педагогических программных средств. Тез. докл. I междун. н.-практ. ■конф. "Информатизация в образовании". - С-Пб., 1995.

7. Дегтяренко Г.А. Шубинский М.И. Метод автоматизированного расчета параметров функции принадлежности //н.-мет.сб. N4,ВВМУ - С-Пб.,1997(в печати)

8. Уткин JI.В. Шубинский М.И. Возможностнаямодель прогноза надежности программного обеспечения с нечетким числом исправляемых ошибок //Информационные технологии и интеллектуальные методы,.,СПИИРАН, - С-Пб., 1997

9. Шубинский М.И. Один из подходов к анализу надежности программного обеспечения. //Информационные технологии и интеллектуальные методы.,СПИИРАН, - СПб., 1996.

10. Гуров C.B. Шубинский М.И. Модель работы программы с изменяющимся распределением времени до проявления ошибки. Тез. докл. II межвед. к .-техн. конф. "Проблемные вопросы сбора, обработки и передачи информации в сложных радиотехнических системах".,ПВУРЭ ПВО -С-Пб., 1997.

11. Шубинский М.И. Оценка надежности программ, использующих автоматические методы распараллеливания. Тез. докл. междун. конф. "Региональная информатика - 95"., -С-Пб., 1995.

12. Шубинский М.И. Проблемы оценки надежности программного обеспечения. Тез. докл. междун. конф. "Региональная информатика - 96"., - С-Пб., 1996.

13. L.V. Utkin, S.V. Gurov, and M.I. Shubinsky. Reliability growth in the probability and possibility contexts. Microelectron. Reliab., 1996.

14. L.V. Utkin, S.V. Gurov, and M.I. Shubinsky. Analysis of CIMS by Fuzzy Human Operator Behavior. Journal of Quality in Maintenance Engineering..(accepted for publication 1997.)