автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Процедуры и модели оценки качества и выбора прикладного программного обеспечения систем обработки информации

Введение.

ГЛАВА I. Обзор методов решения задач оценки качества и выбора программного обеспечения

1.1. Обзор подходов к оценке качества и выбору программного обеспечения.

1.2. Методы, стратегии и виды тестов программного обеспечения.

1.2.1. Этапы тестирования программного обеспечения.

1.2.2. Стратегии тестирования программного обеспечения.

1.2.3. Методы тестирования программного обеспечения.

1.2.4. типы тестирования программного обеспечения.

1.3. Обзор моделей надежности программного обеспечения.

1.4. Постановка задачи исследования.

1.6. Выводы по главе 1.

ГЛАВА II. Иерархическая система характеристик качества прикладного программного обеспечения.

2.1. Правила составления системы характеристик качества прикладного программного обеспечения.

2.2. Алгоритм составления иерархической системы характеристик качества программного обеспечения.

2.3. О способе практической реализации составления иерархической системы характеристик качества.

2.4. Выводы по главе П.

ГЛАВА Ш. Метод генерации тестовых последовательностей для программного обеспечения.

3.1. Метод областей эквивалентности для создания тестовых последовательностей программного обеспечения.

3.2. Правомерность предложенного метода тестирования при стратегии "черного ящика".

3.3. Пример практической реализации генерации тестовых последовательностей для функции решения линейных систем уравнений в среде универсальных математических пакетов.

3.4. Выводы по главе Ш.

ГЛАВА IV. Математические модели для оценочных показателей и обобщенного показателя качества прикладного программного обеспечения.

4.1. Модифицированная математическая модель Нельсона для оценки надежности прикладного программного обеспечения.

4.2. Использование метода экспертной оценки для вероятностей ввода пользователем набора значений входных параметров некоторой области эквивалентности.

4.3. Оценка достоверности результатов экспертизы.

4.3.1. Оценка достоверности проведения экспертизы при оценке надежности программного обеспечения.

4.4. Показатели надежности программного обеспечения.

4.5. Определение значений оценочных показателей качества прикладного программного обеспечения.

4.6. Методика оценки качества прикладного программного обеспечения.

4.7. Методика выбора прикладного программного обеспечения из множества альтернатив.

4.8. Пример выбора прикладного программного обеспечения.

4.9. Выводы по главе IV.

За последнее десятилетие развитие систем обработки информации (СОИ) сделало резкий скачок вперед во всех отраслях промышленности. Надежность функционирования и качество СОИ на всех этапах их разработки и эксплуатации всегда обращало и обращает на себя пристальное внимание не только разработчиков, но и пользователей. Если тестирование и оценка качества функционирования технических средств СОИ не представляет особьгх трудностей, то для программного обеспечения (ПО) СОИ - является сложной задачей, которая до сих пор не имеет окончательного решения. На сегодняшний день системы обработки информации в большинстве своем представлены компьютерами. ПО ЭВМ, как правило, сложнее, чем у прочих технических средств СОИ. Поэтому наиболее сложна оценка качества ПО ЭВМ (в дальнейшем - просто ПО). Наиболее широким классом ПО является прикладное программное обеспечение (НПО).

Задача оценки качества ППО за последние годы стала актуальной как никогда ранее. Это связано с тем, что рынок программных продуктов предлагает огромное количество дорогостоящих пакетов прикладных программ (111111), среди которых многие (сотни и даже тысячи) имеют сходное функциональное назначение. Так, например, на практике находят применение сходные по функциональному назначению текстовые редакторы, графические редакторы, математические пакеты, программы систем автоматического проектирования, программы распознавания текстов, программы машинного перевода и т. д. Поэтому все множество ППО можно рассматривать как совокупность классов, разделенных по классифицирующему признаку " Функционально е назначение".

Можно выделить два смежных направления:

• Выбор ППО. В настоящее время пользователь поставлен перед сложной задачей выбора ППО. Эта задача обусловлена практически полным отсутствием в технической литературе и периодических изданиях рекомендаций по выбору того или иного ППО и методов их выбора.

• Оценка качества ППО. Должна носить объективный характер, в отличии от результата выбора ППО. Следовательно, для получения оценки качества конкретного ППО необходима достоверная информация о значениях критериев качества и о предпочтениях некоторого "усредненного" пользователя.

Сложность решения этих задач объясняется рядом объективных и субъективных причин.

Первой из них является, как уже было отмечено, использование большого числаЛазнообразных по своему функциональному назначению ППО. Для каждого класса ППО требуется индивидуальный набор критериев качества (характеристик качества), по которым проводится оценка качества и выбор.

Второй причиной является постоянная динамика развития ППО. Однажды разработанная система критериев качества для конкретного класса не может использоваться бесконечно долго, так как каждый класс ППО с развитием приобретает все новые возможности. Следовательно, система критериев качества должна постоянно развиваться вместе с совершенствованием ППО. В связи со сказанным понятно, что невозможно разработать единую статичную методику оценки качества и выбора ППО конкретного класса.

Третьей причиной является то, что, как правило, характеристики качества, которыми обладает конкретное ППО, являются противоречивыми, что делает выбор неоднозначной задачей. То есть, при сравнении двух ППО, чаще всего, одно из них является более предпочтительным по ряду характеристик качества, но уступает по остальным.

Четвертой причиной является сложность ППО, как объекта. На сегодняшний день существует тенденция к созданию интегрированных ППО, функциональные возможности которых не ограничиваются узко специализированными функциями, а способны выполнять огромное количество разнообразных функций, присущих другим классам. Так, например, универсальный математический пакет Mathcad можно использовать, как текстовый редактор для набора текстов, а текстовый редактор Word позволяет выполнять расчеты средней сложности, что позволяет его использовать как математический пакет.

Пятая причина - это отсутствие объективной информации о значениях критериев качества ППО. Принятые на практике публикации освещают лигпь небольшое число функций каждого ППО, наличие которых не может полностью охарактеризовать качество функционирования таких сложных объектов. Даже комплект сопровождающей документации на ППО, как правило, не содержит исчерпывающей информации о его функциях.

Шестой причиной является наличие качественных критериев, величины которых трудноформализуемы и могут быть оценены только с привлечением экспертной информации.

Седьмой, но не последней, причиной является практически полная скрытость от потребителя алгоритмов реализуемых в ППО. Отсутствие подобной информации не позволяет дать полную оценку эффективности принятых в них алгоритмов работы.

Решение задачи выбора ППО для нужд конкретного пользователя ставит еще одну проблему, связанную с тем, что результат выбора должен зависеть от субъективных предпочтений пользователя.

Отсутствие научной основы в проблеме оценки качества и выбора ППО объясняется тем, что в период начального развития средств вычислительной техники (70-е - 80-е годы) не было большой необходимости в их создании. Это объяснялось тем, что число однотипных ИЛИ и их сложность были относительно небольшими.

В последние 5-10 лет любой потребитель средств вычислительной техники поставлен в затруднительное положение, обусловленное сложностью выбора эффективных ППО для решения поставленных задач. Высокая стоимость при их большом многообразии диктует потребителю вести длительный поиск необходимого продукта с соответствующими его желаниям характеристиками.

В настоящее время известны работы, посвященные проблеме оценки качества ППО, например, [2-11], но, к сожалению, ни одна из них полностью не решает ее. В работах, как правило, указываются общие подходы к решению данной проблемы, но при более детальном рассмотрении встают не менее сложные частные задачи, подходы к решению которых не разработаны к настоящему времени. Так, проблему оценки качества ППО можно рассматривать как совокупность следующих процедур:

- разработка системы критериев качества для рассматриваемого класса ППО;

- проведение испытаний (тестирования) ППО;

- разработка математических моделей и оценка значений оценочных показателей качества (ОПК) по результатам испытаний;

- нахождение весовых коэффициентов вклада каждого критерия качества в обобщенный показатель качества;

- нахождение математического выражения для вычисления обобщенного показателя качества.

Задача разработки системы критериев качества не имеет общепринятого решения, что приводит к отсутствию общепринятых, легко оцениваемых ОПК. От адекватного выбора ОПК зависит точность и простота оценки качества ППО.

Задача тестирования ППО на сегодняшний день также не имеет общепринятого решения. Это связано со сложностью ППО, как объекта тестирования, для которого невозможно за ограниченное время проверить правильность функционирования при всех наборах входных данных. Наиболее разработаны на сегодняшний день методы генерации тестовых последовательностей для ППО, как "белого ящика".

Нерешенность задачи разработки математических моделей для оценки значений ОПК вытекает из неразработанности их общепринятого набора.

Из сказанного очевидно, что оценка качества ППО требует постоянного развития для любой конкретной области применения, прежде всего, в силу постоянного развития ППО и различия между классами. Из этого следует, что для любого нового класса ППО необходимо разработать набор критериев качества и предложить метод их оценки (расчета, измерения и т. д.).

Таким образом, проблемы оценки качества и выбора ППО являются актуальными и необходимыми на современном этапе развития средств вычислительной техники.

Представленные в работе результаты исследований включают в себя следующие этапы:

1. Разработка алгоритма составления набора характеристик качества

ППО.

2. Составление набора характеристик качества на примере конкретного класса ППО.

3. Разработка метода генерации тестовых последовательностей для функций ППО, учитывая невозможность ознакомления с текстом программы, так как сам текст программы, как правило, является интеллектуальной собственностью фирмы - разработчика.

4. Разработка моделей для оценки значений ОПК системы характеристик качества на основе тестовой информации.

На защиту выносятся следующие положения.

1. Алгоритм построения системы критериев качества ППО, позволяющий осуществить выбор набора ОПК ППО на основании предлагаемой классификации критериев качества.

2. Метод генерации тестовых последовательностей для функционального тестирования ППО, основанный на разбиении пространства значений входных параметров ППО на области эквивалентности.

3. Модели надежности ППО: модернизированная модель Нельсона для оценки вероятности безотказного функционирования ППО и модели для оценки предлагаемых показателей надежности - средней тяжести ошибок ППО и нового комплексного показателя.

В результате проведенных исследований получены следующие новые научные результаты.

1. Разработаны принципы построения системы характеристик качества программы, предложен набор ОПК ППО для каждого класса критериев качества ППО.

2. Предложен метод генерации тестовых последовательностей для ППО с использованием разбиения пространства значений входных параметров на классы эквивалентности, который может быть использован не только при рассмотрении ППО, как белого ящика, но и как черного.

3. Предложена усовершенствованная модель Пельсона для оценки значения вероятности безотказного функционирования ППО и модели для введенных показателей надежности: средняя тяжесть ошибок ППО и новый комплексный показатель надежности, объединяющий вероятность проявления ошибок ППО и их последствия. Все предложенные математические модели могут быть использованы как на этапе отладки ППО, так и на этапе его эксплуатации.

В результате проведенных исследований получены следующие новые практические результаты.

1. Разработанный алгоритм построения системы критериев качества для любого класса ППО использован для оценки качества или выборе ППО. Он позволяет сократить временные затраты на подбор ОПК.

2. Разработанная иерархическая система характеристик качества для класса универсальных математических пакетов содержит более 500 критериев качества, которые позволяют провести углубленную оценку качества ППО данного класса.

3. Составленая программа "ДРЕВО" увеличивает эффективность разработки иерархической системы критериев качества ППО за счет автоматизации процесса обработки экспертной информации.

4. Разработанный метод генерации тестовых последовательностей позволяет повысить эффективность тестирования НПО, как "черного ящика", по сравнению с применяемым в настоящее время стохастическим методом тестирования.

5. Предложенные модели надежности ППО позволяют комплексно оценить последствия проявления ошибок программы на этапе ее эксплуатации.

В соответствии с вышеизложенным диссертация построена следующим образом.

В первой главе анализируются известные к настоящему времени подходы к решению поставленной в диссертационной работе задачи. Приводятся существующие методы оценки качества ППО, этапы, стратегии, методы, типы и виды тестирования ППО, существующие на сегодняшний день. Делается вывод о том, какие методы тестирования применимы при использовании стратегии тестирования ППО, как "черного ящика". Приводятся наиболее распространенные математические модели надежности ППО, анализируется возможность применения этих моделей на этапе эксплуатации ППО. Делается вывод о том, что наиболее подходящей к данным условиям является модель Нельсона, но в исходном виде она неприменима и требует усовершенствования. Формулируется постановка задачи исследования данной диссертационной работы.

Во второй главе разрабатываются принципы построения иерархических систем характеристик качества ППО. Вводится классификация критериев качества и каждому классу сопоставляется свой конкретный набор ОНК. Предлагается иерархическая система характеристик качества для одного из классов ППО - класса универсальных математических пакетов, разработанная в соответствии с предложенным алгоритмом. Приводится описание составленной программы "ДРЕВО", основанной на предложенном алгоритме, которая позволяет автоматизировать составление системы критериев качества для любого класса ППО. в третьей главе предлагается метод составления тестовых последовательностей для ППО с использованием стратегии "черного ящика". Предложенный метод опирается на разбиение пространства значений входных параметров на области эквивалентности. Приводится описание программы "ТЕСТ", позволяющей генерировать тестовые последовательности для функции "решение системы линейных уравнений". Приведены примеры тестирования ряда функций для класса универсальных математических пакетов.

В четвертой главе предлагаются усовершенствованная математическая модель надежности Нельсона и новые показатели надежности: средняя тяжесть ошибок ППО и новый комплексный показатель надежности ППО. Предлагаются модели для оценки нормированных значений ОПК НПО. Приводятся методики оценки качества и выбора ППО из множества альтернатив с учетом полученных в работе результатов.

4.9. Выводы по главе IV

В четвертой главе были получены следующие результаты:

1. Модернизирована модель Нельсона для расчета вероятности безотказного функционирования ППО. В отличие от исходной модели Нельсона модернизированная модель базируется на результатах тестирования в ОЭ ППО, а не всех точек пространства входных параметров. Доказана правомерность экспертного оценивания вероятностей ввода значений входных параметров из ОЭ.

2. Предложен новый показатель надежности ППО для оценки последствий ошибок ППО - средняя тяжесть ошибок и математическая модель для его расчета. Значения этого показателя лежат на интервале [0; 1] и характеризуют меру приближенности возможных последствий ошибок программы к максимально тяжелым. Этот показатель в отличие от ранее используемых в классической теории надежности, величина которых измерялась в денежных единицах, не зависит от экономической ситуации в момент оценивания, а зависит от области применения ППО.

3. Предложен новый комплексный показатель надежности, агрегирующий вероятность безотказной работы НПО и СТО ППО, и математическая модель для его расчета. Этот показатель принимает значения из интервала [0;1]. Этот показатель позволяет различать по надежности программы, число ошибок в которых одинаково, но в одной из них последствия ошибок тяжелей, чем в другой. А так же ситуацию, когда программы имеют ошибки одинаковой тяжести, но различные вероятности безотказного функционирования.

4. Оценена доверительная вероятность для введенных показателей надежности ППО. Предложенные модели для оценки показателей надежности не уступают по точности существующим моделям надежности ППО, но позволяют произвести их оценку по результатам испытаний при использовании стратегии "черного ящика". Так же предложенные модели показателей надежности не требуют внесений изменений в текст программы, позволяя тем самым, использовать их на этапе эксплуатации ППО.

5. Предложены математические выражения для оценки нормированных значений ОПК: "Точность", "Время выполнения" и "Количество операций". Их значения рассчитываются исходя из данных, полученных в результате тестирования ППО. Выражение для ОПК "Время выполнения" составлено таким образом, что позволяет оценить программный вклад во "Время выполнения" некоторого задания, абстрагируясь от аппаратной составляющей быстродействия программы.

6. Усовершенствованы методики оценки качества и выбора ППО из множества альтернатив с учетом полученных в диссертационной работе результатов. Приведенные методики включают как известные процедуры, так и предложенные в этой работе. Среди них процедуры, основанные на алгоритме составления ИСХК для некоторого класса ППО (см. гл.2), методе тестирования ППО (см. гл.З) и предложенных в этой главе моделей для расчета нормированных значений ОПК ИСХК.

Заключение

В заключении можно отметить следующие основные научные и практические результаты, представленные в данной диссертационной работе:

1. Разработан алгоритм составления ИСХК ППО, на основе введенной классификации критериев качества. Он позволяет решить наиболее острую проблему, встающую при разработке ИСХК, - выбор ОПК. Только количественные критерии могут выступать в роли объективных ОПК, так как они могут быть измерены или рассчитаны. Согласно предложенной классификации все качественные критерии подразделяются на следующие классы: расчетно - функциональные критерии, преобразовательно -функциональные критерии, возможностные критерии, констатирующие критерии и критерии полноты. Для каждого класса качественных критериев нижнего уровня предложен конкретный набор ОПК, значения которых могут быть определены по результатам тестов. Все предложенные ОПК являются количественными характеристиками и могут быть объективно оценены.

Такой подход позволяет свести оценку качества ППО СОИ к оценке объективно оцениваемых ОПК. Введение таких ОПК в ИСХК, как "Точность", "Надежность", "Количество операций" и " Время выполнения" встроенной функции или команды, позволяет проводить уточненную оценку качества, различая по качеству их функционирования ряд ППО, поддерживающих данную возможность. При использовании предложенного алгоритма время на разработку ОПК качества значительно сокращается.

2. Разработана программа "ДРЕВО", реализующая предложенный алгоритм составления ИСХК ППО. Программа может быть использована для составления ИСХК для любого класса ПО. Ее использование позволяет автоматизировать рутинные операции разработчиков ИСХК и экспертов, и за счет этого сократить временные затраты на ее разработку.

3. Разработана ИСХК для широко распространенного класса ППО -универсальных математических пакетов. В настоящий момент характеристики качества 11110 приведены только во временных технических условиях. Общее число характеристик качества во временных технических условиях не велико (несколько десятков), следовательно, не позволяет получить объективную оценку показателя качества. Предложенная ИСХК для класса универсальных математических пакетов содержит более 500 критериев и более 1000 ОПК, описывающих наиболее важные функциональные возможности ППО этого класса. Предложенная ИСХК позволяет проводить углубленную оценку качества ПО из класса универсальных математических пакетов.

4. Разработан метод генерации тестовых последовательностей для ППО, предназначенных для проведения расчетов и преобразований квазинепрерывных переменных. Этот метод позволяет проводить эффективное тестирование при стратегии "черного ящика". Предложенный метод основан на разбиении пространства значений входных параметров каждой функции ППО, представленной в ИСХК, на ОЭ. Разбиение должно проводится на основании предположений о подобии обработки наборов значений входных параметров, принадлежащих одной ОЭ. Предложено двадцать шесть типов ОЭ. Причем тестовая последовательность должна включать наборы значений входных параметров из всех ОЭ. На основании статистики результатов испытаний ППО с входными параметрами из конкретной ОЭ делается вывод о ее характере. По характеру они делятся на сбойные, бессбойные и смешанные ОЭ. Для смешанных областей вероятность сбоя ПО оценивается статистически по результатам прогонов программы со значениями входных параметров из этой ОЭ. Причем число прогонов программы со значениями входных параметров из смешанной области должно быть определено исходя из требуемой степени доверия к результатам тестирования ППО.

Предложенный метод генерации тестовой последовательности позволяет оценить ОПК ППО по относительно небольшой выборке из определенных областей пространства значений входных параметров. На основании проведенных апробаций метода можно сделать вывод, что данный метод позволяет находить ошибки ППО при небольшом количестве испытаний даже в программах прошедших этап отладки на фирме - производителе.

5. Предложена модернизированная модель Нельсона для оценки вероятности безотказного функционирования ППО. Она позволяет с заданной точностью оценить вероятность безотказного функционирования ППО на основании тестов ОЭ. Модернизированная модель Нельсона применима как на этапе отладки программы, так и на этапе ее эксплуатации, что обусловлено тем, что эта модель не требует внесения изменений в текст программы, а полученные с помощью этой модели оценки не зависят от времени.

6. Предложен новый показатель надежности - средняя тяжесть ошибок ПО - для оценки последствий использования ПО. Значения этого показателя можно рассматривать, как значения функции принадлежности, характеризующие меру приближенности возможных последствий ошибок программы к максимально тяжелым. Чем тяжелее последствия ошибок программы, тем ближе значения этого показателя к единице, и наоборот.

Этот показатель, в отличие от ранее используемых в классической теории надежности, не зависит от экономической ситуации в момент оценивания, и не подвержен изменениям со временем. Он позволяет получить оценку последствий использования программы, учитывая область ее приложения. СТО ПО может быть оценен, как на этапе отладки ПО, так и на этапе его эксплуатации.

7. Предложен новый комплексный показатель надежности, значение которого зависит от вероятности проявления ошибок ПО и характера их последствий. Этот показатель принимает значения из интервала [0;1] и позволяет различать по надежности программы вероятность проявления ошибок в которых одинакова, но в одной из них последствия ошибок тяжелей, чем в другой.

Такой показатель наиболее полно характеризует надежность ППО, поэтому его значение рекомендуется использовать в качестве нормированного значения ОПК "Надежность". Этот комплексный показатель надежности может быть оценен, как на этапе отладки ПО, так и на этапе его эксплуатации. .

8. Предложена математическая модель для оценки нормированного значения ОПК "Время выполнения". Его значение рассчитывается исходя из данных, полученных в результате тестирования ПО. Причем предложенная модель позволяет оценить быстродействие программы, абстрагируясь от аппаратной составляющей быстродействия.

9. Усовершенствованы методики оценки качества и выбора ППО из множества альтернатив с учетом предложенных в диссертационной работе методов и моделей. Предложенные в данной работе процедуры и модели позволяют заполнить ряд существующих пробелов. В приведенных методиках использованы следующие результаты, полученные в данной работе:

- алгоритм составления ИСХК для некоторого класса ПО, он решает проблему выбора ОПК, оценки которых могли бы быть получены при тестировании, использование предложенных ОПК позволяет проводить оценку качества с большей, чем ранее, чувствительностью к нюансам функционирования ПО;

- метод генерации тестовой последовательности для ПО, он решает проблему генерации эффективных тестов, которые позволили бы при минимальном числе прогонов программы выявить, по крайней мере, большой процент ошибок при условии подхода к ПО, как к "черному ящику";

- математические модели нормированных значений ОПК ИСХК, они позволяют по результатам испытаний получить нормированные оценки ОПК с заданной степенью доверия.

Таким образом, в диссертационной работе, был разработан комплекс процедур, позволяющих заполнить существующие пробелы в методологии оценки качества ПО на сегодняшний день.

Таким образом, можно сделать заключение, что поставленные задачи исследований выполнены в полной мере.

1. Оптимизация качества. Сложные продукты и процессы / Э.В. Калинина, А.Г. Ланита и др. М.: Химия, 1989. - 256 с.

2. Общая методика оценки качества программных средств. Москва, 1988. -53с.

3. Хубаев Г.Н. Экономическая оценка потребительского качества программных средств: Текст лекций. РГЭЛ. - Ростов и/Д., 1997. - 104с.

4. Методы и модели оценивания качества программного обеспечения / В.И. Воробьев, A.B. Копыльцов и др. С-Пб.: СПИИРАН,1992.-33с.

5. Чикишева Н.М., Проскурякова Л.А. Разработка методики выбора программного обеспечения бухгалтерского учета для строительных организаций. С-Пб.:Изд-во СПбГУЭФ, 1999. - 88с.

6. Елтаренко Б., Сергиевский М. Оценка аппаратных и программных средств по многоуровневой системе критериев.// Компьютер-пресс. 1998. -№8. С. 268-272.

7. Петров Б.Г., Шеремет В.П. Надежность и качество программного обеспечения судовых СУ ТС (по публикациям и опыту разработки). ЦНИИ «Аврора», 1992. - 120с.

8. Изосимов А. П., Рыжко К. К. Метрическая оценка качества программ. М.; 1989.-215с.

9. Липаев В.В. Обеспечение качества программных средств. Методы и стандарты. -М.: МГТУ "Станкин", 2000. 355с.

10. Поттосин И.В. «Хорошая программа»: попытка точного определения понятия // Программирование. 1997. - №2. - С. 3-17.

11. Апостолова H.A., Гольдштейн Б.С., Зайдман P.A. О программометрическом подходе к оценкам программного обеспечения // Изв. Вузов. Программирование. 1995. - №4. - С. 38-44.

12. Ретинская И.В., Шугрина М.В. Методика проведения сравнительного анализа различных программных средств. // Научно-техническое совещание "Электроинформ-92". Тезисы докладов. С. 10.

13. Липаев В.В., Тестирование программ. М.: Радио и связь,1986. - 293 с.

14. Пучкин Р. Тестирование прикладного ПО с графическим интерфейсом //PC Week. 1999. №1. - С. 13-17.

15. Майерс Г., Искусство тестирования программ. М.: Финансы и статистика, 1982. - 178 с.

16. О некоторых аспектах процесса оценки качества программного обеспечения специального назначения. / Калинина Э.В., Ретинский В.С и др. // Телематика-95. Всероссийская научно-методическая конференция. Тезисы докладов. С.-Пб, 1995. - С. 110.

17. Гласе Р. Руководоство по надежному программированию. М.: Финансы и статистика, 1982. - 325с.

18. Липаев В.В., Надежность программных средств. М.: Синтег, 1998. -232 с.

19. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 1977. - 478с.

20. Лялько СБ. Математические модели надежности программного обеспечения. Киев: Знание, 1988. - 18с.

21. Пальчун Б.П., Юсупов P.M. Оценка надежности программного обеспечения/РАН, С-Пб.: Наука, 1994. 84с.

22. Характеристики качества программного обеспечения / Боэм Б., Браун Дж. и др. М.: Мир, 1981. - 206с.

23. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.-320с.

24. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980. -360с.

25. Надежность и эффективность в технике: Справочник: в 10 т./Ред. совет: Авдуевский В. С. (пред.) и др. М.: Машиностроение, 1989. -Т.6:

26. Экспериментальная отработка и испытания/ Под ред. Судакова Р. С, Трескина1. О. И. 376с.

27. Lipov М. Model of Software Reliability // Proceedings of the Winter Heeting of the Aerospace Division of the American Society of Mechanical Engineers, 1978. 78 - WA/ Aero - 18. - P. 1 - 11.

28. Полонников P.H., Никаноров A.B. Методы оценки показателей надежности программного обеспечения. СПб.: Политехника, 1992. - 78с.

29. Азгальдов Г.Г. Дерево свойств и правила их построения в задачах оценки качества. М.: Стандарты и качество, 1996. - 12с.

30. Полянский СВ., Чижов С.А., Семенов И.Б. Достоверность экспертных оценок систем управления // Приборы и системы управления. 1998. - №4. - С. 25 - 29.

31. ISO 9126: 1991. ИТ. Оценка программного продукта. Характеристики качества и руководство по их применению.

32. ГОСТ 28195 89. Оценка качества программных средств. Общие положения.

33. Домрачев В.Г., Ретинская И.В., Ретинский B.C. О принципах разработки критериев качества для мультимедийных энциклопедий. Труды конференции. Украина, Крым, Ялта-Гурзуф, 1998. - С.367.

34. Руководство для инженеров по решению задач теории вероятностей / Володин Б.Г., Танин М.П. и др. Ленинград: Государственное союзное издательство судостроительной промышленности, 1962. - 422с.

35. Райхман Э. П., Азгальдов Г. Г. Экспертные методы в оценке качества товаров. -М.: «Экономика», 1974. 151с.

36. Разработка качественного программного обеспечения (Рабинович В. М., Сверчков А. П., Фирсова И. А.) Применение внутренней избыточности для повышения качества и надежности БИС (Горяшко А. П., Шура-Бура А. Э.). -М.: Знание, 1989.- 100с.

37. Мелихов А.Н., Берштейн Л.С. Конечные четкие и расплывчатые множества: в 2-х т. Таганрог: ТРТИ, 1981.

38. Тронь A.n., Тронь В.П. Критерии оптимального выбора в неопределенных условиях. Киев: ИУНХ, 1986. - 91с.

39. Лонгботтом Р. Надежность вычислительных систем. М.: Энергоатомиздат, 1985. 104с.

40. Кипи Р.Л., Райфа X. Принятие решения при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981. - 650с.

41. Липаев В.В. Отладка сложных программ. Методы. Средства. Технология. М.: Энергоатомиздат, 1993. - 384с.

42. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. М.: Радио и связь, 1990. - 288с.

43. Классификация и кластер / Под редакцией Дж. Вэн Райзина. М.: Мир, 1980.-389с.

44. Нечеткие множества и теория возможностей. Последние достижения / Под ред. P.P. Ягера. М.: Радио и связь, 1986. - 408с.

45. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д. А. Поспелова. М.: Наука. Гл. изд. физ.-мат. лит., 1986. -312с.

46. Воронин Ю.А. Теория классифицирования и ее приложения. -Новосибирск: Наука, 1985. -23 1с.

47. Statistical methods in experimental physics. W.T. Eadie, D. Dryard, F.E. James, M, Roos, B. Sadoulet. North -Holland Publishing Company/ Amsterdam/ London, 1971.-34 Ip.

48. Райкин A.Л. Элементы теории надежности технических систем М.: Сов. радио, 1978.-280с.

49. Теория выбора и принятия решений: Учебное пособие. / И.М. Макаров, Т.М. Виноградская и др. М.: Наука. Главная редакция физико-математической литературы, 1982. - 328 с.

50. Оценка надежности электроустановок./ Гук Ю.Б. и др. Под ред. Б. А. Константинова. -М.: Энергия, 1974. 198 с.

51. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. -М.: Наука. Главная редакция физико-математической литературы, 1990. 240 с.

52. Сигнаевский В.А., Коган Я.А. Методы оценки быстродействия вычислительных систем. М.: Наука. Главная редакция физико-математической литературы, 1991. - 256 с.

53. Справочник по математике (для научных работников и инженеров). Г. Корн, Т. Корн. М.: Наука. Главная редакция физико-математической литературы, 1978. - 831 с.

54. Манзон Б.М. Maple V Power Edition М.: Информационно издательский дом "Филинъ", 1998. - 240 с.

55. Mathcad 6.0 Plus. Финансовые, инженерные и научные расчеты в среде Windows 95. М.: Информационно издательский дом "Филинь", 1997. - 712с.

56. Дьяконов В.П. Системы символьной математики Mathematica 2 и Mathematica 3. М.:СК Пресс, 1998. - 318 с.

57. В. Ю. Конев, Л. А. Мироновский. Основные функции пакта Matlab. -СПб.: СПбГААП, 1994. 75с.

58. Чеканов H.A. Определение характеристик параметрической надежности на основе теории нечетких множеств // Вестник МГТУ. Серия Приборостроение. 1999. - №2. - С. 91 - 101, 128.

59. Подиновский В.В. Количественные оценки важности критериев в многокритериальной оптимизации // НТИ. Сер.2/ВИНИТИ. 1999. - №5. - С. 22-25.

60. Ретинская И.В., Шугрина М.В. Основные типы компьютерных учебных программ // Научные труды МГУЛ. вып. 269. - М., 1995. - С. 111-118.

61. Григорьев В.А. Оценка качества функционирования систем автоматического аннотирования и поиска текстов // Изв. РАН. Теория и системы управления. 1999. - №3. - С. 126 - 133.

62. Шередко Ю.Л. Метод определения значимости параметров технических систем // Управляющие системы и машины. 1999. - №2. - С. 3 -11.

63. Давлетшин Г.З. Методы многокритериальной оптимизации параметров технических систем. Оценка их качества: Монография. Калининград, М. о.: ЦНИИмаш, 1993.-236 с.

64. Гохман О.Г. Экспертное оценивание: Учебное пособие. Воронеж: Изд -во ВГУ, 1991.- 152 с.

65. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент. 1996.-271с.

66. Качество программных средств // Всесоюзный научно-технический семинар. Калинин: Наука, 1990. - 563 с.

67. Качество программного обеспечения // 3-ий Всесоюзный семинар. -Даргомыс: Наука, 1991. 605 с.

68. Актуальные проблемы анализа и обеспечения надежности и качества приборов, устройств и систем // Сб. докладов Международной научно-технической конференции, Пенза, 1998, 25 31 мая. - 215 с.

69. Мадан В.И. Исследование и анализ количественных характеристик качества программ: Автореф. дне. канд. физ.-мат. наук. Киев, 1992. - 17 с.

70. Кауфман А.В, Чернокнижкин С.К. Критерии полноты тестирования и система оценки полноты наборов тестов // Программирование. 1998. - №6. -С. 44-59.

71. Наумов Д.А., Ретинская И.В. О характеристиках качества мультимедийных энциклопедий и баз данных // Труды Международной конференции "Информационные продукты и процессы НТИ-96" М., 1996. - С. 177.

72. Уткин Л.В. Вероятностно возможностный подход к анализу надежности программного обеспечения // Приборостроение. - 1998. - №6. - С. 61-65.

73. Gemoets L., Kreinovich V., Melendez Н. When to Stop Testing Softwere? A Fuzzy Interval Approach// Proc/ NAFIPS/ IFIS/ NASA' 94. 1994. p. 182 186.

74. Cai K. Y., Wen C. Y., Zhng M. L. A Critical Review on Software Reliability Modeling//Reliab. Engng. Syst. Safety. 1991. Vol.32, p. 357-371.

75. Зверев В.Ю. Задачи принятия многокритериальных решений на расширенных множествах альтернатив // Изв. Вузов. Приборостроение 1997. -т. 40.-№5.-с. 25-28.

76. Калинская H.A., Лямкин A.A., Тревгода Т.Ф. Правила принятия решений для информационно-управляющих систем // Изв. Вузов. Приборостроение. 1997. - т. 40. - №1. - С. 48 - 50.

77. Гейнз Б. Основы принятия решений вероятностные возможностные и другие формы неопределенности в анализе принятия решений. - Ростов-на-Дону, 1987.-23 с.

78. Бенедикт С. Принятие решений при неполной информации // Доклады АН. т. 345. - № 6. - декабрь 1995. - С. 749 - 751.

79. Поттосин И.В. О критериях добротности программ. Новосибирск, 1966.-35 с.

80. Трахтенгерц Э.А. Методы генерации оценки и согласования решений в распределенных системах поддержки принятия решений // Автоматика и телемеханика. 1995. - №5. - С. 3 - 52.

81. Алескеров Ф.Т. О степени манипулируемости правил коллективного выбора // Автоматика и телемеханика. 1998. - №10. - С. 134 - 146.

82. Кузнецов В.В., Самагин В.А. К оцениванию надежности информационных систем в условиях неопределенности // Изв. Вузов. Приборостроение. 1999. - т. 42. - - С. 15 - 19.

83. Кузнецов В.В., Самагин В.А. Прямая и обратная задачи надежности сложных программных комплексов // Надежность и контроль качества. 1997. -№10.-С. 56-62.

84. Асанов A.A., Ларичев О.И. Влияние надежности человеческой информации на результаты применения методов принятия решений // Автоматика и телемеханика. 1999. - №5. - С. 20 - 31.

85. Бондаренко В.А., Клоеден П.Е., Краснов М.В. О лексикографической оптимизации в многокритериальных дискретных задачах // Автоматика и телемеханика. 2000. - №2. - С. 29 - 35.

86. Мороз Г.Б. Надежность и трастабильность программных средств высокоцелостных систем // Управляющие системы и машины. 1999. - №2. -С.59-68.

87. Solving of algebraic equation. An interplay of symbolical and numerical methods // Moller H. M. // Multivariate Approximat.: Recent Trends and Results: Proc. Int. Conf, Witten Bommerhol, Sept. 29 - Oct. 4, 1996. - Berlin, 1997. -p. 161-176.

88. Бабич М.Д., Задирака B.K., Сергиенко И.В. Вычислительный эксперимент в проблеме оптимизации вычислений // Кибернет. и систем, анал. 1999.-№2.-с. 59-79, 189.

89. On attribute weighting in value trees / Poyhonen Marl // Res. Rept./ Helsinki Univ. Techol. Syst. Anal. Lab. 1998. - a73-74. - p. 1 - 11.

90. Пиявский CA., Бараховский Б.С Как превратить обработку табличной информации в инструмент подготовки обоснованных решений // Программные продукты и системы. 1989. - №2. - С. 44 - 46.

91. Баранов СП., Ласточкин Н.К., Морозов В.П. Сбор и анализ метрик при выполнении проектов программных изделий // Программные продукты и системы. 1998. - №4. - с. 24 - 29.

92. Software quality acceding to measurement theory / Jorgensen Magno // Telehtronikk. 1999. - 95. - №1, p. 12 - 16.

93. Домарацкий A.H., Никифоров B.B. Критерии завершения тестирования программных изделий // Программные продукты и системы. 1998. - №4. - С 30-33.

94. Холстед М. X. Начала науки о программах. М.: Финансы и статистика, 1981. - 128 с.

95. Бочаров Е.П. Последовательный анализ надежности программной продукции // Программирование. 1988. - №4. - С.93 - 98.

96. Сбор и анализ метрик при выполнении проектов программных изделий / Баранов С. Н., Домарацкий А. Н. И др. // Программные продукты и системы. -1998.-№2.-С. 24-30.

97. Кулаков А. Ф. Оценка качества программ ЭВМ. Киев: Техника, 1984.- 168 с.

98. Егоркин Е. В. Методы защиты программного обеспечения от программ- вирусов // Программные продукты и системы. 1998. - №2. - С.25-28.

99. Кайгородцев Г.И. Программометрический подход к оценке надежности программных средств на стадии проектирования // Программные продукты и системы. 1999. - №4. - С. 11 - 12.

100. Домарацкий А. П., Домарацкий Я. А. Вероятность обнаружения дефектов во время тестирования программных изделий // Программные продукты и системы. 1999. - №4. - с. 12 - 15.

101. Антошина И.В., Домрачев В.Г., Ретинская И.В. Иерархическая система характеристик качества математических пакетов // Сб. научных трудов научно-исследовательского института приборостроения. Самара, 1998. - С.25-28.

102. Берштейн Л.С., Боженюк A.B. Нечеткие модели принятия решений: дедукция, индукция, аналогия. Таганрог: Изд-во ТРТУ, 2001. - 110 с.

103. Орловский C A. Проблемы принятия решений при нечеткой информации. М.:Наука, 1981. - 206 с.

104. В.В. Липаев. Качество программного обеспечения. М.: Финансы и статистика, 1983. - 269с.

105. Соловьев H.A. Тесты (теория, построение, применение). Новосибирск: Наука, 1978. 186с.

106. Ш.Хеннекен П.Л., Тортра А. Теория вероятностей и ее некоторые приложения. М.: Главная редакция физико-математической литературы изд-ва "Наука", 1974.-472с.

107. Уилкс С. Математическая статистика. М.: Наука, 1967. - 632с.

108. ПЗ.Шимаров В. А. Иерархический подход к оценке сложности тестирования программ. Минск, 1989. Препр. Ин-та мат-ки АН БССР. №46 (396).-46 с.

109. Федосов СВ., Зверева H.A. Определение рейтинга кафедр // Сб. статей к 5-ой Международной научной конференции "Информационная среда ВУЗа", Иваново, 1 2 декабря 1998г. - С 178 - 181.

110. Канер С, Фолк Дж., Енг К.Н. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений. -К.: Издательство "Диасофт", 2001. -544с.

111. Иерархическая система характеристик качества для класса универсальных математических пакетов

112. Номер ровня вложенности характеристики в ИСХК

113. II Ш IV V VI VII Vin IX X XI123456789 10 111 .Функциональность

114. Соответствие назначению 1 .Расчеты1 .Расчетные функции1 .Расчеты элементарной алгебры 1 .Действия над выражениями 1 .Упрощение выражений1 .Упрощение алгебраических выражений1 .Упрощение многочленов 1 .Надежность2.Количество операций3.Время выполнения

115. У прощение рациональных дробей 1 .Надежность 2.Количество операций 3 .Время выполнения 3 .Упрощение сложных радикалов 1 .Надежность 2.Количество операций 3 .Время выполнения

116. Разложение степенней и произведений сумм1 .Надежность 2.Количество операций 3 .Время выполнения5.Количество функций

117. Упрощение трансцендентных выражений1 .Упрощение тригонометрических выражений1 .Надежность 2.Количество операций 3 .Время вьшолнения

118. У прощение логарифмических выражений1 .Надежность2.Количество операций3.Время вьшолнения

119. Количество функций 3.Упрощение выражений при известных соотношениях1. Надежность2. Количество операций3.Время выполнения2.Разложение выражений1 .Разложение выражений на множители1.Надежность2.Количество операций3.Время выполнения

120. Разложение выражений в ряд 1 .Ряд Тейлора1 .Надежность2.Количество операций

121. Время выполнения 2.Ряд Фурье1 .Надежность2.Количество операций3.Время выполнения

122. Разложение выражений на элементарные дроби1.Надежность2.Количество операций3.Время выполнения4.Количество функций

123. Подстановка одного выражения вместо другого1 .Надежность2.Количество операций3.Время выполнения

124. Возможность преобразования комплексных выражений (да/нет)

125. Возможность приближенного вычисления значений выражений (да/нет)

126. Возможность обращения к элементу вьфажения (да/нет)

127. Решение уравнений и неравенств 1 .Решение уравнений1 .Решение линейных уравнений 1 .Надежность123456789 10 112.Точность3.Количество операций4.Время вьшолнения

128. Решение трансцендентных уравнений 1 .Решение трансцендентных смешанных уравнений1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

129. Решение тригонометрических уравнений1 .Надежность2. Точность3.Количество операций4.Время вьшолнения

130. Решение показательных уравнений1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

131. Решение логарифмических уравнений1 .Надежность2. Точность3.Количество операций4.Время вьшолнения

132. Решение иррациональных уравнений1 .Надежность2. Точность3.Количество операций4.Время вьшолнения

133. Решение дифференциальных уравнений1 .Решение обыкновенных дифференциальных уравнений 1 .Решение линейных ОДУ 1 .Надежность2.Точность3.Количество операций

134. Время вьшолнения 2.Решение нелинейных ОДУ1 .Надежность2.Точность3.Количество операций123456789 10 114.Время выполнения

135. Решение уравнений в частныхпроизводных1 .Надежность2. Точность3.Количество операций4.Вр емя выполнения

136. Время выполнения 2.Решение систем трансцендентных уравнений1 .Решение систем смешанных уравнений1 .Надежность 2Точность3.Количество операций

137. Вр емя выполнения 2.Решение систем тригонометрических уравнений1 .Надежность2.Точность3.Количество операций4.Вр емя выполнения3 .Решение систем логарифмических уравнений1 .Надежность2.Точность3.Количество операций4.Время выполнения

138. Решение систем показательных уравнений1 .Надежность123456789 10 112.Точность3.Количество операций

139. Время выполнения 5.Решение систем иррациональных уравнений1 .Надежность2.Точность3.Количество операций4.Время выполнения

140. Решение систем дифференциальных уравнений1 .Решение систем обыкновенных дифференциальных уравнений1 .Решение систем линейных1. ОДУ1 .Надежность2.Точность3.Количество операций

141. Время выполнения 2.Решение систем нелинейных ОДУ1 .Надежность2.Точность3.Количество операций

142. Время выполнения 2.Решение систем в частных производных1 .Надежность2.Точность3.Количество операций4.Время выполнения

143. Максимальное число уравнений в системе З.П зочие возможности1 .Нахождение корней многочленов 1 .Нахождение действительных корней1 .Надежность2.Точность3.Количество операций

144. Время выполнения 2.Нахождение всех корней1 .Надежность2.Точность3.Количество операций

145. Время выполнения 2.Решение неравенств1 .Решение линейных неравенств 1 .Надежность2.Точность3.Количество операций4.Время выполнения

146. Решение тригонометрических неравенств1 .Надежность2.Точность3.Количество операций4.Время выполнения

147. Решение логарифмических неравенств1 .Надежность2.Точность3.Количество операций4.Время выполнения

148. Решение показательных неравенств1 .Надежность2.Точность3.Количество операций4.Время выполнения

149. Решение алгебраических нелинейных неравенств1 .Надежность2. Точность3.Количество операций4.Время вьшолнения

150. Решение смешанных трансцендентных неравенств1 .Надежность2.Точность3.Количество операций4.Время выполнения

151. Решение иррациональных неравенств1.Надежность2.Точность3.Количество операций

152. Время выполнения 3.Решение систем неравенств1 .Решение систем линейных неравенств1 .Надежность2. Точность3.Количество операций123456789 10 И4.Время выполнения

153. Решение систем тригонометрических неравенств1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

154. Решение систем логарифмических неравенств1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

155. Решение систем показательных неравенств1 .Надежность2. Точность3.Количество операций4.Время вьшолнения

156. Решение систем нелинейных алгебраических неравенств1 .Надежность2. Точность3.Количество операций4.Время вьшолнения

157. Решение систем трансцендентных неравенств1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

158. Решение систем иррациональных неравенств1.Надежность2.Точность3.Количество операций

159. Время вьшолнения 4.Возможность проверки решений1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

160. П1эеделы и интегро-дифференциальное исчисление 1 .Интегро-дифференциальные преобразования 1 .Дифференцирование1 .Нахождение выражения производной 1 .Надежность123456789 10 112.Точность3.Количество операций4.Время выполнения

161. Нахождение значения производной в точке1 .Надежность2.Точность3.Количество операций4.Время выполнения

162. Максимальный порядок производной

163. Вычисление частной производной 1 .Нахождение выражения1 .Надежность2.Точность3.Количество операций

164. Время выполнения 2.Нахождение значения в точке1 .Надежность2.Точность3.Количество операций4.Время выполнения

165. Нахождение смешанной производной1. Нахождение выражения1 .Надежность2.Точность3.Количество операций4.Время выполнения

166. Нахождение значения в точке 1 .Надежность2.Точность3.Количество операций4.Время выполнения

167. Нахождение производной неявно заданной функции1. Нахождение выражения1 .Надежность2.Точность3.Количество операций4.Время выполнения

168. Нахождение значения в точке 1 .Надежность2.Точность3.Количество операций

169. Время выполнения 2 .Интегрирование1 .Нахождение неопределенных интегралов123456789 10 111 .Надежность2.Точность3.Количество операций4.Время вьшолнения

170. Нахождение определенных интегралов 1 .Надежность2.Точность3.Количество операций4.Время выполнения

171. Нахождение несобственных интегралов1 .Надежность2.Точность3.Количество операций4.Время выполнения

172. Нахождение криволинейных интегралов1 .Надежность2.Точность3.Количество операций4.Время выполнения

173. Нахождение поверхностных интегралов1 .Надежность2.Точность3.Количество операций4.Время выполнения

174. Количество интегральных преобразований

175. Максимальный порядок кратности интегралов2.Вычисление пределов1 .Вычисление пределов функций1. Надежность2. Точность3.Количество операций4.Время выполнения

176. Вычисление пределов последовательностей 1 .Надежность2. Точность3.Количество операций4.Время выполнения

177. Вычисление односторонних пределов1. Надежность2. Точность3.Количество операций4.Время выполнения

178. Вычисление пределов по совокупности переменных1. Надежность2. Точность3.Количество операций4.Время выполнения

179. Вычисление пределов комплексных функций1. Надежность2. Точность3.Количество операций4.Время выполнения

180. Вычисление пределов комплексных последовательностей1. Надежность2. Точность3.Количество операций

181. Время выполнения 3.Действия над матрицами1 .Количество специальных типов матриц 2.Функции для работы с матрицами

182. Количество форм к которым возможно привести матрицу20. перации над отдельными элементами мат]рицы

183. Создание матриц с заданной диагональю1 .Надежность2.Количество операций3.Время выполнения

184. С<эздание вектора из любой диагонали матрицы1 .Надежность2.Количество операций3.Время выполнения

185. Выделение верхней или нижней треугольной части матрицы1 .Надежность2.Количество операций3.Время выполнения

186. Сортировка элементов матрицы 1 .Надежность2.Количество операций3.Время выполнения3 .Возможность нахождения характеристического полинома матрицы (да/нет) 4.Распространенные функции

187. Транспонирование 1 .Надежность2.Количество операций3.Время выполнения

188. Нахождение обратной матрицы 1 .Надежность2.Точность3.Количество операций4.Время выполнения3 .Вычисление детерминанта 1 .Надежность2.Точность3.Количество операций4.Время выполнения

189. Количество встроенных функций

190. Вычисление собственных значений 1 .Надежность2.Точность3.Количество операций4.Время выполнения

191. Вычисление собственных векторов 1 .Надежность2.Точность3.Количество операций

192. Время выполнения 7.Элементарные операции

193. Л^юизведение матриц 1 .Надежность2.Точность3.Количество операций

194. Время выполнения 2.Вычисление суммы матриц1 .Надежность2.Точность3.Количество операций

195. Время выполнения З.О у'ммирование элементов мат рицы1 .Надежность2.Точность3.Количество операций

196. Время выполнения 4.П1роизведение элементов матрицы1 .Надежность2. Точность3.Количество операций4.Время выполнения123456789 10 11

197. Нахождение минимального (максимального) элемента матрицы1 .Надежность2.Количество операций3.Время выполнения6.П1роизведения векторов

198. Вычисление скалярного произведения векторов1 .Надежность2.Точность3.Количество операций4.Время выполнения

199. Вычисление векторного произведения векторов1 .Надежность2.Точность3.Количество операций4.Время выполнения

200. Вычисление смешанного произведения векторов1 .Надежность2.Точность3.Количество операций4.Время выполнения3.Размеры матриц

201. Максимальная длина вектора

202. Максимальная размерность матриц 4.Статистические расчеты1 .Нахождение математического ожидания1. Надежность2. Точность3.Количество операций4.Время выполнения

203. Нахождение дисперсии 1 .Надежность2.Точность3.Количество операций4.Время выполнения

204. Количество статистических функций

205. Количество встроенных распределений вероятностей

206. Нахождение доверительного интервала 1 .Надежность2.Точность3.Количество операций4.Время выполнения6.Нахождение ковариации123456789 10 111.Надежность2.Точность3.Количество операций

207. Время выполнения У.Нахождение коэффициента корреляции1 .Надежность2.Точность3.Количество операций

208. Время вьшолнения 5. Функции1 .Типы функций1 .Количество встроенных функций

209. Возможность определять пользовательские функции (да/нет)

210. Возможность использования вложенных функций (да/нет)

211. Максимальное число итераций при вычислении рекурсивньк функций2.0сновные функции1.П ростейшие функции1 .Деление без остатка1.Надежность2. Точность3.Количество операций

212. Время вьшолнения 2.Наличие основных операций 3 .Округление1 .Надежность2.Количество операций

213. Время вьшолнения 4.0перация сравнения1.Надежность2.Количество операций3.Время вьшолнения

214. Количество элементарных функций

215. Возведение чисел в степень 1 .Надежность2.Точность3.Количество операций4.Время вьшолнения2.П рочие функции1 .Нахождение экстремумов функций 1 .Надежность2.Точность3.Количество операций

216. Время вьшолнения 2.Количество логических функций

217. Нахождение глобальных экстремумов функций1 .Надежность2.Точность3.Количество операций4.Время вьшолнения

218. Количество функций генерации случайных чисел

219. Количество системных функций

220. Количество фзЛкций комплексного аргумента7.Специальные функции

221. Количество функций возвратцающих ортогональные многочлены

222. Количество интегральных, показательных и родственных им функций

223. Количество эллиптических функций и интегралов

224. Количество других специальных фзшкций

225. Удобство работы с функциями

226. Возможность создания библиотеки пользовательских функций (да/нет)

227. Полнота списка функций в меню

228. Соответствие имени функции выполняемому действию (да/нет)

229. Максимальное количество параметров функции Необходимость загрузки функции перед первым исполнением (да/нет)

230. Преобразование функции к другому типу системы координат1 .Надежность2.Количество операций3.Время вьшолнения2.П1эоцессоры1 .Численные расчеты1 .Количественные характеристики численных методов

231. Количество методов интегрирования

232. Количество методов дифференцирования

233. Количество предопределенных переменных

234. Возможность оптимизации расчетов (да/нет)

235. Совпадение названий зарезервированных слов (да/нет)3.Работа со списками

236. Возможность работы со списками разнотипных данных (да/нет)

237. Возможность обращения к элементам списка (да/нет)

238. Включение в список нового элемента 1 .Надежность2.Количество операций3.Время выполнения

239. Изменение порядка элементов 1 .Надежность2.Количество операций3.Время вьшолнения5.Комбинирование списков1.Надежность2.Количество операций3.Время выполнения

240. Максимальное число элементов в списке

241. Функции для работы со списками 1 .Генерация списков1 .Надежность2.Количество операций3.Время вьшолнения

242. Нахождение максимального (минимального) числа в списке1.Надежность2.Количество операций3.Время вьшолнения

243. Возможность анализа структуры списка (да/нет)

244. Количество функций работы со списками

245. Количество функций со строковыми данными4.Результаты вычислений1 .Возможность редактирования формул (да/нет)

246. Форматирование результата 1 .Надежность2.Количество операций3.Время вьшолнения

247. Возможность прерывания вычислений (да/нет)

248. Возможность использования результатов предьщущих вычислений (да/нет)

249. Функции, переменные и константы1 .Количество поименованных констант

250. Возможность названия переменных по-русски (да/нет)

251. Возможность снятия определения с переменной (да/нет)

252. Сохранение переменных при создании новых файлов 1 .Надежность2.Количество операций3.Время выполнения

253. Уничтожение определения функции пользователя 1 .Надежность2.Количество операций3.Время выполнения

254. Возможность просмотра определения функции (да/нет)

255. Возможность ввода греческих имен (да/нет)2.П1рограммирование1 .Операторы встроенного языка 1 .Количество конструкций циклов

256. Наличие условного оператора (да/нет)

257. Наличие оператора безусловного перехода (да/нет)

258. Наличие оператора переключателя (да/нет)

259. Наличие оператора прерывания (да/нет)

260. Наличие оператора продолжения выполнения программы (да/нет)

261. Возможность создания собственно библиотеки процедур (да/нет) 3 .Возможность создания текстовых сообщений при исполнении программы (да/нет)

262. Количество сообщений об ошибках в программе

263. Взаимодействие с языками высокого уровня1 .Подобность встроенного языка языку высокого уровня (да/нет)

264. Возможность перекодировки программ на языки высокого уровня (количество языков) (да/нет)

265. Возможность перекодировки программ с языков высокого уровня (количество языков) (да/нет)

266. Исполнение и отладка пользовательских программ 1 .Наличие компилятора (да/нет)

267. Количество встроенных методов отладки

268. Возможность создания исполняемых модулей (да/нет)3.Графика и анимация1 .Построение графиков 1 .Опции графики

269. Общее количество опций графики

270. Задание количества точек 1 .Надежность2.Количество операций3.Время выполнения3.3адание толщины линий 1 .Надежность2.Количество операций

271. Время выполнения 4.3адание цвета графика1 .Надежность2.Количество операций3.Время выполнения

272. Возможность вывода маркеров (да/нет)6.Подписи к графику1. Задание заголовка1 .Надежность2.Количество операций3.Время выполнения2. Вывод имени линий1 .Надежность2.Количество операций3.Время выполнения

273. Возможность вывода подписей на русском языке (да/нет)

274. Возможность установки опций графики по умолчанию (да/нет)2.Форматирование графиков

275. Форматирование системы координат1 .Нанесение координатной сетки 1 .Надежность2.Количество операций3.Время выполнения

276. Установка границ графика 1 .Надежность2.Количество операций3.Время вьшолнения

277. Вывод наименования осей 1 .Надежность2.Количество операций3.Время выполнения

278. Возможность просмотра графиков в разных ракурсах (да/нет)

279. Нанесение горизонтальных и вертикальных линий1.Надежность2.Количество операций3.Время выполнения

280. Возможность изменения размера графика (да/нет)

281. Возможность изменения масштаба участка графика (да/нет)

282. Возможность вывода графика в отдельном окне (да/нет)3.Системы координат1 .Количество видов систем координат для двухмерных графиков

283. Количество видов систем координат для трехмерной графики3.Количество масштабов осей

284. Раз личные типы графиков 1 .Типы графиков1. Стандартные типы

285. Построение графика по заданным точкам1 .Надежность2.Количество операций3.Время выполнения

286. Построение контурного графика 1 .Надежность2.Количество операций3.Время выполнения

287. График комплексной функции 1 .Надежность2.Количество операций3.Время выполнения

288. Построение графика параметрически заданной функции1 .Надежность2.Количество операций3.Время выполнения

289. Построение графика неявно заданной функции1 .Надежность2.Количество операций3.Время выполнения

290. Ф>ункциональная закраска контурного грае)ика1 .Надежность2.Количество операций3.Время вьшолнения2.Специальные типы1 .Построение графика векторного поля градиентов1 .Надежность2.Количество операций

291. Время вьшолнения 2,Построение графика решения дифференциальных уравнений1 .Надежность123456789 10 112.Количество операций3.Время вьшолнения

292. Построение области, удовлетворяющей неравенствам1. Надежность2.Количество операций3.Время выполнения

293. Построение графика с бесконечным разрывом1 .Надежность2.Количество операций3.Время вьшолнения

294. Построение пересекающихся поверхностей1. Надежность2.Количество операций3.Время вьшолнения6.Типы диаграмм1 .Построение гистограммы 1 .Надежность2.Количество операций3.Время вьшолнения2. Диаграммы1 .Количество видов плоских диаграмм

295. Количество видов объемных диаграмм

296. Возможность трансформации диаграмм из одного вида в другой1 .Надежность2.Количество операций3.Время вьшолнения7.Графические примитивы

297. Количество готовых двухмерных графических примитивов 2.Количество готовых трехмерных графических примитивов 2.трансформация графиков из одного типа в другой1 .Надежность2.Количество операций3.Время выполнениярочие графические характеристики

298. Наличие трехмерной графики (да/нет)

299. Максимальное число графиков на одном рисунке

300. Возможность возврата координат любой точки графика (да/нет)123456789 10 11

301. Возможность редактирования графики (да/нет)2. Анимация1 .Количество видов систем координат в двухмерном пространстве

302. Количество видов систем координат для трехмерной анимации3 .Максимальное число объектов на одном рисунке

303. Форматирование изображений1 .Возможность изменения размеров (да/нет)

304. Создание обрамления 1 .Надежность2.Количество операций3.Время выполнения

305. Возможность удаления изображения (да/нет)

306. Изменение скорости проигрывания анимации 1 .Надежность2.Количество операций3.Время выполнения

307. Возможность установки опций анимации по умолчанию (да/нет)

308. Возможность редактирования анимации (да/нет)4.Текст1. Форматирование текста1 .Форматирование шрифта1 .Возможность выбора шрифта (да/нет)

309. Возможность выбора размера шрифта (да/нет)

310. Возможность выбора цвета шрифта (да/нет)

311. Цветовое выделение 1 .Надежность2.Количество операций3.Время выполнения

312. Возможность комбинирования различных шрифтов в любом месте документа (да/нет)

313. Количество встроенных руссифицированных шрифтов Т.Количество встроенных шрифтов2.Форматирование абзацев1 .Количество типов выравнивания текста

314. Возможность выбора межстрочного расстояния (да/нет)

315. Возможность размещения текста колонками (да/нет)4. Копирование формата1. ЬНадежность2.Количество операций3.Время выполнения

316. Установка формата по умолчанию 1 .Надежность123456789 10 112.Количество операций

317. Время выполнения б.Возможность установки полей (да/нет)3.Колонтитулы

318. Возможность нумерации страниц (да/нет)

319. Возможность добавления колонтитулов (да/нет)2.Словарь

320. Наличие проверки правописания (да/нет)

321. Возможность добавления словаря (да/нет)

322. Возможность редактирования текста (да/нет)

323. Возможность поиска заданного словосочетания (да/нет)

324. Возможность замены заданного словосочетания (да/нет)

325. Создание гипертекстовых ссылок 1 .Надежность

326. Количество операций 3 .Время выполнения Т.Вставка символа 1 .Надежность2.Количество операций3.Время выполнения5.Печать1 .Точность представления информации на экране и печатном листе (да/нет)

327. Возможность предварительного просмотра (да/нет)3.Выбор места распечатки

328. Возможность печати заданных страниц (да/нет)

329. Возможность печати вьщеленных участков (да/нет)

330. Возможность печати четных (нечетных) страниц (да/нет)

331. Возможность печати заданного числа экземпляров (да/нет)4.Выбор параметров страницы1 .Количество форматов страниц

332. Возможность выбора ориентации страниц (да/нет)б.Звук1 .Возможность создания звуковых функций (да/нет) 2.Вывод осциллограммы звука 1 .Надежность2.Количество операций3.Время выполнения3 .Количество готовых звуковых примитивов

333. Количество встроенных функций для работы со звуковыми объектами

334. Возможность получения звуковых сигналов (да/нет)

335. Возможность отключения звука (да/нет) У.Представление величин123456789 10 111Л1редставление чисел1 .Количество систем счисления

336. Максимальное число знаков мантисы

337. Возможность комплексного представления чисел (да/нет)4.Максимальное число знаков

338. Число возможных представлений вещественных чисел б.Количество функций анализа структуры чисел 2.Единицы измерения1 .Количество встроенных единиц измерения

339. Возможность определения собственных единиц измерения (даУнет)3.Количество систем единиц

340. Наличие проверки размерности (да/нет)

341. Возможность изменения названий встроенных единиц (да/нет) 2 .Взаимодействие1 .Сохранение документов1 .Количество форматов сохранения

342. Наличие формата HTML (да/нет)

343. Возможность названия файлов по-русски (да/нет)2.Взаимодействие с файлами1 .Количество взаимодействующих файловых форматов 2.Чтение данных из файла 1 .Надежность2.Точность3.Количество операций

344. Время выполнения 3.3апись данных в файл1 .Надежность 2.Точность3 .Количество операций 4.Время выполнения

345. Наличие автоматического обновления данных из файла при его изменении (да/нет)

346. Добавление данных в файл 1 .Надежность2.Точность3. Количество операций4.Время выполнения

347. Количество встроенных функций для работы с файлами

348. Количество форматов организации данных3.Импорт-экспорт графики1 .Возможность импорта графики (да/нет)

349. Возможность экспорта графики (да/нет)

350. Возможность импорта в числовом виде (да/нет)

351. Возможность динамического обмена данных123456789 10 11

352. Соединение с интернетовской страничкой фирмы-создателя

353. Наличие сетевого варианта программы (да/нет) У.Совместимость с предыдущими версиями программы (да, нет)

354. Соответствие стандартам 1 .Окна1 .Максимальное количество одновременно открытых окон

355. Возможность располагать окна каскадом (да/нет)

356. Возможность фронтального расположения окон по ширине (да/нет)

357. Возможность фронтального расположения окон по высоте (да/нет)

358. Возможность стандартных манипуляций по изменению расположения и размера окон1 .Возможность минимизации окон (да/нет)

359. Возможность максимизации окна (да/нет)

360. Возможность произвольного расположения окон (да/нет)

361. Возможность установки произвольного размера окна (да/нет)

362. Возможность закрытия окна (да/нет)

363. Возможность переходов между окнами (да/нет)2.Палитры1 .Количество палитр

364. Минимальное количество палитр на экране 3 .Максимальное число кнопок на палитре 4.Наличие подсказок по кнопкам палитры (да/нет)

365. Возможность размещения в любом месте экрана (да/нет)3.Меню1 .Количество пунктов главного меню

366. Максимальное количество пунктов в каждом пункте главного меню 3 .Максимальное количество уровней вложенности главного меню

367. Максимальное количество пунктов в контекстном меню

368. Возможность установки панелей по своему желанию (да/нет) 3 .Максимальное количество кнопок на панели

369. Соответствие действий кнопок командам меню

370. Наличие подсказок к кнопкам (да/нет)

371. Возможность размещения в любом месте экрана (да/нет)

372. Возможность установления пароля для доступа к документу (да/нет)

373. Возможность автосохранения документа (да/нет)

374. Возможность автоматического создания резервной копии (да/нет) З.Вьщача предупреждений при вьшолнении необратимых операций (да/нет)

375. Количество выполненных команд, на которые предусмотрен откат

376. Наличие восстановления документа после отключения питания (да, нет)5.Точность1 .Возможность задания требуемой точности (да/нет)

377. Наличие литературы на русском языке (да/нет)3.Справочный режим1 .Режимы справки

378. Наличие режима общей справки (да/нет)

379. Наличие режима контекстной помощи (да/нет)

380. Наличие режима "Что это такое" (да/нет)

381. Наличие встроенного учебника по предмету (да/нет)2.Самодостаточность справки1 .Полнота описания функций программы в справке 2.Возможность использования справочной системы без запуска основной программы (да/нет)

382. Удобство справочного режима1 .Возможность переходов вперед и назад по справке (да/нет)

383. Гиппертекстовый стиль справки (да/нет)

384. Возможность распечатки справочных документов (да/нет)4.П оимеры в справке1 .Полнота примеров в справке

385. Возможность переноса примеров из справочных файлов (да/нет)

386. Удобство поиска по справке1 .Расположенность тем по алфавиту 2.Система древообразного поиска (да/нет)

387. Возможность поиска по первым буквам (да/нет) 4.Наличие встроенной обучающей программы (да/нет) 2.Легкость использования1 .Удобство использования1 .Руссифицированность программы (да/нет)

388. Наличие подсказки при вводе первых букв функции (да/нет)

389. Общепринятый вид формул на экране (да/нет)

390. Количество готовых шаблонов документов (да/нет)б.Возможность обновления экрана (да/нет)6.Ошибки1 .Количество возможных сообщений об ошибках

391. Указание места нахождения ошибок (да/нет)

392. Наличие подсказки пути исправления ошибок (да/нег)

393. Возможность отключения сообщений об ошибках (да/нет) 2.Режимы расчетов

394. Возможность проведения расчетов в динамическом режиме (да/нет)

395. Возможность отключения автоматического режима (да/нет) 3 .Возможности управления математическим пакетом1 .Возможность записи формул при помощи палитр (да/нет)

396. Возможность записи формул с помощью специальных обозначений (да/нет)

397. Возможность записи формул с помощью клавиатурных сочетаний (да/нет)

398. Возможность работы только с клавиатурой (да/нет)

399. Возможность комбинирования разных объектов в любом месте экрана (да/нет)

400. Возможность структурирования документа (да/нет)4.Эффективность1 .Временные характеристики1 .Необходимость повторного исполнения документов при новой загрузке (да/нет)

401. Время загрузки программы 3 .Время создания звукового сигнала

402. Время воспроизведения звукового сигнала5.Время построения графика6.Время установки

403. Возможность компиляции функций (да/нет) 2.Ресурсные характеристики

404. Минимально требуемый процессор

405. Минимальная тактовая частота 3 .Минимальный объем ОЗУ 4.Минимальный объем ПЗУ5 .Минимальная КЭШ-память б.Звуковая карта (да/нет)1 2345678910 11

406. Выдача запроса на освобождение буфера при выходе из программы (да/нет) 5 .Переносимость1 .Адаптируемость1 .Кроссплатформенность 2.Количество совместимых ОС 2.Легкость установки1 .Количество опций установки

407. Возможность установки стандартной версии (да/нет)

408. Возможность установки пользовательской версии (да/нет)

409. Возможность установки полной версии (да/нет)

410. Все сообщения руссифицированны (да/нет)

411. Возможность деинсталляции программы (да/нет)

412. Возможность инсталляции рабочей версии (да/нет) 6.Удобство сопровождения1. Анализируемость2.Изменяемость1 .Возможность устранения сбоев 2.Количество профессиональных приложений

413. Результаты тестирования ряда расчетных функций универсальных математических пакетов

414. Очевидно, что по входным параметром (П) и (Ф) особые точки отсутствуют.

415. ОЭ для тестирования функции дифференцирования и результаты их тестирования приведены в таблице П2.1.