автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.13, диссертация на тему:Разработка системы автоматического контроля мобильных устройств

На правах рукописи

Уваров Максим Викторович

РАЗРАБОТКА СИСТЕМЫ АВТОМАТИЧЕСКОГО КОНТРОЛЯ МОБИЛЬНЫХ УСТРОЙСТВ

05.11.13 — Приборы и методы контроля природной среды, веществ,

материаллов и изделий.

Автореферат диссертации на соискание учёной степени кандидата технических наук

Москва — 2006

Работа выполнена в Московском Государственном Университете Приборостроения и Информатики.

Научный руководитель: доктор технических наук, профессор

Слепцов В .В.

Официальные оппоненты: доктор технических наук,

профессор Шкэтов П. Н.

кандидат физико-математических наук, Кобринский И. М.

Ведущая организация: НИИИН МНПО "СПЕКТР"

Защита состоится " 2Ъ " ио^р а 2006 в ^ ч. ОС МИн. на заседании Диссертационного совета Д 212.119.01 при Московском Государственном Университете Приборостроения и Информатики по адресу: г. Москва, ул. Стромынка 20.

С диссертацией можно ознакомиться в библиотеке МГУПИ.

Отзывы на автореферат, заверенные гербовой печатью организации, просьба направлять по указанному адресу в двух экземплярах не позднее, чем за две недели до защиты.

Автореферат разослан "1* " 2006.

Учёный секретарь Диссертационного с< доктор технических наук

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

В связи с тем, что в последнее время увеличивается число разрабатываемых мобильных устройств, таких как карманные компьютеры (PDA), сотовые телефоны, коммуникаторы и т.д. возникает необходимость обеспечения качества данных устройств. Настоящая диссертация посвящена решению комплекса задач, направленных на разработку и повышение эффективности системы автоматического контроля современных мобильных устройств построенных на таких архитектурах как ОМАР, MIPS, ARM и т.д.

В настоящее время проверка мобильных устройств осуществляется на разных этапах их производства; опытный образец печатной платы, разработка программного обеспечения, проверка печатной платы готового устройства, запуск при каждом включении встроенных тесгов. Данные способы хорошо себя зарекомендовали и показывают высокий процент отсеивания брака. Однако участившиеся жалобы от потребителей о том, что в новом устройстве не работает та или иная функция, свидетельствуют о недостаточности данных проверок. В диссертационной работе предложен новый способ, позволяющий проверять общую функциональность мобильных устройств: взаимодействие аппаратной и программной частей устройств.

Исследование существующих систем для проверки мобильных устройств показывает, что не существует готовых решений для проверки их функциональности. Отсутствуют готовые решения для проверки интерфейсов мобильных устройств ( инфракрасный порт, серийный порт, карты памяти, ОЗУ, ПЗУ и т.д) но, существуют наборы тестов (LTP, Posix test suite, TAHI и т.д.) предназначенных для проверки определенных частей устройств. Так же по скольку мобильные устройства обладают большой функциональностью, то полный цикл тестирования занимает очень большое время. По этому в работе рассмотрены основные проблемы при тестировании мобильных устройств:

• сокращения времени тестирования;

• построения эффективного метода тестирования мобильных

устройств используя алгоритмы оптимизации.

Актуальность темы

Развитие наукоемких технологий на современном этапе в значительной мере определяется прогрессом в области компьютерных средств, программно-аппаратных систем и информационных технологий. Жизненный цикл современных программно-аппаратных высокотехнологичных устройств состоит из таких компонентов как: разработка, тестирование и исправление ошибок. Тестирование занимает один из приоритетных уровней, так как именно в результате проверки можно определить максимальное число ошибок в аппаратной или программной части устройства и повысить качество продукции на выходе и скорость разработки новых моделей

В настоящее время к мобильным устройствам предъявляется ряд достаточно жестких требований, таких как функциональность, работа на высоких частотах, требования реального времени и т.д. Эти требования обусловлены возрастающими практическими потребностями по размерности и сложности решаемых задач. При этом такая характеристика качества устройств, как временная эффективность, является одной из определяющих. >

Очень актуальным является вопрос посвященный решению комплекса задач, направленных на разработку и повышение эффективности системы автоматического контроля мобильных устройств, производящей тестирование.

Актуальность темы заключается в создании математического аппарата и программного обеспечения для автоматического тестирования данных устройств. Данная работа ставит акцент на создание эффективного метода тестирования, позволяющего определять ошибки в аппаратной или программной части устройства за минимальное время и учитывать результаты предыдущих циклов тестирования.

Цель работы .

Целью диссертационной работы является разработка системы автоматического контроля мобильных устройств для сокращение времени тестирования за счет разработки математического и программного аппарата. Для достижения поставленных целей необходимо решить задачи:

• на основе анализа существующих систем и стандартов для тестирования мобильных устройств разработать оценки требований к системам контроля мобильных устройств;

• разработать систему автоматического контроля мобильных устройств (обосновать принципы и методы построения, используемых технологий);

• решить задачи оптимизирования тестирования (задача о минимизации времени тестирования, минимизация времени на подготовительный этап тестирования);

• проанализировать вероятностные характеристики тестирующей системы и разработать требования к программному обеспечению для тестирования мобильных устройств.

Методы исследования

В диссертационной работе использованы методы и технологии компьютерной техники, теории графов, методы оптимизации. Приведен и реализован метод автоматического тестирования. При программной реализации предлагаемых методов и алгоритмов использованы технологии объектного, структурного и модульного программирования. Научная новизна

Научная новизна работы заключается в следующем:

• предложен метод вычисления вероятностных характеристик тестирующей системы, который позволяет выносить суждение о избыточности или недостаточности тестирования, делать прогнозы с определенной вероятностью достоверности;

• решены задачи уменьшения времени тестирования мобильных устройств: задачи о минимизации времени тестирования, минимизации времени на подготовительный этап тестирования;

• разработаны основные требования к системам, производящим автоматическое тестирование мобильных устройств.

Практическая ценность

В работе разработано:

• методика проверки, оценки результатов и принятия решения об эффективности результатов проверки;

• система автоматического контроля эффективного тестирования мобильных устройств;

• программное обеспечение для автоматизированной проверки аппаратно-программных частей различных типов мобильных устройств.

Разработанная методика позволяет существенно сократить время проверки современных мобильных устройств, что позволяет улучшить качество конечных устройств, а так же уменьшить время на разработку новых моделей.

Реализация и внедрение результатов

Достоверность научных положений, выводов и рекомендаций, разработанных в диссертации, подтверждена результатами их практического использования. Исследования, представленные в работе, используются в компаниях ЗАО "РТСофт" и ЗАО "Аданис", которые занимаются разработкой и тестированием мобильных устройств.

Ахфобация результатов работы

Основные результаты работы доложены и обсуждены на международных и Российских конференциях: XIV международный научно-технический семинар "современные технологии в задачах управления, автоматики и обработки информации" (г. Алушта, 2005г); научно-технической конференции, проводимой МГУПИ в 2006г. Основные тезисы диссертации неоднократно обсуждались на научном совете кафедры "Приборостроения и радиоэлектронники" МГУПИ. Публикации

По основным результатам диссертациониой работы опубликовано 8 научных статей, из них одна статья в журнале, признанном ВАК научным изданием. Список работ приведен в конце автореферата. Структура диссертационной работы

Диссертационная работа состоит из введения, 4 глав с выводами, заключения и библиографического списка из 116 наименований. Текст диссертации изложен на 136 страницах машинописного текста. Диссертация имеет 50 рисунков и 21 таблицу.

Основные положения, выносимые на защиту

• методики расчета оптимальных последовательностей тестирования;

• методика расчета вероятностных характеристик тестирующих систем мобильных устройств;

• разработка системы автоматического контроля мобильных устройств.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении дана краткая характеристика решаемой проблемы, обоснованность и актуальность темы, сформулированы цель и задачи исследования, определены методы исследования.

В первой главе произведен анализ современных тенденций в области разработок систем автоматического контроля мобильных устройств.

Объясняется необходимость совершенствования существующих систем контроля и разработки специального программного обеспечения, позволяющего сократить временные затраты на проверку качества мобильных устройств.

Рассмотрены различные типы тестируемых устройств (NEC, ОМАР, Motorola). На примере наиболее функциональной мобильной архитектуры ОМАР показаны элементы, требующие контроля.

Проанализирована специфика разработки программных средств для мобильных устройств, требования к программным средствам. Приведены общие характеристики качества программных средств и требования к программному обеспечению. Показано, что важнейшим этапом жизни устройства является тестирование, так как обеспечивает качество устройств на многих этапах жизненого цикла: в процессе изготовления, при контроле качества разрабатываемой продукции и в процессе ремонта.

Проанализированы стандарты, регламентирующие жизненный цикл сложных комплексов программ информационных систем в т.ч. стандарты РФ ГОСТ 34.601-90 (Стадии создания АС), ГОСТ 34.602-89 (ТЗ на создание АС), ГОСТ 34.603-92 (Виды испытаний АС) и зарубежные DOD-STD-2167 A, MIL-STD-498, ISO 12207:1995, IEEE 1074-1995.

Приводится обзор операционных систем для мобильных устройств: WindowsCE, PalmOS, Linux. Исследуются этапы разработки.

Приведены требования к системам автоматического контроля для тестирования:

• распределенная структура управления и обработки информации;

• контроль работоспособности различных видов тестируемых мобильных устройств;

• высокая степень автоматизации (доля участия человека < 5%);

• обеспечение функциональности протоколов NFS, TFTP, DHCP;

• хранение исходных кодов тестирующих программ в системах контоля

версий (CVS,SVN);

• компиляция тестовых программ и установка их на устройство;

• выполнение тестирования и обработка результатов;

• WEB в качестве пользовательского интерфейса.

t

Во второй главе сформулированы задачи создания математического и программного обеспечения для тестирования мобильных устройств. Исследуются текущие способы тестирования и ставятся задачи, необходимые для их улучшения.

Разработанны основные принципы и требования к построению системы автоматического контроля (САК).

Представлена функциональная схема САК. Разработанна схема подключения устройств к САК. Разработан алгоритм работы (рис. 1), обеспечивающий автоматическую проверку устройств.

Предложены различные способы загрузки устройств: TFTP, DHCP,NFS.

Разработан способ компиляции тестовых программ, обеспечивающий

^ .V . и, " -

минимальное время компиляции на основе использования кластерной технологии. На основе анализа преимуществ и недостатков различных типов кластеров и технологии реализации параллельных вычислений: (N)UMA, DSM, PVM и MPI, предложено использование кластера на базе openMosix.

Сформулированы требования к оборудованию и программному обеспечению для сети для кластера. Показано, что скорость кластера определяется таких характеристиками как пропускная способность и латент-ность. Произведенное сравнение различных видов сетевых интерфейсов: FastEthernet, GigabitEthernet, Myrinet, SCI и cLAN, показывает, что предпочтительным является GigabitEthernet. Созданы требования к сетевой карте и к выбору коммутатора.

Разработаны требования к программному обеспечению для кластера. Разработан порядок миграции процессов на кластер.

Рис. 1. Алгоритм работы САК

Разработан способ улучшения сети для кластера на основе технологии связывания каналов (channel bonding), обеспечивающий увеличение пропускной способности и надежности сетевого соединения.

Третья глава посвящена оптимизации процесса тестирования мобильных устройств. Установлено, что для уменьшения времени на тестирование необходимо:

1. выбрать число тестовых программ, обеспечивающих заданную достоверность контроля;

2. минимизировать время подготовительного этапа тестирования;

3. минимизировать время основного тестирования.

1. Расчет вероятностных характеристик тестирующей системы

Я01 m \23 Х34 М5 *56

Рис. 2. Общая схема прохождения 6 тестов

Разработал способ, позволяющий прогнозировать вероятность работоспособности тестируемых мобильных устройств в разный момент времени. Произведен анализ состояния системы после каждого теста. При этом тестирующая система представлена в виде вероятностной системы состояний изображенной на рис. 2. Далее рассчитываются значения вероятностей Рп для общей формулы уравнения

' ^ = роАо1 + Р2М21 - РхЛ12 - Рф 10 ^ = Р\Х\2 + Рг№т — -РгА23 ~ Л2М21 ^ - Р2А23 + Р4/Мз - Р3А34 - Рг№

^ — Р3А34 + Ръры ~ Р^АЪ — Р5М43 ^ = Я4А45 + ^6^54 — -Р5Л45 — АМ43

= ¿"5^56 — Рб№ 5

Л

Где Ро ~ определенная опытным путем начальная вероятность работоспособности всех устройств. А значения А есть функция показывающая зависимость вероятности прохождения определенного теста от определенных характеристик проверяемого устройства (например объем ОЗУ, ПЗУ, частота процессора и т.д.). Значение ¡л характеризует время прохождения конкретного теста.

Приведенные в работе исследования тестирующей системы показывают, что в данном случае применим Пуассоновский закон распределения:

р> =

//1

(2)

В котором расчет значений А н/1 можно произвести по следующим формулам 3:

{

=

ЗР[ гРЬ>>

м=?-

(3)

Рассчитанные результаты для 6 тестов и 6 устройств, используя средние значения А и для этих устройств для статического состояния ^ — 0, позволили определить зависимость вероятности работоспособности устройств от пройденных тестов (рис. 3), что позволило на практике определить необходимый набор тестов и сократить время тестирования.

Интересным моментом данных расчетов, является возможность предсказания работоспособности новых устройств по их техническим характеристикам (объем ОЗУ, ПЗУ, битностъ звука и т.д.). Благодаря этому можно

Номер теста

Рис. 3. График зависимости вероятности работоспособности устройств от количества пройденных тестов.

рассчитать необходимый объем тестирования для конкретных устройств и сократить процесс тестирования до определенного числа тестов.

2. Минимизации времени на подготовительный этап тестирования

Данная задача является важной в том случае, если необходимо провести такие тесты, при которых время на подготовительный этап больше времени самого тестирования. Для этого синтезируется граф на основании необходимого времени для подготовительного процесса каждого теста (рис. 4). Опытным путем определяется время необходимое для подготовки одного теста после другого. Задается ориентированный граф времен. Анализируется эффективный алгоритм нахождения оптимальной последова-

тельности и решается задача похожая на классическую задачу коммивояжера, в которой для каждой вершины графа определяются все возможные пути, проходящие через все остальные вершины графа и выбирается минимальный путь на основании матрицы весов.

3. Минимизация времени тестирования

Рассматривается задача нахождения оптимальной последовательности проведения тестирования. Рассматривается функция

F(x) — (xl,x2,x3.,.xn) (4)

где xl,x2..xn - последовательность тестов. Определяется такая перестановка тестов хп при которой общее время тестирования Т(х)~ Тх1 + Тх2 ...

Тхд является минимальным.

? * ■

Задача решалась для 2-х варантов оптимизации последовательности тестирования. В первом случае времена проведения тестов не известны, а известны только зависимости между результатами тестирования; во втором случае времена проведения тестов полагались заданными.

Часто случается, что количество тестов достаточно велико (LTP больше 1000 тестов, TAHI больше 10000 тестов) и время, проведения всех тестов является достаточно большим. Как правило тесты являются связными, а именно результат прохождения одного теста оказывает влияние на результат прохождения другого теста. В этом случае, если известны только зави-

Рис. 5. Алгоритм нахождения оптимальной последовательности

симости между тестами, то можно найти такую последовательность проведения тестов, при которой в начале проверяются наиболее приоритетные тесты, результат которых влияет на другие. Для этого строится ориентированный граф зависимостей между тестами. Разрабатывается алгоритм на основе теории графов определения такой последовательности (рис. 5). Для нахождения самых длинных путей сначала анализируются алгоритмы поиска в графе минимальных путей для всех пар вершин (алгоритмы Джонсона, Флойда Уоршолла, перемножения матриц). Выбирается алгоритм перемножения матриц как самый оптимальный по скорости алгоритм. Позволяющий решить задачу за время 0(тг31одп). А затем меняются условия поиска, таким образом, чтобы в результате получался алгоритм с самым длинным путем. Разрабатывается алгоритм нахождения конечной оптимальной последовательности, при которой наиболее зависимые тесты будут проверяться в первую очередь.

Во втором случае решается ситуация когда известны времена выполнения каждого теста после выполнения другого теста. Данная ситуация возникает во многих случаях, например, когда один тест подготавливает файловую систему или производит какие-либо установки, которые необхо-

димы другому тесту, В этом случае разрабатывается алгоритм, который сможет найти такую последовательность тестов, при которой суммарное время прохождения всех тестов будет минимальным. Для нахождения минимальной последовательности при известных временных величинах выполнения тестов используется алгоритм перемножения матриц (который обеспечивает нахождения последовательности за минимальное время), при котором определяется матрица минимальных путей для всех пар вершин. Используется следующая функция для составления минимальной матрицы.

где с!у минимальный вес пути из вершины 1 в вершину j

Далее по значениям весов рассчитывается самый минимальный путь. По заданной матрице весов У/ — (ш^) последовательно вычисляются матрицы ...В^-Ъ, О^ = Последняя матрица В^-^ будет содержать веса кратчайших путей. Заметим, что матрица (веса путей из одного ребра) совпадает с V/.

Используется алгоритм определения минимальной последовательности, определенный формулой (6).

£>(1) ^ . цг = \¥

£>(2) ^ П(1) . = Ху2

£>(з) = £»(2). = IV3 (6)

£)(«-!) = £)(п-2) , \у —

Далее используя рекурсию в алгоритме сокращается время работы алгоритма с 0(п4) до 0(п31одп) формула (7).

D<1> = W,

D(2) = W2 = щ

= w4 = vy2 * 1У2,

£,(8) = jy8 = W4 , П

В четвертой главе приведены требования и алгоритмы программ-

ного обеспечения САК, Разработана программная среда для тестирования, основным назначением которой является контроль аппаратно-программных компонентов различных устройств.

Сформулированы основные требования к тестирующему программному обеспечению:

• тестовые программы должны выполняться с хост компьютера;

• тестируемые выполняемые файлы, должны быть скомпилированы на хосте;

• тест должен соответствовать тест кейсу, имя теста должно быть отражено в лог файле;

• тест должен проверять все требуемые установки (root nfs, опции ядра), и сообщать об этом;

• тестовая программа должена легко конфигурироваться ( изменять порты, или имена устройств);

• тест должен быть разработан таким образом, чтобы можно было тестировать различные интерфейсы ( например тесты для серийного порта могли использоваться для тестирования USB);

• тесты могут запрашивать у пользователя совершения каких либо действий ( например вставить USB кабель, или ММС карту).

• IP соединение между хостом и устройством (ррр over serial, Ethernet и так далее).

—

| ПК«

->

Рис. 6. Взаимодействие классов программы

Разработана схема работы программы: система состоит из двух частей - из хост части и таргет (устройство) части. Таргет часть представляет из себя многопоточный XML-RPC сервер, который выполняет команды на устройстве и возвращает результат на хост компьютер. Фоновый процесс устройства обменивается информацией с хостом по протоколу XML-RPC. Разработана схема взаимодействия классов программы (рис. 6).

Показано, что для удобного хранения результатов тестирования и получения статистики является необходимым использование базы данных. В заключении приведены основные научные результаты работы:

1.: на основании анализа существующих систем и стандартов сформулированы требования предъявляемые к САК и тестирующим программам САК;

2. разработан типовой алгоритм построения автоматизированных тестов для контроля мобильных устройств;

3. построена модель тестирующей системы с повешенной производительностью;

4. предложено использование кластерных технологий для увеличения производительности тестирующей системы (разработаны требования к программному обеспечению, коммутатору и каналам связи);

5. разработаня система автоматического контроля мобильных устройств, которая позволяет:

♦ рассчитывать в процессе тестирования, используя методы теории графов, оптимальную последовательность тестирования, с целью минимизировать время нахождения ошибки;

• рассчитать вероятностные характеристики тестирующей системы на каждом шаге проверки;

Достоверность научных положений, выводов и рекомендаций, разработанных в диссертации, подтверждена результатами их практического использования.

Список использованной литературы содержит 116 наименований.

В Приложениях приведены исходные коды тестов, исходный код программы "сервер", стандарты контроля программных средств.

Основное содержание диссертационной работы изложено в следующих публикациях:

1. М. В. Уваров. Отладка приложений в операционной системе Linux с помощью Linux Trace Toolkit// В сб. трудов молодых ученых МГАПИ N6. М.: МГАПИ 2004г.

2. М.В. Уваров. Проверка VST на устройствах с операционной системой Linux// Межвузовский сборник научных трудов "ПРИБОРОСТРОЕНИЕ". - М: МГАПИ, 2004г, с 104-111

3. М.В. Уваров. Оценка и анализ рисков тестирования// Межвузовский сборник научных трудов "ПРИБОРОСТРОЕНИЕ". - М: МГАПИ, 2004г., с 182-189,

4. М.В. Уваров,Инструменты необходимые для тестирования Ипих// llttp://softwaгe-testing.ru/Иb/uvarov/Hnux_testing_tools.htm 2004г,

5. М.В. Уваров. Реализация алгоритмов теории графов на С// XIV международный научно-технический семинар "Современные технологии в задачах автоматики, управления и обработки информации". - Алушта, 2005г., с 265.

6. М.В. Уваров. Оптимизация систем автоматического контроля, выполняющих тестирование// Межвузовский сборник научных трудов Приборостроение, - М: МГАПИ, 2005., с 26-27.

7. М.В Уваров. Вероятностные характеристики систем тестирования мобильных устройств// Сборник научных трудов "ПРИБОРОСТРОЕНИЕ". - М: МГАПИ, 2006.

8. М.В. Уваров. Системы автоматической проверки мобильных устройств// журнал "Приборы N8". - М: МНТО приборостроителей и метрологов 2006г., с 39-41.

Уваров Максим Викторович

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 24.10.2006 г. Формат 60x90, 1/16. Объем 1,25 п.л. Тираж 100 экз. Заказ X» 845

Отпечатано в ООО "Фирма Блок" 107140, г. Москва, ул. Краснопрудная, вл. 13. т. 264-30-73 www.blok01cetitre.narod.ru Изготовление брошюр, авторефератов, печать и переплет диссертаций.

Введение

Глава1: Анализ существующих систем и стандартов тестирования мобильных устройств

1.1 Виды тестируемых устройств.

1.2 Анализ специфики разработки программных средств.

1.3 Понятие качества программного средства.

1.4 Общие характеристики качества программных средств

1.5 Стандарты, регламентирующие требования к мобильным устройствам.

1.6 Обзор существующих операционных систем для мобильных устройств.

1.7 Разработка требований к системам производящих автоматическое тестирование

1.8 Выводы.

Глава 2: Разработка системы автоматического контроля мобильных устройств

2.1 Система автоматического контроля.

2.2 Загрузка устройств.

2.2.1 Использование общей файловой системы NFS

2.2.2 Загрузка устройств по DHCP.

2.2.3 Использование tffcp.

2.3 Подбор кластерной системы.

2.4 Связывание каналов.

2.5 Выводы.

ГлаваЗ: Решение задач оптимизации тестирования

3.1 Задача1 о минимизации времени тестирования.

3.1.1 Анализ эффективных алгоритмов нахождения кратчайших путей.

3.1.2 Сравнения скорости алгоритмов.

3.2 Задача2 о минимизации времени на подготовительный этап тестирования.

3.3 Вероятностные характеристики тестирующей системы

3.4 Выводы.

Глава 4: Разработка требований и алгоритмов программного обеспечения.

4.1 Требования к программному обеспечению.

4.2 Функциональная схема программы проверки драйверов ввода-вывода.

4.3 Использование базы данных

4.4 Выводы.

Развитие наукоемких технологий на современном этапе в значительной мере определяется прогрессом в области компьютерных средств, программных систем и информационных технологий. В последнее время становятся очень популярными мобильные устройства, которые представляют из себя сложные электронно-программные приборы. Разработка таких устройств занимает существенное время и больших человеческих ресурсов. Для нахождения ошибок в проектировании таких устройств или в реализованном программном обеспечении производят тестирование отдельных частей этих устройств. Поскольку в последнее время сложность данных устройств увеличивается, то полный цикл тестирования занимает очень длительное время. С целью сократить это время, разрабатывают системы автоматического контроля, обеспечивающие тестирование в автоматическом режиме.

В настоящее время к мобильным устройствам предъявляется ряд достаточно жестких требований. Эти требования обусловлены как сложностью самих продуктов, так и возрастающими практическими потребностями по размерности и сложности решаемых задач. При этом такая характеристика качества устройств, как временная эффективность, является одной из определяющих.

Очень актуальным является вопрос посвященный решению комплекса задач, направленных на разработку и повышение эффективности системы автоматического контроля мобильных устройств, производящей тестирование мобильных устройств. В работе произведен анализ уже существующих систем для тестирования, который показывает, что недостатки этих систем в том, что в них отсутствует оптимизационная часть, позволяющая выполнять оптимальным образом нагруженные тесты. В данной работе разработан ряд алгоритмов позволяющий существенно сократить время тестирования.

Анализ литературы, посвященной тестированию программного обеспечения[56-61] и реализуемых систем автоматического контроля [6971] а так-же существующих видов и стандартов на проверку и разработку мобильных устройств, показывают, что необходимость проведения работ в данной области обусловлена, в первую очередь отсутствием соответствующего математического и программного обеспечения, способного успешно решать следующие задачи:

• построения эффективного метода тестирования мобильных устройств;

• разработки и апробации способов тестирования;

• сокращения времени путем автоматизации процесса тестирования;

• оптимизации процесса тестирования;

• обработки и анализа результатов тестирования.

Целыо диссертационной работы является сокращение времени тестирования мобильных устройств за счет разработки математического и программного аппарата. Для достижения поставленных целей необходимо решить задачи:

• проанализировать существующие системы и стандарты на тестирование мобильных устройств;

• разработать требования к системам производящих автоматическое тестирование;

• разработать систему автоматического контроля (обосновать принципы и методы построения, используемых технологий);

• решить задачи оптимизирования тестирования (задача о минимизации времени тестирования, минимизация времени на подготовительный этап тестирования);

• проанализировать вероятностные характеристик тестирующей системы;

• разработать требования к программному обеспечению для тестирования мобильных устройств.

В диссертационной работе использованы методы и технологии компьютерной техники, электроники, теории графов, методы оптимизации, элементы теории массового обслуживания. Приведен и реализован метод автоматического тестирования. При программной реализации предлагаемых методов и алгоритмов использованы технологии объектного, структурного и модульного программирования.

Научная новизна работы заключается в следующем:

• разработаны основные требования к системам, производящим автоматическое тестирование мобильных устройств;

• создана система автоматического контроля эффективного тестирования мобильных устройств;

• разработана методика проверки, оценки результатов и принятия решения об эффективности результатов проверки;

• разработано программное обеспечение, позволяющее производить автоматизированную проверку аппаратно-программных частей различных типов устройств.

• решены основные проблемные задачи тестирования мобильных устройств: задачи о минимизации времени тестирования, минимизации времени на подготовительный этап тестирования;

• предложен метод вычисления вероятностных характеристик тестирующей системы, который позволяет выносить суждение о избыточности или недостаточности тестирования, делать прогнозы с определенной вероятностью достоверности.

Работа затрагивает анализ существующих разработок в данной области и анализ существующих стандартов. Для оптимизационных решений используются кластерные технологии миграции процессов. Определен способ подключения устройств к САК. Загрузка, процесс тестирования и процесс предоставления результатов. Устранены ограничения присутствующие в существующий системах автоконтроля.

4.4. Выводы

В главе рассмотрена разработка тестирующих программ для тестирования драйверов устройств. Использованы такие технологии как XML-RPC

Тестирование драйверов ввода-вывода сделано таким образом, что и MySQL. в качестве хост компьютера может быть любой компьютер или другое устройства. Обязательным условием является лишь наличие интерпретатора python на данном компьютере. Тем самым обеспечивается универсальность и гибкость выполнения программы Использование базы данных позволяет увеличить скорость обнаружения ошибки и обратить внимание на наиболее проблемные тесты. .

Заключение

Разработанная в данной работе система автоматического контроля позволяет производить тестирование мобильных устройств. В работе рассмотрены основные аналоги данной системы, такие как LTP, TAHI и OpenPosix. Произведенные в процессе работы исследования показывают, что разработанная система имеет ряд преимуществ перед ними. Это прежде всего большая степень автоматизации и оптимизация времени тестирования и времени необходимого на подготовительный этап тестирования. Разработанная САК позволяет сократить материальные затраты на тестирование путем сокращения самого времени тестирования.

В процессе исследования получены основные научные результаты:

• исследованы существующие способы тестирования мобильных устройств и разработанны требования к системам, производящим автоматическое тестирование;

• создана система автоматического контроля направленная на эффективное тестирование мобильных устройств;

• разработана методика проверки, оценки результатов и принятия решения об эффективности результатов проверки;

• построена модель тестирующей системы с повешенной производительностью; создано программное обеспечение, позволяющее производить автоматизированную проверку аппаратно-программных частей различных типов устройств устройств. решены основные проблемные задачи тестирования мобильных устройств: задачи о минимизации времени тестирования; предложено использование кластерных технологий для увеличения производительности тестирующей системы ( разработаны требования к программному обеспечению, коммутатору и каналам связи); предложен метод вычисления вероятностных характеристик тестирующей системы, который позволяет выносить суждение о избыточности или недостаточности тестирования, делать прогнозы с определенной вероятностью достоверности. разработаны требования к программному обеспечению тестирования мобильных устройств, которое позволяет: рассчитывать в процессе тестирования, используя методы теории графов, оптимальную последовательность тестирования, с целыо минимизировать время нахождения ошибки; производить тестирование в автоматическом и полу автоматическом режиме; анализировать результаты тестирования используя информацию из базы данных SQL;

Достоверность научных положений, выводов и рекомендаций, разработанных в диссертации, подтверждена результатами их практического использования (см. приложения).

1. Гэри М., Джонсон Д. Вычислительные машины и трудно решаемые задачи. М.: Мир, 1982.

2. Thomas Н. Carmen, Charles Е. Leiserson, Ronald L. Rivest, Introduction to Algorithms, The MIT Press, Cambridge, Massachusetts London, England. McGraw-Hill Book Company, New York St. Louis, San Francisco Montreal Toronto, 1990

3. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств. М.:СИНТЕГ, 2003.- 520 с.:ил.(Серия "Управление качеством").

4. Целигцев B.C. Алгоритмическое проектирование и оценивание систем на основе аналогово моделирования // Автореферат дисс. . кандидата технических наук. -М, 2003. 20с.

5. М.В. Ульянов. Классификации и методы сравнительного анализа вычислительных алгоритмов. М.:Издательство физико-математической литературы, 2004.

6. Е.А. Жоголев. Введение в технологию программирования (конспект лекций). М.: "ДИАЛОГ-МГУ 1994.

7. М. Зелковец, А. Шоу, Дж. Гэннон. Принципы разработки программного обеспечения. М.: Мир, 1982. - С. 11.

8. К. Зиглер. Методы проектирования программных систем. М.: Мир, 1985. - С. 15-23.

9. Дж. Фокс. Программное обеспечение и его разработка. М.: Мир, 1985. - С. 53-67, 125-130.

10. Калянов Г. Н. Консалтинг при автоматизации предприятий. Подходы, методы, средства. М.: СИНТЕГ. 1997.

11. В.Н. Касьянов, В.А. Евстигнеев. Графы в программировании: обработка, визуализация и применение. СПб.: БХВ-Петербург, 2003.

12. Роман Сузи, Python- СПб.: БХВ-Петербург, 2002.

13. Крис Касперски, Неизвестная уязвимость функции printf. журнал Открытые системы.24. www.openmosix.sourceforge.net Официальный сайт кластера openMosix.

14. S. Alexander, DHCP Options and BOOTP Vendor Extensions, RFC-2132, March 1997

15. Reynolds, J., "BOOTP Vendor Information Extensions RFC-1497, USC/Information Sciences Institute, August 1993.

16. Morgan, R., "Dynamic IP-адрес Assignment for Ethernet Attached Hosts Work in Progress.

17. Mockapetris, P., "Domain Names Concepts and Facilities STD 13, RFC-1034, USC/Information Sciences Institute, November 1987.

18. Mockapetris, P., "Domain Names Implementation and Specification STD 13, RFC-1035, USC/Information Sciences Institute, November 1987.

19. Wimer, W., "Clarifications and Extensions for the Bootstrap Protocol RFC-1542, Carnegie Mellon University, October 1993.

20. Отладка приложений в операционной систему LINUX с помощью Linux Trace Toolkit. М.В. Уваров.

21. Проверка VST на уствройствах с операционной системой Linux. М. В. Уваров, Межвузовский сборник научных трудов «ПРИБОРОСТРОЕНИЕ», с 104-111, 2004г.

22. Оценка и анализ рисков тестирования. М. В. Уваров, Межвузовский сборник научных трудов «ПРИБОРОСТРОЕНИЕ», с 182-189, 2004г.

23. Инструменты необходимые для тестирования linux. М.В. Уваров, http://software-testing.ru/lib/uvarov/linuxtestingtools.htm

24. Реализация алгоритмов теории графов на С, М.В. Уваров, XIV международный научно-технический семинар «Современные технологии в задачах автоматики, управления и обработки информации», Алушта, с 265, 2005г.

25. Di Battista G., Tamassia R., Incremental planarity testing. Proc. 30th Annu. IEEE Sympos. Found. Comput. Sci. 1989.

26. Garey M.R., Johnson D.S. Computers and Intractability: A Guide to the theory of NP-Completeness. New York, NY, 1979. - (есть перевод Гэри M., Джонсон Д. Вычислительные машины и труднорешаемые задачи. - М.:Мир, 1982).

27. Tutte W.T. How to draw a graph. Proc. London Math. Soc. 1960. - Vol. 10, N 3. - P.304 - 320

28. Alfred V. Aho, John E. Hopcroft, and Jeffrey D. Ullman. Data Structures and Algorithms. Addison-Wesley, 1983.

29. Ravinda K. Ahuja, Kurt Mehlhorn, James B. Orlin, and Robert E. Tarjan. Faster algorithms for the shortest path problem. Technical Report 193, MIT Operations Research Center, 1988

30. Selim G. Akl. The Design and Analysis of Parallel Algorithms. Prentice-Hall, 1989.

31. A. J. Atrubin. A one-dimensional real-time interative multiplier. IEEE Transactions on Electronic Computers, EC-14(l):394-399, 1965.

32. Sara Baase. Computer Algorithms: Introduction to Design and Analysis. Addison-Wesley, second edition, 1988.

33. Eric Bach. Private communication, 1989.

34. Eric Bach. Number-theoretic algorithms. In Annual Review if Computer Science, volume 4, pages 119-172. Annual Reviews, Inc., 1990.

35. Richard Bellman. Dynamic Programming. Princeton University Press, 1957.

36. Joseph J.F. Cavanagh. Digital Computer Arithmetic. McGraw-Hill, 1984.

37. E.W. Dijkstra. A note on two problems in connexion with graphs. Numerische Mathematik, 1959.

38. Shimon Even. Graph Algorithms. Computer Science Press, 1979.

39. Robert W. Floyd. Algorithm 97 (SHORTEST PATH). Communications of the ACM, 1962

40. Robert W.Floyd. Algorithm 245 (TREESORT). Communications of the ACM, 1964.

41. Кнут. Д., Искусство программирования для ЭВМ. Т.1.: Основные алгоритмы. М.: Мир, 1976

42. Кнут. Д., Искусство программирования для ЭВМ. Т.2.: Получисленные алгоритмы. М.: Мир, 1977

43. Кнут. Д., Искусство программирования для ЭВМ. Т.З.: Сортировка и поиск. М.: Мир, 1978

44. Бейзер, Тестирование черного ящика: Технологии функционального тестирования программного обеспечения и систем, Питер, 2004

45. Дастин, Рэшка, Пол,Автоматизированное тестирование программного обеспечения: Внедрение, управление и эксплуатация, Лори, 2003

46. Калбертсон, Браун, Кобб, Быстрое тестирование, Вильяме, 2002

47. Винниченко, Автоматизация процессов тестирования, Питер, 2005

48. Тамре, Введение в тестирование программного обеспечения, Вильяме 2003

49. Макгрегор, Сайке, Тестирование объектно-ориентированного программного обеспечения. Практическое пособие, ДиаСофт, 2002.

50. Акимов, Дискретная математика: логика, группы, графы, Лаборатория Базовых Знаний, 2001

51. Галкина В. А. Гелиос АРВ, Дискретная математика: комбинаторная оптимизация на графах

52. Брукс, Мифический человеко-месяц или как создаются программные системы, Символ-Плюс, 2001

53. Таненбаум, Современные операционные системы (2-е издание), Питер, 2002

54. Вахалия, UNIX из нутри, Питер, 2003

55. Таненбаум, Ван Стеен, Распределенные системы. Принципы и парадигмы, Питер, 2003

56. Дорф, Бишоп, Современные системы управления, Лаборатория Базовых Знаний, 2002

57. TAHI, http://www.tahi.org/70. openposix, http://posixtestsuite.sourceforge.net

58. LTP (Linux Test Project), http://ltp.sourceforge.net

59. Юрий Борисов, Виталий Кашкаров, Сергей Сорокин, НТЦ "Модуль Москва, Нейросетевые методы обработки информации и средства их программно-аппаратной поддержки http://www.osp.ru/os/1997/04/38.htm

60. Яфраков М.Ф., Корчагина Л.И. Особенности комплексного подхода к нейрокомпьютингу. Известия вузов. Приборостроение. 1997.

61. Hebb D.O. The organization of behavior. New York. 1949.

62. Брукс, Мифический человеко-месяц или как создаются программные системы, Символ-Плюс, 2001.

63. Немет, Снайдер, Сибасс, Хейи, UNIX: руководство системного администратора. Для профессионалов, Питер, 2003.

64. Жарков, Shareware: профессиональная разработка и продвижение программ, BHV-СПб, 2003.

65. Осовский, Нейронные сети для обработки информации, Финансы и статистика, 2002

66. Фаулер, Бек, Брант, Роберте, Апдайк Рефакторинг: улучшение существующего кода, Символ-Плюс, 2002

67. Керниган, Пайк, Unix. Программное окружение, Символ-Плюс, 2003.

68. Аллен, Типичные ошибки проектирования, Питер, 2003

69. Мусумеси, Лукидес, Настройка производительности UNIX-систем, 2-е издание, Символ-Плюс, 2004

70. Макконнелл, Совершенный код: Практическое руководство по разработке программного обеспечения, Питер, 2005

71. Солдатов А. В, МЕТОД СОЗДАНИЯ АВТОМАТИЗИРОВАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ НА ПРЕДМЕТНО-ОРИЕНТИРОВАННОЙ ПЛАТФОРМЕ, статья МГТУ "(Панкин Россия, Москва

72. Калянов Г.Н. CASE-технологии. Консалтинг при автоматизации бизнес-процессов. 2-е изд. перераб. и доп. М.: Горячая линия - Телеком, 2000. - 320 е., ил.

73. Головина Е.Ю. Технология создания корпоративных информационныхсистем с использованием интеллектуальных методов. М.: Янус - К, 2002. - 107 е., ил

74. ГОСТ Р ИСО 9000:2001. Системы менеджмента качества. Основные положения и словарь

75. Терри Кватрани, Грейди Буч. Rational Rose и UML. Визуальное моделирование. Издательство ДМК Пресс. Москва, 2001

76. Вендров A.M. Проектирование программного обеспечения. Москва, 2000 г

77. Александр Новичков. Эффективная разработка программного обеспечения с использованием технологий и инструментов компании RATIONAL.

78. А.Чернобаев, Алгоритмы решения некоторых теоретико-графовых задач

79. Зыков А.А. Теория конечных графов. Новосибирск: Наука, 1969.

80. Харари Ф. Теория графов. М.: Мир, 1973.

81. Ловас Л., Пламмер М. Прикладные задачи теории графов. Теория па-росочетаний в математике, физике, химии. М.: Мир, 1998.

82. Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978.

83. Тимофей Струнков, Что такое генетические алгоритмы, Тимофей Струнков, PC Week RE, 19/99

84. В.П. Климанов, М.В. Сутягин, В.А. Быстрикова, Кластеризация вычислительных систем и вопросы их катастрофоустойчивости, МГТУ «Станкин»

85. Сутягин М.В. Анализ катастрофоустойчивости кластерных вычислительных систем, МГТУ «Станкин»

86. Болтянский В. , Плоские графы, журнал Квант, 1981.

87. Харари Ф. Теория графов. М.: Мир. 1973. 336 с.

88. Лавров И.А., Максимова Л.Л. Задачи по теории множеств, математической логике и теории алгоритмов. 1995.

89. Стенли Р. Перечислительная комбинаторика. 1990.

90. Сачков В.Н. Введение в комбинаторные методы дискретной математики. 1982.

91. Айгнер М. Комбинаторная теория. 1982.

92. Мальцев А.И. Алгоритмы и рекурсивные функции. 1986.

93. Гэри М., Джонсон Д. Вычислительные машины и трудно решаемые задачи. 1982.

94. Болтянский В. Топология графов, журнал квант N6, 1981.

95. Уваров М.В. Вероятностные характеристики систем тестирования мобильных устройств (Уточнить публикацию)

96. Уваров М.В. Системы автоматической проверки мобильных устройств. (Уточнить публикацию)