автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Методика проектирования структуры вычислительных систем выявления слабоконтрастных неоднородностей в отраженном радиолокационном сигнале

на правах рукописи

Карпов Дмитрий Анатольевич

МЕТОДИКА ПРОЕКТИРОВАНИЯ СТРУКТУРЫ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ ВЫЯВЛЕНИЯ СЛАБОКОНТРАСТНЫХ НЕОДНОРОДНОСТЕЙ В ОТРАЖЕННОМ РАДИОЛОКАЦИОННОМ СИГНАЛЕ

Специальность 05.13.15 — «Вычислительные машины, комплексы и компьютерные сети»

АВТОРЕФЕРАТ

4855241

диссертации на соискание ученой степени кандидата технических наук

МОСКВА —2011

2 9 СЕН 2011

4855241

Работа выполнена на кафедре Вычислительной техники Федерального государственного бюджетного образовательного учреяздения высшего профессионального образования "Московский государственный технический университет радиотехники, электроники и автоматики" (МГТУ МИРЭА).

Научный руководитель:

кандидат технических наук, доцент Иванов Евгений Леонидович

Официальные оппоненты:

доктор технических наук, профессор Степанов Игорь Михайлович

кандидат технических наук Жидков Петр Михайлович

Ведущая организация:

ОАО «ИНЭУМ им. И.С. Брука»

Защита состоится "19" октября 2011 г. в 14 часов на заседании диссертационного совета Д 212.131.05 Московского государственного технического университета радиотехники, электроники и автоматики по адресу: Москва, 119454, пр-т Вернадского, д. 78, ауд. Д-413.

С диссертацией можно ознакомиться в библиотеке МГТУ МИРЭА.

Автореферат разослан 14 сентября 2011 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу 119454, г. Москва, пр-т Вернадского, д. 78, диссертационный совет Д 212.131.05

Ученый секретарь

диссертационного совета Д 212.131.05 кандидат технических наук, доцент

Андрианова Елена Гельевна

Общая характеристика работы

Актуальность работы

При разработке современных специальных вычислительных систем (СВС) с заданными характеристиками существенную роль играют выбор структуры вычислительной системы и подбор комплектующих для входящих в неё СпецЭВМ (СпецЭВМ по архитектуре соответствует обычной ПЭВМ, но отличается конструктивным исполнением, позволяющим устанавливать несколько модулей «радар-процессор» и/или «спецвычислитель».). Незначительное изменение входных параметров или параметров обработки может оказать существенное влияние на требования к характеристикам СВС и привести к необходимости повторного проектирования системы.

При решении задачи проектирования СВС необходим механизм, позволяющий быстро выбрать структуру СВС и выработать требования к её компонентам. Рассмотренная в данной работе СВС, обрабатывая радиоизображения, позволяет выявлять на морской поверхности различные аномалии, такие как: разливы нефти и нефтепродуктов, большие косяки рыб и т.п. Особенностью СВС является то, что для анализа отраженного сигнала и поиска в нем аномалий требуется произвести большой объем вычислений, включающий процедуры по поиску когерентных сигналов среди большого количества шумов, создаваемый морской поверхностью.

Составными элементами СВС являются: модуль оцифровки и предварительной обработки радиолокационной информации; модуль специальной обработки радиолокационной информации и выявления слабоконтрастных неодно-родностей; СпецЭВМ и специальное программное обеспечение. Данное разделение позволяет, как обеспечивать быструю адаптацию СВС под конкретную радиолокационную станцию (РЛС), так и совершенствовать отдельные математические алгоритмы обработки радиолокационных сигналов без переделки всей СВС в целом.

Большие потоки данных, циркулирующие в СВС, предъявляют серьезные требования к пропускной способности интерфейсов и быстродействию компонентов СпецЭВМ. Потоки данных, в свою очередь, зависят от типа РЛС, точности представления результатов, длины и ширины (по углу) рабочей обрасти.

Предложенная методика построения специальных вычислительных систем выявления слабоконтрастных неоднородностей в отраженном радиолокационном сигнале, позволяет быстро разработать структуру СВС и выставить требования к компонентам СпецЭВМ, что, в свою очередь, сокращает время на проектирование и изготовление опытных и мелкосерийных образцов СВС для конкретных РЛС и областей применения, а также позволяет использовать типовые аппаратные модули и программное обеспечение.

Цель работы

Разработка методики построения структуры специальной вычислительной системы с заданными характеристиками по обработке отраженного радиолокационного сигнала с морской поверхности и выявлению в нем слабоконтрастных неоднородностей в реальном масштабе времени.

Для достижения этой цели в ходе работы были поставлены и решены следующие задачи:

- анализ нагрузки на компоненты СпецЭВМ при обработке радиолокационной информации (радиоизображения) и выявление «узких» мест, влияющих на характеристики СВС;

- разработка математических моделей, позволяющих рассчитать нагрузку для уже имеющихся образцов СВС;

- разработка математических моделей, позволяющих объединять несколько СпецЭВМ с целью увеличения производительности СВС и выбор модели, позволяющей обработать больший объем информации в реальном масштабе времени при одинаковых аппаратных составляющих;

- анализ существующих методов оценки производительности вычислительных систем и выбор способов оценки характеристик комплектующих СпецЭВМ, позволяющих проверить соответствие характеристик конкретной СпецЭВМ требованиям, предъявляемым моделью;

- разработка, на основе выбранной математической модели, методики построения СВС;

- разработка программы расчета требований к компонентам СпецЭВМ на основе требований к СВС и выбранной структуре.

Объектом исследования являются структуры СВС, предназначенных для обработки больших потоков радиолокационной информации с целью выявления слабоконтрастных неоднородностей в отраженном радиолокационном сигнале.

Основными методами исследования являются методы моделирования вычислительных систем, методы математического моделирования, положения теории вычислительных процессов.

Положения, выносимые на защиту:

- результаты анализа нагрузки на компоненты СВС и перечень «узких мест», влияющих на производительной СВС в целом;

- математические модели существующих образцов СВС и результаты их проверки;

- математические модели СВС, состоящей из нескольких СпецЭВМ;

- математическая модель СВС, обеспечивающая обработку большего объема радиолокационной информации в реальном масштабе времени;

- методика выбора структуры СВС;

- способ оценки производительности комплектующих СпецЭВМ, позволяющие проверить соответствие характеристик СпецЭВМ требованиям, предъявляемым моделью;

- результаты применения методики и разработанного программного обеспечения при выборе структуры СВС, соответствующей параметрам РЛС и режимам обработки полученного радиолокационного сигнала.

Научная новизна работы состоит в следующем:

- выявлены основные потоки данных в СВС и используемые в процессе передачи этих потоков компоненты СпецЭВМ;

- использованы методы распараллеливания задач, применяемые в распределенных вычислениях, для построения многомашинной и многомодульной СВС;

- построены математические модели СВС, позволяющие рассчитать нагрузку на компоненты СпецЭВМ в зависимости от требований по обработке и характеристик сигнала PJIC;

- разработана структура СВС, позволяющая решить задачу выявления слабоконтрастных неоднородностей на основе набора радиоизображений в режиме реального времени по заданным параметрам обработки и характеристикам сигнала PJIC;

- предложены методы тестирования комплектующих СпецЭВМ, позволяющие корректно сравнивать результаты тестирования с требованиями, предъявляемыми по итогам моделирования.

Практическая ценность работы заключается в возможности быстрого и экономичного подбора комплектующих для СпецЭВМ, входящих в состав СВС, что, в свою очередь, сокращает временные и финансовые затраты на разработку и модернизацию СВС под требования заказчика.

В рамках ОКР «Орел-МИРЭА», проводимой совместно с ЗАО «Альтаир-НТПЦ», применение данной методики позволило не только сократить время на проектирование опытного образца СВС на основе комплектующих специального исполнения, но и сформировать подход к проектированию подобных СВС на основе деления общей области обработки на зоны по дальности между составными элементами вычислительной системы.

Методы тестирования компонентов СпецЭВМ, предложенные в диссертации, позволяют связать теоретические требования, предъявленные моделью, с реальными характеристиками пропускной способности и быстродействия компонентов и интерфейсов СпецЭВМ. Это, в свою очередь, позволяет сформировать четкие требования к комплектующим СпецЭВМ и проверить их соответствие им, а также избавляет от необходимости приобретать комплектующие «с запасом производительности» и приводит к экономии финансовых затрат.

Апробация работы

Результаты данной работы применялись в НИОКР «Орел-МИРЭА» на этапах опытно-конструкторского проектирования, как исследовательских образцов, так и опытного образца СВС большой мощности. Эти результаты неоднократно докладывались и обсуждались на научно-технических конференциях МИЭРА.

По теме диссертации опубликовано 7 работ, из них 2 в сборниках ВАК.

Структура и объем диссертации

Диссертация состоит из введения, 4-х глав, заключения и списка литературы (59 наименований). Объем основного текста составляет 135 страниц и 58 рисунков.

Содержание работы

Во введении обоснована актуальность разработки методики построения СВС, сформулирована цель работы, изложены основные результаты исследований, показана их научная новизна, практическая значимость, указаны основные положения, выносимые на защиту.

В первой главе приведено описание СВС формирования радиолокационных портретов (радиоизображений) и распознавания в них слабоконтраст-

ных неоднородностей, состоящей из специального программного обеспечения и двух специальных аппаратных модулей:

- модуль «радар-процессор», используемый для оцифровки и предварительной обработки радиолокационной информации;

— модуль «спецвычислитель», используемый для выявления слабоконтрастных неоднородностей с помощью алгоритмов авторегрессии или вейвлет-преобразований.

Далее были рассмотрены применяемые в настоящее время методы проектирования вычислительных систем цифровой обработки сигналов и было выявлено, что для вычислительных систем цифровой обработки сигналов, работающих с одним источником, отсутствуют методики наращивания вычислительной мощности путем увеличения количества ЭВМ без изменения используемьк модулей цифровой обработки сигналов. Но, в тоже время, активно применяются методы повышения производительности вычислительных систем обработки информации и/или вычислений, основанные на разделении общей задачи между несколькими вычислительными узлами. Это могут быть кластеры, территориально распределенные вычислительные системы, многоядерные процессоры или видеопроцессоры. При этом задача обработки может делиться на этапы, которые распределяются меяеду отдельными элементами, как правило, для компактно расположенных систем или систем с различными компонентами. Также возможно деление сложной задачи, связанной с обработкой независимых данных, на отдельные наборы данных, которые обрабатываются отдельными узлами вычислительной системы, как правило, для территориально распределенных систем и систем с типовой структурой.

Именно на основе способов построения высокопроизводительных вычислительных систем общего назначения было принято решение при разработке методики разделить задачу цифровой обработки радиоизображения между несколькими СпецЭВМ либо по функциям (модулям), либо по времени (зона обработки делится на кольца по дальности).

Затем в главе была поставлена задача разработки методики проектирования структуры СВС, выбора способа разделения задачи цифровой обработки сигналов между СпецЭВМ и методов проверки реального оборудования, а также приведены результаты экспериментов по определению параметров СпецЭВМ, влияющих на быстродействие СВС. В результате проведенных экспериментов было обнаружено, что в практически одинаковых по конфигурации компьютерах максимальный объем передаваемой информации (размер обрабатываемой области) может значительно отличаться.

Так, модуль «радар-процессор», установленный в современную СпецЭВМ, передал в память ЭВМ в четыре раза меньший объем данных, чем при установке в СпецЭВМ предыдущих поколений, из-за ввода в современную СпецЭВМ дополнительных контроллеров. Существенное влияние на максимальный объем успешно передаваемой из модуля информации также оказали режимы отображения оцифрованной информации и величина сектора записи оцифрованной информации. Эти результаты подтверждают необходимость разработки специальной методики проектирования СВС.

Основной сложностью при проектировании СВС на основе готовых модулей с заданными параметрами является подбор других комплектующих

СпецЭВМ с требуемыми реальными характеристиками, а, следовательно, определение этих характеристик и методики проверки реальных компонентов СпецЭВМ на соответствие этим характеристикам.

Далее в главе были выявлены следующие ключевые компоненты СпецЭВМ, реальная пропуская способность которых оказывает влияние на производительность СВС в целом:

1. Шина интерфейса модулей.

2. Накопитель информации.

3. Связка: оперативная память-контроллер оперативной памяти.

В связи с тем, что для дальнейшего наращивания производительности СВС обработки радиолокационной информации одной СпецЭВМ будет не достаточно (на сегодняшний день, используемая СпецЭВМ способна обрабатывать данные только от одного модуля «радар-процессор», работающего в режиме максимальной производительности), возникает вторая задача — поиск способов объединения нескольких СпецЭВМ в единую СВС. При решении этой задачи потребуется выработать критерии распределения задач между СпецЭВМ и способы объединения результатов вычислений, их сохранения и отображения.

Еще одной важной задачей при организации многомашинной СВС является выработка требований к пропускной способности и задержке передачи данных интерфейсов связи нескольких СпецЭВМ, а также выработка методики проверки реального оборудования или установление соответствия между реальными значениями и значениями, заявленными в стандартах.

По результатам первой главы были получены следующие выводы:

- необходимо, используя методики построения вычислительных систем обработки информации, разработать методику построения СВС выявления слабоконтрастных неоднородностей на основе анализа радиоизображений;

- ключевыми компонентами СпецЭВМ, влияющими на производительность СВС являются шина интерфейса модулей, накопитель информации и связка оперативная память-контроллер оперативной памяти;

- для построения методики необходимо прибегнуть к моделированию.

Во второй главе были рассмотрены основные методы моделирование и выбран метод математического моделирования для реализации модели.

Для построения модели СВС были определены основные компоненты СпецЭВМ. которыми стали:

- шина интерфейса модулей — используется для передачи информации от модулей в СпецЭВМ и обратно (сейчас PCI и Compact-PCI);

- оперативная память — используется для временного хранения информации при её передаче и обработке;

- шина видеоадаптера — используется для передачи отображаемой информации в память видеоадаптера;

- накопитель — используется для долговременного хранения оцифрованной информации и радиоизображений;

- сетевой интерфейс — используется для передачи информации между несколькими СпецЭВМ, входящими в одну СВС.

Так как потоки данных внутри рассматриваемой СВС определяются параметрами обработки сигнала от PJIC и характеристиками станции, то в каче-

стве метода моделирования было решено прибегнуть к математическому моделированию. При этом процесс построения модели было решено реализовать итеративно: первоначально построить модели СВС с одним из специальных модулей, а потом, объединяя более простые модели, строить модели для СВС, состоящих из нескольких модулей и/или нескольких СпецЭВМ.

Процесс усложнения моделей будем проводить до выявления общих принципов построения математической модели СВС любой сложности и/или исключения моделей проигрывающих по производительности.

Для упрощения работы с полученными итоговыми моделями (или моделью), на основании выведенных формул, необходимо разработать программное обеспечение, рассчитывающее требования к компонентам на основании структуры СВС, характеристик РЛС и параметров обработки сигнала. Также необходимо разработать или выбрать имеющиеся средства тестирования компонентов СпецЭВМ с целью получения реальных, а не теоретических значений пропускной способности соответствующих компонентов.

Были выявлены следующие основные функции СпецЭВМ в моделируемой СВС:

- прием оцифрованного радиолокационного сигнала после предварительной обработки модулем (или модулями) «радар-процессор»;

- сохранение радиолокационной картины;

- отображение радиолокационной картины;

- разбиение радиолокационной картины на зоны;

- выделение в зонах максимумов;

- передача максимальных значений из зон в модуль (или модули) «спецвычислитель»;

- прием результатов обработки от модуля (или модулей) «спецвычислитель»;

- сохранение результатов обработки;

- отображение результатов обработки.

На основании вышеперечисленного был сделан следующий вывод: все сложные операции по обработке сигналов выполняются специальными модулями, а основная задача СпецЭВМ в анализируемой СВС — это объединение модулей и пересылка информации от одного устройства к другому. Центральный процессор используются лишь для управления этими пересылками, перерасчета координат из пары пеленг-дальность в координаты отображения Х-У, выявления максимальных значений в заданных зонах. Видеоподсистема компьютера используется для отображения принятой информации в двухмерном виде и не требует большой частоты обновления принятой информации.

Следовательно, в разрабатываемой модели основной упор необходимо сделать на моделирование процессов пересылки информации, использовании шин, контроллеров, оперативной памяти, накопителей, сетевой подсистемы, их пропускной способности.

Далее были разработаны основные математические модели исследуемой СВС:

1. Модель работы СВС состоящей из одной СпецЭВМ и одного модуля «радар-процессор».

2. Модель работы СВС состоящей из одной СпецЭВМ и одного модуля «спецвычислитель».

3. Модель работы СВС состоящей из одной СпецЭВМ, оснащенной од-

ним модулем «радар-процессор» и одним модулем «спецвычислитель».

4. Модель работы СВС состоящей из двух СпецЭВМ, в первой — один модуль «радар-процессор», во второй — один модуль «спецвычислитель».

5. Модель работы СВС состоящей из двух СпецЭВМ, в первой — два модуля «радар-процессор», во второй — два модуля «спецвычислитель».

6. Модель работы СВС состоящей из двух СпецЭВМ, в каждой из которых по одному модулю «радар-процессор» и «спецвычислитель».

Первые две модели не являются в чистом виде моделями СВС выявления слабоконтрастных неоднородностей, поскольку охватывают лишь часть алгоритма работы СВС. Они предназначены как для проверки правильности построения математической модели путем сравнения результатов расчетов с результатами работы реальных модулей, так и для построения всех последующих моделей.

Третья и четвертая модели использовались для расчета нагрузки на компоненты СпецЭВМ при различной организации объединения в единую СВС одного комплекта модулей.

Пятая и шестая модели применяются для вычисления нагрузки на СВС. состоящую из нескольких СпецЭВМ и нескольких комплектов модулей. Для упрощения вывода формул использовался вариант с двумя СпецЭВМ и двумя комплектами модулей. На основе этих моделей можно построить модели для любого количества СпецЭВМ с любым количеством модулей.

Данные модели охватывают способы построения СВС из одной или двух СпецЭВМ и позволяют сделать выводы о способах построения СВС из нескольких СпецЭВМ. Для каждой модели были выведены формулы расчета нагрузки на выявленные ранее основные используемые компоненты СпецЭВМ: шину интерфейса модулей, контролер памяти, накопитель, шину видеоадаптера и сетевой интерфейс.

На основе шести вышеприведенных математических моделей было произведено сравнение расчетных значений нагрузки по формулам для моделей № 1 и № 2 с реальными результатами, измеренными на опытных образцах СВС.

Обнаруженная разница в рассчитанных и экспериментально полученных объемах файлов с данными объяснялась добавлением программным обеспечением специального служебного заголовка, необходимого для последующего анализа сохраненных данных, не включенного в математическую модель. Данный заголовок составлял примерно 4*10"6 от общего объема записанной информации, поэтому им было решено пренебречь и считать полученные модели верными.

На основании анализа нагрузки для модели № 3 был сделан вывод, что объединение двух модулей в составе одной СпецЭВМ не приводит к значительному увеличению нагрузки на её компоненты. При этом даже установка дополнительных модулей «спецвычислитель», работающих в разных режимах (авторегрессии и вейвлет-преобразований) с одним набором данных, также не окажет существенного влияния на распределение нагрузки на компоненты СпецЭВМ и ее зависимость от параметров работы.

На основе анализа графиков нагрузки для моделей № 3 и № 4 был сделан вывод, что нагрузка на носитель и видеоподсистему СВС осталась неизменной. Нагрузка на память СпецЭВМ № 1 в модели № 4, несмотря на перенос модуля «спецвычислитель», не отличается от нагрузки, создаваемой в модели № 3 в процессе работы с двумя модулями.

СпецЭВМ № 2, содержащая модуль «спецвычислитель» и осуществляющая сквозную пересылку информации, при одинаковой с моделью № 2 нагруз-

кой на шину интерфейса модулей, имеет большую нагрузку на шину памяти из-за того, что модель № 2 оставляла данные в памяти, а в модели № 4 они пересылаются в СпецЭВМ № 1.

Сравнивая результаты расчетов для моделей № 3 и № 4, можно говорить лишь о сокращении нагрузки на шину интерфейса модулей, так как она делится между двумя СпецЭВМ (см. рис. 1-4). Поэтому можно прийти к заключению о том, что модель № 4 является нежизнеспособной и может быть исключена из дальнейшего рассмотрения.

35 -

30

о — =3

О 200 400 600 800 1000 1200 1400 1600 1600 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 4000 4200 44СО 4600 4800 5000 Частота зондирующих импульсоа, Гц

г- ' - " --'-"Мзд,ль3 - - — Модель4ПК1 Модель4ПК2

Рис. 1. График зависимости нагрузки на шину интерфейса модулей от частоты зондирующих импульсов

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 4000 4200 4400 4600 4800 5000 Частота зондирующих импульсов, Гц е'~"--"::-":;'"'*МодельЗ - - —Модель4ПК1 Модель4ПК2

Рис. 2. График зависимости нагрузки на память от частоты зондирующих импульсов

Длина рабочей облаете, стробы

1 Модель 3 - — ^Модель 4 ПК1 Модель 4 ПК2

Рис. 3. График зависимости нагрузки на шину интерфейса модулей от длины рабочей области

450 400

Длина рабочей области, стробы

3 - - — Модель4ПК1 -Модель4ПК2

Рис. 4. График зависимости нагрузки на память от длины рабочей области

Во второй главе автором были получены следующие результаты:

- для построения модели выбран метод математического моделирования;

- выбраны основные компоненты СпецЭВМ, влияющие на производительность и включаемые в модель;

- выбраны шесть основных моделей СВС и выведены формулы расчета нагрузки для них;

- проведено сравнение результатов расчетов с результатами практических тестов, показавшее корректность выведенных формул и моделей;

- на основании анализа моделей № 3 и № 4 выбран наиболее перспективный способ объединения нескольких модулей в составе СВС, заключающийся в объединении в одной СпецЭВМ модулей различных типов, обрабатывающих отдельную зону рабочей области.

В 3-й главе были рассмотрены модели № 5 и № 6, позволяющие наращивать производительность СВС, соединяя СпецЭВМ, содержащие по нескольку специальных модулей. При этом модель № 5, являющуюся идеологическим продолжением уже отброшенной модели № 4, также было решено отбросить и рассмотреть подробнее различные варианты построения модели № 6.

Если обе СпецЭВМ модели будут работать абсолютно независимо, то нагрузка для каждой из них будет считаться по формулам из модели № 3 и зависимости нагрузки от параметров работы будут абсолютно идентичны. Более интересны и оправданы варианты, в которых вывод осуществляется на одной ЭВМ.

Для простоты рассмотрим возможные варианты распределения задач вывода и сохранения информации в СВС из двух СпецЭВМ с прицелом на дальнейшее развитие модели для СВС, состоящей большего числа СпецЭВМ:

1. Каждая СпецЭВМ хранит оцифрованную информацию самостоятельно, отображение идет на СпецЭВМ № 1.

2. Хранение и отображение информации осуществляется на СпецЭВМ № 1.

3. Вводится дополнительная ЭВМ для хранения и отображения информации.

4. Вводится дополнительная ЭВМ для отображения информации, а оцифрованную информацию хранит каждая СпецЭВМ самостоятельно.

Если предположить, что каждая из СпецЭВМ осуществила необходимую обработку для формирования зон, то различия в нагрузке будут определяться следующим образом. Для СпецЭВМ, не выводящей информацию, из формулы расчета нагрузки на память исчезнут компоненты, отвечающие за формирование изображения (8П в и 5П в кру,.). На СпецЭВМ, отвечающей за вывод информации, они добавятся в формулу расчета нагрузки (при условии увеличении зоны отображения). Также на СпецЭВМ, отвечающей за вывод информации, необходимо увеличить нагрузку на память на утроенное значение величины интенсивности формирования пикселей для каждого из задействованных режимов отображения (8Ш1(С и/или 8ПИКС фу,.). Нагрузка на сеть составит 8ПИКС и/или 8пикс круг байт в секунду.

При этом: _4-Х-Г-а>.

*п-в - 60 . (1)

60 ' ( ;

о. у , V . Л)

.. _ ° л служ служ

пике _ круг - ^ ' ' -1

3П-В_ круг = 4 ' ^круг ' ^отоб (4)

где:

X, У,Хкру„Хслуж, Ус,,уж — размеры в пикселях линейного экрана, кругового экрана и служебного массива преобразования координат;

со— скорость вращения антенны;

Ботоб — частота отображения графической информации (частота кадров).

Для СпецЭВМ, передающей результаты оцифровки по сети, нагрузка на память не измениться, а нагрузка на накопитель обнулится.

Для СпецЭВМ, осуществляющей хранение информации, нагрузка на память увеличится на 4«5запрП, а нагрузка на накопитель удвоится.

Приведем формулы для итоговой математической модели объединения нескольких СпецЭВМ в составе единой СВС.

Нагрузка на основные компоненты СпецЭВМ будет вычисляться по следующим формулам (при задании исходных объемов пересылаемой информации в байтах, а частоты в Гц, размерность полученных формул будет байт/с.):

1. На шину интерфейса модулей: 3ИНТ — 3РП-П + $зон + Зрезобр (5)

где:

$РП-П = Урп-П ' ^зонд ; (6)

+ (7)

(8)

С - 3™ Р . м (т

рез обр 4Хс спектр » '

Нзои ■ со 60

Р"30нд — частота зондирующих импульсов;

М — число вычисляемых значений амплитуд, фаз и квадратур на каждом

зондирующем импульсе; Ка — разрядность передаваемых амплитуд; Еф — разрядность передаваемых фаз;

— разрядность передаваемых квадратур (синусной и косинусной);

— размер служебного заголовка;

К„ — разрядность передаваемых значений (отсчетов амплитуд);

Кс — разрядность принимаемых значений (спектров);

Ми„=Мю„х,Мю„1-— количество зон;

Макайр — количество спектров на каждую зону.

2. На шину памяти:

2.1. Для СпецЭВМ оснащенной модулями, но не осуществляющей ни хранения, ни отображения информации или для СпецЭВМ оснащенной модулями, но осуществляющей только хранение информации:

$ПАМЯТЬ_пржч = $ ПАМЯТЬ_* ~ с ' ^ П_В_круг (10)

где:

$ память * —формулы расчета нагрузки на память (11), (15), (16), (19)—(21);

I — равно 0, если нет линейного экрана отображения и 1 — если есть; с — равно 0, если нет кругового экрана отображения и 1 — если есть.

2.1.1. В линейном режиме отображения для амплитудной картины на внешнем видеоадаптере:

3ПАМЯТЬ_лин = 4 ' Зрп-П + 2 • 5РП-П-А + 2 " $запРП + ^пике + ^ П-В + 4 " $ зон +

N СО (11)

+ 4-<? | 2 зон

+ * йрезобр+^ 60

где:

5РП-П-А = VРП-П-А ' Рзонд > (12)

Урп-п-А=К-М+113-, (13)

Г. _ $РП-П ' Фзап

" 360° • ( '

2.1.2. В круговом режиме отображения для амплитудной картины на внешнем видеоадаптере:

3 ПАМЯТЬ_круг = 4 ' ^1'П-П + 2 ' $ РП-П-А + 2 " $запРП + $,ткс_круг + ^П-В_круг +

N со (15)

+ 4-5^+4-5^+ 2--^-.

2.1.3. В линейном режиме отображения для амплитудной и фазовой картин на внешнем видеоадаптере:

3ПАМЯТЬ_лин_АФ = 4 • Ярп-П + &РП-П-АФ + 2 - запРП + 2 " + $ П-В +

Ы.юи ■ со (16)

+ 3РП-П-А + 4 • ^ зон + 4 ' Зрезобр + 2 ^

где:

3РП-П-АФ = УрП-П-АФ ' ^зонд ; (17)

Урп-п-АФ = [К+Кф)-М +яз - (18)

2.1.4. В круговом режиме отображения для амплитудной и фазовой картин на внешнем видеоадаптере:

$ ПАМЯТЬ_круг = 4 - $РП-П + $ РП-П-АФ + 2 - $ запРП + 2 - 3,ткс_круг +

+ $П-В_круг + $РП-П-А + ^ " $зон + 4 ' $ резобр + 2 " ^

2.1.5. В линейном и круговом режимах обработки для амплитудной и фазовой картин на внешнем видеоадаптере при отображении линейной картины:

5ПАМЯТЬ_лш+круг_АФ_отоб_шн = 4 ' ^/>/7-/7 + $РП-П-АФ + 2 ' $занРП +

N,„„■0) (20)

+ 2 • 5,ткСкруг + 2 • 5,шкс + 5 П-В + $ РП-П-А + 4 • $зон + 4 • $ резобр + 2 • ^

2.1.6. В линейном и круговом режимах обработки для амплитудной и фазовой картин на внешнем видеоадаптере при отображении круговой картины:

^ПАМЯТЬ _ лин+круг _АФ_ отоб _ круг =4 '^РП-П РП-П-АФ + запРП +

+ 2 • 31шкскруг +2-51ШКС +5 п_Вкруг +4-5зок +^^/кзабр +

2 Н,он-й) 60 '

(19)

(22)

2.2. Для СпецЭВМ оснащенной модулями и осуществляющей отображение всей информации при условии индивидуального хранения информации:

$ ПАМЯТЬ _прием _отов ~ $ ПАМЯТЬЮ + ' ' (З ' $ткс ' Nреж + ^ • )■ (Л^ пк — 1) +

+ С • ((з • 5ншх_ч1у!, ■ N реж )• (ыпк — 1 )+Г2- {р П _В _круг _аби, ~ $П_В_круг )) где:

Мреж — количество режимов отображения (только амплитуды, амплитуды и фазы и т.п.);

Nцк— количество компьютеров приема и обработки информации; г/, г2 — флаг режима: в линейном Г1=1, г2=0; в круговом г^О, г2=1;

^ П—В _ круг _ общ = 4-(л/ПК ■ Хкру^ ■ Ротоб •

2.3. Для СпецЭВМ оснащенной модулями и осуществляющей хранение и отображение всей информации:

$ ПАМЯТЬ _прием_отоб_хран = $ПАМЯТЬ _* + ' ' (З " $ ,ткс ' ^ реж + г\ ' $ П _в)' ПК ~ 0 +

+ С ■ ((з • 5ткскруг ■ N реж )• {ыпк - 1 )+Г2- (Бц в круг общ - $П^В_круг ))+ (24)

2.4. Для отдельной ЭВМ, осуществляющей только отображение всей информации:

3ПАМЯТЬ _ отоб = ' " (З' $1ЮКС ■ Nреж + Г, • _ в) • Nпк + ^

+ с ■ (з • 5ШКС _ круг ■ Nрсж) • + г2 ■ 5п в _ круг _0дщ.

2.5. Для отдельной ЭВМ, осуществляющей отображение и хранение всей информации:

ПАМЯТЬ _ отоб = ' ' (З ' ^„икс ' N реж + Г1 ' $ П _В )' ^ПК + + С ' (з • $,ткс_к-руг ' Nреж)' ^ПК + Г2 ' $П_В_круг_общ +^'$зстРП ' ^ПК ■

3. На шину накопителя: 3.1. В случае индивидуальной записи:

3.2. В случае общей записи:

(26)

(27)

(28)

4. На шину видеоадаптера:

4.1. В линейном режиме общего отображения:

3 ВИДЕО _.чин = $П-В ' N ПК ■ (29)

4.2. В круговом режиме общего отображения:

^ ВИДЕО_круг = 3П-В_круг_общ • (30)

5. На сетевой интерфейс отдельного компьютера отображения:

5.1. При общей записи:

$СЕТЬ _ тп _отоб ~ ^хтРП ' ^ПК + ' ' $ пике ' ^ ПК+ С' $пике _ круг ' ^ПК • (31)

5.2. При индивидуальной записи:

$СЕТЬ_отоб = ' ' $ткс ' ^ПК + с ' $пике_круг ' ^ПК • (32)

6. На сетевой интерфейс СпецЭВМ отображения

6.1. При общей записи:

$СЕТЬ_зап_отоб = $запРП ' faПК ~ + ' '$пикс ' fa ПК ~ l) + + c-SnuKc_Kpy?-(NnK-l)

6.2. При индивидуальной записи:

$СЕТЬ_отоб икс ' fa ПК ~~ 0+ С ' ^пикс_круг 'fa ПК ~ l) •

7. На сетевой интерфейс СпецЭВМ обработки:

7.1. При общей записи:

$СЕТЬ _ зan _отоб = ^запРП ^ ' ^пикс С ' ^пикс _ круг •

12. При индивидуальной записи:

^СЕТЬ _отоб = I' SnuKC + с ' Sиикс_круг *

Построим графики нагрузки на компоненты СВС для различных вариантов реализации модели № 6. При этом для большей наглядности преимуществ и недостатков того или иного варианта будем передавать из модуля «радар-процессор» и сохранять квадратуры и увеличим сектор записи до 360° (режим непрерывной записи).

На рисунке 5 приведен график зависимости нагрузки на память для случая с двумя СпецЭВМ оснащенными модулями без выделенной ЭВМ отображения и сохранения. На рисунке 6 приведен график нагрузки на память для случая с отдельной ЭВМ отображения и/или сохранения, нагрузка на общий накопитель и видеоподсистему.

Как видно из этих графиков, нагрузка на видеоподсистему остается постоянной и не зависит от организации СВС и длины рабочей области. При организации общей записи увеличиваются требования не только к дисковой подсистеме, но и к пропускной способности подсистемы памяти, поэтому гораздо целесообразнее использовать схемы с индивидуальным хранением оцифрованных данных.

Перенос с принимающей СпецЭВМ записи и/или отображения экрана линейной развертки незначительно уменьшает нагрузку на шину памяти, в то время как перенос экрана круговой развертки приводит, особенно при высокой частоте отображения, приводит к значительному снижению нагрузки на интерфейс памяти. Если на СпецЭВМ приема информации возложить задачу отображения общей информации, то это создаст дополнительную нагрузку, которая уменьшит для этой СпецЭВМ потенциал увеличения производительности обработки.

Рассмотрим конкретный пример. Пиковая теоретическая пропускная способность шины PCI с частотой 33 МГц составляет 133 Мбайт в секунду. Пиковая пропускная способность модуля памяти DDR400 составляет 3200 Мбайт в секунду, а в двухканальном режиме — 6400 Мбайт в секунду. Однако в реальных потоковых приложениях эта скорость не достижима. Программа тестирования памяти memtest показывает для модулей DDR400 скорость записи порядка 1500 Мбайт в секунду, а скорость чтения — 2300 Мбайт в секунду. Тестовая программа, осуществляющая копирование большого объема информации в среде Windows, показывает пропускную способность памяти в режиме копирования память-память (а это большинство рассмотренных в моделях пересылок) около 980 Мбайт в секунду.

и обработки:

(34)

(35)

(36)

Длина рабочей области, стробы

■■1 ■ Нагрузка на шину интерфейса одной СпецЭВМ

— Нагрузка на память при отображении амплитуд и фаз е линейном режиме с индивидуальным отображении и записью

-Нагрузка на память при отображении амплитуд и фаз в круговом режиме индивидуальным отображением и записью

Нагрузка на память при обработке амплитуд и фаз в линейном режиме с индивидуальной записью без отображения Нагрузка на память при обработке амплитуд и фаз в круговом режиме с индивидуальной записью без отображения ■ ■■■ Нагрузка на память при общем отображении амплитуд и фаз в линейном режиме с индивидуальной записью Нагрузка на память при общем отображении амплитуд и фаз в круговом режиме с индивидуальной записью ~~ ""Нагрузка на память при общем отображении амплитуд и фаз в линейном режиме с общей записью 'Нагрузка на память при общем отображении амплитуд и фаз в круговом режиме с общей записью

Рис. 5. График зависимости нагрузки от длины рабочей области и количества зон для СВС без выделенной ЭВМ отображения

Длина рабочей области, стробы

Нагрузка на шину интерфейса одной СпецЭВМ ^ Нагрузка на память отдельной ЭВМ при отображении амплитуд и фаз в линейном режиме без записи Нагрузка на память отдельной ЭВМ при отображении амплитуд и фаз в круговом режиме без записи

-Нагрузка на память отдельной ЭВМ при отображении амплитуд и фаз в линейном режиме с записью

Нагрузка на память отдельной ЭВМ при отображении амплитуд и фаз в круговом режиме с записью 1 Нагрузка на накопитель

Нагрузка на шину видеоадаптера в линейном режиме 'Нагрузка на шину видеоадаптера в круговом режиме

Рис. 6. График зависимости нагрузки от длины рабочей области и количества зон для СВС с выделенной ЭВМ отображения

Если вернутся к графику, приведенному на рисунке 5, то можно заметить, что нагрузка на память компьютера осуществляющего прием, отображение в круговом режиме и хранение всех результатов приближается к отметке 800 Мбайт в секунду при дальности в 10240 стробов, тогда как нагрузка на шину PCI составила лишь 70 Мбайт в секунду. Также можно отметить (см. рисунок 6), что при организации общего хранилища потребуется передать за секунду по сети эти 70 Мбайт при записи на СпецЭВМ с функцией оцифровки. Если общее хранилище будет организованно на отдельной ЭВМ, то за одну секунду в этом случае потребуется передать 140 Мбайт.

Максимальная теоретическая пропускная способность сети GigabitEthemet составляет 125 Мбайт в секунду, следовательно, реализовать непрерывную запись 10240 оцифрованных стробов с двух принимающих СпецЭВМ на отдельной ЭВМ записи не получиться. Чем больше СпецЭВМ находится в составе СВС, тем менее эффективно использование варианта с общим хранилищем информации.

Выбор способа организации отображения информации на одной из принимающих СпецЭВМ или на дополнительной ЭВМ является более сложной задачей. Увеличение нагрузки на память в линейном режиме отображения незначительно и не сильно нагружает СпецЭВМ отображения. С круговым режимом ситуация сложнее. Если использовать приведенный в расчетах вариант, когда данные от каждого компьютера продлевают зону отображения, то площадь отображаемой области будет иметь квадратичную зависимость от количества СпецЭВМ. Это приводит к значительному (видному на всех вышеприведенных графиках) росту нагрузки на память при отображении экрана круговой развертки.

Если при отображении будет проводиться прореживание изображения, то нагрузка, разумеется, будет меньше и для ее расчетов надо использовать фиксированную величину Sn в круг_общ> а не вычислять ее по формуле (23). Только в этом случае мы будем терять детализацию изображения. Наличие прореживания снижает нагрузку на компьютер отображения, независимо от того будет он отдельно стоящим или параллельно выполнять функции обработки.

Выбор варианта реализации отображения на отдельной ЭВМ или на одной из СпецЭВМ оцифровки можно произвести следующим образом:

- Если у СпецЭВМ оцифровки есть запас производительности, то задачу отображения можно возложить на неё. Структурная схема соответствующей СВС и потоков данных (выделены синим цветом) в ней приведена на рис. 7.

- Если производительности СпецЭВМ оцифровки для обеспечения отображения недостаточно и/или необходимо разместить экран отображения на некотором расстоянии от СпецЭВМ оцифровки, то задачу отображения лучше переложить на отдельную ЭВМ. Структурная схема СВС с отдельной ЭВМ отображения и потоков данных (также выделены синим цветом) в ней приведена на рис. 8.

Следовательно, для реализации данного типа СВС в рамках разработанной методики необходимо использовать несколько СпецЭВМ, объединенных в сеть, каждая из которых оснащена модулями «радар-процессор» и «спецвычислитель», позволяющими производить полную обработку заданной части области обнаружения и системой накопителей для хранения своей части оцифрованной информации. Задача отображения оцифрованной информации и выявленных неоднородностей возлагается на одну из СпецЭВМ оцифровки или отдельную ЭВМ в зависимости от наличия запаса производительности СпецЭВМ оцифровки и требований к расположению экрана отображения относительно СпецЭВМ оцифровки.

Далее в диссертации приведены способы оценки производительности компонентов реальных СпецЭВМ, позволяющие сравнить требования к СпецЭВМ, выдвигаемые моделью, и реальные параметры выбранной СпецЭВМ. Именно исходя из производительности СпецЭВМ, можно определить как количество модулей в её составе, так и количество СпецЭВМ в составе СВС. Существует множество методов оценки производительности вычислительных систем и их компонентов. Их можно условно разделить на две группы:

- тесты, определяющие «сырую» производительность компонентов вычислительной системы;

- тесты, определяющие производительность вычислительной системы при выполнении типового набора команд, характерных для определенной области применения.

К первой группе можно отнести тесты MFLOPS, MIPS и другие. Примерами из второй группы являются наборы тестов ТРС (Transaction Processing Performance Council), которые содержат наборы типовых запросов для различных областей применения баз данных и позволяют оценить производительность конкретной вычислительной системы по количеству обработанных наборов запросов.

Тесты второй группы показывают наиболее достоверную производительность вычислительной системы при решении конкретного типа задач. Именно эти тесты при правильном подборе тестовых задач позволяют сравнить вычис-

лительные системы не на основе абстрактной производительности, а оценить их с точки зрения решения поставленной задачи.

Для оценки производительности рассматриваемой в работе вычислительной системы необходимо использовать тесты из второй группы, но из-за специфики задачи готового тестового программного обеспечения для замера производительности всей вычислительной системы не существует. Так как в модели, являющейся основой методики, рассчитываются требования по пропускной способности к отдельным компонентам СпецЭВМ, рассмотрим существующие или разработаем свои методы тестирования производительности основных компонентов СпецЭВМ.

В нашем случае, для сравнения производительности СпецЭВМ и результатов модели необходимо измерить реальную пропускную способность шины интерфейса модулей, памяти, накопителя, сети и дискретной видеоподсистемы.

Для того чтобы определить реальную пропускную способность шины интерфейса модулей нам потребуется один или несколько модулей «радар-процессор» и существующее служебное программное обеспечение для тестирования работы модулей и интерфейса передачи с замером скоростей. Для определения максимальной пропускной способности шины интерфейса модулей конкретной СпецЭВМ необходимо установить в неё модуль «радар-процессор» и, задав максимальные значения частоты оцифровки, длины рабочей области и разрядности амплитуд, фаз и квадратур, определить максимальный объем передаваемых без ошибок данных. Если производительности одного модуля «радар-процессор» будет недостаточно для определения верхней границы пропускной способности, то можно установить в СпецЭВМ несколько модулей.

Для определения пропускной способности и соответствия результатов измерения и рассчитанных параметров модели нам необходимо получить максимальную скорость пересылки данных из одного сегмента оперативной памяти в другой, чего обычные тесты памяти показать не могут. Для определения скорости пересылки необходимо написать дополнительную программу, осуществляющую копирование большого объема информации из одного массива в другой и измеряющую время копирования. Написание данной программы трудностей не составляет и позволяет получить максимальную скорость обмена данными в условиях, максимально приближенных к реальным условиям эксплуатации.

Для определения пропускной способности накопителя лучше использовать готовые программы, тестирующие весь диск и определяющие максимальные, средние и минимальные значения скоростей записи и чтения для поверхности всего диска. В качестве примера таких программ можно привести HD Speed, HDDSpeed, Drive Speed Checker.

Для сравнения требований к накопителю и его реальной производительности надо использовать минимальное значение скорости записи, полученное в результате тестирования.

Для измерения пропускной способности сетевой подсистемы можно использовать как самостоятельно написанные программы, так и готовые, например, LAN Speed Test. Процедуру тестирования желательно производить как с участием одного источника данных, так и нескольких. Данные тесты призваны определить не столько пропускную способность сетевого адаптера компьютера, сколько сетевой подсистемы будущей вычислительной системы в целом. На пропускную способность сети окажут влияние не только сетевые адаптеры компьютеров, но и активное, и пассивное сетевое оборудование, качество прокладки и обжатия кабеля, наличие внешних источников помех.

Тестов ориентированных на видеоподсистему существует огромное количество, но все они проверяют работу видеоадаптера с различными технологиями обработки трехмерных изображений и наложение видеоэффектов. Спецификой работы системы отображения оцифрованной информации является необходимость постоянной передачи в видеоподсистему потока данных для отображения без использования дополнительных функций видеопроцессоров для обработки информации. Поэтому для тестирования пропускной способности видеоподсистемы, так же как и для тестирования оперативной памяти, луч-ще всего использовать свое программное обеспечение, содержащее часть рабочего алгоритма отображения оцифрованной информации дополненного исходным буфером заглушкой и схемой замера времени работы.

Подставив в формулы модели параметры работы СВС и получив требования к компонентам СпецЭВМ, их можно сравнить с реальными параметрами производительности, полученными вышеприведенными методами, и, в зависимости от результата, менять параметры модели, искать более производительные комплектующие или приступать к реализации полученной модели СВС.

В конце третьей главы, приведена методика проектирования структуры СВС выявления слабоконтрастных неоднородностей в отраженном радиолокационном сигнале. Для упрощения применения этой методики разработана программа «ModelVSkN», выполняющая расчеты нагрузки на компоненты СпецЭВМ по выведенным формулам (5), (10), (22), (24}-(27), (29), (30), (32), (34), (36), как для варианта с выделенной ЭВМ отображения, так и для случая отображения информации на одной из СпецЭВМ обработки.

Программа «ModelVSkN» имеет единственное окно для ввода параметров вычислительной системы и вывода результирующих требований к компонентам компьютеров. Это окно приведено на рисунках 9 и 10.

В поля левой половины окна надо ввести требуемые параметры работы СВС. Отметив поле «Отдельная ЭВМ отображения» можно переключить программу в режим расчета нагрузки для СВС содержащей отдельную ЭВМ отображения (см. рис. 9). Если поле не отмечено, то расчеты будут проводиться для СВС, в которой задача отображения возложена на одну из СпецЭВМ приема и обработки (см. рис. 10).

Параметры вычислительной системы Частота зондирующи импульсов |ю00 Длина рабочей области Разрядность амплитуд и фаз Разрядность квадратур Размер служебного заголовка Скорость вращения антенны Количество зон по дальности Количество зон по углу Разрядность отсчетов (амплитуд) ¡1" Разрядность спектров Количество спектров в зоне Сектор записи

Линейный экрана отображения Круговой экрана отображения

л512 пике Масив преобразования координат рбОО ХрБб Частота отображения

Г Отдельная ЭВМ отображения

¡3,212

¡16.676

Характеристики СпецЭВМ обработки Пропускная способность шины PCI Пропускная способность памяти Пропускная способность накопителя Пропускная способность сети

Характеристики СпецЭВМ обработки и отображения PCI

¡0.734

(0,139

(3.212

¡20.192

Пропускная способность и Пропускная способность памяти Пропускная способность накопителя ¡0.734 Пропускная способность видеоподсистемы (¡^17(Г Пропускная способность сети ¡и 439

Мбайт/с Мбайт/с МОайт/с Мбайт/с

Мбайт/с Мбайт/с Мбайт/с Мбайт/с Мбайт/с

Количество СпецЭВМ Обработки

Режим отображения Линейный

Обработки и отображения р шт г Круговой Средняя нагрузка на 1 СпецЭВМ обработки Стробов I5'2 шт Зон !,<м0 шт

Расчет | Выход [

Рис. 9. Главное окно программы расчета параметров модели без отдельной ЭВМ отображения

Расчет нагрузки на компоненты СпецЭВМ вычипитепьной системы

Параметры вычислительной системы

Частота зондирующи импульсов 1000 Гц

Длина рабочей области 1024 стробов

Разрядность амплитуд и фаз I байт

Разрядность квадратур 2 байт

Размер служебного заголовка 8 байт

Скорость вращения антенны 6 об/мин

Количество зон по дальности 32 шт

Количество зон по углу 90 шт

Разрядность отсчетов (амплитуд) 1 байт

Разрядность спектров 4 байт

Количество спектров в зоне 500 шт

Сектор записи 90

Линейный экрана отображения ¡900 х|бТ2 пикс

Круговой экрана отображения [512 ХрП2 пикс

Масив преобразования координат ¡3600 ><¡256 Частота отображения Гц

& Отдельная ЭВМ отображения

Характеристики СпецЭВМ обработки Пропускная способность шины РС1 Пропускная способность памяти Пропускная способность накопителя Пропускная способность сети

Характеристики ЭВМ отображения

Пропускная способность памяти ¡5^449~ Мбайт/с

Пропускная способность видеоподсистемы |о,176 Мбайт/с Пропускная способность сети ¡1079

¡3,212 Мбайт/с

¡16,676 Мбайт/с

¡0,734 Мбайт/с

¡Q439 Мбайт/с

Мбайт/с

Режим отображения <* Линейный

Количество СпецЭВМ Обработки ¡2

Отображения р шт с Круговой

Средняя нагрузка на ( СпецЭВМ обработки-Стробов I512 шт Зон I1*10 шт

Рис. 10. Главное окно программы расчета параметров модели и с отдельной ЭВМ отображения

Предлагаемая методика включает в себя семь шагов:

1. В программу расчета ввести основные параметры СВС.

2. В зависимости от первоначально выбранной схемы реализации СВС, с отдельной ЭВМ отображения или без неё, отметить поле «Отдельная ЭВМ отображения».

3. Количество СпецЭВМ обработки задать таким, чтобы значения в полях «Средняя нагрузка на 1 СпецЭВМ обработки» не превышали максимальную производительность модулей «радар-процессор» и «спецвычислитель», которые можно установить в существующую СпецЭВМ.

4. Измерить производительность компонентов СпецЭВМ отдельными тестами.

5. Сравнить требования к производительности основных компонентов СпецЭВМ со значениями их реальной производительности.

6. В случае недостаточности производительности компонентов СпецЭВМ необходимо либо заменить их, либо увеличить количество СпецЭВМ обработки и перейти к шагу 5.

7. Определить требуемое количество модулей «радар-процессор» и «спецвычислитель» по значениям полей «Средняя нагрузка на 1 СпецЭВМ обработки» и производительности модулей.

По результатам третьей главы были получены следующие выводы:

- наиболее подходящей моделью для реализации СВС является модель № 6, приведенная во второй главе;

- хранение оцифрованных данных должна осуществлять каждая СпецЭВМ самостоятельно;

- отображение результатов оцифровки и выявления слабоконтрастных неоднородностей можно возложить как на одну из СпецЭВМ оцифровки, так и на отдельную ЭВМ отображения;

- для тестирования компонентов СпецЭВМ необходимо использовать тесты, показывающие реальную производительность компонентов при решении требуемой задачи:

- разработана программа «ModelVSkN», рассчитывающая по вышеуказанным формулам требования к компонентам СпецЭВМ, входящих в состав СВС;

- сформулирована методика построения СВС выявления слабоконтрастных неоднородностей в реальном масштабе времени с помощью разработанной программы «ModelVSkN».

В четвертой главе представлены результаты расчетов для нагрузки на компоненты СпецЭВМ СВС, обеспечивающей обработку информации с PJIC с частотой зондирующих импульсов 1000 Гц, длиной рабочей области 16364 строба, скоростью вращения антенны до 20 оборотов в минуту и сектором записи до 180 градусов.

Анализ приведенных в главе результатов работы программы «ModelVSkN» позволяет сделать вывод, что для обеспечения функционирования СВС с исход-

ными заданными параметрами достаточно двух исследованных в диссертации СпецЭВМ (одна обработки, другая — обработки и отображения).

При увеличении частоты зондирующих импульсов до 1600 Гц данная СВС будет функционировать на пределе реальной пропускной способности шины PCI исследованных СпецЭВМ.

Для работы с PJIC с частотой зондирующих импульсов 3200 Гц, необходимо либо перестроить СВС, увеличив количество СпецЭВМ до четырех, добавить дополнительные модули «радар-процессор», а модули спецвычислитель распределить между всеми СпецЭВМ, либо сократить дальность рабочей области.

Использование отдельной ЭВМ отображения в данных вариантах не целесообразно.

По результатам третьей главы были получены следующие выводы:

- для PJ1C с частотой зондирующих импульсов 1 и 1,6 кГц достаточно СВС, состоящей из двух рассмотренных СпецЭВМ, в каждой из которых будет по одному модулю «радар-процессор» и по четыре модуля «спецвычислитель», два из которых будут работать в режиме авторегрессионной обработки, а два — в режиме вейвлет-преобразований;

- для РЛС с частотой зондирующих импульсов 3,2 кГц потребуется или вдвое сократить рабочую дальность или использовать четыре исследованных в работе СпецЭВМ, в каждой из которых будет по одному модулю «радар-процессор» и по два модуля «спецвычислитель»: один — в режиме авторегре-сии, второй — в режиме вейвлет-преобразований;

- использование отдельной ЭВМ отображения для рассмотренной РЛС не целесообразно.

В заключении приведено краткое описание выполненной в диссертации работы и полученные промежуточные и итоговые результаты.

Основные результаты работы

- Проведен анализ СВС и выявлены основные компоненты СпецЭВМ, влияющие на производительность СВС в целом.

- Разработаны и построены математические модели для существующих экземпляров СВС, позволившие проверить правильность выполненных расчетов.

- Разработаны и построены математические модели СВС, состоящих из нескольких СпецЭВМ.

- Выбрана модель СВС, состоящей из нескольких СпецЭВМ и позволяющая обработать больший объем информации в реальном масштабе времени.

- Разработана методика построения СВС выявления слабоконтрастных неоднородностей в отраженном радиолокационном сигнале в реальном масштабе времени на основе нескольких СпецЭВМ, реализованная в программе «ModelVSkN».

- Предложены методы тестирования пропускной способности компонентов реальных СпецЭВМ, позволяющие корректно сравнивать полученные результаты тестирования с требованиями, предъявляемыми моделью.

Список публикаций

1. Карпов Д.А. Математическая модель работы ПЭВМ, оснащенной модулем оцифровки информации «радар-процессор». Сборник трудов. «Динамика неоднородных систем». Труды Института системного анализа РАН. Т. 53 (1). -М.: Книжный дом «ЛИБРОКОМ», 2010, стр. 170-178.

2. Карпов Д.А. Математическая модель вычислительной системы выявления слабоконтрастных неоднородностей. Сборник трудов. «Динамика неоднородных систем». Труды Института системного анализа РАН. Т. 53 (2). -М.: Книжный дом «ЛИБРОКОМ», 2010, стр. 217-227.

3. Коваленко С.М., Мороз Ю.В., Строганов М.В., Карпов Д.А. и др. «Система обработки радиолокационной информации для обнаружения слабоконтрастных аномалий отражённого сигнала». М., Научный вестник МИРЭА, № 2(9), 2010, стр. 69-84.

4. Карпов Д.А., Иванов E.JI., Строганов М.В. «Разработка методики оптимизации аппаратной реализации алгоритмов обработки больших потоков информации». «Теоретические вопросы вычислительной техники, программного обеспечения и информационных технологий в муниципальном хозяйстве». М., МИРЭА, 2005.

5. Карпов Д.А. Проблема рассогласования принимаемых значений при оцифровке нескольких связанных аналоговых сигналов. Сборник трудов. «Современные информационные технологии в управлении и образовании». 4-ая научно-техническая конференция. Москва, декабрь 2003 г. стр. 70-74.

6. Голыба С.А., Строганов М.В., Карпов Д.А., Иванов Е.Л., Губарев В.А., Ловягин A.C., Мороз Ю.В. К вопросу реализации алгоритма выявления слабоконтрастных неоднородностей при обработке радиолокационной информации. Сборник докладов. 54-я научно-техническая конференция МИРЭА, ч.З, Москва, 2005.

7. Иванов Е.Л., Голубев Е.В., Губарев В.А., Карпов Д.А., Ловягин A.C., Мороз Ю.В., Нефедов Б.М., Смольянинов A.A. Макет спецвычислителя обработки радиолокационной информации. 52 научно-техническая конференция МИРЭА. Сборник трудов. ч.З. М.: МИРЭА, 2003.

Подписано в печать 08.09.2011

Формат 60x84 1/16. Объем 1,1 у.п.л. Тираж 100 экз.

Редакционно - издательская группа Главный редактор Э. Шейнин Отпечатано в типографии ИЭ ОМЭПИ РАН Москва, 117418, ул. Новочеремушкинская, д.42 а

Введение.

Глава 1. Система формирования радиолокационных портретов морской поверхности и распознавания слабоконтрастных неоднородностей.

1.1. Модуль «радар-процессор».

1.2. Модуль «спецвычислитель».

1.2.1. Выявление слабоконтрастных неоднородностей с помощью авторегресиионой обработки.

1.2.2. Выявление слабоконтрастных неоднородностей с помощью вейвлет-преобразований.

1.3. Специальное программное обеспечение.

1.4. Анализ решений аналогичных задач.

1.5. Постановка задачи.

Выводы.

Глава 2. Построение моделей вычислительной системы выявления слабоконтрастных неоднородностей.

2.1. Моделирование.

2.2. Анализ объекта моделирования.

2.3. Математические модели вычислительной системы.

2.3.1. Модель работы вычислительной системы состоящей из одной СпецЭВМ и одного модуля «радар-процессор».

2.3.2. Модель работы вычислительной системы состоящей из одной СпецЭВМ и одного модуля «спецвычислитель».

2.3.3. Модель работы вычислительной системы состоящей из одной СпецЭВМ, оснащенной одним модулем «радар-процессор» и одним модулем «спецвычислитель».

2.3.4. Модель работы вычислительной системы состоящей из двух СпецЭВМ, в первой — один модуль «радар-процессор», во второй — один модуль «спецвычислитель».

2.3.5. Модель работы вычислительной системы состоящей из двух СпецЭВМ, в первой —два модуля «радар-процессор», во второй —два модуля «спецвычислитель».

2.3.6. Модель работы вычислительной системы состоящей из двух СпецЭВМ, в каждой из которых по одному модулю «радар-процессор» и «спецвычислитель».

2.3.7. Поверка моделей № 1 и № 2 на основе реальных испытаний модулей «радар-процессор» и «спецвычислитель».

2.3.8. Анализ способов наращивания производительности вычислительной системы, путем объединения нескольких модулей в составе одной или двух СпецЭВМ на основании моделей 3 и 4.

Выводы.

Глава 3. Разработка структуры вычислительной системы выявления слабоконтрастных неоднородностей.

3.1. Разработка методики проектирования вычислительных систем выявления слабоконтрастных неоднородностей.

3.2. Выявление характеристик реальной СпецЭВМ для сравнения с требованиями модели вычислительной системы.

3.2.1. Определение пропускной способности шины интерфейса модулей.

3.2.2. Определение пропускной способности памяти.

3.2.3. Определение пропускной способности накопителя.

3.2.4. Определение пропускной способности сети.

3.2.5. Определение пропускной способности дискретной видеоподсистемы.

3.3. Методика проектирования вычислительных систем выявления слабоконтрастных неоднородностей.

Выводы.

Глава 4. Практическая реализация.

Выводы.

При разработке современных вычислительных систем существенную роль играют выбор структуры вычислительной системы и подбор комплектующих для входящих в её состав ЭВМ. Незначительное изменение входных параметров или параметров обработки может оказать существенное влияние на требования к вычислительной системе и привести к необходимости ее повторного проектирования. Для облегчения задачи проектирования вычислительных систем необходим механизм, позволяющий быстро выбрать структуру вычислительной системы и выработать требования к её компонентам.

В рамках данной работы впервые разработана методика построения вычислительной системы выявления слабоконтрастных неоднородностей на фоне морской поверхности. Эта система позволяет обнаруживать разливы нефти и нефтепродуктов на морской поверхности, большие косяки рыб и другие аномалии на и под морской поверхностью путем обработки отраженного радиолокационного сигнала.

Процедура обработки сигнала проводится в два этапа: на первом этапе производится оцифровка принятого сигнала и его предварительная обработка, позволяющая получить радиолокационный портрет морской поверхности; на втором этапе, на основе анализа' набора радиолокационных картин, происходит выявление слабоконтрастных неоднородностей. Для решения каждой из задач было решено использовать специальные модули цифровой обработки* сигналов: на модуль «радар-процессор» были возложены функции решения задач первого этапа, на модуль «спецвычислитель» — функции по решению задач второго этапа.

Основной проблемой при проектировании вычислительной системы стало обеспечение необходимости решения поставленной задачи выявления слабоконтрастных неоднородностей в режиме реального времени на различных типах радиолокационных станций (РЛС) с широким диапазоном требований по длине рабочей области и точности представления результатов обработки. Предложенная методика позволит существенно ускорить процесс разработки подобных вычислительных систем, работающих в режиме реального времени, под заданные требования заказчика, включающие площадь обрабатываемой поверхности, дальность и точность представления результата.

Целью данной работы является разработка комплексной методики построения вычислительной системы по обработке отраженного радиолокационного сигнала с морской поверхности и выявлению в нем слабоконтрастных неоднородностей в реальном масштабе времени.

Для разработки этой методики в ходе работы были выявлены и решены задачи анализа нагрузки на компоненты специальной ЭВМ при обработке радиолокационной информации и выявления «узких» мест вычислительной системы; разработки и проверки математических моделей, позволяющих рассчитать нагрузку, как для уже имеющихся образцов системы оцифровки радиолокационной информации, так и для вычислительной системы объединяющей несколько СпецЭВМ с целью увеличения её производительности; выбрана модель объединения нескольких СпецЭВМ, позволяющая достичь большей производительности в режиме реального времени; рассмотрены существующие методы оценки производительности вычислительных систем и предложены способы оценки характеристик комплектующих СпецЭВМ, позволяющих проверить соответствие характеристик конкретной СпецЭВМ требованиям, предъявляемым моделью; разработки на основе выбранной математической модели методики построения вычислительной системы; разработки программы, позволяющей рассчитать на основе требований к вычислительной системе и заданной организации, требования к компонентам СпецЭВМ.

Научная новизна работы заключается в разработке принципиально новой модели вычислительной системы, позволяющей- по параметрам работы конкретной РЛС, значению угла обзора, требованиям к результату обработки определить количественные и качественные требования к СпецЭВМ и их компонентам, входящим в состав вычислительной системы. А также, по результатам моделирования, впервые в отечественной практике, разработана методика проектирования вычислительных систем выявления слабоконтрастных неоднородностей, обеспечивающая эффективное использование ресурсов СпецЭВМ и позволяющая обработать больший объем информации в вычислительной системе, состоящей из нескольких СпецЭВМ в режиме реального времени.

Практическая ценность работы заключается в возможности быстрого и экономичного подбора комплектующих для СпецЭВМ, входящих в состав вычислительной системы, что, в свою очередь, сокращает временные и финансовые затраты на разработку и модернизацию вычислительной системы под требования заказчика. Эта методика позволяет с помощью типового программного обеспечения строить вычислительные системы, работающие в режиме реального времени, для РЛС с различными характеристиками радиолокационных сигналов.

Предложенные методы тестирования компонентов ЭВМ также позволяют быстро определить их пригодность для решения поставленной задачи и требуемое количество СпецЭВМ для построения вычислительной системы заданной производительности.

Применение методики выбора структуры вычислительной системы выявления слабоконтрастных неоднородностей было опробовано в рамках темы «Орел-МИРЭА».

Результаты диссертационной работы были внедрены при выполнении НИР и НИОКР для ЗАО «Альтаир-НТПЦ».

На защиту в данной работе выносятся следующие положения:

- результаты анализа нагрузки на компоненты вычислительной системы и выявленные «узкие места»;

- математические модели существующих образцов вычислительной системы и результаты их проверки;

- математические модели вычислительной системы, состоящей из нескольких СпецЭВМ;

- математическая модель вычислительной системы, обеспечивающая обработку большего объема информации в реальном масштабе времени;,

- методика выбора структуры вычислительной системы;

- способы оценки производительности комплектующих СпецЭВМ, позволяющие проверить соответствие характеристик СпецЭВМ требованиям, предъявляемым моделью;

- применение методики и разработанного программного обеспечения для практического выбора структуры вычислительной системы, соответствующей параметрам радиолокационной станции и режимам её работы.

Выводы

Анализ приведенных в главе результатов расчетов программы «ModelVSkN» по формулам предложенной методики позволяет сделать вывод, что для обеспечения функционирования вычислительной системы выявления слабоконтрастных неоднородностей с исходными заданными параметрами достаточно двух исследованных СпецЭВМ.

При увеличении частоты зондирующих импульсов до 1600 Гц данная вычислительная система будет функционировать на пределе реальной пропускной способности шины PCI исследованных СпецЭВМ.

Для работы с РЛС с частотой зондирующих импульсов 3200 Гц, необходимо либо перестроить вычислительную систему, увеличив количество СпецЭВМ до четырех, добавить дополнительные модули «радар-процессор», а модули спецвычислитель распределить между всеми СпецЭВМ, либо сократить дальность рабочей области.

Использование отдельной ЭВМ отображения в данных вариантах не целесообразно.

128

Заключение f В данной работе представлено подробное описание вычислительной системы выявления слабоконтрастных неоднородностей и основных её компонентов: модулей «радар-процессор», «спецвычислитель» и специального программного обеспечения. Вместе с описанием модулей приведены их структурные схемы и алгоритмы работы модулей и программного обеспечения.

Проведен анализ вычислительной системы выявления слабоконтрастных неоднородностей и позволивший выявить компоненты СпецЭВМ, влияющие на производительность вычислительной системы в целом. Такими компонентами стали: шина интерфейса модулей (сейчас PCI и Compact-PCI), оперативная память, шина видеоадаптера и накопитель.

Для разработки методики проектирования* вычислительных систем выявления слабоконтрастных неоднородностей, были предложены шесть основных математических моделей:

1. Модель работы вычислительной системы состоящей из одной СпецЭВМ и одного модуля «радар-процессор».

2. Модель работы вычислительной системы состоящей из одной СпецЭВМ и одного модуля «спецвычислитель».

3. Модель работы вычислительной системы состоящей из одной СпецЭВМ, оснащенной" одним модулем «радар-процессор» и одним> модулем «спецвычислитель».

4. Модель работы вычислительной системы состоящей из двух СпецЭВМ, в первой — один модуль «радар-процессор», во второй — один модуль «спецвычислитель».

5. Модель работы вычислительной системы состоящей из двух СпецЭВМ, в первой — два модуля «радар-процессор», во второй — два модуля «спецвычислитель».

6. Модель работы вычислительной системы состоящей из двух СпецЭВМ, в каждой из которых по одному модулю «радар-процессор» и «спецвычислитель».

Для каждой модели были приведены структурные схемы и выведены формулы расчета нагрузки на основные компоненты СпецЭВМ.

Проведенный анализ расчетных результатов и результатов практических тестов показал корректность выведенных формул для моделей № 1 и № 2. ч! j

А анализ моделей № 3 и № 4 позволил прийти к выводу, что наиболее перспективным с точки зрения оптимизации по критерию производительности будет использование модели № 3, предполагающей объединение в составе одной СпецЭВМ различных модулей, отвечающих за обработку выделенной зоны. При этом каждая из СпецЭВМ, входящих в состав вычислительной системы, отвечает за обработку своей зоны из всей области обработки.

Этот анализ также позволил отказаться от модели № 5, обладающей недостатками модели №4 и положил в основу разрабатываемой методики проектирования вычислительных систем модель № 6, являющуюся развитием модели № 3.

Модель № 6, предполагает объединение в составе одной СпецЭВМ модулей разных типов, проводящих обработку «своего» сегмента зоны обнаружения. Деление зоны обнаружения между СпецЭВМ в составе одной вычислительной системы при этом производится по дальности.

При разработке методики также были рассмотрены возможные варианты распределения задач вывода и сохранения информации между СпецЭВМ вычислительной системы:

1. Каждая СпецЭВМ хранит оцифрованную информацию самостоятельно, отображение идет на одной из них.

2. Хранение и отображение информации осуществляется на одной СпецЭВМ.

3. Вводится дополнительная ЭВМ для хранения и отображения информации.

4. Вводится дополнительная ЭВМ для отображения информации, а оцифрованную информацию хранит каждая СпецЭВМ самостоятельно.

Так как варианты 2 и 3, предполагающие хранение всей оцифрованной информации на одной из СпецЭВМ, применимы только для ограниченного ряда вычислительных систем с малым объемом обрабатываемой информации, так как в них подсистема хранения информации становится наиболее перегруженным элементом и требует не только высокопроизводительной подсистемы записи информации, но и высокопроизводительной сетевой подсистемы, от их дальнейшего рассмотрения было решено отказаться.

При сравнении вариантов 1 и 4 был сделан вывод, что при условии предварительной обработки информации и ее подготовки к отображению на

СпецЭВМ оцифровки, нагрузка на СпецЭВМ оцифровки и отображения возрастет в соответствии с объемом принимаемой от других СпецЭВМ информации. Это позволило прийти к следующему выводу в рамках разработанной методики: если производительности СпецЭВМ оцифровки для обеспечения отображения недостаточно и/или необходимо разместить экран отображения на некотором расстоянии от СпецЭВМ оцифровки, то задачу отображения лучше переложить на отдельную ЭВМ. В других случаях возможно использование варианта с возложением задачи отображения на одну из СпецЭВМ оцифровки.

В работе также были рассмотрены методы тестирования компонентов СпецЭВМ и было предложено использование тестов, ориентированных на выдачу реальной производительности компонентов ЭВМ при решении требуемой задачи, в отличие от тестов, определяющих «сырую» производительность. Для каждого из основных компонентов ЭВМ были предложены соответствующие методы тестирования.

Предложенная методика и формулы расчета были реализованы в программе расчета требований к компонентам СпецЭВМ исходя из заданной производительности и структуры вычислительной системы.

Данная программа, названная «Мос1е1\/ЗкМ», была использована при расчете нагрузки на компоненты СпецЭВМ вычислительной системы в рамках НИОКР «Орел-МИРЭА» для ЗАО «Альтаир-НТПЦ». Полученные результаты позволили принять решение и о структуре вычислительной системы, и об ограничениях, накладываемых на режимы обработки при использовании вычислительной системы вместе с РЛС с увеличенной частотой зондирующих импульсов.

131

1. Amara Graps, "An 1.troduction to Wavelets," Computing in Science and Engineering, vol. 2, no. 2, pp. 50-61, Summer, 1995.

2. ATI Stream: тесты приложений на GPU. Редакция THG. http://www.thg.ru

3. Аверилл M. Лоу, В. Девид Кельтон. Имитационное моделирование 3-е издание Сп-Б, 2004

4. Алекович Г., Левитас Б., Минин A.C. Исследование возможности обнаружения и идентификации подповерхностных объектов. Труды научно-практической конференции «Георадар в России -2000». Москва, МГУ, 15-19 мая, 2000, с.23.

5. Александрович А., Бородакий Ю., Чуканов В.О. Проектирование высоконадежных информационно-вычислительных систем. М.: Радио и связь. 2004.

6. Альянса, И. Н. Моделирование вычислительных систем. Ленинград: Машиностроение, 1988.

7. Афанасьев А.П., Посыпкин М.А., Хританков A.C. Аналитическая модель оценки производительности распределенных систем. Программные продукты и системы. № 4, 2009 г.

8. Баканов В. Параллелизация обработки данных на вычислителях потоковой (Dataflow) архитектуры. Суперкомпьютеры. 2011. № 5.

9. Баранов Л.Д. Вопросы проектирования высокопроизводительных систем первичной обработки сигналов. VI Международный форум "Высокие технологии XXI века". — М., 2005.

10. Баранов Л.Д. Новые технологии проектирования высокопроизводительных систем ЦОС. VI Международная конференция "Кибернетика и высокие технологии XXI века". — Воронеж, 2005.

11. Баранов Л.Д. Проектирование высокопроизводительных систем цифровой обработки сигналов. Автореферат диссертации кандидата технических наук. — М., 2005.

12. Баранов Л.Д., Златников В.М., Кучернюк И.Н. Специализированный процессор диспетчеризации информационных потоков высокопроизводительной системы цифровой обработки сигналов. //Вопросы радиоэлектроники. — М., 2004. — Серия ЭВТ.

13. Берилло А. NVIDIA CUDA — неграфические вычисления на графических процессорах. 2008. ¡XBT.com.

14. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов. — М.: «Мир», 1989.

15. Васильев И.А., Геннадиева Е.Г., Ивашов С.И., Макаренков В.И., Метальников В.М., Разевиг В.В., Саблин В.Н., Шейко А.П. Многочастотный СВЧ-датчик для обнаружения мин. Радиотехника. №2, 1999, стр. 49-52.

16. Васильев И.А., Ивашов С.И., Саблин В.Н. Широкозахватная радиотехническая система обнаружения мин. Радиотехника. №4, вып. 29, Радиолокационные системы и системы радиоуправления, №5, 1998, стр. 55-58.

17. Гиголо А.И. Диагностика подповерхностных объектов, зондируемых сверхширокополосными сигналами. Автореферат диссертации^ кандидата технических наук. — М., 2004.

18. Голубев Е.В., Иванов. Е.Л., Ловягин A.C., Нефедов Б.М., Смольянинов A.A. Спецвычислитель для обработки радиолокационных сигналов. Статья в сборнике «Теоретические вопросы вычислительной техники.и программного обеспечения», МИРЭА, 2003.

19. Д.Французов Оценка производительности вычислительных систем. Открытые системы. № 2, 1996:

20. Иванов Е.Л., Голубев Е.В., Губарев В.А., Карпов Д.А., Ловягин A.C., Мороз Ю.В., Нефедов Б.М., Смольянинов A.A. Макет спецвычислителя обработки радиолокационной информации. 52 научно-техническая конференция МИРЭА. Сборник трудов. ч.З. М.: МИРЭА, 2003.

21. Ищук И.Н., Фесенко А.И., Громов Ю.Ю. Идентификация свойств скрытых подповерхностных объектов в инфракрасном диапазоне волн. М.: Машиностроение, 2008.

22. Капитонова Ю.В., Летичевский A.A. Математическая теория проектирования вычислительных систем. М. : Наука, Гл. ред. физ.-мат. лит.1988.

23. Карпов Д.А. Математическая модель вычислительной системы выявления слабоконтрастных неоднородностей. Сборник трудов. «Динамика неоднородных систем». Труды Института системного анализа РАН. Т. 53 (2). -М.: Книжный дом «ЛИБРОКОМ», 2010.

24. Карпов Д.А. Математическая модель работы ПЭВМ, оснащенной модулем оцифровки информации «радар-процессор». Сборник трудов. «Динамика неоднородных систем». Труды Института системного анализа РАН. Т. 53 (1). -М.: Книжный дом «ЛИБРОКОМ», 2010 г

25. Коваленко С.М., Мороз Ю.В.,. Строганов М.В, Карпов-Д.А. и др. Система обработки радиолокационной информации для обнаружения слабоконтрастных аномалий отражённого сигнала. М., Научный вестник МИРЭА, № 2(9), 2010, стр. 69-84.

26. Кривов М., Казеннов A. CUDA4: покорение суперкомпьютеров. Суперкомпьютеры. 2011. № 5.

27. Кузьминский М.Б. Процессоры для высокопроизводительных вычислений. «Открытые системы», № 09, 2007.

28. Лавриненко C.B. Разработка отказоустойчивого мультинейропроцессора цифровой обработки сигналов. Автореферат диссертации кандидата технических наук. — Ставрополь, 2008.

29. Ле Куанг Минь, Романовский A.C. Алгоритмы поиска всех путей успешного функционирования для расчёта показателей надёжности структурно-сложных систем // Информатика и системы управления в XXI веке: Сборник трудов МГТУ -2007.- № 5 С. 180-184.

30. Ле Куанг Минь, Романовский A.C. Оценка эффективности применения методов активной защиты от отказов в иерархических вычислительных системах // Вестник МГТУ. Сер. Приборостроение. 2007. №4. - С. 62-69.

31. Ле Куанг Минь, Смирнов А.С. Разработка программы поиска всех путей успешного функционирования системы для расчета показателей надежности структурно-сложных систем // Материалы межвузовскй научно-технической конференции. СПб.: 2003. 4.V - С. 95-97.

32. Ле Куанг Минь. Анализ методов обеспечения отказоустойчивости и живучести вычислительных систем // Естественные науки и технологии. — 2007,- №3 С. 236-238.f

33. Ле Куанг Минь. Анализ эффективности применения методов повышения отказоустойчивости ИВС реального времени // Микроэлектроники и информатики 2007: Тез. докл. Всероссийская конференция. М., 2007. -С.253.

34. Ле Куанг Минь. Методика и средства обеспечения отказоустойчивости бортовых вычислительных систем реального времени. Автореферат диссертации кандидата технических наук. — М., 2008.

35. Линников О.Н., Сосулин Ю.Г., Толмазов Б.Б., Трусов В.Н., Юфряков Б.А., Обработка сигналов и изображений в импульсном радиолокаторе подповерхностного зондирования. Радиотехника и электроника, 2004, т.49, №7.

36. Ловягин А.С., Строганов М.В., Иванов Е.Л. Алгоритм авторегрессионной обработки радиолокационных портретов. Межвузовский сборник научных трудов «Теоретические вопросы вычислительной техники, программного обеспечения». М., МИРЭА, 2006

37. Материалы сайта фирмы AMD по технологии ATI Stream http://www.amd.com/ru/products/technologies/stream-technology/Pages/stream-technology.aspx.

38. Материалы сайта фирмы NVIDIA по технологии CUDA — http://www.nvidia.ru/object/cudahomenewru.html; http://www.nvidia.com/object/cudahomenew.html.

39. Материалы Совета по оценке производительности транзакций (ТРС — Transaction Processing Performance Council) — http://www.tpc.org.

40. Мороз Ю.В. Структура радар процессора. Межвузовский сб. научных трудов «Теоретические вопросы вычислительной техники и программного обеспечения» М, МИРЭА,2007 г.

41. Мороз Ю.В., Иванов Е.Л., Ловягин А.С. Алгоритм обработки радиолокационных сигналов для синтеза радиолокационных портретов. Межвузовский сборник научных трудов «Теоретические вопросы вычислительной техники, программного обеспечения». М., МИРЭА, 2008.

42. Мышкис А. Д., Элементы теории математических моделей. — 3-е изд., испр. — М.: КомКнига, 2007.

43. Оппенгейм А., Шафер Р. Цифровая обработка сигналов. Изд. 2-е, испр. — М.: «Техносфера», 2007.

44. Осколков И. NVIDIA CUDA доступный билет в мир больших вычислений. Компьютерра. 30.04.2009.

45. Пат. 2122224 РФ, МПК7 G 01 V 3/12, G 01 N 22/00. Способ обнаружения мин в почве / O.A. Морозов, М.Ф. Воскобойник. Заявитель и патентообладатель НПО «Маргатеп». № 97121734/25; заявл. 25.11.98; опубл. 20.11.98, Бюл. № 23. - 3 с.

46. Перекалин A. CUDA быстрее, «Chip», № 07. 2009.

47. Поликарпов Г. CUDA катится мир? Параллельные вычисления с использованием видеокарты, «Хакер», № 07, 2009.

48. Севостьянов, А.Г. Моделирование технологических процессов: учебник / А.Г. Севостьянов, П.А. Севостьянов. М.: Легкая и пищевая промышленность, 1984.

49. Сергиенко А.Б. Цифровая обработка сигналов. Питер. 2003.

50. Советов Б. Я., Яковлев С. А., Моделирование систем: Учеб. для вузов — 3-е изд., перераб. и доп. — М.: Высш. шк., 2001.

51. Хуанг Т.С. Быстрые алгоритмы в цифровой обработке изображений. М.: Радио и связь. 1984.

52. Червяков Н.И., Чунаков Д.В., Лавриненко C.B. Нейросетевая реализация дискретных вейвлет-преобразований. — М.: Нейрокомпьютеры: разработка и применение, № 1-2, 2008.

53. Шаповаленко С. Динамическое моделирование и анализ корпоративных вычислительных систем. Сетевой журнал. 2001. № 6.

54. Шеннон Р. Имитационное моделирование систем — искусство и наука. — М.: Мир, 1978.

55. Шон Пипер, Джоан Пол, Майкл Сколт. Новая эра в оценке производительности компьютерных систем. «Открытые системы», № 09, 2007.