автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка методов и программных средств визуализации результатов научных вычислений для массивно-параллельных вычислительных систем

Московский государственный университет имени М.В. Ломоносова Факультет вычислительной математики и кибернетики

На правах рукописи

Джосан Оксана Васильевна

0034838ЬЬ

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ И ПРОГРАММНЫХ СРЕДСТВ ВИЗУАЛИЗАЦИИ РЕЗУЛЬТАТОВ НАУЧНЫХ ВЫЧИСЛЕНИЙ ДЛЯ МАССИВНО-ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

Специальность 05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

1 9 ноя

7ПП0

Москва-2009

003483858

Работа выполнена на кафедре автоматизации систем вычислительных комплексов факультета вычислительной математики и кибернетики Московского государственного университета имени М.В. Ломоносова.

Научный руководитель:

кандидат физико-математических наук, доцент Попова Нина Николаевна

Официальные оппоненты: доктор физико-математических наук,

член-корреспондент РАН Воеводин Владимир Валентинович

доктор физико-математических наук, ведущий научный сотрудник Сенько Олег Валентинович

Ведущая организация:

ОАО НИЦЭВТ (Научно-исследовательский центр электронной вычислительной техники)

Защита диссертации состоится « 4 » декабря 2009 г. в 11.00 часов на заседании диссертационного совета Д 501.001.44 в Московском государственном университете имени М.В. Ломоносова по адресу: 11,9991 ГСП-1 Москва, Ленинские горы, МГУ имени М.В. Ломоносова, 2-й учебный корпус, факультет ВМиК, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета ВМиК МГУ. С текстом автореферата можно ознакомиться на официальном сайте ВМиК МГУ имени М.В. Ломоносова http://www.cmc.msu.ru в разделе «Наука» - «Работа диссертационных советов» - «Д 501.001.44».

Автореферат разослан «_5_» wjiJÂt 2009 г.

Учёный секретарь диссертационного совета

профессор Н.П. Трифонов

Общая характеристика работы

Актуальность работы.

Работа посвящена исследованию и разработке методов и программных средств визуальной поддержки научных вычислений, проводимых с использованием современных массивно-параллельных вычислительных систем (МПВС).

Теоретические исследования и практические разработки, направленные на поддержку визуализации научных данных, активно ведутся в настоящее время как зарубежными, так и российскими учеными. В общей схеме процесса визуального анализа результатов научных вычислений, проводимых на МПВС, можно выделить следующие основные этапы: накопление данных в процессе расчета; организация хранения и передачи данных на машину пользователя; отображение данных на дисплейных устройствах. В условиях массивного параллелизма визуализация результатов научных вычислений имеет ряд особенностей. Вычислительный эксперимент на МПВС может осуществляться в течение длительного времени. В связи с этим возникает необходимость визуализаций результатов расчетов на различных этапах вычислительного эксперимента, в том числе, в динамике выполнения параллельной программы. Получаемый в таких экспериментах объем данных может быть очень большим. Например, в задачах молекулярного моделирования, проводимых на МПВС Blue Gene/P на 2048 процессорах, время одного вычислительного эксперимента составляет порядка 20 часов, а объем получаемых при этом данных составляет 200 гигабайт.

Определим несколько подходов к организации процесса визуализации на МПВС. Самый простой сценарий работы системы визуализации - передача данных с вычислительных узлов на машину пользователя с последующей их обработкой. Недостатком такого подхода является необходимость передачи большого объема данных по сети. Следующий сценарий работы - установка системы визуализации на интерфейсной машине, подключенной высокоскоростным соединением к хранилищу данных. Этот подход более сложный в реализации, но решает проблему передачи данных большого объема по сети. Для проведения длительных вычислительных экспериментов на МПВС важно обеспечить возможность визуализации данных в процессе счета. Для этого должна быть предусмотрена возможность интеграции системы визуализации с процессом вычислений. Для систем, устанавливаемых на интерфейсной машине, такое взаимодействие возможно через промежуточное сохранение данных. Это означает существенную нагрузку на узлы, через которые

происходит коммуникация между интерфейсной машиной и вычислительными узлами, что замедляет процесс расчетов. Наиболее перспективным представляется сценарий, позволяющий осуществлять визуализацию непосредственно на вычислительных узлах.

Важным требованием к системе визуализации для МПВС является построение изображений высокого качества с сохранением большого количества деталей. Для получения высококачественных изображений необходимо использование параллельных методов построения изображений на вычислительных узлах, а так же параллельных методов обработки и сжатия полученных изображений.

Задача исследования и разработки методов и программных средств визуализации результатов научных вычислений для массивно-параллельных вычислительных систем представляется актуальной в настоящее время. Исследование этого вопроса имеет как теоретическую, так и практическую значимость.

Цель диссертации

Целью диссертации является исследование и разработка методов и программных средств для визуальной поддержки высокопроизводительных научных вычислений на массивно-параллельных вычислительных системах.

Из проведенного анализа сценариев работы, особенностей и ограничений современных систем визуализации были сформулированы следующие задачи для диссертации:

1. Провести исследование и разработать систему визуализации с учетом особенностей организации МПВС. Система должна обеспечивать возможность визуализации как в процессе работы параллельных прикладных программ, так и после их завершения.

2. Исследовать и разработать метод организации данных в системе визуализации и метод построения изображений для различных типов дисплейных устройств.

3. Провести исследование и разработать параллельные методы обработки изображений для снижения количества временных ресурсов, требуемых для построения изображения.

4. Разработать и реализовать программный комплекс, реализующий предложенную систему и методы визуализации для МПВС. Провести исследование эффективности системы визуализации на данных прикладных задач.

Научная новизна.

1. Предложены новые методы организации системы визуализации результатов научных вычислений, учитывающие особенности современных массивно-параллельных

вычислительных систем и обеспечивающие визуализацию данных как в процессе выполнения параллельных прикладных программ, так и после их завершения.

2. Предложены и исследованы новые параллельные алгоритмы обработки изображений и видео для системы визуализации:

метод адаптивной интерполяции для построения кадра;

• метод улучшения визуального качества построенного изображения;

• метод многопоточного сжатия видео с оптимизацией загрузки процессоров.

3. Разработаны новые методы построения программного комплекса системы визуализации, предложены новые методы организации данных и методы построения изображений для системы визуализации.

Практическая значимость.

Разработан программный комплекс, реализующий систему визуализации научных данных на МПВС в соответствии с предложенным методом организации системы визуализации. Разработанный комплекс реализован для массивно-параллельной вычислительной системы Blue Gene/P.

Исследована применимость разработанного программного комплекса для ряда прикладных задач. Разработанная система может быть использована для визуальной поддержки вычислений, проводимых с использованием МПВС, в различных научных областях. В настоящее время система доступна и используется прикладными пользователями на вычислительной системе Blue Gene/P в МГУ.

Апробаиия работы и публикаиии. Результаты работы докладывались и обсуждались на следующих конференциях и семинарах:

• 3-я Международная конференция «Information systems and grid technologies» (ISGT'2009), Болгария, София, 2009

• 27-я Международная конференция по параллельным вычислениям РагСо 2009, Франция, Лион, 2009

• 3-я Международная конференция «Параллельные вычислительные технологии» (ПАВТ 2009), Россия, Нижний Новгород, 2009

• 6-я и 7-я Международные конференции "Телевидение: передача и обработка изображений", Россия, Санкт-Петербург, 2008 и 2009;

• 15-я и 16-я Международные конференции Графикон, Россия, Новосибирск, 2005 и 2006

• 3-я Всероссийская научно-техническая конференция "Методы и средства

обработки информации" (МСО-2009), Россия, Москва, 2009;

• 10-я и 11-я Всероссийские суперкомпыотерные конференции серии «Научный сервис в сети Интернет», Россия, Новороссийск, 2008 и 2009;

• 3ri and 4th European Ph.D. Schools on Scientific Computing, телеконференции между университетами Ирландии, России, Украины и Китая, 2008 и 2009

• Научная конференция «Тихоновские чтения», Россия, Москва, 2009

• Совместный семинар факультета ВМК МГУ и IBM Zurich Research Laboratory, Россия, Москва, 2009

• Семинар кафедры Автоматизации систем вычислительных комплексов факультета ВМиК МГУ под руководством Королева JI.H;

• Научно-исследовательский семинар имени М.Р. Шура-Бура;

• Семинар «Обратные задачи математической физики» под руководством Бакушинского А.Б, Тихонравова A.B., Яголы А.Г.;

• Семинар по обработке экспериментальных данных при помощи нейронных сетей и генетических алгоритмов под руководством Королева JI.H. и Поповой H.H.;

• Семинар группы обработки изображений и видео сигналов Московского Исследовательского Центра компании Самсунг Электронике.

Основные результаты работы изложены в 14-и научных публикациях [1-14]. По тематике диссертации получен 1 патент РФ, подготовлено 5 заявок на патенты РФ.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. Содержание работы изложено на 131 странице. Список литературы включает 98 наименований. В работе содержится 42 рисунка и 7 таблиц.

Содержание работы

Во введении проанализированы тенденции развития систем визуализации результатов научных вычислений для массивно-параллельных вычислительных систем. Рассмотрены наиболее распространенные современные системы визуализации в применении к МПВС. Формулируются цель и задачи диссертации, обосновывается ее актуальность, научная новизна и практическая значимость, кратко излагается основное содержание работы.

В первой главе предложен метод организации системы визуализации результатов научных вычислений на массивно-параллельных вычислительных системах. Предложен

метод организации данных в системе визуализации. Исследован и разработан программный комплекс для реализации предложенной системы визуализации.

В разделе 1.1 предложен метод организации системы визуализации для массивно-параллельных вычислительных систем. Предложена иерархическая архитектура системы визуализации, состоящая из трех основных компонент:

• подсистема на интерфейсной машине - ядро системы визуализации

• подсистема, устанавливаемая на вычислительных узлах и осуществляющая построение изображений,

• подсистема на машине пользователя для воспроизведения изображений на дисплее.

Рис.1 функциональная схема системы визуализации Особенность предложенной архитектуры заключается в том, что используется возможность параллельных вычислений на различных уровнях МПВС. Визуализация возможна как во время работы прикладной программы, так и после завершения вычислительного эксперимента. В соответствии с разработанной архитектурой предложена иерархическая функциональная схема системы визуализации, основные блоки которой показаны на Рис.1. Различные аспекты предложенного метода организации системы визуализации рассмотрены в работах [1,2,3,4,5,6].

В разделе 1.2 предложен метод организации данных в системе визуализации. Входные данные системы визуализации представляются в одном из стандартных

форматов для хранения результатов научных вычислений (например, .netcdf, .cube, и т.д.). В диссертационной работе предлагается интерпретировать многомерные значения по каждому измерению как характеристику, являющуюся значением точек в некотором объеме в трехмерном евклидовом пространстве. Формируется внутреннее представление данных в системе визуализации. По внутреннему представлению осуществляется построение изображений в форматах для различных типов дисплейных устройств. Для наиболее часто используемых стандартных форматов хранения научных данных предложены модели соответствующих им внутренних представлений в системе визуализации.

В разделе 1.3 исследован и разработан программный комплекс для реализации предложенной системы визуализации. Архитектура разработанного программного комплекса показана на Рис.2. Данные для визуализации могут поступать в систему двумя способами: чтение из файлов с данными завершившихся экспериментов и чтение данных текущих экспериментов. После поступления данных происходит их анализ и определение объектов, которые будут в визуализируемой сцене, и их атрибутов в соответствии с заданными пользователем параметрами. Построение изображения по получепным данным осуществляется на вычислительных узлах. В системе предусмотрена резервная подсистема построения изображений на интерфейсной машине.

На интерфейсной машине происходит постобработка полученных изображений для улучшения их визуального качества и их сжатие перед передачей на локальную машину пользователя. Функциональность осуществляется параллельно с использованием многоядерности интерфейсной машины. На локальной машине пользователя осуществляется декодирование изображений, их масштабирование и отображение на дисплейное устройство.

Пользователю предоставляется следующие режимы работы системы визуализации:

• Визуализация в режиме постобработки.

• Визуализации через файлы во время работы прикладной программы.

• Библиотека функций визуализации для вызова в прикладной программе.

В разделе 1.4 описаны основные результаты главы.

Рис.2 Архитектура программного комплекса системы визуализации для МПВС Во второй главе предложены методы для системы визуализации результатов научных вычислений, в частности методы построения изображений на многопроцессорном вычислителе, методы обработки и сжатия видео для передачи его на машину пользователя.

В разделе 2.1 предложен параллельный метод построения изображений, основанный на методе объемного построения изображений библиотеки VTK1 . Предложены методы построения карты глубины, стерео и многовидовых изображений, анаглифных изображений, изображений для мультидисплейных комплексов. На Рис.3 представлена схема работы алгоритма построения изображений в различных форматах.

В разделе 2.2 предложен новый метод многопоточного сжатия изображений и видео. Предложенный метод основан на блочном кодировании изображений или кадров видео последовательности. Предложен быстрый алгоритм оценки визуальной сложности блоков изображения, позволяющий априори оценить временные затраты на кодирование блока и осуществить разбиение блоков изображения по процессорам в зависимости от этого времени для минимизации общего времени сжатия. Для каждого блока подбирается оптимальный способ его кодирования в зависимости от посчитанной визуальной сложности.

'Dutra, М., Rodrigues, Р., Giraldi, G., Schulze, В. Distributed visualization using VTK in Grid Environments. Pros. conf. Seventh IEEE International Symposium on Cluster Computing and Grid (CCGrig'07), 2007

Входные / у параметры /

Формирование оОьектоа сцены

Построение Построение

кадра внвспиф*

Поеторенние стерео или многовидовой последовательности :

Построение Mullí «creen видео

Построение / / Постобработка и

карты глубины ) / ' crarrvw»

fU

Рнс.З Блок-схема основных этапов построения изображений

! Видео J

Оценка

Разбиение кадре визуальной

на блоки 4x4 сложности

блоков

Процессор 1

Кодирование:

Тип о:кодирование

средним

Тип V. 2-х цветков

кодирование

Тип 2: палитра 4 цвета

Тип 3: палитра в цвета

Вектор оценок сложностей

Расчет распределения по процессорам

Процессор 2

Кодирование: Тип 0:кодирование средним

Тип 1'. 2-х цветное

кодирование

Тип 2: палитра 4 цвета

Тип 3: палитра 6 цвета

Процессор N

Кодирование:

Тип 0:кодирование

средним

Тип V. 2-* цветное

кодирование

Тип 2: палитра 4 цвета

Тип 3: палитра 8 цвета

Оптимизация палитр

Статистическое кодирование

Сжатый поток данных

Рис.4 Блок-схема основных этапов алгоритма сжатия видео

121 4 4 3 г) 2,-^-* т>

Блок-схема алгоритма кодирования показана Рис.4. Оценка визуальной сложности блоков ^ осуществляется следующим образом:

3 ) 4 г.(т,а,&)

где <т - это дисперсия, 0х,0у,0^,0п характеризуют направления и интенсивность границ в блоке, АТ,ВТ - частотные характеристики блока. Для сокращения времени вычислений предложен метод оптимального распределения блоков

по вычислительным процессорам, основанный на оценке визуальной сложности блока. Предложено на каждом из процессоров осуществлять кодирование блоков с помощью четырех методов кодирования: кодирование средним, двухцветное кодирование с помощью среднего и дисперсии, с помощью 4-х цветной палитры, с помощью 8-х цветной палитры. Предложен метод построения оптимальной палитры для блока, основанный на минимизации количества нулевых интервалов в гистограмме блока. Предложенный метод кодирования описан в работах [7,11].

В разделе 2.3 предложен метод интерполяции для системы визуализации. Он используется для решения двух задач:

1. Интерполяция данных при построении изображений.

2. Увеличение разрешения изображений после построения, чтобы сократить время построения изображения.

В применении к системе визуализации необходим метод интерполяции с малой вычислительной сложностью и высоким визуальным качеством, сохраняющим детали изображения. Предложен специализированный метод интерполяции, основанный на вейвлетах и триангуляции, позволяющий сохранять визуальные особенности изображений, получаемых при научной визуализации. Алгоритм состоит из двух шагов:

1. Определяется тип интерполяции для пикселя;

2. Проводится интерполяция значений пикселей с учетом выбранного типа.

Тип интерполяции определяется из оценки направления и интенсивности 1раниц в окрестности пикселя и частотной характеристики окрестности пикселя Iidj), которая определяется следующим образом:

w(t,к,i)=iTа+к,j+i)Y.1 т(¡+k>J+'+h)HjTj+i)+

¿ kei-1,1) ¿ 4s{-I,l)

7 Xm¿+*-i, ;+/+/,) +i ^iT(i+k+i,j+l+h)

4 M-U> 4 />6(-U)

W„„ = max max \w(T,k,l)\

Tz{R,G,B}k —1..11 1

(—1..1

где (ij) - координаты текущего пикселя, Г - значение цветового канала. Если значение параметра Whh выше порогового, то в области применяется бикубическая интерполяции, которая позволяет сохранить частотные характеристики области, иначе предложено использовать интерполяцию третьего порядка, где коэффициенты кривой интерполяции определяются в соответствии с типом триангуляции, определяемым из направления и интенсивности границ в области.

В разделе 2.4 для системы визуализации предложен метод улучшения

визуального качества изображений, который осуществляет сглаживание ступенчатых границ, получаемых при построении изображения. Предложен быстрый алгоритм поиска и сглаживания таких границ, который может быть эффективно распараллелен. В работе предложена математическая модель распределения цветов для областей изображения со ступенчатыми границами. В соответствии с этой моделью предложены необходимое и достаточное условия, позволяющие выделить такие области на изображении. Распараллеливание осуществляется путем разделения изображения на полосы и раздельной обработки частей изображения на процессорах. Предложенный метод описан в работах [9,10,12].

В разделе 2.5 описаны основные результаты главы.

Предложенная система визуализации была реализована для массивно-параллельной вычислительной системы Blue Gene/P. В третьей главе анализируется эффективность разработанной системы визуализации на ряде прикладных задач, решаемых на вычислителе Blue Gene /Р: задаче молекулярной динамики, задаче моделирования коммуникаций в сетях 3D-Top, задаче распознавания лиц.

В разделе 3.1 описан Эксперимент 1 «Визуализация молекулярной динамики». Эксперимент был проведен на данных, получаемых при моделировании молекулярных переключателей. Моделирование выполнялось с использованием кода CPMD. Общий объем данных эксперимента составил около 200Gb. Время, требующееся для проведения одного эксперимента, составляет около 20 часов.

Визуализация данных проводилась как в режиме постобработки, так и в режиме совмещения со счетом, что позволило существенно ускорить процесс подбора оптимальных параметров для решения задачи моделирования переключения. Предложенная система визуализации позволила ускорить эксперимент за счет отображение динамики переходов одновременно с характеристиками изменения электронной плотности. Это достигается за счет предусмотренной в системе визуализации возможности отображать несколько структур данных разной природы одновременно. Подробно эксперимент описан в работе [б].

Использование предложенной системы визуализации оказалось существенно удобнее используемых ранее инструментов визуализации, т.к. позволило осуществить интеграцию программы счета и программы визуализации на Blue Gene/P. Это позволило отказаться от сохранения и передачи большого объема информации, которая требовалась ранее, а это в свою очередь существенно ускорило эксперимент и оптимизацию параметров модели.

На этом примере показана масштабируемость полученного решения. Получено четырехкратное уменьшение времени построения изображения за счет применения алгоритма интерполяции. Досгагнуто десятикратное сжатие изображений при сохранении качества без визуальных потерь.

В разделе 3.2 описан Эксперимент 2 «Визуализация результатов моделирования коммуникационной сети с топологией 3D-Top». Рассмотрены вычислительные эксперименты для маршрутизации пакетов в сети с топологией 3D-Top 8x8x8 и сбора статистики равномерности загруженности процессоров, соединенных сетью 3D-Top. В качестве основного теста использовался тест «равномерный случайный трафик», который моделирует коммуникационный шаблон теста GUPS.

Для проведения эксперимента требовалось визуализировать данные в трехмерном представлении, при этом необходимо было осуществлять визуализацию загруженности в процессе эксперимента с использованием разработанных библиотечных функций. Использование визуализации, встроенной в программу счета, позволило существенно сократить объем сохраняемой информации и уменьшить шумы в эксперименте. Применение предложенной системы визуализации в задаче описано в работе [14].

В разделе 3.3 описан Эксперимент 3 «Визуализация в задаче поиска собственных лиц в биометрии». В задаче построения собственных лиц для распознавания лица решается подзадача построения собственных фильтров, получаемых в результате самоорганизации на базе данных изображений лиц. Объем данных для каждого изображения в базе данных около 50МЬ. Общий объем данных составляет 50Gb. Задача подробно описана в работах [8,13].

Визуализация осуществлялась в режиме постобработки. Основное требование к системе визуализации было сохранение деталей изображений, т.к. получаемые значения имели различную частотную характеристику, и анализ именно высокочастотных компонент представлял интерес. В этом случае эффективным оказалось использование предложенного алгоритма интерполяции, который хорошо восстанавливает высокочастотные области изображений. Предложенный алгоритм сжатия, осуществляя кодирование без визуальных потерь, позволил сохранять мелкие детали изображений при сжатии видео и передаче его на локальную машину пользователя. Использование разработанной системы визуализации для решения рассмотренной задачи позволило осуществить трехмерную визуализацию для этого .эксперимента, а также использовать расширенный диапазон представления.

На Рис.5 показаны примеры использования предложенной системы визуализации.

В разделе 3.4 описаны основные результаты главы. В заключении сформулированы основные результаты работы.

а) б) В)

Рис.5 Примеры использования предложенной системы визуализации: а) визуализация молекулярной динамики: структура молекулы и изоповерхностей 6) визуализация моделирования коммуникационной сети: загрузка процессоров в решетке ЭИ-тор 8x8x8; в) визуализация для задачи биометрии; г) визуализация моделирования коммуникационной сети: инициализация модели; д)

визуализация моделирования коммуникационной сети: пример стерео изображения; е) визуализация моделирования коммуникационной сети: маршрутизация пакетов; ж) визуализация молекулярной динамики: изолинии в электронной плотности; з) визуализация турбулентного горения; и) визуализация молекулярной динамики: значения электронной плотности на срезе.

Основные результаты работы

1. Предложена и исследована функциональная схема системы визуализации результатов научных расчетов для массивно-параллельных вычислительных систем. Система предоставляет возможность выполнения визуализации как в процессе работы параллельных прикладных программ, так и после их завершения. Система поддерживает работу с данными большого объема, обеспечивает построение высококачественных изображений.

2. Разработана структура программного комплекса, предложены методы организации данных и методы построения изображений для системы визуализации, учитывающие особенности организации массивно-параллельных вычислительных систем.

3. Предложены и исследованы новые параллельные методы обработки изображений и видео для системы визуализации: метод адаптивной интерполяции для построения кадра; метод улучшения визуального качества построенного изображения; метод многопоточного сжатия видео с оптимизацией загрузки процессоров.

4. Реализована система визуализации для массивно-параллельной системы Blue Gene/P. Исследована эффективность разработанных параллельных алгоритмов на примере решения задачи моделирования молекулярных переключателей, задачи моделирования коммуникационной сети и задачи распознавания лиц. Предложенные параллельные алгоритмы позволили в среднем в четыре раза сократить время построения изображения и получить без потери визуального качества десятикратное сжатие видеопоследовательности для рассмотренных примеров.

Публикации

[1] Dzhosan О.V., Popova N.N., Korzh A.A. Hierarchical Visualization System for High Performance Computing //pros. conf. ParCo 2009, France, Lyon, 2009

[2] Джосан O.B., Попова H.H. Параллельная визуализация для высокопроизводительной системы обработки данных на суперкомпьютере BlueGene /Р // тезисы конференции «Методы и средства обработки информации», Россия, Москва, 2009

[3] Джосан О.В., Попова H.H. Система визуальной поддержки высокопроизводительных вычислений // тезисы конференции «Научный сервис в сети Интернет», Россия, Новороссийск, 2008

[4] Джосан О.В. О визуализации научных данных для высокопроизводительных параллельных приложений // тезисы конференции ПАВТ 2009, Россия, Нижний Новгород, 2009

[5] Джосан О.В., Попова H.H., Мурынин А.Б. Метод визуализации многомерных динамических данных на многопроцессорных комплексах // журнал "Вестник компьютерных и информационных технологий", №8,2009, сс.8-12

[6] Джосан О.В., Попова H.H., Шумкин Г.Н. Методы визуальной поддержки для задач молекулярного моделирования на суперкомпьютере Blue Gene /Р // тезисы конференции «Научный сервис в сети Интернет», Россия, Новороссийск, 2009

[7] Мишуровский М.Н., Джосан О.В., Рычагов М.Н. Способ компактного представления цветных цифровых изображений, предназначенный для применения в системах цифровой обработки видеосигналов в реальном времени // тезисы конференции "Телевидение: передача и обработка изображений", Россия, С.-Петербург, 2009

[8] Базанов П.В., Джосан О.В. Выделение информативных признаков на изображении лица в задаче идентификации человека // Сибирский журнал вычислительной математики, том. 9, №3,2006, с. 207-214

[9] Джосан О.В. Мурынин А.Б. Метод улучшения границ на изображении // журнал «Труды ИСА РАН: динамика неоднородных систем», том 29(1), № 11,2007, сс. 211-218

[10] Джосан О.В. Метод коррекции ступенчатых границ на изображении // тезисы конференции "Телевидение: передача и обработка изображений", Россия, Санкт-Петербург, 2008

[И] Джосан О.В., Мишуровский М.Н. Анализ методов сжатия цифровых цветных изображений без визуальных потерь // тезисы конференции "Телевидение: передача и обработка изображений", Россия, Санкт-Петербург, 2008

[12] Джосан О.В., Воробьев Е.В. Способ определения и сглаживания краев на

телевизионном изображении // патент RU 2336564, приоритет 2007.01.19, опубликован 20.10.2008, бюл. № 29

[13] Базанов П.В., Джосан О.В. Методы выделения черт лица в задаче распознавания лиц // тезисы конференции Графикон-2005, Россия, Новосибирск, 2005

[14] Корж A.A., Джосан О.В. Организация коммуникационной сети для транспетафлопсных суперкомпьютеров // журнал «Труды ИСА РАН: динамика неоднородных систем», том 32(3), 2008, сс. 267-274

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 02.11.2009 г. Формат 60x90 1/16. Усл.печ.л. 1,0. Тираж 100 экз. Заказ 597. Тел. 939-3890. ТелУФакс 939-3891 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 627 к.

Содержание.

Введение.

Обзор существующих решений и актуальность работы.

Цель и задачи диссертационной работы.

Научная новизна и практическая значимость.

Краткое содержание диссертационной работы.

Глава 1. Методы построения системы визуализации для массивно-параллельных вычислительных систем.

1.1 Функциональная схема системы визуализации для массивно-параллельных вычислительных систем.

1.1.1 Метод работы системы визуализации в режиме постобработки.

1.1.2 Метод визуализации в процессе выполнения параллельной программы на основе использования библиотечных функций.

1.1.3 Метод визуализации в процессе выполнения параллельной программы через файлы.

1.2 Организация данных для системы визуализации.

1.3 Структура программного комплекса системы визуализации.

1.4 Выводы по главе.

Глава 2. Параллельные методы для системы визуализации результатов научных вычислений.

2.1 Метод построения изображений на вычислительных узлах.

2.2 Параллельный метод сжатия видео.

2.3 Метод интерполяции для системы визуализации.

2.4 Метод постобработки видео для системы визуализации.

2.5 Выводы по главе.

Глава 3. Анализ эффективности визуализации на примере прикладных задач

3.1 Применение системы визуализации в задачах молекулярного моделирования.

3.2 Применение системы визуализации в задаче моделирования коммуникационной сети.

3.3 Применение системы визуализации в задаче поиска собственных лиц в биометрии.

3.4 Выводы по главе.

Обзор существующих решений и актуальность работы

Работа посвящена исследованию и разработке методов и программных средств визуальной поддержки научных вычислений, проводимых с использованием современных массивно-параллельных вычислительных систем (МПВС).

Визуализацию результатов научных вычислений можно определить как процесс, состоящий из двух шагов: 1) отображение данных вычислительного эксперимента на значения в математической модели пространства визуализации; 2) проекция полученных значений на двумерное пространство, соответствующее визуальному представлению - изображению или видео.

Теоретические исследования и практические разработки, направленные на поддержку визуализации, активно ведутся в настоящее время как зарубежными, так и российскими учеными. В задаче компьютерной визуализации можно выделить, три подобласти[15]: визуализация результатов научных вычислений; визуализация программного обеспечения; информационная визуализация. Визуализация результатов научных вычислений — область исследований, направленных на разработку методов и программных средств для визуального анализа информации, получаемой в научных экспериментах. Спектр задач, решаемых в рамках визуализации научных данных, достаточно широк. Можно выделить теоретические исследования в области методов представления данных[16], методов отображения данных на модель пространства визуализации[17], методов построения изображений [18-20], разработки интерфейсов для интерактивной визуализации[21], и т.д. Важным направлением в области научной визуализации является визуализации результатов расчетов на массивно-параллельных вычислительных системах[22-23]. Большое количество работ в области визуализации для МПВС посвящено задаче параллельного построения изображений на различных многопроцессорных топологиях[24]. Можно выделить следующие методы параллельного построения изображений: синтез фотореалистичных изображений [25], полигональная графика для построения изображений[26], объемное построение изображений (volume rendering) на большом количестве процессоров[27-29]. Также интерес представляют работы в области параллельного построения изолиний и изоповерхностей[30-31] и геометрической оптимизации[32]. Важный класс задач в области научной визуализации - методы организации ввода-вывода при визуализации на МПВС [33-34]. Активно ведутся исследования в области специализированных систем визуализации для МПВС: методы параллельной визуализации в задачах гидродинамики[35], методы многопроцессорной визуализации для авиационного моделирования на МПВС[36], методы визуализации решений дифференциальных уравнений в грид-системах[37], и т.д.

Визуализация результатов научных вычислений, проводимых на высокопроизводительных вычислительных системах, обладает рядом особенностей.

Получаемый в вычислительных экспериментах объем данных может быть очень большим. Например, при моделировании турбулентного горения на вычислительной системе Blue Gene /Р для проекта FLASH с использованием 8000 четырехядерных вычислительных узлов генерируется 16Gb данных каждые 10-15 минут, общий объем данных эксперимента составляет 300ТЬ[38]. Объем данных, получаемых в задаче климатического моделирования, составляет 345ТЬ[39]. Объем данных, получаемых в результате проведения экспериментов на системе Blue Gene /Р, установленной в МГУ, измеряется сотнями гигабайт [40,41]. Система визуализации результатов научных вычислений на МПВС должна поддерживать возможность работы с данными большого объема.

Как правило, вычислительный эксперимент на МПВС проводится в течение достаточно длительного времени, измеряемым десятками и сотнями часов. Это обуславливает необходимость продержки визуализации во время выполнения параллельной программы (in situ визуализация).

Аппаратная конфигурация современных многопроцессорных вычислительных комплексов включает в себя три основные составляющие: вычислительные узлы, сервисные (интерфейсные) машины, локальные машины пользователя, к которым подключены дисплейные устройства. В общей схеме организации процесса визуализации результатов научных вычислений, проводимых на МПВС, можно выделить следующие основные этапы, определяемые архитектурой МПВС: накопление данных в процессе вычислений на вычислительных узлах, организация хранения данных на сервисных узлах с последующей передачей на машину пользователя, отображение данных на дисплейных устройствах, подключенных к локальным машинам. Общая схема процесса визуального анализа научных данных представлена на Рис. 1. Построение изображений в этом процессе может осуществляться как на вычислительных узлах, так и на локальной машине. Большинство существующих систем визуализации используют клиент-серверную модель. Как было отмечено, научные вычисления, проводимые на МПВС, связаны с необходимостью проведения визуализации на различных этапах вычислительного эксперимента: текущее состояние данных вычислительного эксперимента, история процесса с некоторого момента времени, визуализация сохраненных данных после завершения вычислительного эксперимента.

Рис.1 Схема процесса визуального анализа данных Важным требованием к системе визуализации для МПВС является построение изображений высокого качества с сохранением большого количества деталей. Это требует значительных вычислительных ресурсов для построения изображений. Для поддержки получения высококачественных изображений необходима разработка параллельных методов построения изображений на вычислительных узлах МПВС.

Для анализа результатов научных вычислений возможно использование дисплейных устройств нового типа: трехмерных дисплеев, мультидисплейных комплексов, проекционных стен. Система визуализации должна обеспечить построение изображений и видео в различных форматах для поддержки новых типов дисплейных устройств.

Необходимость обеспечения высокого визуального качества изображений в соответствии с масштабом вычислительного эксперимента приводит к увеличению вычислительных ресурсов, которые требуются .для построения изображения. Одним из путей сокращения времени построения изображения является использование параллельных методов обработки изображений: методов улучшения визуального качества изображений и методов сжатия изображений.

Важным требованием к системе визуализации является естественная» визуализация данных — построение изображений высокого качества с сохранением большого количества деталей. Необходимым компонентом являются параллельные методы обработки изображений на интерфейсной машине перед передачей их на локальную машину пользователя.

Возможны различные подходы к классификации систем визуализации. В работе [42] отмечены две тенденции в развитии систем визуализации: системы визуализации можно разделить на универсальные и специализированные. Универсальные системы визуализации характеризуются широким набором средств, моделей и методов, которые некоторым стандартным образом отображают данные. Важной особенностью универсальных систем является наличие набора общих средств для отображения объектов различной природы. Специализированные системы обслуживают определенный класс пользователей и прикладных задач и содержат методики визуализации, которые зависят от природы задачи [43-47]. Для визуализации научных данных используются системы обоих типов. Для многих областей исследования разработаны специализированные системы, содержащие необходимую функциональность. Однако, такие системы более сложны в установке и использовании. Поэтому прикладные пользователи используют универсальные системы, которые уже установлены на МПВС и имеют хорошо документированную функциональность.

Вычислительные узлы

Интерфейсная машина

Локальная машина визуализация а)

Интерфейсная машина

Локальная машина б)

Интерфейсная машина

Локальная машина

GPU визуализация — в)

Интерфейсная машина

Локальная машина

Интерфейсная машина визуализация

Локальная машина с визуализация

Д)

Рис.2 Сценарии работы системы визуализации

Определим несколько подходов к организации процесса визуализации на МПВС. Первый сценарий работы системы визуализации (Рис.2а) - передача данных с вычислительных узлов на машину пользователя с последующим построением изображений на локальной машине. По завершению вычислений данные сохраняются в файлы и через интерфейсную машину передаются по сети на локальную машину пользователя, где осуществляется их анализ и визуализация. По такому сценарию работают общие системы визуализации, где построение изображения осуществляется в последовательном режиме. Недостатком такого подхода является необходимость передачи большого объема данных по сети. В условиях масштабов современных вычислительных экспериментов на массивно-параллельных вычислительных системах передача таких объемов данных по сети затруднительна, а иногда даже и не возможна ввиду огромного объема получаемых данных. Этот подход не требует установки системы визуализации на вычислительный комплекс. В последнее время этот сценарий работы системы визуализации становится не актуальным по причине того, что доступ к большинству МПВС осуществляется через интерфейсную машину, где установлена полноценная операционная система, которая имеет прямой доступ к хранилищу данных.

Следующий возможный сценарий работы системы визуализации — установка системы визуализации на интерфейсной машине (Рис.2б). Этот подход более сложный в реализации, но решает проблему передачи большого объема данных по сети. Построение изображения осуществляется на интерфейсной машине. На локальную машину пользователя передается только изображение или видеопоследовательность, которая имеет существенно меньший размер, чем данные, полученные в результате эксперимента. Во время эксперимента данные записываются в файл в некотором стандартном формате и сохраняются в хранилище. Для визуализации результатов научных расчетов важно иметь возможность визуального анализа в процессе длительного эксперимента. Для этого в системе визуализации должна быть предусмотрена возможность интеграции с процессом научных вычислений. Для систем, устанавливаемых на интерфейсной машине, такое взаимодействие возможно через промежуточное сохранение данных. Это влечет существенную нагрузку на узлы, через которые происходит коммуникация между интерфейсной машиной и вычислительными узлами, что замедляет процесс расчетов.

Разрабатывается ряд решений по встраиванию в МПВС графических серверов (GPU) [48], см. Рис.2в. Этот подход представляется весьма перспективным, но требует существенных материальных затрат на оборудование и разработку сложных программных комплексов. В настоящее время подобные системы функционируют через сохранение файлов, что приводит к недостаткам, которые возникали при визуализации на интерфейсной машине. Однако такой подход дает возможность осуществлять параллельные алгоритмы построения изображений, используя преимущества GPU и наработанные в этой области алгоритмы компьютерной графики, которые позволяют быстро строить высококачественные изображения.

Параллельное построение изображений возможно при реализации сценария, показанного на Рис.2г. Визуализация в этом случае осуществляется на вычислительных узлах МПВС. Этот подход является наиболее перспективным. В этом случае возможна интеграция системы визуализации с вычислительной программой напрямую. Однако, это сложно полноценно осуществить, т.к. большинство МПВС работает в пакетном режиме.

Наиболее перспективным представляется сценарий (рис.2д), позволяющий распределить различные подзадачи системы визуализации по МПВС. При этом построение изображения осуществляется непосредственно на вычислительных узлах. Вспомогательные подзадачи, такие как: обработка и сжатие видео, коммуникации с пользователем, более эффективно осуществлять на интерфейсной машине. На локальной машине пользователя проводится адаптация изображения под разрешение дисплея и отображение изображения на дисплейное устройство. Однако, такой подход более сложен в реализации. Требуется анализ, какие методы системы визуализации на какой составляющей многопроцессорного комплекса эффективнее разместить с учетом их вычислительной сложности.

В диссертационной работе предложена система визуализации, позволяющая осуществлять работу системы визуализации по двум сценариям. Основным сценарием является визуализация в режиме построения изображений на вычислительных узлах и постобработки полученных изображений на интерфейсной машине. Предусмотрен второй, резервный, сценарий работы - построение изображений на интерфейсной машине. Такой подход представляется наиболее оптимальным с точки зрения минимизации времени на построение изображения в условиях пакетной работы системы. Использование резервного сценария обусловлено тем, что время ожидания задачи визуализации в очереди может составлять несколько суток при большой загруженности вычислительных узлов и отсутствии механизма приостановки задач, что является неприемлемым для работы системы визуализации.

Рассмотрим возможность применения наиболее распространенных систем визуализации для массивно-параллельных вычислительным системам. Спектр систем, поддерживающих визуализацию научных данных, достаточно широк. Одной из первых таких систем стала OpenDX [49-51] компании ЮМ. Одной из наиболее известных, свободно распространяемых систем, используемых для поддержки параллельных вычислений, является система VTK [51-54] и ее параллельное расширение ParaView [55-59]. VTK содержит библиотеку С++ классов и несколько интерфейсов для языков высокого уровня, поддерживает широкий набор алгоритмов визуализации. ParaView включает в себя удобный интерфейс, реализацию распределенных вычислений и параллельный сервер для визуализации. Еще одна часто используемая система - это AVS/Express Parallel Edition [60]. Эта система включает в себя большой набор методов визуализации, большое количество поддерживаемых форматов, параллельную реализацию фильтров и сборщиков данных. В последнее время получила распространение система VisIt[61-63]. Особенность этой системы состоит в том, что она позволяет эффективно визуализировать данные сложной и нестандартной структуры. Система ScientiflcVR [64-65] предоставляет поддержку различных режимов визуализации, в том числе в формате анаглифа. Несколько вариантов системы визуализации было предложено компанией IBM. Одна из таких систем - Deep Computing Visualization [66,67] - предназначена для визуализации научных данных на мульти дисплейных комплексах.

Перечисленные системы визуализации обладают широким набором возможностей. Эти системы относятся к универсальным системам визуализации. Представленные системы визуализации реализуют различные подходы для построения изображений. Сравнение существующих систем по основным ключевым параметрам с точки зрения визуализации на массивно-параллельных вычислительных комплексах приведено в Таблице 1.

Таблица 1. Сравнение систем визуализации

Система визуализаци и Открытый код Параллель -ные методы Графический интерфейс Наличие on-line методов Визуализация динамики Работа со стерео изображениями

OpenDX + + + — — —

VTK + — — — — — pVTK + + — — — —

ParaView + + + + — —

Vizlt + + + + + —

SVR — — + — + +

Как видно из таблицы, большинство рассмотренных систем визуализации имеют открытый код и теоретически могут быть модифицированы и оптимизированы для нужд конкретной вычислительной системы и задачи. На практике зачастую эта задача является сложно осуществимой и затратной по времени, поэтому для обычного пользователя это затруднительно. К тому же, для большинства систем нет подробного описания их функциональности в свободном доступе. Также большинство систем имеет ограниченную функциональность по визуализации динамики процесса, т.е. изменения состояния визуализируемого объекта во времени. Работа со стереоскопическими данными поддерживается только в одной из систем - SVR. Однако в этой системе возможно только представление данных в формате анаглифа. Поскольку система имеет закрытый код, дальнейшее расширение функциональности не возможно.

VTK (Visualization ToolKit) - это свободно распространяемая библиотека С++ классов для построения трехмерной графики и визуализации. Эта библиотека является одним из самых распространенных базисным набором классов для различных универсальных и специализированных библиотек визуализации. Эта библиотека представляет собой объектно-ориентированный инструментарий для визуализации данных. Рассмотрим возможности библиотеки VTK более подробно.

В системе реализовано два подхода к визуализации данных. Первый подход - это графическая модель данных, которая является абстрактной моделью трехмерной графики. Второй подход — это модель объемного построения изображений. Графическая модель основана на графе сцены. Этот граф представляет собой ациклический направленный граф, где вершины соответствуют таким объектам как акторы, источники света, камеры, свойства и преобразования. Процесс построения изображения - это последовательный обход всех вершин графа, каждая из которых влияет на итоговое изображение. Модель объемного построения изображений основана на data-flow парадигме. В такой парадигме модули соединены между собой в одну сеть и осуществляют алгоритмические операции над данными, которые представляют собой потоки в сетях. Преимуществом такого подхода является его гибкость и быстрая адаптация к данным различного типа или новой реализации алгоритма. Модель состоит из двух основных типов объектов: обрабатывающих объектов и объектов данных. Обрабатывающие объекты соответствуют алгоритмическим модулям, объекты данных -потоки в сетях. Обрабатывающие объекты в свою очередь подразделяются на источники, фильтры и отображения. Источники инициализируют потоки данных. Фильтры осуществляют заданное преобразование над входными данными. Отображения являются окончанием путей в сети. Основой представления данных является концепция ячеек. Каждый набор данных состоит из одной или более ячейки, каждая ячейка — это графический примитив при визуализации. Всего имеется 12 типов примитивов - от вокселя до трехмерного шестигранника. В модели предусмотрено пять типов данных: vtkPolyData (полигональные модели), vtkStructuredPoints (структурированный набор точек), vtkStructuredGrid (структурированная решетка), vtkUnstructuredGrid (неструктурированная решетка), vtkPointSet (неструктурированные точки). Библиотека VTK предоставляет гибкие механизмы для расширения, добавления новых классов, легко встраиваема в различные приложения. Эта библиотека была использована для реализации параллельного построения изображений на вычислительных узлах в системах Paraview и pVTK. Библиотека является удобным набором базовых классов для визуализации результатов научных расчетов на массивно-параллельных вычислительных системах.

Актуальность темы исследования

В результате проведенного анализа можно выделить следующие тезисы в поддержку актуальности выбранной темы диссертации:

• Огромный объем данных в вычислительных экспериментах на массивно-параллельных вычислительных системах, с которым не справляются общие системы визуализации.

• Необходимость поддержки визуализации в динамике счета.

• Возможность выполнения методов визуализации непосредственно на вычислительных узлах, необходимость разработки методов визуализации с учетом большого количества процессоров.

• Появление новых типов дисплейных устройств.

• Необходимость обеспечения высокого визуального качества изображений в соответствии с масштабом вычислительного эксперимента.

Таким образом, задача исследования и разработки методов и программных средств визуализации научных данных для суперкомпьютеров представляется актуальной в настоящее время. Исследование этого вопроса имеет как теоретическую, так и практическую значимость.

Цель и задачи диссертационной работы

Целью диссертации является исследование и разработка методов и программных средств для визуальной поддержки высокопроизводительных научных вычислений на массивно-параллельных вычислительных системах.

Из проведенного анализа сценариев работы, особенностей и ограничений современных систем визуализации были сформулированы следующие задачи для диссертации:

1. Провести исследование и разработать систему визуализации с учетом особенностей организации МПВС. Система должна обеспечивать возможность визуализации как в процессе работы параллельных прикладных программ, так и после их завершения.

2. Исследовать и разработать метод организации данных в системе визуализации и метод построения изображений для различных типов дисплейных устройств.

3. Провести исследование и разработать параллельные методы обработки изображений для снижения количества временных ресурсов, требуемых для построения изображения.

4. Разработать и реализовать программный комплекс, реализующий предложенную систему и методы визуализации для МПВС. Провести исследование эффективности системы визуализации на данных прикладных задач.

Научная новизна и практическая значимость

Научная новизна.

1. Предложены новые методы организации системы визуализации результатов научных вычислений, учитывающие особенности современных массивно-параллельных вычислительных систем и обеспечивающие визуализацию данных как в процессе выполнения параллельных прикладных программ, так и после их завершения.

2. Предложены и исследованы новые параллельные алгоритмы обработки изображений и видео для системы визуализации:

• метод адаптивной интерполяции для построения кадра;

• метод улучшения визуального качества построенного изображения;

• метод многопоточного сжатия видео с оптимизацией загрузки процессоров.

3. Разработаны новые методы построения программного комплекса системы визуализации, предложены новые методы организации данных и методы построения изображений для системы визуализации.

Практическая значимость.

Разработан программный комплекс, реализующий систему визуализации научных данных на МПВС в соответствии с предложенным методом организации системы визуализации. Разработанный комплекс реализован для массивно-параллельной вычислительной системы Blue Gene/P.

Исследована применимость разработанного программного комплекса для ряда прикладных задач. Разработанная система может быть использована для визуальной поддержки вычислений, проводимых с использованием МПВС, в различных научных областях. В настоящее время система доступна и используется прикладными пользователями на вычислительной системе Blue Gene/P в МГУ.

Апробация работы и публикации. Результаты работы докладывались и обсуждались на следующих конференциях и семинарах:

• 3-я Международная конференция «Information systems and grid technologies» (ISGT'2009), Болгария, София, 2009

• 27-я Международная конференция по параллельным вычислениям РагСо 2009, Франция, Лион, 2009

• 3-я Международная конференция «Параллельные вычислительные технологии» (ПАВТ 2009), Россия, Нижний Новгород, 2009

• 6-я и 7-я Международные конференции "Телевидение: передача и обработка изображений", Россия, Санкт-Петербург, 2008 и 2009;

• 15-я и 16-я Международные конференции Графикон, Россия, Новосибирск, 2005 и 2006

• 3-я Всероссийская научно-техническая конференция "Методы и средства обработки информации" (МСО-2009), Россия, Москва, 2009;

• 10-я и 11-я Всероссийские суперкомпьютерные конференции серии «Научный сервис в сети Интернет», Россия, Новороссийск, 2008 и 2009;

• 3rd and 4th European Ph.D. Schools on Scientific Computing, телеконференции между университетами Ирландии, России,

Украины и Китая, 2008 и 2009

• Научная конференция «Тихоновские чтения», Россия, Москва, 2009

• Совместный семинар факультета ВМК МГУ и IBM Zurich Research Laboratory, Россия, Москва, 2009

• Семинар кафедры Автоматизации систем вычислительных комплексов факультета ВМиК МГУ под руководством Королева Л.Н;

• Научно-исследовательский семинар имени М.Р. Шура-Бура;

• Семинар «Обратные задачи математической физики» под руководством Бакушинского А.Б, Тихонравова А.В., Яголы А.Г.;

• Семинар по обработке экспериментальных данных при помощи нейронных сетей и генетических алгоритмов под руководством Королева Л.Н. и Поповой Н.Н.;

• Семинар группы обработки изображений и видео сигналов Московского Исследовательского Центра компании Самсунг Электронике.

Основные результаты работы изложены в 14-и научных публикациях [1-14]. По тематике диссертации получен 1 патент РФ, подготовлено 5 заявок на патенты РФ.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. Содержание работы изложено на 131 странице. Список литературы включает 98 наименований. В работе содержится 42 рисунка и 7 таблиц.

3.4 Выводы по главе

Использование предложенной системы визуализации показало высокую эффективность в экспериментах, на которых проводились измерения. Визуализация позволила прикладными пользователям более качественно проводить визуальный анализ, осуществлять анализ во время вычислительного эксперимента. Визуализация позволила существенно сократить объем сохраняемых и передаваемых данных. Применение предложенных алгоритмов сжатия и обработки изображений позволило получать высококачественные изображения при существенном сокращении времени построения изображения.

На Рис, 41 показано сравнение предложенного метода параллельного сжатия данных на различных экспериментах. Система стабильно обеспечивает степень сжатия порядка десяти раз на различных данных. Однако степень сжатия зависит от типа входных данных: степень сжатия уменьшается при увеличении визуальной сложности сжимаемого видео. степень сжлтня в разных экспериментах

12,00

11.00 к 1000

I S л 8,00 1 1

8,00

7.00 о. оо Конмунмиции ♦ Молчули биометрия Линейный (Биометр м Линейнун (Молв(улы) -~~Линейный (Коммуннщци

10 1в номер кадра

Рис. 41 Сравнение полученных степеней сжатия в различных экспериментах время расчета изображения 800x800 при изменении количества процессоров эксперимент

Рис. 42 Сравнение времени построения кадров для различных экспериментов ото

450 400 3S0 300

Р«МЯ{С) 290

200 150 100 50 О число процессоре*

1024

Биометрш Коммунницин Молекулы

На Рис. 42 показано сравнение времени работы системы визуализации для построения изображений на трех перечисленных экспериментах. График показывает, что наблюдается ускорение по времени, также решение масштабируемо.

Предложенная система визуализации показала высокую эффективность применения на различных классах прикладных задач. Проведено исследование работы системы в различных режимах работы в зависимости от условий прикладного вычислительного эксперимента. Применение предложенной системы визуализации позволило существенно сократить объемы данных, передаваемых по сети, что привело к ускорению экспериментов и выявлению новых свойств в результатах научных вычислений.

Заключение

Сформулируем основные результаты работы:

1. Предложена и исследована функциональная схема системы визуализации результатов научных расчетов для массивно-параллельных систем. Система предоставляет возможность выполнения визуализации как в процессе работы параллельных прикладных программ, так и после их завершения. Система поддерживает работу с данными большого объема, обеспечивает построение высококачественных изображений.

2. Разработана структура программного комплекса, предложены методы организации данных и методы построения изображений для системы визуализации, учитывающие особенности организации массивно-параллельных систем.

3. Предложены и исследованы новые параллельные методы обработки изображений и видео для системы визуализации: метод адаптивной интерполяции для построения кадра; метод улучшения визуального качества построенного изображения; метод многопоточного сжатия видео с оптимизацией загрузки процессоров.

4. Выполнена реализация системы визуализации для массивно-параллельной системы Blue Gene/P. Исследована эффективность разработанных параллельных алгоритмов на примере решения задачи моделирования молекулярных переключателей, моделирования коммуникаций в многопроцессорных системах и задачи распознавания лиц. Предложенные параллельные алгоритмы позволили в среднем в четыре раза сократить время построения изображения и получить без потери визуального качества десятикратное сжатие видеопоследовательности для рассмотренных примеров.

1. Dzhosan О.V., Popova N.N., Korzh A.A. Hierarchical Visualization System for High Performance Computing // pros. conf. ParCo 2009, France, Lyon, 2009

2. Джосан О.В., Попова Н.Н., Параллельная визуализация для высокопроизводительной систем обработки данных на суперкомпьютере BlueGene /Р // тезисы конференции «Методы и средства обработки информации», Россия, Москва, 2009

3. Джосан О.В., Попова Н.Н. Система визуальной поддержки высокопроизводительных вычислений // тезисы конференции «Научный сервис в сети Интернет», Россия, Новороссийск, сен. 2008,сс. 160-162

4. Джосан О.В. О визуализации научных данных для высокопроизводительных параллельных приложений // тезисы конференции ПАВТ 2009, Россия, Нижний Новгород, март 2009,сс. 449-456

5. Джосан О.В., Попова Н.Н., Мурынин А.Б. Метод визуализации многомерных динамических данных на многопроцессорных комплексах // журнал "Вестник компьютерных и информационных технологий", vol.8, Авг. 2009 (принята в печать)

6. Джосан О.В., Попова Н.Н., Шумкин Г.Н. Методы визуальной поддержки для задач молекулярного моделирования на суперкомпьютере Blue Gene /Р // тезисы конференции «Научный сервис в сети Интернет», Россия, Новороссийск, 2009

7. Базанов П.В., Джосан О.В, Выделение информативных признаков на изображении лица в задаче идентификации человека // Сибирский журнал вычислительной математики, том. 9, №3, 2006, с. 207-214

8. Джосан О.В. Мурынин А.Б. Метод улучшения границ на изображении // журнал «Труды ИСА РАН: динамика неоднородных систем», том 29(1), № 11, 2007, сс. 211-218

9. Джосан О.В. Метод коррекции ступенчатых границ на изображении //тезисы конференции "Телевидение: передача и обработка изображений", Россия, Санкт-Петербург, июль 2008

10. Джосан О.В., Мишуровский М.Н. Анализ методов сжатия цифровых цветных изображений без визуальных потерь // тезисы конференции "Телевидение: передача и обработка изображений", Россия, Санкт-Петербург, Июль 2008

11. Воробьев Е.В., Джосан О.В. Способ определения и сглаживания краев "на телевизионном изображении // патент RU 2336564, приоритет 2007.01.19, опубликован 20.10.2008, бюл. № 29

12. Базанов П.В., Джосан О.В. Методы выделения черт лица в задаче распознавания лиц // тезисы конференции Графикон-2005, Россия, Новосибирск, июль 2005

13. Корж А.А., Джосан О.В. Организация коммуникационной сети для транспетафлопсных суперкомпьютеров. // журнал «Труды ИСА РАН: динамика неоднородных систем», том 32(3), 2008, сс. 267-274

14. Авербух В.Л., К теории компьютерной визуализации // Вычислительные технологии Т. 10, N 4, 2005 , стр 21-51.

15. Рябов Г.Г., Серов В.А., Отображения целочисленных множеств и евклидовы приближения // Вычислительные методы и программирование. 2007. 8, №1. сс. 10-19

16. Рябов Г.Г., Серов В.А. Среда для комплекса программ обработки вексельных структур // Информационные технологии. 2006. №7. 22-26.

17. A. Zhirkov, View-Dependent Octree Image Rendering // conf. GraphiCon 2003, pp. 112-115

18. Engel K., Kraus M., Ertl Т., High-quality pre-integrated volume rendering using hardware-accelerated pixel shading // proc. of Eurographics/SIGGRAPH Workshop on Graphics Hardware, 2001, pp. 9-16.

19. Горбашевский Д.Ю., Казанцев А.Ю., Визуализация сеточных данных большого объема // 15-я Международная конференция по компьютерной графике и ее приложениям ГрафиКон'2005, сс. 366-367.

20. Манаков Д.В., Анализ параллельных визуальных технологий // Вычислительные технологии. Том 12, N 1, 2007, сс. 45-60.

21. Timo Ropinski, Jennis Meyer-Spradow, Stefan Diepenbrock, Jorg Mensmann, Klaus H. Hinrichs, Interactive Volume Rendering with Dynamic Ambient Occlusion and Color Bleeding // Computer Graphics Forum (Eurographics 2008), Volume 27, Number 2, pp. 567-576

22. Bruce Baumgart, Winged-Edge Polyhedron Representation for Computer Vision //National Computer Conference, 1975

23. Marc Levoy, Display of Surfaces from Volume Data // proc. IEEE CG&A, 1988

24. Drebin, R.A., Carpenter, L., Hanrahan, P., Volume Rendering // Computer Graphics, SIGGRAPH88

25. Sherbondy A., Houston M., Napel S., Fast volume segmentation with simultaneous visualization using programmable graphics hardware // proc. IEEE Visualization 2003, pp. 171-176.

26. Stein C., Backer В., Max N., Sorting and hardware assisted rendering for volume visualization // Symposium on Volume Visualization (1994), pp. 83-90

27. Max N., Hanrahan P., Crawfis R., Area and volume coherence for efficient visualization of 3D scalar functions // Computer Graphics (San Diego Workshop on Volume Visualization), 1990, vol. 24, pp. 27-33

28. Mejia Hugo, Hurtado Antonio, Geometrical Optimization Problems: A Covariational Approach // annual meeting of the North American Chapter of the1.ternational Group for the Psychology of Mathematics Education, 2006

29. Z. Zhang, A. Espinosa, K. Iskra, I. Raicu, I. Foster, and M. Wilde, Design and Evaluation of a Collective 10 Model for Loosely Coupled Petascale Programming // Preprint ANL/MCS-P1564-1208, 2008

30. T. Peterka, R. Ross, H. Yu, K.-L. Ma, W. Kendall, and J. Huang, Assessing and Improving Large Scale Parallel Volume Rendering on the IBM Blue Gene/P // Preprint ANL/MCS-P1554-1008, 2008

31. Rama Hoetzlein, Interactive Water Streams with Sphere Scan Conversion // ACM Symposium on Interactive 3D Graphics and Games, 2009.

32. B.JI. Авербух, П.А. Васёв, M.O. Бахтерев, А.Ю. Казанцев, Д.В. Манаков, Т.А. Флягина, Удалённая визуализация для инженерных вычислений // XI Международный семинар Супервычисления и математическое моделирование, 2009, сс. 12-13.

33. Васев П.А., Распределенная виртуальная сцена в онлайн-визуализации // Тезисы 10-го Международного семинара Супервычисления и математическое моделирование, 2008, с. 43-44

34. Т. Peterka, R. В. Ross, H.-W. Shen, K.-L. Ma, W. Kendall, and H. Yu, "Parallel Visualization on Leadership Computing Resources," Preprint ANL/MCS-P1656-0709, July 2009.

35. T. Peterka, R. Ross, H. Yu, K.-L. Ma, W. Kendall, and J. Huang, "Assessing and Improving Large Scale Parallel Volume Rendering on the IBM Blue Gene/P," Preprint ANL/MCS-P1554-1008, October 2008

36. Попов A.M., Андреев В.Ф., Алгоритм построения последовательности адаптивных сеток для эволюционных моделей // Математ. моделирование, т. 11, №6, 1999, сЛ 13-122

37. Popov А.М., V.S.Chan, V.S.Chu, Y.Q.Liu, B.W.Rice and A.D. Turnbull Nonlinear three-dimensional self-consistent simulations of negative central shear discharges in the DIII-D tokamak // Physics of Plasmas, v.8, N8, 2001, pp.3605-3619

38. Averbukh V.L,, The Specialized Systems of Scientific Visualization // AIP Conference Proceedings (ZABABAKHIN SCIENTIFIC TALKS 2005: International Conference on High Energy Density Physics). August 3, 2006. Volume 849, pp. 481-486.

39. B.JI. Авербух, Д.Р. Исмагилов, Свойства метафор визуализации и выбор методов представления данных о функционировании программных комплексов //

40. Параллельные вычислительные технологии (ПаВТ'2009): Труды международной научной конференции (Нижний Новгород, 30 марта 3 апреля 2009 г.), Челябинск: Изд. ЮУрГУ, 2009. Стр. 343-349.

41. Авербух В.Д., К теории компьютерной визуализации // Вычислительные технологии Т. 10, N 4, 2005 , стр 21-51.

42. М.О. Бахтерев, П.А. Васёв, Т.А. Флягина, Веб-интерфейс для системы удалённой визуализации // Параллельные вычислительные технологии (ПаВТ'2009), 2009. Стр. 804.

43. Tom Peterka, Hongfeng Yu, Robert Ross, Kwan-Liu Ma, Parallel Volume Rendering on the IBM Blue Gene/P // pros.conf. Eurographics Symposium on Parallel Graphics and Visualization (2008)

44. Dutra, M., Rodrigues, P., Giraldi, G., Schulze, В.: Distributed visualization using VTK in Grid Environments. Pros. conf. Seventh IEEE International Symposium on Cluster Computing and Grid (CCGrig'07), 2007

45. James Ahrens, Charles Law,Will Schroeder, Ken Martin, Michael Papka, Parallel processing with VTK // Los Alamos National Laboratory Technical Report #LAUR-00-1620, 2000

46. William J. Schroeder, Lisa S. Avila, William Hoffman, Visualizing with VTK: A Tutorial, IEEE Computer Graphics and Applications, September/October 2000, pp. 2027

47. W.J. Schroeder, K.M. Martin, andW.E. Lorensen. The Visualization Toolkit An Object Oriented Approach to 3D Graphics, Prentice Hall, 1996.

48. James Ahrens, Berk Geveci and Charles Law, ParaView: An End-User Tool for Large Data Visualization. In the Visualization Handbook. Edited by C.D. Hansen and C.R. Johnson. Elsevier. 2005

49. K.M. Martin, B. Geveci, J. Ahrens, C. Law, Large Scale Data Visualization Using Parallel Data Streaming. IEEE Computer Graphics & Applications, (July 2001).

50. Kenneth Moreland, Lisa Avila, and Lee Ann Fisk. Parallel Unstructured Volume Rendering in ParaView. In Visualization and Data Analysis 2007, Proceedings of SPIE-IS&T Electronic Imaging, pg. 64950F-1-12, January 2007.

51. AVS/Express Parallel Editionhttp ://www. avs. com/sofitware/softt/paralleledition.html61. Visit User's Manual,https://wci.llnl.g0v/c0des/visit/l .5/VisItUsersManuall. 5.pdf

52. Childs, H., Duchaineau, M., Ma, K.L.: A Scalable, Hybrid Scheme for Volume Rendering Massive Data Sets. Proceedings of Eurographics Symposium on Parallel Graphics and Visualization 2006, Braga, Portugal, 2006

53. Andrew Foulks; R. Daniel Bergeron, Uncertainty visualization in the Visit visualization environment (Proceedings Paper), Proc. SPIE, Vol. 7243, 2009

54. A. Zibarov, D. Babayev, A.A. Mironov, A. Karpov, I. Komarov, P. Konstantinov, Semitransparent voxel graphics realization in the ScientificVR visualization package // Proceedings of PSFVIP-4 June 3-5, 2003, Chamonix, France

55. A.V. Zibarov et al. Modern Visualization Techniques in Scientific VR® Package // The 10th International Symposium on Flow Visualization, August 26-29, 2002, Kyoto, Japan

56. IBM Deep Computing Visualization, IBM United States Announcement 207231, dated October 2, 2007

57. Robert Arenburg, Aaron Bolding, Suzy Deffeyes, Jeanne Sparlin, Installing and Configuring the IBM Deep Computing Visualization Remote Visual Network, 2007

58. J. A. Insley, M. E. Papka, S. Dong, G. Karniadakis, and N. T. Karonis, "Runtime Visualization of the Human Arterial Tree," Preprint ANL/MCS-P1340-0406, October 2006

59. M. Hereld, E. Olson, M. E. Papka, and T. D. Uram, "Streaming Visualization for Collaborative Environments," Preprint ANL/MCS-P1512-0608, June 2008.

60. Фролов А., Семёнов А., Корж А., Эйсымонт JI. Программа создания перспективных суперкомпьютеров // Открытые системы. 2007. №9. 42-51.

61. Слуцкин А., Эйсымонт Л. Российский суперкомпьютер с глобально адресуемой памятью // Открытые системы. 2007. №9. 20-21.

62. Schroeder W., Martin К., Lorensen В., The visualization toolkit: an object-oriented approach to 3D graphics, Kit ware, 2006

63. Philip D. Heermann, Constantine Pavlakos, Desktop Delivery: Access to Large Datasets, The Visualization Handbook, pp.493-510, 2005

64. Constantine Pavlakos, Philip D. Heermann, Issues and Architectures in Large-Scale Data Visualization, The Visualization Handbook, pp.551-568, 2005

65. Charles D. Hansen, Chris R. Johnson, The Visualization Handbook, Elsevier Inc., 2005

66. A. Elder, Т. M. Ruwart, B. D. Allen, A. Bartow, S. E. Anderson, D. H. Porter, The InTENsity PowerWall: A Case Study for a Shared File System Testing Framework, Proc. 17th IEEE Symposium on Mass Storage Systems, March 2000

67. Grant Wallace, Otto J. Anshus, Peng Bi, at all, Tools and Applications for1.rge-Scale Display Walls. To Appear, IEEE Computer Graphics and Applications, July 2005.

68. Averbukh V., Bakhterev М., Baydalin A., Ismagilov D., Trushenkova P., Interface and Visualization Metaphors // J. Jacko (Ed.): Human-Computer Interaction, Part II, HCII 2007, LNCS 4551, Springer-Verlag Berlin Heidelberg 2007, pp. 13-22.

69. David McAllister, Computing Anaglyphs using Least Squares Approximation in CIE Color Space,http://research.csc.ncsu.edu/stereographics/LS.pdf

70. Keith Jack, YCbCr to RGB Considerations ,http ://www. intersil .com/data/an/AN9717.pdf

71. Zeng, B. Wang, Q. Neuvo, Y. , BTC image coding using two-dimensional median filter roots // Circuits and Systems,, IEEE International Sympoisum, vol.1, pp. 400403, 1991

72. Zeng, В.; Neuvo, Y., Interpolative BTC image coding with vector quantization // Communications, IEEE Transactions on Volume 41, Issue 10, Oct. 1993 Page(s):1436 1438

73. Arturo San Emeterio Campos, Run Length Encoding,http ://www. arturocampo s. com/acrle.html

74. Allebach, J. and P. Wong, 1996 "Edge-directed interpolation," Proceedings of International Conference on Image Processing, vol. 3, pp. 707 710

75. Koschan A. and M. Adibi, 2005 "Detection And Classification of Edges in Color Images," IEEE Signal Processing Magazine, vol. 22, pp. 64-73

76. Muresan, D., and T. W. Parks, 2000, "New Image Interpolation Techniques," IEEE 2000 Western New York Image Processing Workshop

77. Muresan, D., and T. W. Parks, 2004, "Adaptively quadratic (AQua) image interpolation," IEEE Transactions on Image Processing, vol. 13, pp. 690 698

78. Quak, E., and L. Schumaker, 1990, "Cubic spline interpolation using data dependent triangulations", Comput. Aided Geom. Design, vol. 7, pp. 293-30192. "Method and apparatus for smoothing jagged edges in a graphics display", John

79. A. Curioni , M. Sprik , W. Andreoni , M. Parrinello et al., J. Am. Chem. Soc., 1997, 119(31): 7218-7229.

80. R. Car, M. Parrinello, Phys. Rev. Lett., 1985, 55, 2471-2474.

81. J. Hutter, A. Curioni, Car-Parrinello Molecular Dynamics on Massively Parallel Computers , Parallel Computing, 2005