автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Разработка архитектуры и методов организации слабосвязанных архивных систем для автоматизации проектирования

Лукьянов Николай Михайлович

Разработка архитектуры и методов организации слабосвязанных архивных систем для автоматизации проектирования

05.13.12 - Системы автоматизации проектирования (приборостроение)

Автореферат

диссертации на соискание учёной степени кандидата технических наук

(1 9 МАЙ 2011

Санкт-Петербург 2011

4847194

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики н оптики.

Научный руководитель: Кандидат технических наук, доцент

Тимченко Борис Дмитриевич

Официальные оппоненты: Доктор технических наук, профессор

Арустамов Сергей Аркадьевич Санкт-Петербургский государственный университет информационных технологий, механики и оптики.

Доктор технических наук, профессор Водяхо Александр Иванович Санкт-Петербургский государственный электротехнический университет.

Ведущая организация: Санкт-Петербургский институт информатики

и автоматизации РАН

Защита состоится 31 мая 2011г. в 15-50 минут на заседании диссертационного совета Д 212.227.05 по адресу: 197101, Санкт-Петербург, Кронверкский пр., д. 49.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета информационных технологий, механики и оптики (национальный исследовательский университет).

Автореферат разослан 29 апреля 2011 г.

Учёный секретарь диссертационного совета Д.212.227.05 В.И. Поляков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Системы автоматизации проектирования составляют широкий и особо важный класс современных информационных систем. В последние десятилетия эти системы достигли акого уровня развития, что проектирование практических во всех областях невозможно 5ез их использования. Тенденции говорят также о все чаще встречающейся аспределенности в выполнении проектных задач и соответствующей организации аботы проектных коллективов.

В таких условиях системы архивного хранения и доставки материалов для их озможного повторного использования и анализа приобретают особое значение. Также 1аблюдается рост требований к архивному хранению, как в части объемов, так и особенностей доставки. Этим и определяется актуальность представляемой работы.

В центре внимания ведущих мировых производителей систем хранения .едиционно находятся средства, приспособленные для хранения транзакционных анных из таких сфер применения, как финансы, управление, связь. Основная масса ешений представляет собой высокопроизводительные системы среднего и высокого асса, которые имеют высокоскоростные каналы связи с серверами и архитектурно . ункционируют в масштабе локальной сети. Это не только высокопроизводительные, но очень дорогостоящие системы. Их применение в сфере обеспечения проектных работ граничено, так как основное их предназначение - работа з центрах обработки данных ЦОД).

Другим типом систем хранения являются системы, работающие вне крупных ЦОД, асто распределенно, при ограниченной полосе пропускания каналов связи. Важнейшим IX качеством является экономическая доступность. Системы этого класса исследованы ораздо меньше, а с учетом постоянного роста требований во всех сферах шформационного обслуживании, в том числе и в автоматизации проектирования, 1еобходимость развития и исследования архитектуры таких систем хранения становится ктуальной.

Целью работы является разработка архитектуры и программная реализация аспределенной системы архивного хранения и доставки файловых данных при граничениях на полосу пропускания каналов связи.

Для достижения данной цели в работе были поставлены и решались следующие адачи:

I. Разработать архитектуру распределенной системы архивного хранения и доставки файловых данных, построенную на слабосвязанных гетерогенных узлах с узкими каналами связи.

2. Предложить и обосновать разделение программной и аппаратной составляющих системы.

3. Разработать метод адаптации системы в части управления, как размещением, так и доставкой контента.

Научная новизна работы.

Разработана архитектура распределенной системы архивного хранения и доставки неструктурированных данных с адаптивными свойствами, способная, в отличие от большинства существующих систем, работать в условиях ограниченных каналов связи.

Разработан программно-аппаратный метод обеспечения естественной масштабируемости распределенной системы хранения и доставки данных с использованием гетерогенных узлов (серверов) начального уровня, который позволяет осуществлять горизонтальное масштабирование системы без остановки или изменения конфигурации.

Разработан программный метод резервирования данных путем их динамического размещения по узлам системы, в которых не используются аппаратные средства резервирования данных.

На защиту выносятся следующие основные результаты:

• Реализация архитектуры распределенной системы архивного хранения данных, позволяющей избежать использования аппаратных средств резервирования и распределения данных в системе;

• Реализация программного метода резервирования данных путем их динамического размещения по узлам системы;

• Авторский метод восстановления данных с отказавших узлов системы без использования в своей работе сервера метаданных;

Использование результатов исследования. Результаты данной работы применяются в информационных системах компании ООО «ТВ КУПОЛ» (Телеканал 100ТВ).

Достоверность положений, выводов и практических рекомендаций

подтверждается экспериментами на работающем прототипе системы, построенном на предложенной архитектуре и алгоритмах.

Методы исследования. Результаты диссертационной работы получены на основе использования методов объектно-ориентированного проектирования и программирования. Использованы модели и методы теории массового обслуживания, математической статистики и теории вероятностей.

Практическая значимость работы заключается в применимости полученных научно-технических результатов при проектировании, разработке и эксплуатации программно-аппаратных решений для Интернет и Интранет систем, реализованных в виде приложений картографии, астрономии, электронных библиотеках, средств автоматизации документирования и безбумажного документооборота.

-4-

Апробация работы. Основные результаты диссертации докладывались на ледующих семинарах и конференциях:

• XXXVII научной я учебно-методической конференции Санкт-Петербургского государственного университета информационных технологий, механики и оптики (Санкт-Петербург, 29 января - 1 февраля 2008 г.), доклад: «Методы построения распределенных хранилищ данных»;

• V Всероссийской межвузовской конференции молодых ученых (Санкт-Петербург, 15-18 апреля 2008 г.), секция "Информационные технологии", доклад «Анализ факторов, влияющих на качественные и количественные показатели функционирования систем распределенного хранения данных»;

• Получен грант на исследование в конкурсе грантов для студентов и аспрантов вузов и академических институтов Санкт-Петербурга Российского государственного гидрометеорологического университета (Санкт-Петербург, 4 мая 2008г.);

• XXXV111 научной и учебно-методической конференции Санкт-Петербургского государственного университета информационных технологий, механики и оптики (Санкт-Петербург, 3-6 февраля 2009 г.), доклад: «Структура и программные средства распределенной системы хранения данных»;

• VI Всероссийской межвузовской конференции молодых ученых (Санкт-Петербург, 14-17 апреля 2009 г.), секция "Информационно-телекоммуникационные системы", доклад «Алгоритмы обработки информационных поток в распределенной системе хранения данных»;

• XXXIX научной и учебно-методической конференции Санкт-Петербургского государственного университета информационных технологий, механики и оптики (Санкт-Петербург, 2-5 февраля 2010 г.), доклад: «Организация сетевого взаимодействия узлов распределенной системы хранения данных»;

• VII Всероссийской межвузовской конференции молодых ученых (Санкт-Петербург, 20-23 апреля 2010 г.), секция "Информационные технологии1', доклад «Принципы организации многоточечного доступа к распределенной системе хранения данных»;

• Многие из предложенных в данной работе решений уже нашли применение в прикладных информационных системах компании ООО «ТВ КУПОЛ» (Телеканал 100ТВ);

Публикации. Результаты диссертации опубликованы в научных работах, список оторых приведён в конце автореферата. В том числе, имеются 5 публикации в научных ериодических изданиях, из них 4 - в соавторстве. В совместных работах автору ринадлежат основные результаты.

Структура и объём диссертации. Диссертация состоит из введения, трёх основных тав, заключения, списка литературы из 53 наименований. Общий объём диссертации оставляет 85 страниц машинописного текста.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении представляется состояние вопроса и приводится краткое описание работы.

Первая глава носит аналитический характер и посвящена рассмотрению и оценке различных архитектурных решений систем хранения файловых данных.

Архитектуры систем хранения файловых данных подразделяются на жесткосвязанные и слабосвязанные системы в зависимости от используемых интерфейсов и протоколов. Жесткосвязанные системы, ориентированные на условия центров обработки данных и высокоскоростные каналы связи, фактически образуют класс иентролизованных систем в составе локальных вычислительных сетей.

Именно такие системы выпускают ведущие производители: ЕМС, предоставляющая полную линейку дорогостоящих жесткосвязанных систем хранения, IBM, HP и некоторые другие. Это наиболее распространенные системы, их выпускают промышленно и используют для задач хранения в высокопроизводительных кластерных системах, грид архитектурах, в бизнес приложениях, крупных базах данных.

Особенность слабосвязанных систем состоит в том, что они предполагают распределенные узлы хранения, обычно связанные низкоскоростными каналами, К слабосвязанным системам относят те, которые ориентированы на использование за границами ЦОД, в частности в Веб сервисах. Фактически это не только системы хранения, но и системы доставки данных. Примерами слабосвязанных систем являются: EMC Atmos, Oracle Lustre, Apache Hadoop и ряд других.

Далее проводится анализ перечисленных выше слабосвязанных систем. Рассматриваются основные сетевые протоколы работы распределенных систем хранения - CIFS, NFS и FTP. На основе анализа и сопоставления этих протоколов обосновывается целесообразность использования самого распространенного протокола для географически распределенных систем - HTTP. Хотя HTTP не является файл-ориентированным протоколом, нами обосновывается целесообразность его использования по соображениям распространенности и реализации в любых гетерогенных системах.

Рассматриваются основные типы архитектуры построения систем хранения: DAS, NAS, SAN, а также приводится их сравнительная характеристика (Табл. 1).

Обсуждается доступность систем, способы резервирования данных, таких как репликация и использование аппаратных средств архитектуры избыточных массивов

кестких магнитных дисков (RAID). Приводятся оценки вероятности безвозвратной ютери данных в результате выхода из строя одного или нескольких накопителей. Табл. 1.Сравнительная характеристика типов подключения систем хранения

Характеристика

Протоколы передачи данных

Скорость передачи Сетевые протоколы

Масштабирование Миграция данных

Экономическая эффективность

SAS (DAS)

SCSI, SSA

! 00-300 МБ/с

SCSI, нет сетевого интерфейса

Ограничено, один сервер

Снижает производительность сервера

Высокая, (на старте)

NAS

C1FS, HTTP, NFS, FTP

I Гб/с на порт

SAN FC, ¡SCSI 4 Гб/с на порт

TCP/IP через Ethernet, Fibre Channel, 1/10 1/10 Gigabit Ethernet Gigabit Ethernet

Среднее, необходим центр координации

Программное резервирование/ восстановление

Средняя

Высокое, по SAN сети

Дублирование данных на аппаратном уровне

Высокая, (при развития)

Согласно данным производителей, а также статистики Google (рис. 1) в системе из 000 накопителей в среднем будет выходить из строя один накопитель в день, вероятность выхода из строя второго накопителя в RAID массиве из 10-ти накопителей ¡удет равна 1/100, т.е. в течение 100 дней может выйти из строя одновременно два ткспителя в массиве, что приведет к полной потере данных.

m

О СО -) «

œ ж

5

»

F â

U- с < ,5 T -

et О

S (M s

3 мес. 6 мес. 1 год 2 года 3 года 4 года 5 лет

Рис. I. Ежегодный процент отказов накопителей (статистика Google)

I Проведенный анализ показывает, что актуально создание базовой архитекгуры слабосвязанных систем хранения, для работы с неструктурированными данными в

условиях ограниченной полосы пропускания. Необходимо создание алгоритмов доступа к данным, учитывающих архитектурные особенности и способы резервирования данных.

В качестве единого протокола взаимодействия, как между внутренними узлами предлагаемой архитектуры, так и на клиентском уровне обоснованно использование протокола HTTP, который, не смотря на его архитектурные ограничения, обеспечивает важнейшее качество в части совместимости архитектуры хранения с клиентскими системами.

Во второй главе разрабатывается архитектура слабосвязанной распределенной системы хранения и доставки данных с учетом выработанных в первой главе требований, обсуждаются ее основные аппаратные и программные компоненты, представляется алгоритм обработки информационных потоков.

На рис. 2 укрупненно представлена предлагаемая архитектура системы хранения и доставки данных LCDS2, названная согласно терминологии, используемой в англоязычной литературе: Loosely Coupled Data Storage and Delivery System (LCDS2). В отличие известных и распространенных аппаратно-программных систем, предлагаемая архитектура в большей мере является программно-аппаратной.

Программная реализация должна обеспечивать не только плавное масштабирование, но и облегчать использование в гетерогенном окружении, то есть с разнородными программными и аппаратными компонентами. Один из факторов этого - использование для передачи данных общедоступного протокола HTTP. Основными элементами LCDS2 являются серверы управления доставкой, серверы метаданных и узлы хранения.

По обсуждавшейся выше классификации предлагаемая архитектура является гибридной и использует составляющие двух разновидностей распределенных систем хранения: параллельных и гибридных с API доступом.

Взаимодействие пользователя с системой происходит через сервер управления доставкой, производящий прием и обработку данных для хранения, а также непосредственно с узлами хранения, предоставляющими данные пользователю. Подчеркивается, что обмен с внешней средой происходит исключительно по протоколу HTTP.

Серверы метаданных содержат базы данных о местоположении и других параметрах файлов. Серверы управления доставкой контента выполняют работу по взаимодействию пользователя с системой хранения при загрузке данных в систему. Узлы хранения, содержащие в себе сами файлы, могут быть совершенно разными гетерогенными системами, что является принципиальным отличием предлагаемой архитектуры от известных решений.

Поскольку на узлах хранения не используются аппаратные средства резервирования, предложена репликация файлов на нескольких узлах хранения в системе. Узлы хранения, содержащие одинаковые файлы, объединяются в группы. При этом группа может

■одержать в себе узлы, находящиеся в разных ЦОД. Такой принцип резервирования [анных будем называть сетевым зеркалированием узлов.

Сервер Метаданных

ЦОД2

Группа 1

Узел Узеп Узел

0 о! 9

21 2 2| 2 N-2

Рис. 2. Архитектура слабосвязанной системы хранения данных

Комплекс — это объединение узлов, соединенных высокоскоростным магистральными каналами (не менее 1 Гбит/с), которые используется для узлов, яаходящих в пределах одного ЦОД. Группы представляют собой объединение узлов хранения, которые содержат идентичные данные, однако могут находиться в разных комплексах системы.

В предлагаемом решении метаданные связываются с единицей хранения - файлом. Отказ от блочного хранения файлов и распределения фрагментов файла по узлам

-9-

системы обеспечивает возможность прямого взаимодействия пользователя с узлами хранения систем. Это исключает дополнительную нагрузку по составлению файла из фрагментов, как это делается в таких системах, как Hadoop и GoogleFS.

Сценарии работы с данными, реализованные в представляемой системе хранения, схематично изображены на рис. 3 в виде модулей. Для обеспечения совместимости работы в различных программных окружениях предлагается реализовать их в виде исполняемых веб сервером набором PHP процедур и функций.

Сервер управления доставкой

Пользователь

Чтение

Запись

Приемник m

Коннектор

Обработчик м

данных ж

Локатор •м J

соединений

Загрузчик с

Сервер метаданных

Обработчик метаданных И

Локатор соединений

Модуль статистики . . ■ С

Приемник #1 fi У

Модуль статистики И

Локатор соединений

Узел хранения

Рис. 3. Программные компоненты распределенной слабосвязанной системы хранения и доставки данных 1X082

Модули подразделяются на следующие типы:

1. Клиентские модули (К) являются сборщиками и обработчиками информации, которая в дальнейшем направляется на сервер метаданных.

2. Серверные модули (С) для своей работы используют данные, полученные от клиентских модулей. В случае сервера управления загрузкой, модуль "Загрузчик" выполняет реплицирование файла пользователя на группу узлоЕ хранения. В случае сервера метаданных, "Модуль статистики" производи-: ранжирование узлов хранения согласно их загруженности и доступности е системе.

3. Обособленные модули (М) для своей работы не требуют клиентской части.

Далее рассматривается вопрос репликации данных, а также обсуждаются разработанные алгоритмы и методы распределения данных в системе. Под репликацией з нашем контексте понимается процесс создания нескольких копий (реплик) одного и того же файла, каждая из которых хранится на отдельном узле хранения. Управление репликами централизовано и происходит через сервер метаданных, что гарантирует целость и непротиворечивость данных.

Принято считать, что репликация является наиболее эффективным решением для обеспечения доступности данных. Это объясняется тем, что при выходе из строя одного устройства хранения, нужные данные можно получить, обратившись к другому устройству, на котором имеется копия требуемого файла.

Таким образом, система оперирует несколькими репликами файлов, причем каждая копия находится на отдельном файловом сервере. Имеется несколько причин для такого решения, главными из которых являются:

• Увеличение доступности за счет наличия независимых копий каждого файла на разных файловых серверах. При отказе одного из них файл остается доступным.

• Возможность распределения нагрузки между несколькими серверами.

При увеличении количества реплик файла, растет доступность и скорость доступа к ним. С другой стороны увеличение числа копий приводит к росту затрат памяти. Так возникает задача управления репликами, решение которой должно снижать необоснованные затраты.

Рекомендуемое число реплик М[ес предлагается рассчитывать, как сумму минимального числа реплик, принимаемого из соображений обеспечения принципа мажоритарности Мтщ и дополнительных реплик.

При расчете дополнительного числа реплик будем исходить из:

• популярности файла Р!? то есть количества обращений к файлу за определенный период времени;

• степени важности файла 1г,

• количества свободного места на носителях Р^

• типа файла Т*.

Соответственно, каждому типу файла присвоен балл, исходя из среднего размера для каждого типа, например: видео - 0, аудио - 1, изображения - 2, текстовые данные - 3. Важность каждого из параметров оценивается в баллах (экспертная оценка) для учета их значимости при вычислении дополнительного количества реплик. Затем находятся весовые коэффициенты исходя из бальных оценок.

Табл. 2. Баллы и весовые коэффициенты для параметров выбора дополнительного

количества реплик

Параметр Балл Wt Весовой коэффициент wk

Популярность файла 4 0.4

Степень важности 2 0.2

Тип файла 2 0.2

Свободное место на дисках 2 0.2

На основе вектора весовых коэффициентов и значений параметров вычисляется рекомендуемое число реплик для i-oro файла:

Р I F Т.

N = N . + N ,, *(w —'—ь м;. -—'-—I-w¿ —'■—\-w —'—)

Jl/ -"mm T add Vn pop p ' "imp , ^ vv free ^ ^ vtype j. >

max шах max max

где Nadd - верхняя граница числа дополнительных реплик, f*max> Imaxj ^maxi Tmüx максимальные значения параметров, a \vpop, Wjmp, Wfree, w№ - их весовые коэффициенты.

Далее в главе предлагается алгоритм выбора узлов хранения для загрузки реплик файла, а также выбор предпочтительного узла для получения файла. Ключевыми в работе Интернет систем, кроме доступности, являются свойства масштабируемости и скорости доставки. Для уменьшения задержек желательно стремиться к равномерной загрузке узлов.

В Интернет распределение нагрузки между серверами обычно реализует на уровне DNS серверов, с использованием дисциплины циклического обслуживания. Эта дисциплина предусматривает возможность круговой передачи IP-адреса любому клиенту от любого сервера, что в конечном итоге равномерно распределяет нагрузку на серверы.

В предлагаемой архитектуре LCDS2 этот механизм нельзя считать достаточно эффективным, поскольку возможности аппаратных компонентов отдельных узлов системы неравнозначны. При этом запросы не могут быть распределены равномерно на все группы узлов системы, так как они не являются взаимозаменяемыми и хранят свой уникальный набор данных.

В процессе работы все узлы хранения периодически сообщают серверу метаданных показатели своей работы. Модуль статистики этих узлов каждые три минуты передает следующие характеристики:

• количество обработанных запросов, q,an

• среднее время обработки запроса, tcp

• загрузку на центральный процессор с момента последнего опроса, an^Vl,

• загрузку канала передачи данных, ака„

• емкость свободного места на дисках, а,:1КК

Большая часть обработки статистических данных производится модулем статистики а сервере метаданных. Обрабатываются показатели серверов за определенный период ремени, например, последние 48 часов. Им присваиваются весовые коэффициенты, с чётом которых далее рассчитывается общин индекс. Весовые коэффициенты, рименяемые в настоящей методике, подбирались экспертным методом и приведены в абл.3.

Табл. 3. Весовые коэффициенты параметров быстродействия

Параметр Весовой коэффициент

Загрузка процессора 0,15

Загрузка канала 0,75

Заполнение диска 0,1

Таким образом, общий рейтинг узла определяется следующим образом: п = * + а«™ * + aöucK * wöucK

По рейтингу составляется упорядоченный список узлов, готовых к приему и рсдоставлению данных пользователю. Используя эту таблицу, сервер метаданных ообщает модулю загрузки на сервере управления доставкой доступные для загрузки руппы узлов хранения. Таким образом, чем меньше рейтинг, тем менее загруженным читается узел.

В третьей главе представляется программная реализация LCDS2, а также рограммный интерфейс DDPI (от англ. Data Delivery Program Interface), на базе которого злы системы обмениваЕОтся данными.

Для построения прототипа системы была выбрана связка из нескольких рограммных компонент, обеспечивающих работу как POSIX, так и Windows систем в редлагаемой архитектуре. Прототип системы используется в области архивного ранения и предоставления видео данных и изображений. На серверах метаданных, ерверах управления доставкой и большинства узлов хранения прототипа используется inux Red Hat 5.0 и PostgreSQL 8.4. Все компоненты прототипа написаны на PHP и сполняются на веб сервере Apache 2.0. Для выполнения специфических нутрисистемных задач используются shell скрипты, например восстановление данных злов в группе по протоколу NFS.

Для обеспечения корректного взаимодействия узлов системы в гетерогенных рограммных окружениях предлагается использовать программный интерфейс DDPI на азе стандартных методов протокола HTTP. С помощью этого интерфейса в системе производится:

• создание, удаление и изменение объектов (файлов)

• передача служебных данных (статистики работы) с узлов хранения на сервер метаданных

• управление узлами хранения сервером метаданных (например, инициирование процесса восстановления данных)

Для доступа к файлам и передачи служебной информации существуют две модели - модель пространства имен и модель объектов соответственно.

Модель пространства имен уровня пользователя - наиболее распространенная в области разработки файловых систем. В ней объект представляется как URI с указанием каталогов и подкаталогов, а также именем файла, например:

node34. domain. nawe/»pi//;/e5/folderl/subfolder2/0df3axvkmsdfks54.doc В этом примере URI состоит из:

1. DNS имени одного из узлов хранения в группе, которое может меняться в зависимости от загруженности узлов. Это динамически меняющаяся переменная. Для каждой реплики файла, хранящейся в системе, существует еще несколько URI с другими DNS именами узлов, например nodel l.domain.name и node3 2 .domain.name.

2. конструкции npi/files, которая указывает на то, что обращение к узлу хранения происходить к файловому пространству.

3. пути к файлу в файловой системе хранения данных на этом узле

4. уникального мета имени файла, которое отличается от его оригинального имени.

Модель объектов используется для передачи команд и служебных данных между узлами. Примерами UR1 может служить обращение к серверу метаданных одного из узлов хранения, чтобы загрузить данные статистики своей работы:

mdsQl. domain, пате/upi/crnd/node/putinfo/ fsnode_fgklszersdpkqo3zcmbqpckvwskce_0401

В этом примере URI состоит из:

1. DNS имени сервера метаданных, на который происходит обращение

2. конструкции upi/cmd, которая указывает на то, что обращение будет происходить к некоторому объекту

3. конструкции node/putinfo, которая указывает на то, что вызывается команда загрузки статистических данных узла хранения

4. уникального идентификатора узла хранения

В случае использования модели объектов при обращении по DDPI важно использовать уникальные идентификаторы узлов, а не их DNS имена, поскольку в процессе динамических изменений конфигурации системы хранения, добавления и удаления узлов хранения DNS имена не могут однозначно определить уникальность узлов.

Во второй части главы обсуждается поведение системы в случае потери аботоспособности ее узлов, например, выхода из строя дисковых накопителей или отери сетевого соединения.

Группа узлов может находиться в одном из состояний, которое определяется эстоянием узлов внутри самой группы и правилами, регулирующими количество еплик:

• нормальное - в группе присутствует необходимое количество зеркалированных узлов;

• деградированное - и группе недостаточное количество зеркалированных узлов;

• избыточное - количество узлов в группе больше минимального, необходимого для обеспечения принципа мажоритарности.

Сервер метаданных

Пользователь

<4 4

: Обработчик |28|]::; I метаданных |§ьйи:

ЖШ1

11 Локатор Щ ';| соединений

Ж

©

Модуль статистики

Менеджер копий

®

0/

Приемник

Модуль К

статистики

Локатор

соединении

¡©

Узел хранения (группа X)

со и_

з:

;

Менеджер копий к;

Модуль статистики Ш

Локатор ШН соединений яД}

Резервйый узел хранения

Менеджер копий К

Модуль статистики К

Локатор соединений

Узел хранения(группа X) Рис. 4. Процесс работы системы по восстановлению данных узла хранения

Вопросам перевода узла из нормального состояния в избыточное занимается модуль статистики и обработчик метаданных на сервере метаданных. Такая операция может понадобиться в случае необходимости увеличения числа реплик файла для повышения его доступности и распределения нагрузки за счет увеличения числа узлов в группе.

Работа группы в деградированном состоянии - нештатная ситуация. Контролем процесса восстановления данных узлов занимается модуль статистики, обработчик метаданных, а также менеджер копий на сервере метаданных.

Процесс восстановления данных одного из узлов хранения показан на рис. 4. Группа X представлена тремя узлами: nodel_2.domain.name, nodel_8.domain.name и nodel_6.domain.name. Эти узлы расположены в одном ЦОД, имеют высокоскоростное внутреннее соединение (1 Гбит/с) и находятся в состоянии нормального функционирования в группе, то есть на этих узлах возможны операции чтения, записи и удаления файлов.

В тот момент, когда один из узлов группы (nodel_6) прекращает сообщать данные о параметрах своей работы на сервер метаданных (пункт 1 на рис. 4), обработчик метаданных исключает узел nodel_6 из таблицы активных узлов (пункт 2). Группа X начинает функционировать в деградированном состоянии, а узлы хранения переводятся в режим ограниченного функционирования, когда разрешено чтение и удаление, но запрещена запись на узлы.

В случае отсутствия данных от узла более чем 60 минут, из горячего резерва в группу вводится новый, запасной узел хранения nodel_7 (пункт 3). Затем инициируется автономный процесс восстановления данных на узел nodel_7 путем прямого копирования данных с работоспособного узла группы nodel_8 по протоколу NFS (пункт

4).

За счет архитектурного решения восстановление узла происходит без использования сервера метаданных. Происходит лишь начальное извлечение данных об узлах, но не о файлах, располагающихся на этих узлах. Копирование происходит по внутреннему высокоскоростному соединению, поскольку узлы находятся в пределах одного ЦОД.

После завершения копирования данных новый узел nodel_7 сообщает серверу метаданных о своем нормальном функционировании (пункт 5,6). Сервер метаданных модифицирует DNS запись резервного узла nodel_7 на DNS запись потерянного узла nodel_6.

Таким образом, весь процесс восстановления данных узлов происходит с минимальным изменением метаданных, то есть в этом процессе в минимальном объеме используются ресурсы сервера метаданных. Это в свою очередь положительно сказывается на производительности всей системы в целом.

-16-

Тип Объем дисков, МБ Кол-во дисков, шт. Уровен ь RAID Пропускная способность NAS, МБ/с Нормированное время, ч

SAS 300 4 5 109 7,8

SATA 1500 4 5 94 10,5

Узел хранения 1500 1 нет 81 20,8

1500 2 0 97 18,2.

Время восстановления данных на узлах системы с помощью авторского алгоритма эШо проверено экспериментально. В табл. 4 полученное время сравнивается со земенем восстановления данных в традиционных аппаратных RAID системах, озросшее время восстановления данных по предлагаемому нами методу является латой за исключение возможности катастрофического отказа и полной потери данных, го может произойти в первых двух случаях в традиционных RAID системах. Мы 1Итаем это важным качеством предлагаемого решения.

больше уменьшает скорость выгрузки данных из группы. Однако при этом до сих по соблюдается принцип мажоритарное™, поскольку данные все еще зеркалируются. Заключение содержит краткое описание полученных результатов. В библиографическом разделе приведены источники, использованные автором п тематике диссертации, как в печатном, так и в электронном виде.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В настоящей диссертационной работе предложена и исследована архитектура и программная реализация распределенной системы архивного хранения и доставки файловых данных, состоящая из гетерогенных узлов с узкими каналами связи.

Основные результаты состоят в следующем:

1. Разработана архитектура распределенной системы архивного хранения данных, удовлетворяющая сформулированным требованиям и реализующая, в отличие от большинства коммерческих систем, практически неограниченное, плавное масштабирование, а также возможность использования гетерогенных, экономически доступных аппаратных компонент (серверов нижнего уровня или достаточно мощных рабочих станций). Это свойство обеспечивает улучшенные экономические характеристики систем архивного хранения.

2. На прототипе подтверждена работоспособность предложенного разделения программных и аппаратных компонент.

3. Разработан программный метод адаптации системы в части управления, как размещением, так и доставкой контента, повышающий скорость доставки и снижающий затраты архивной памяти.

4. Предложен авторский алгоритм управления количеством реплик, обеспечивающий достижение требуемой доступности хранимых данных.

5. Разработан программный метод восстановления данных с отказавших узлов системы с помощью сетевого реплицирования данных, исключающий безвозвратную потерю данных.

6. Реализована и эксплуатируется распределенная система хранения файлового контента в области архивного хранения и представления видеоданных. Эксплуатация системы подтвердила выполнение основных требований к системам архивного хранения данного типа:

• плавное расширение и соответствующее снижение единовременных капитальных затрат;

• сохранение работоспособности системы при отказах узлов;

s

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Лукьянов Н.М., Дергачев A.M. Организация сетевого взаимодействия узло распределенной системы хранения данных // Научно-технический вестни СПбГУ ИТМО №02(72). -2011. - 137-141 с.

2. Лукьянов Н.М., Кириллов В.В. Анализ факторов, влияющих на качественны и количественные показатели функционирования систем распределенног хранения данных // Научно-технический вестник СПбГУ ИТМО №56. - 2008 -9-17 с.

3. Лукьянов Н.М., Дергачев A.M. Ложные вычислительные системы дл исследования и отвлечения атак // Научно-технический вестник СПбГУ ИТМ( №45.-2007.-32-39 с.

4. Лукьянов Н.М. Принципы организации многоточечного доступа распределенной системе хранения данных // Сборник тезисов докладо конференции молодых ученых, Выпуск 1.Труды молодых ученых СПбГ ИТМО - 2010. - 17-18 с.

5. Лукьянов Ы.М., Дергачев A.A. "Алгоритмы обработки информационны потоков в распределенной системе хранения данных" // Сборник тезисо докладов конференции молодых ученых, Выпуск 4.Труды молодых учены СПбГУ ИТМО - 2009. - 217-223 с.

Тиражирование и брошюровка выполнены в учреждении "Университетские телекоммуникации".

197101, Санкт-Петербург, Саблинская ул., 14. Тел. (812) 233 4669. Объем 1,0у.п.л. Тираж 100 экз.

ВВЕДЕНИЕ.

Глава 1. СИСТЕМЫ АРХИВНОГО ХРАНЕНИЯ И ДОСТАВКИ ФАЙЛОВЫХ ДАННЫХ.

1.1. Место систем архивного хранения в автоматизации проектирования.

1.2. Классификация систем хранения данных.

1.3. Организация доставки данных и основные протоколы.

1.4. Проблемы архивных систем.

1.5. Слабосвязанные системы хранения данных.

1.5.1. Параллельные системы.

1.5.2. Гибридные системы.

1.5.3. СХД ЕМС АШюб.

1.6. Организация доступа к системам хранения.

1.7. Обеспечение доступности.

1.8. Выводы.

Глава 2. РАЗРАБОТКА АРХИТЕКТУРЫ СИСТЕМЫ АРХИВНОГО ХРАНЕНИЯ ДАННЫХ.

2.1. Предпосылки и требования для разработки архитектуры.

2.2. Структурно-функциональная организация системы хранения ЬС082.

2.2.1. Сервер управления доставкой.

2.2.2. Сервер метаданных.

2.2.3. Узел хранения.

2.2.4. Модуль статистики.

2.3. Репликация данных.

2.4. Модель данных.

2.5. Балансировка нагрузки на узлы.

2.6. Восстановление данных.

2.7. Соответствие теореме САР.

2.8. Выводы.

Глава 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ ЬСББг.

3.1. Базовое системное программное обеспечение.

3.2. Универсальный программный интерфейс.

3.3. Запросы чтения/записи.

3.4. Организация эксперимента.

3.5. Анализ результатов эксперимента и выводы.

Системы автоматизации проектирования составляют широкий и особо важный класс современных информационных систем. В последние десятилетия эти системы достигли такого уровня развития, что проектирование практических во всех областях невозможно без их использования [1]. Системы автоматизированного проектирования теперь используются не только в конструировании трехмерном моделировании, но и во многих других областях, например программировании.

Все чаще проектирование становится распределенным, что влечет за собой соответствующую организацию работы проектных коллективов с проектными данными на всех стадиях разработки. Возможность работы в распределенной среде стала важным критерием при выборе систем автоматизации.

Общим свойством для САПР систем является то, что они продуцируют большие объемы данных, в особенности файлового типа. Мы фокусируем внимание не на подсистемах справочников и баз данных, а на хранении неструктурированных данных, которые являются основным по объему объектом архивного хранения.

В таких условиях системы архивного хранения и доставки проектных материалов для их возможного повторного использования и анализа приобретают особое значение. В целом в последние годы отмечается экспоненциальный рост объемов сохраняемых неструктурированных данных [2]. Нужно также отметить, что долгое время основное внимание уделялось хранению структурированных данных в базах. Архивные системы развивались исключительно в направлении организации хранения редко используемых данных, что и определяется самим термином - архивирования данных. Во многих сферах применения файловые системы хранения серьезного развития не получали, хотя использование файловых серверов является повсеместным. Увеличение объемов ставит задачу организации хранения неструктурированных данных на новый уровень, дополняя функцию хранения необходимостью иметь и средства доставки данных. Отрасль в целом только начинает предлагать коммерческие системы такого типа и имеется очень много архитектурных вопросов, нуждающихся в обосновании [3]. Этим и определяется актуальность представляемой работы.

Развитие систем хранения выявило два основных их класса: системы прямого серверного подключения в формате дисковых массивов различного уровня и системы на специальном аппаратно-программном обеспечении корпоративного применения [4]. В центре внимания ведущих мировых производителей систем хранения традиционно находятся средства, приспособленные для хранения транзакционных данных из таких сфер применения, как финансы, управление, связь. Основная масса решений представляет собой высокопроизводительные системы среднего и высокого класса, которые имеют высокоскоростные каналы связи с серверами и функционируют в масштабе локальной сети [5]. Такие системы называют ■"жесткосвязанными", имея ввиду связь систем хранения с серверами. Это не только высокопроизводительные, но и очень дорогостоящие системы. Их применение в сфере обеспечения проектных работ ограничено, так как основное их назначение - работа в центрах обработки данных (ЦОД).

Другим типом систем хранения являются системы, работающие вне крупных ЦОД, часто распределенно, при ограниченной полосе пропускания каналов связи. Такие системы мы называем "слабосвязанными". Важнейшим требованием к таким системам является экономическая доступность, которая может достигаться только при использовании доступных аппаратных компонентов и открытого программного обеспечения.

Однако работа над этим типом систем идет менее интенсивно. Имеются лишь отдельные, мало исследованные и ограниченно документированные решения. Наряду с открытыми существуют и коммерческие проекты систем такого типа. В 2009 г. решение признанного лидера в системах хранения — компании EMC Centera Virtual Archive 1.0, было заявлено как система уровня выше локальных сетей и практически неограниченного масштабирования [3]. Это решение основано полностью на аппаратно-программном обеспечении ЕМС и предполагает шокирующие капитальные затраты и достаточно высокую удельную стоимость владения, что не позволяет использовать его на малых или средних предприятиях.

Слабосвязанные системы исследованы гораздо меньше, а с учетом постоянного роста требований во всех сферах информационного обслуживании, в том числе и в автоматизации проектирования, необходимость развития и исследования архитектуры таких систем хранения становится актуальной.

Исследованию данного класса систем хранения, разработке базовой архитектуры системы архивного хранения и доставки неструктурированных данных и ее программной реализации посвящена настоящая работа. Специфические особенности, конкретизирующие наш предмет, выражаются: в распределенности уровня выше локальной сети, ориентации на доступные и неоднородные аппаратные средства, узкие каналы связи, регулировании нагрузки при доставке данных и гибкое горизонтальное масштабирование. В совокупности реализация этих требований должна обеспечить приемлемые экономические параметры таких систем.

Целью работы является разработка архитектуры и программная реализация распределенной системы архивного хранения и доставки файловых данных при ограничениях на полосу пропускания каналов связи.

Для достижения данной цели в работе были поставлены и решались следующие задачи:

1. Разработать архитектуру распределенной системы архивного хранения и доставки файловых данных, построенную на слабосвязанных гетерогенных узлах с узкими каналами связи.

2. Предложить и обосновать разделение программной и аппаратной составляющих системы.

3. Разработать метод адаптации системы в части управления, как размещением, так и доставкой контента.

Первая глава работы посвящается общему рассмотрению систем хранения и архивных систем, которые используются в САПР системах, в результате которого разрабатываемая архитектура позиционируется среди функционально и архитектурно различных известных решений. Материал главы имеет сравнительно-аналитический характер и служит целям обоснования последующих предлагаемых решений.

Во второй главе работы предлагается к рассмотрению архитектура разрабатываемой системы хранения LCDS2, которая характеризуется слабой связанностью узлов. Подробно рассматриваются основные компоненты системы, их назначение, функциональность и принципы работы. Предложенные архитектурные и программные решения удовлетворили ранее сформулированным требованиям. Предлагается подход программного резервирования данных путем их динамического реплицирования по узлам системы, который позволяет избежать использования аппаратных средств резервирования. Это в свою очередь позволяет охватить широкий круг различных программно-аппаратных платформ, которые возможно использовать для развертывания предлагаемой системы хранения данных.

В третьей главе рассматривается вопрос реализации системы хранения со слабосвязанными узлами в форме прототипа. Предлагается программный интерфейс DDPI, основанный на протоколе HTTP, как наиболее распространенном в Интранет и Интернет среде. Представляются результаты испытания системы восстановления данных, основанной на репликации узлов хранения.

Научная новизна работы.

Разработана архитектура распределенной системы хранения и доставки неструктурированных данных с адаптивными свойствами, способная работать в условиях ограниченных каналов связи.

Разработан метод обеспечения естественной масштабируемости распределенной системы хранения и доставки данных программно-аппаратного типа с использованием гетерогенных аппаратных узлов (серверов) начального уровня, который позволяет осуществлять горизонтальное масштабирование системы без остановки или изменения конфигурации.

Разработан программный метод резервирования данных путем их динамического размещения по узлам системы, в которых не используются аппаратные средства резервирования данных.

Основные результаты состоят в следующем:

1. Разработана архитектура распределенной системы архивного хранения данных, удовлетворяющая сформулированным требованиям и реализующая, в отличие от большинства коммерческих систем, практически неограниченное, плавное масштабирование, а также возможность использования гетерогенных, экономически доступных аппаратных компонент (серверов нижнего уровня или достаточно мощных рабочих станций). Это свойство обеспечивает улучшенные экономические характеристики систем архивного хранения.

2. На прототипе подтверждена работоспособность предложенного разделения программных и аппаратных компонент.

3. Разработан программный метод адаптации системы в части управления, как размещением, так и доставкой контента, повышающий скорость доставки и снижающий затраты архивной памяти.

4. Предложен авторский алгоритм управления количеством реплик, обеспечивающий достижение требуемой доступности хранимых данных.

5. Разработан программный метод восстановления данных с отказавших узлов системы с помощью сетевого реплицирования данных, исключающий безвозвратную потерю данных.

6. Реализована и эксплуатируется распределенная система хранения файлового контента в области архивного хранения и представления видеоданных. Эксплуатация системы подтвердила выполнение основных требований к системам архивного хранения данного типа: плавное расширение и соответствующее снижение единовременных капитальных затрат; сохранение работоспособности системы при отказах узлов;

ЗАКЛЮЧЕНИЕ

При выполнении диссертационной работы была предложена и исследована архитектура и программная реализация распределенной системы архивного хранения и доставки файловых данных, состоящая из гетерогенных узлов с узкими каналами связи.

1. Зыков О. Промышленная автоматизация: движение от САПР к PLM // Журнал IT News. — 2005. — №5 (30). — http://www.ict.edu.ru/ft/004645/itnews2005030805.pdf.

2. Gartner Technology Trends You Can't Afford to Ignore Электронный ресурс. [Сайт]. [2010].http://www.gartner.com/it/content/1258400/1258425/january6techtrendsr paquet.pdf.

3. EMC Corp EMC Centera Virtual Archive 1.0 Detailed Review Электронный ресурс. [Сайт]. [2010].http://www.emc.com/collateral/software/white-papers/h7062-centera-virtual-archive-wp.pdf.

4. Основы хранения данных почему важно обеспечить надежность ИТ-инфраструктуры Fujitsu-Siemens Электронный ресурс. [Сайт]. [2011 г]. http://ru.fujitsu.com.

5. Red Hat Enterprise Linux 5 Оптимальное решение для финансовых организаций Электронный ресурс. [Сайт]. [2007]. http://www.redhat.com.

6. Норенков И. П. Основы автоматизированного проектирования. — М : МГТУ им. Баумана, 2002. 333 с.

7. G. Held A practical guide to content delivery networks // CRC Press, 2010

8. Банковский В. Создаем распределенныую сеть доставки контента // Журнал Системный администратор. — 2008. — №2.

9. Танненбаум Э. Современные операционные системы. 2-е изд. — СПб : Питер, 2002.- 1040 с.

10. Postel J. RFC959 File Transfer Protocol. // Стандарт RFC Электронный ресурс. [Сайт]. [1985]. —http://tools.ietf.org/html/rfc959.

11. Качуров В. Современные распределенные файловые системы для Linux: Основные сведения // Журнал Компьютера. — 2002. — №9.

12. Артемов С. и Гришунин М. Виртуальные ленточные библиотеки: мифы и реальность // Электронный журнал Сетевые решения. — 2008. —12. — http://www.nestor.minsk.by/sr/2008/! 2/sr81213 .html.

13. Lustre 1.6. Manual // Инструкция пользователя Электронный ресурс. [Сайт]. [2007].http://manual.lustre.org/manual/LustreManual 16HTML/TOC.html.

14. Гаврилюк А. и Алексеев В. Сетевые журнальные файловые системы на основе серверов реляционных баз данных // Институт Программных Систем НАНУ (Киев). 2005.

15. Ghemawat Sanjay, Gobioff Howard и Leun Shun-Tak The Google File System. // Google : SOSP. 2003.

16. Dean Jeffrey и Ghemawat Sanjay MapReduce: Simplifed Data Processing on Large Clusters // Google: OSDI. 2004.

17. White Tom Hadoop: The Definitive Guide. // O'Reilly. Электронный ресурс. [Сайт]. [2009]. http://www.oreilly.com.

18. Atmos Hardware Guide // EMC Support Center Электронный ресурс. [Сайт]. [2010]. http://community.emc.com.

19. McGaughey Katryn EMC Extends Leadership with New Cloud Storage Service and Information Management Offerings. Электронный ресурс. [Сайт]. [2009]. http://community.emc.com.

20. Sacks David IBM Demystifying Storage Networking. Электронный ресурс. [Сайт]. [2001]. http://www03.ibm.com/industries/ca/en/education/kl2/technical/whitepapers/storagenet working.pdf.

21. Alabi Duran NAS, DAS or SAN? Choosing the Right Storage Technology for Your Organization // StorageSearch.com. Электронный ресурс. [Сайт]. [2004]. http://www.storagesearch.com/xtore-artl.html.

22. Singer Wolfgang NAS and iSCSI Technology Overview // SNIA. Электронный ресурс. [Сайт]. [2009].http://www.snia.org/education/tutorials/2009/fall/networking/WolfgangSinge rNASISCSITechnologyOverview.pdf.

23. Танненбаум Э. и Ван Стеен М. Распределенные системы. Принципы и парадигмы. — СПб : Питер, 2003. 302 с.

24. Шнитман В. Аппаратно-программные платформы корпоративных систем // Центр Информационных Технологий. Электронный ресурс. [Сайт]. [2010]. http://citforum.ru/hardware/appkis/contents.shtml.

25. Persson Jimmy и Evertsson Gustav RAID Systems // Blekinge Institute of Technology : Sweden, 2002

26. RAID // Энциклопедия Wikipedia. Электронный ресурс. [Сайт]. [2011]. http://en.wikipedia.org/wiki/Redundantarrayofindependentdisks.

27. Николов А. Кластерные системы высокой готовности // Журнал ВУТЕ:Россия. — 2005. — №5.

28. Hammonds К.Н. How Google Grows and Grows and Grows // Журнал FastCompany. Электронный ресурс. [Сайт]. [2003]. http://www.fastcompany.com/magazine/69/google.html.

29. Фильчаков А. Кластеры и кластеризация // Журнал КомпьютерПресс. — 2000.—№10.

30. Hanson J. Jeffrey An introduction to the Hadoop Distributed File System // IBM. Электронный ресурс. [Сайт]. [2011].http://www.ibm.com/developerworks/web/library/wa-introhdfs/?ca=drs-.

31. Кормен Т. Алгоритмы: построение и анализ, 2-е изд. — М : Вильяме, 2005. 1296 с.

32. Колисниченко Д. РНР 5/6 и MySQL 6. Разработка Web-приложений. — СПб :БХВ, 2010.-528 с.

33. Bauer Lujo Mechanisms for secure modular programming in Java // Software Practice and Experience. Электронный ресурс. [Сайт]. [2003]. http://www.ece.cmu.edu/~lbauer/papers/jms-spe03.pdf.

34. Вахалия Ю. UNIX изнутри. — СПб : Питер, 2003. 848 с.

35. Гарсия-Молина Гектор и Ульман Джеффри Системы баз данных. Полный курс. — М : Вильяме, 2004. 1055 с.

36. Олифер В. и Олифер Н. А. Сетевые операционные системы. — СПб : Питер, 2003.

37. Шрамм Оптимальное использование ресурсов памяти // Журнал сетевых решений. — 2011. — №3.

38. Дейт К. Введение в системы баз данных. — СПб : Вильяме, 2000. 848 с.

39. Salchow Ken Load Balancing 101 : Nuts and Bolts // F5. . Электронный ресурс. [Сайт]. [2007]. http://www.f5.com/pdf/white-papers/Ioad-balancing 101 wp .pdf.

40. Yokota H. A proposal of DNS-based adaptive load balancing method for mirror server systems and its implementation // Advanced Information Networking and Applications. Электронный ресурс. [Сайт]. [2004]. ieeexplore.ieee.org/iel5/9028/28653/01283788.pdf.

41. Waizumi Yuji Dynamic Mirror Server Selection Method with Consideration about Congestion of Link // Transactions of Information Processing Society of Japan. — 2004 — №45.

42. Brewer Eric Towards robust distributed systems // Principales of Distributed Computing. Электронный ресурс. [Сайт]. [2000].http ://guide. couchdb. org/draft/consistency .html.

43. Programming Community Index // TIOBE. Электронный ресурс. [Сайт]. [2010]. http://www.tiobe.com/index.php/content/paperinfo/tpci/index.html.

44. Таненбаум Э. и Вудхалл А. Операционные системы. Разработка и реализация. — СПб : Питер, 2007. 704 с.

45. Публикации и научно-исследовательскиеработы автора

46. Лукьянов Н.М., Дергачев A.M. Организация сетевого взаимодействия узлов распределенной системы хранения данных // Научно-технический вестник СПбГУ ИТМО №02(72). 2011. - 137-141 с.

47. Лукьянов Н.М., Кириллов В.В. Анализ факторов, влияющих на качественные и количественные показатели функционирования систем распределенного хранения данных // Научно-технический вестник СПбГУ ИТМО №56. 2008. - 9-17 с.

48. Лукьянов Н.М., Дергачев A.M. Ложные вычислительные системы для исследования и отвлечения атак // Научно-технический вестник СПбГУ ИТМО №45. 2007. - 32-39 с.

49. Лукьянов Н.М. Принципы организации многоточечного доступа к распределенной системе хранения данных // Сборник тезисов докладов конференции молодых ученых, Выпуск 1.Труды молодых ученых СПбГУ ИТМО 2010. - 17-18 с.

50. Лукьянов Н.М., Дергачев A.A. "Алгоритмы обработки информационных потоков в распределенной системе хранения данных" // Сборник тезисов докладов конференции молодых ученых, Выпуск 4.Труды молодых ученых СПбГУ ИТМО 2009. - 217-223 с.