автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Модели и алгоритмы оценивания оперативности распределенной обработки данных в узлах информационных систем с учетом временных затрат на актуализацию контекста

На правах рукописи

ГИНДИН СЕРГЕЙ ИГОРЕВИЧ

МОДЕЛИ И АЛГОРИТМЫ ОЦЕНИВАНИЯ ОПЕРАТИВНОСТИ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ В УЗЛАХ ИНФОРМАЦИОННЫХ СИСТЕМ С УЧЕТОМ ВРЕМЕННЫХ ЗАТРАТ НА АКТУАЛИЗАЦИЮ КОНТЕКСТА

Специальность 05.13.18 - «Математическое моделирование, численные методы и комплексы программ»

Автореферат диссертации на соискание ученой степени кандидата технических наук

У СК Г 2014

Санкт-Петербург 2014

005553165

Работа выполнена в Федеральном государственном бюджетном

образовательном учреждении высшего профессионального образования

«Петербургский государственный университет путей сообщения Императора Александра I» (ФГБОУ ВПО ПГУПС)

Научный руководитель: доктор технических наук, профессор

Хомоненко Анатолий Дмитриевич

Официальные оппоненты: доктор технических наук, профессор

Таранцев Александр Алексеевич заведующий лабораторией №2, ФГБУН «Институт проблем транспорта им.Н.С. Соломенко»

доктор технических наук, профессор Алиев Тауфик Измаилович заведующий кафедрой вычислительной техники, ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

Ведущая организация: ФГАНУ «ЦНИИ робототехники

и технической кибернетики»

Защита диссертации состоится «18» ноября 2014 г. в 15 час. 30 мин. на заседании диссертационного совета Д 218.008.06 на базе ФГБОУ ВПО «Петербургский государственный университет путей сообщения Императора Александра I» по адресу: 190031, г. Санкт-Петербург, Московский пр., д. 9, ауд. 1-217.

С диссертацией можно ознакомиться в библиотеке и на сайте ФГБОУ ВПО ПГУПС (www.pgups.ru), на сайте Минобрнауки России (www.vak.ed.gov.ru).

Автореферат разослан «18» сентября 2014 г.

Отзыв на автореферат в 2-х экземплярах, заверенный печатью, просьба направлять в адрес диссертационного совета университета. Ученый секретарь диссертационного совета кандидат технических наук,

профессор Кудряшов Владимир Александрович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность исследования. Отличительной чертой современных информационных систем (ИС) является устойчивая тенденция перехода к системам, основанным на принципах распределенной обработки данных. При применении распределенных ИС в вычислениях на первый план выступают такие аспекты, как оперативность функционирования распределенной среды обработки данных, ограничения пропускной способности сети и защита данных, передаваемых между компонентами распределенной системы. Эти факторы способны серьезно повлиять на эффективное использование вычислительных ресурсов, являющееся на сегодняшний день наиболее значительным преимуществом распределенных ИС.

Оценивание оперативности функционирования системы позволяет определять количество ресурсов, которое потребуется для того или иного вычислительного процесса. Наличие таких данных, в свою очередь, позволяет повысить точность прогнозирования стоимости работы системы, связанной с распределенными вычислениями.

Под вычислительным контекстом понимается набор информации, необходимый системе для выполнения текущей задачи. Как правило, ИС поддерживает в своей области оперативной памяти одновременно контексты многих задач, что позволяет системе переключаться между различными задачами, приостанавливать и возобновлять выполнение задач с прерванного места.

В случае распределенных ИС вычислительные контексты хранятся независимо в различных частях системы, копии одних и тех же данных многократно растиражированы в локальных контекстах узлов. В ходе вычислительного процесса используемые данные могут изменяться на выделенном узле или части распределенной ИС. Для обеспечения

слаженной работы всей распределенной системы в данных условиях требуется в случае изменений в одной копии данных обеспечить актуализацию контекста во всей системе — соответствующее изменение контекстов остальных компонентов и связанных систем. Данная операция как правило, требует дополнительных временных затрат при каждой актуализации контекста.

Таким образом, для распределенных систем существует проблемная ситуация: необходимость организации управления вычислительными ресурсами ИС при несовершенстве современных методов учета влияния временных затрат по актуализации контекста на оперативность вычислительных процессов.

Для решения указанных задач могут быть использованы средства математического моделирования функционирования распределенных ИС. В работах Кудашева Е.Б., Мулюхи В.А., Федотова A.M., Филонова А.Н., Швецова А.Н., Шокина Ю.И., Яковлева В.В., Яковлева С.А. выполнен анализ принципов построения распределенных ИС. Работы Бубнова В.П., Вишневского В.М., Грассмана В., Дудина А.Н., Жожикашвили В.А., Колахи С., Крейнина А.Я., Латуша Г., Рыжикова Ю.И., Сафонова В.И., Таранцева A.A., Тырвы A.B., Хомоненко А.Д., Эбата Дж. посвящены подходам к моделированию, исследованию и расчету характеристик для моделей, применимых для распределенных ИС. Существующие модели обладают рядом недостатков, ограничивающих их использование для решения поставленных задач:

• при моделировании распределенных систем не учитываются дополнительные временные затраты на актуализацию контекста, которые на практике значительно влияют на показатели оперативности;

• модели не обладают общностью, поскольку строятся на основе определенных реализаций систем распределенных вычислений;

• результаты моделирования трудно использовать при практическом прогнозировании характеристик оперативности, поскольку результаты сильно зависят от типичных наборов задач, характерных для рассматриваемой распределенной системы;

Указанные обстоятельства определяют актуальность исследуемой в диссертации научной задачи: оценивания оперативности обработки данных в узлах распределенных информационных систем с учетом дополнительных временных затрат на актуализацию контекста.

Объект исследования: узлы систем распределенной обработки данных.

Предмет исследования: модели и алгоритмы оценивания оперативности функционирования систем распределенной обработки данных.

Цель исследования: повышение точности расчета характеристик оперативности распределенной обработки данных в узлах информационных систем с учетом дополнительных временных затрат на актуализацию контекста («разогрев»).

Задачи исследования:

• проведение анализа современного состояния исследований в области оценивания оперативности функционирования систем распределенной обработки данных;

• разработка моделей многоканальных немарковских систем массового обслуживания (СМО) с «разогревом», обеспечивающих возможность учета дополнительных временных затрат при оценивании оперативности функционирования узлов в информационных системах распределенной обработки данных;

з

• разработка численного метода расчета вероятностно-временных характеристик многоканальных немарковских систем массового обслуживания с «разогревом»;

• разработка программного комплекса расчета характеристик оперативности для разработанного класса многоканальных моделей систем массового обслуживания;

• разработка методики оценки вероятностно-временных характеристик оперативности функционирования узлов систем распределенной обработки данных;

• анализ характеристик оперативности функционирования узлов систем распределенной обработки данных на примере распределенной автоматизированной системы управления финансами; оценка эффективности решения.

Основным методом исследования является математическое моделирование с использованием теории массового обслуживания, теории графов, математической статистики, теории вероятностей, теории дифференциальных уравнений. Научная новизна

1. Разработанные математические модели оценивания оперативности обработки данных в узлах информационных систем на основе многоканальных немарковских систем массового обслуживания с «разогревом» обеспечивают возможность учета дополнительных временных затрат на актуализацию контекста.

2. Разработанная модификация общего итерационного метода Такахаши-Таками позволяет рассчитывать вероятностно-временные характеристики многоканальных немарковских систем массового обслуживания с «разогревом» на основе двухфазной гиперэкспоненциальной аппроксимации.

3. Разработанный комплекс программ позволяет на основе применения универсального объектно-ориентированного подхода рассчитывать вероятностно-временные характеристики оперативности многоканальных немарковских систем массового обслуживания с «разогревом» произвольными аппроксимирующими

распределениями фазового типа.

Практическая значимость работы

1. Разработанная методика оценивания вероятностно-временных характеристик оперативности функционирования узлов систем распределенной обработки данных позволяет повысить точность расчета названных характеристик на основе учета дополнительных временных затрат на актуализацию контекста.

2. Разработанный комплекс моделей доведен до инженерных методик и программ, готовых к непосредственному применению при оценивании вероятностно-временных характеристик оперативности функционирования узлов систем распределенной обработки данных.

3. Полученные результаты позволяют снизить трудозатраты при проектировании новых и модификации существующих узлов систем распределенной обработки данных.

Достоверность и обоснованность результатов диссертации обеспечивается строгими математическими выкладками, корректным применением математических методов исследования и подтверждается положительными результатами функционального тестирования, а также близостью характеристик оперативности, полученных в компьютерных экспериментах по моделированию, к характеристикам моделируемой системы, апробацией на научно-технических конференциях и публикациями в научных изданиях.

Положения, выносимые на защиту:

1. Математические модели оценивания оперативности обработки данных в узлах информационных систем на основе многоканальных немарковских систем массового обслуживания с «разогревом».

2. Численный метод расчета вероятностно-временных характеристик многоканальных немарковских систем массового обслуживания с «разогревом» на основе гиперэкспоненциальной аппроксимации.

3. Комплекс программ по расчету вероятностно-временных характеристик оперативности для разработанного класса моделей многоканальных немарковских систем массового обслуживания с «разогревом» и аппроксимирующими распределениями фазового типа.

Внедрение результатов исследования. Теоретические положения и практические рекомендации диссертации были внедрены и использованы:

• на предприятии ООО «Опенвэй Сервис» при оценке и обосновании принятия проектных решений по расчету характеристик оперативности распределенной автоматизированной системы управления финансами;

• на предприятии ООО «Ф-Лайн Софтвер» («First Line Software») при оценке характеристик оперативности и оптимизации проектных ресурсов при построении высоконагруженных распределенных веб-приложений для транспортной компании;

• в ФГБОУ ВПО ПГУПС в учебном процессе кафедры «ИБС» при проведении лекционных занятий и практических работ по дисциплине «Корпоративные информационные системы».

Публикации. Основные научные результаты по теме диссертации представлены в 7 публикациях, в число которых входят: 4 статьи в журналах, входящих в Перечень рецензируемых научных изданий,

рекомендуемых ВАК; 1 свидетельство на программы для ЭВМ, 2 работы в материалах международных конференций.

Апробация работы. Основные научные положения и результаты диссертационной работы докладывались, обсуждались и были одобрены на Восемнадцатой международной конференции по информационным технологиям на железнодорожном транспорте «Инфотранс» (Санкт-Петербург, Бизнес-Диалог, 2013), на Четвертой и Третьей международных научно-практических конференциях «Интеллектуальные системы на транспорте - ИнтеллектТранс» (Санкт-Петербург, ФГБОУ ВПО ПГУПС, 2014, 2013), на Всероссийской научно-технической интернет-конференции с международным участием «Информационные и управляющие системы на транспорте и в промышленности» (Омск, ОмГУПС, 2014), на Семьдесят четвертой, Семьдесят третьей, Семьдесят второй всероссийских научно-технических конференциях студентов, аспирантов и молодых ученых «Транспорт: проблемы, идеи, перспективы. Неделя науки» (Санкт-Петербург, ФГБОУ ВПО ПГУПС, 2014, 2013, 2012).

Структура и объем работы. Диссертация состоит из введения, 4 разделов, заключения, приложений и списка литературы, включающего 86 наименований, всего 116 страниц машинописного текста.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Введение содержит обоснование актуальности оценивания оперативности обработки данных в узлах распределенных информационных систем с учетом дополнительных временных затрат на актуализацию контекста, формулировку целей и задач исследований, положения, выносимые на защиту. Приведены сведения об апробации и публикации результатов исследования, краткий обзор содержания разделов диссертации.

Раздел 1 «Объект, цель, задача исследования» содержит описание объекта и предмета исследования, требования, предъявляемые к оперативности функционирования ИС при разработке и испытаниях, основные используемые определения, используемые при определении показателей и критериев оперативности функционирования ИС, анализ существующих моделей ИС используемых для расчета показателей оперативности. Вводятся необходимые понятия и обсуждаются достоинства применения моделей теории массового обслуживания для оценки показателей оперативности ИС.

Проведенный анализ показал, что существующие модели плохо подходят для использования применительно к распределенным ИС, поскольку обладают рядом недостатков, ограничивающих их использование: они не учитывают дополнительные временные затраты на актуализацию контекста, которые на практике значительно влияют на показатели оперативности, а также, по большей части, используют предположение об экспоненциальном характере распределений потоков заявок в ИС.

Для преодоления указанных недостатков уточняется цель, и определяются задачи исследования, направленного на разработку моделей нестационарных систем массового обслуживания с «разогревом», учитывающих дополнительные временные затраты на актуализацию контекста, многоканальность, немарковость рабочей нагрузки.

Ставится задача разработки численного метода расчета вероятностно-временных характеристик для многоканальных немарковских систем массового обслуживания с «разогревом» на основе двухфазной гиперэкспоненциальной аппроксимации.

Раздел 2 «Комплекс моделей многоканальных немарковских СМО с «разогревом» содержит необходимую классификацию СМО и современных методов их анализа, а также описание результатов

разработки моделей многоканальных немарковских С.МО, позволяющих учесть влияние «разогрева» на показатели оперативности И С.

В разработанных моделях для реатизации общих предположений о характере распределения временных показателей разогрева используется аппроксимация произвольных распределений гиперэкспоненциальным распределением фазового типа по методу Кокса: произвольное распределение случайной величины представляется смесью экспоненциальных фаз.

Достоинством такого представления является то, что при этом обеспечивается удобство сведения случайного процесса к марковскому и легкость составления и решения системы уравнений, описывающей поведение соответствующей модели.

Схема двухэтапного гиперэкспоненциального распределения представлена на рис. 1.

Рисунок 1. Схема гиперэкспоненциального распределения

Плотность двухэтапного гиперэкспоненциального распределения /¿(г) представляется в виде:

Ш = + (1-р)Л2еМ

Преобразование Лапласа-Стилтьеса (ПЛС) двухэтапного гиперэкспоненциального распределения Ъ(У):

Ь(5) = р^+(1-р)^.

На основе гиперэкспоненциального распределения в работе построен ряд моделей многоканальных немарковских СМО с «разогревом».

На рис. 2 приведена диаграмма переходов для предложенной модели СМО типа Н2/М/М/п — с гиперэкспоненциальным распределением длительности интервалов между смежными заявками входящего потока. Распределение Н2 имеет параметры: и Х2 - интенсивности потоков входящих заявок соответствующих фаз,^ — вероятность выбора первой фазы, а2 = 1 — «1 — вероятность выбора второй фазы; параметры /и^ и //

задают интенсивности перехода по «разогреву» системы и обслуживания заявки, соответственно. Числа слева обозначают ярусы, различные ярусы соответствуют наборам состояний системы, которые возникают при различном количестве заявок. При полной занятости (на ярусах с номерами больше п - числа каналов) диаграмма стабилизируется на всех нижележащих ярусах. Для иного числа каналов диаграммы переходов строятся аналогично.

Состояния системы в каждый момент времени характеризуются количеством поступивших, но еще не начавших обслуживаться заявок, количеством заявок, которые находятся в процессе обслуживания, а также тем, требуется ли системе «разогрев» для начала обслуживания очередной заявки. Переход из одного состояния в другое означает, что очередная заявка поступила в систему, начала обслуживаться (возможно, после «разогрева» системы) или, наоборот, обслуживание ее завершено.

Для расчета характеристик оперативности ищется решение системы линейных векторно-матричных алгебраических уравнений баланса переходов между состояниями:

лА^оСо + гА,

гр, = гнлм + г ¡С, + / = 1,2,...

где ] — число заявок в системе. А, - матрица интенсивности

ю

переходов между состояниями по прибытию очередной заявки, В; -матрица интенсивностей переходов между состояними по обслуживанию очередной заявки. С, - матрица интенсивностей переходов между состояними при условии, что число заявок при этом не изменяется, Е^ — матрица интенсивностей переходов между состояними по изменению суммарного числа заявок в системе.

Фаза Н} распределения прибытия заявок ергщуяш д&якрова * решшве^вщ^ша^ш

Рисунок 2. Диаграмма переходов для системы Н2/М/М/п Предложенные модели иллюстрированы диаграммами переходов между состояниями, системой уравнений баланса и формулами для расчета показателей оперативности.

Раздел 3 «Программная реализация моделей СМО «с разогревом» для расчета показателей оперативности и ее тестирование» содержит описание разработанного программного комплекса для расчета вероятностно-временных характеристик оперативности и подход к его тестированию, примеры полученных численных результатов и обоснованию их достоверности.

Для расчета показателей для моделей СМО с «разогревом» потребовалось разработать отдельный программный комплекс, так как существующие комплексы либо позволяют рассчитывать только упрощенные марковские системы с пуассоновским входящим потоком и экспоненциальным распределением длительности обслуживания, либо в силу ограничений времени написания оптимизированы под другие классы немарковских систем.

Предложенный подход к оцениванию оперативности распределенной обработки данных на основе многоканальных немарковских СМО с «разогревом» доведен до алгоритмов и программной реализации. Разработан комплекс программ расчета вероятностно-временных характеристик (зарегистрирован в государственном Реестре программ для ЭВМ). В разделе приводится краткое описание основных функций разработанных программ.

Программный комплекс обеспечивает расчет вероятностей микросостояний СМО в произвольный момент времени; на момент прихода очередной заявки в систему; на момент обслуживания очередной заявки; вероятностей числа заявок в СМО; среднего время пребывания и ожидания заявки в СМО; ПЛС распределения времени ожидания и пребывания заявок в СМО. Исследовано влияние коэффициента вариации длительности разогрева на получаемые показатели оперативности. Показан характер влияния изменения коэффициента вариации

распределения длительности разогрева на вероятностно-временные показатели оперативности.

Приведены подробные результаты тестирования разработанного комплекса и оценки погрешностей получаемых результатов. В основу подхода к тестированию комплекса положен принцип взаимности -теоретический подбор исходных данных моделей таким образом, чтобы получаемые для них показатели давали одинаковые или близкие результаты. Отдельно проверяются граничные условия для входных параметров и особые случаи, если они имеют место в модели. Схема тестирования показана на рис. 3.

Общность моделей СМО с «разогревом»

Е2/М/М/п Н2/М/М/п С2/М/М/п С;/С?/М/п ....:...................................

М/Е ,/М/п М/Н2/М/п М/СУМ/п .........................................

Рисунок 3. Схема взаимной проверки результатов вычислений Систематичность и полнота тестирования комплекса, положительные результаты тестирования позволяют считать программную реализацию корректной в рассмотренном диапазоне значений входных параметров. Согласованность полученных практических результатов на различных моделях говорит о надежности и верности теоретических основ выбранных алгоритмов и подтверждает достоверность данных, полученных с применением созданного программного комплекса.

Раздел 4 «Практическое применение результатов исследований» содержит описание применения полученных результатов при разработке и тестировании ИС.

Выполнено моделирование оперативности функционирования программного обеспечения распределенной автоматизированной системы

управления финансами, разработанного компанией ООО «Опенвэй Сервис», и моделирование программного обеспечения ООО «Ф-Лайн Софтвер» («First Line Software») для оценки характеристик оперативности при построении высоконагруженных распределенных веб-приложений для транспортной компании.

Для расчетов в проекте ООО «Опенвэй Сервис» затраты на обновление контекста включают затраты на хеширование для структуры динамически считываемого меню и разнообразных справочников, используемых для проведения операций. При основных малых временах ожиданий практически преобладающих в рассматриваемой системе, учет влияния «разогрева» дает выигрыш в точности оценки оперативности до 15%, средний выигрыш составил 12%. Графики стационарных распределений времени ожидания заявок в очереди для различных значений среднего времени «разогрева» представлены на рис. 4, они показывают улучшение точности моделирование при учете влияния «разогрева».

эремя ожидания

Рисунок 4. Стационарное распределение времени ожидания заявок

Дальнейшее повышение точности моделирования состоит в повышении точности определения входного параметра - эмпирического среднего времени актуализации контекста в системе.

Для расчетов в проекте ООО «Ф-Лайн Софтвер» («First Line Software») при работе с СУБД физический смысл «разогрева» состоит во времени, затрачиваемом на обеспечение кеширования используемого блока данных. Сделанные по результатам моделирования выводы были учтены при анализе работы компонентов системы, взаимодействующих с СУБД и оптимизации выполняемых запросов. Внесенные изменения в работу с СУ ДБ позволили достичь повышения оперативности до 16%.

Полученные результаты нашли применение в ФГБОУ ВПО ПГУПС в учебном процессе кафедры «ИВС» при проведении занятий по дисциплине «Корпоративные информационные системы». В рамках курса, в частности, показывается, что применение разработанных подходов к моделированию для анализа оперативности корпоративных информационных систем позволяет повысить точность расчета характеристик оперативности ИС, и на их основе оптимизировать использование вычислительных ресурсов ИС, тем самым снижая сроки и стоимость внедрения проектов.

В заключении отражены основные научные и практические результаты работы:

1. Разработан комплекс моделей многоканальных немарковских систем массового обслуживания с «разогревом» на основе распределений фазового типа, обеспечивающих возможность учета дополнительных временных затрат при оценивании оперативности функционирования узлов в информационных системах распределенной обработки данных.

2. Разработан численный метод расчета вероятностно-временных характеристик многоканальных немарковских систем массового обслуживания с «разогревом» на основе гиперэкспоненциального распределения.

3. Разработан программный комплекс расчета характеристик оперативности для указанного класса многоканальных моделей систем массового обслуживания.

4. Разработана методика оценки вероятностно-временных характеристик оперативности функционирования узлов систем распределенной обработки данных.

5. Проведен анализ характеристик оперативности функционирования узлов систем распределенной обработки данных на примере распределенной автоматизированной системы управления финансами предприятия ООО «Опенвэй Сервис»; выполнена оценка эффективности решения.

Внедрение результатов исследований имеет практический эффект:

1. Повышение точности оценивания характеристик оперативности функционирования ИС в среднем на 12% (за счет использования разработанных более точных моделей).

2. Повышение точности планирования необходимых вычислительных ресурсов ПС в пределах 10%.

В приложении приводятся исходные тексты основных функций комплекса программ расчета характеристик оперативности ИС.

Результаты диссертационного исследования лично и в соавторстве опубликованы в 7 печатных работах.

Список работ, опубликованных по теме диссертации

Публикации в рецензируемых научных изданиях:

1. Гиндин С.И., Хомоненко А.Д., Ададуров С.Е. Численный расчет многоканальной системы массового обслуживания с рекуррентным

входящим потоком и «разогревом» // Известия Петербургского университета путей сообщения. - 2013, № 4 (37). - С. 92-101.

2. Гиндин С.И., Хомоненко А.Д., Яковлев В.В., Матвеев C.B. Модель оценивания оперативности распределенной обработки данных с учетом затрат на обеспечение информационной безопасности // Проблемы информационной безопасности. Компьютерные системы. - 2013, № 4, - С. 59-67.

3. Гиндин С.И., Хомоненко А.Д., Матвеев C.B. Программный комплекс расчета характеристик многоканальных систем массового обслуживания с «разогревом» и подход к его тестированию // Современные проблемы науки и образования.-2014.-№ 4; URL: http://www.science-education.ru/l 18-13872

4. Гиндин С.И. Программный комплекс расчета вероятностно-временных характеристик многоканальных систем массового обслуживания с «разогревом» // Известия Петербургского университета путей сообщения. -2014, №2 (39).-С. 80-84.

Другие публикации:

5. Хомоненко А.Д., Гиндин С.И. Модель оценивания оперативности системы распределенных вычислений с учетом затрат на обмен информацией // Информационные технологии на железнодорожном транспорте: Доклады восемнадцатой международной научно-практической конференции «Инфотранс-2013 », 2013.

6. Гиндин С.И. Программный комплекс расчета микросостояний многоканальных систем массового обслуживания с разогревом // Информационные и управляющие системы на транспорте и в промышленности: материалы всероссийской научно-технической интернет-конференции с международным участием. Омский государственный университет путей сообщений. Омск, 2014. - С. 278-283.

7. Гиндин С.И., Хомоненко А.Д. Комплекс расчета вероятностных характеристик многоканальных систем массового обслуживания // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам. Свидетельство о государственной регистрации программ для ЭВМ № 2014617563. Москва, 2014.

Подписано к печати 17.09.2014 г. Печ. л. - 1

Печать - ризография Бумага для множит, апп. Формат 60x84 1/ 16 Тираж 100 экз. Заказ № 8Ц.

CP ПГУПС 190031, С.-Петербург, Московский пр., 9

17