автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Поддержка принятия решений при многокритериальном двухуровневом выборе пунктов размещения электростанций

кандидата технических наук
Панкратьев, Павел Сергеевич
город
Иркутск
год
2015
специальность ВАК РФ
05.13.01
Автореферат по информатике, вычислительной технике и управлению на тему «Поддержка принятия решений при многокритериальном двухуровневом выборе пунктов размещения электростанций»

Автореферат диссертации по теме "Поддержка принятия решений при многокритериальном двухуровневом выборе пунктов размещения электростанций"

На правах рукописи

ПАНКРАТЬЕВ ПАВЕЛ СЕРГЕЕВИЧ

ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИИ ПРИ МНОГОКРИТЕРИАЛЬНОМ ДВУХУРОВНЕВОМ ВЫБОРЕ ПУНКТОВ РАЗМЕЩЕНИЯ ЭЛЕКТРОСТАНЦИЙ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 £ ПмН 2015

005561265

Иркутск —2015

005561265

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Братский государственный университет» (ФГБОУ ВПО «БрГУ»)

Научный руководитель: кандидат технических наук, доцент

Шакиров Владислав Альбертович

Официальные онпоненты: Батурин Владимир Александрович,

доктор физико-математических наук, профессор, ФГБУН «Институт динамики систем и теории управления» СО РАН, г. Иркутск, главный научный сотрудник лаборатории системного анализа и вычислительных методов

Дубицкий Михаил Александрович,

кандидат технических наук, доцент кафедры электрических станций, сетей и систем, ФГБОУ ВПО «Иркутский государственный технический университет»

Ведущая организация: ФГБУН «Институт систем энергетики имени

Л.А. Мелентьева» Сибирского отделения Российской академии наук (ИСЭМ СО РАН), г. Иркутск

Защита состоится 30 апреля 2015 г. в 10:00 на заседании диссертационного совета Д 218.004.01 на базе ФГБОУ ВПО «Иркутский государственный университет путей сообщения» по адресу: 664074, г. Иркутск, ул. Чернышевского, 15, ауд. А-803. Тел: (8-3952) 63-83-11; факс: (8-3952) 38-76-72; e-mail: maknv@irgups.ru

С диссертацией можно ознакомиться в библиотеке и на сайте ФГБОУ ВПО «Иркутский государственный университет путей сообщения» http://www.irgups.ru

Автореферат разослан 13 марта 2015 г.

Ученый секретарь диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Для обеспечения надежного и бесперебойного электроснабжения отраслей экономики и населения страны, освоения богатейших месторождений Сибири и Дальнего Востока, требуется развитие генерирующих мощностей. При этом неизбежно придется столкнуться со сложной комплексной проблемой принятия решений по размещению электростанций.

Значительный вклад в развитие теории, разработку методов обоснования технических решений в энергетике внесли ученые: Д.А. Арзамасцев, П.И. Бартоломей, JI.C. Беляев, Н.И. Воропай, А.З. Гамм, И.П. Дружинин, В.В. Ершевич, Ю.Д. Кононов, А.Н. Копайгородский, Л.Д. Криворуцкий, Л.А. Крумм, H.H. Макагонова, A.A. Макаров, Л.В. Массель, Л.А. Мелентьев, А.П. Меренков, В.Р. Окороков, Б.Г. Санеев, С.К. Скрипкин, Д.С. Щавелев и др.

Большой вклад в развитие теории принятия решений внесли ученые: Н.М. Абдикеев, Ю.Н. Алпатов, Р. Беллман, С.Н. Васильев, A.A. Емельянов, Л. Заде, В.И. Зоркальцев, Д. Канеман, Р. Кини, О.И. Ларичев, О. Моргенштерн, Дж. фон Нейман, В.Д. Ногин, С.И. Носков, Э. Парето, А.Б. Петровский, В.В. Подиновский, X. Райфа, Т. Саати, А. Сало, А. Тверски, П. Фишберн, И.Г. Черноруцкий, К. Эрроу и др.

В соответствии с методическим и нормативно-техническим обеспечением процесс принятия решений по размещению электростанций включает два этапа: выбор пункта (района) и выбор площадки. Но уже при выборе пункта в каждом из них должны быть предварительно намечены площадки и варианты мощности электростанции, которые наиболее вероятно могут быть в дальнейшем реализованы. Поэтому при выборе пункта размещения можно говорить об анализе альтернатив на двух уровнях: 1) выбор пункта 2) выбор предварительных решений. Учитывая длительные социальные, экологические, экономические, биологические последствия строительства электростанций, требуется многокритериальный анализ. Но в настоящее время методическое, а также программное обеспечение для многокритериального анализа на двух уровнях альтернатив отсутствует; неэкономические критерии, как правило, учитываются лишь в роли ограничений, хотя зачастую имеют решающее значение; многие шаги принятия решений проводятся неформализованно. Также анализ усложняется рядом факторов: высокий уровень неопределенности исходной информации, будущих условий, предпочтений лица, принимающего решения (ЛПР); слабая структурированность. Учет отмеченных особенностей проблемы размещения электростанций требует дальнейшего совершенствования методического и программного обеспечения для поддержки процесса принятия решений.

Цель исследования - совершенствование методического и программного обеспечения поддержки принятия решений при выборе пунктов размещения электростанций на основе многокритериального двухуровневого анализа альтернатив.

Для достижения цели были поставлены и решены следующие задачи:

• исследование процесса принятия решений по размещению электростанций, усложняющих его факторов и методов рационального выбора;

• разработка методики многокритериального двухуровневого выбора пунктов размещения электростанций;

• разработка процедур и методик, направленных на снижение загрузки ЛПР при многокритериальном двухуровневом анализе альтернатив;

• разработка методики учета размытых предпочтений ЛПР при сравнении критериев по важности;

• разработка методики сравнения пунктов размещения в условиях риска;

• разработка системы поддержки принятия решений (СППР) по выбору пунктов размещения электростанций.

Методы исследования. В исследовании используются: теория и методы системного анализа, принятия решений; элементы теории вероятностей, статистического анализа, алгебры логики, теории множеств.

Объектом исследования является процесс принятия решений при выборе пунктов размещения электростанций.

Предметом исследования являются методы многокритериального анализа и их применение при выборе пунктов размещения электростанций.

Научную новизну диссертации составляют и на защиту выносятся:

• методика многокритериального двухуровневого выбора пунктов размещения электростанций на основе методов — многокритериальной теории полезности MAUT (Multi-attribute utility theory) и метода анализа иерархий (МАИ);

• методика перевода оценок полезности (ценности) в оценки относительной важности, позволяющая уменьшить число запросов к ЛПР при заполнении матриц парных сравнений альтернатив по критериям;

• методика многокритериального анализа альтернатив в условиях размытых предпочтений ЛПР, заданных интервалами при оценке соотношений важности критериев при построении функции полезности (ценности), позволяющая исследовать изменения ранжирования альтернатив на двух уровнях анализа;

• методика сравнения альтернатив в условиях риска методом анализа иерархий, отличающаяся уменьшенным числом запросов к ЛПР за счет определения ценности альтернатив путем построения функций ценности и перевода разниц ценности в оценки относительной важности;

• СППР для многокритериального двухуровневого выбора пунктов размещения электростанций на основе предложенных методик.

Практическая значимость работы заключается в создании СППР Twin-Point и возможности использования методики многокритериального двухуровневого анализа на практике. Результаты позволяют повысить качество принимаемых решений, снизить экономические, экологические и социальные риски инвестиционных решений, снизить загрузку ЛПР. СППР TwinPoint используется в проектно-изыскательских работах ЗАО «Сибирский энергетический научно-технический центр», ООО «БМУ Гидроэлектромонтаж». Материалы диссертации используются в учебном процессе в ФГБОУ ВПО «Братский государственный университет».

Апробация работы. Результаты исследования докладывались и обсуждались на всероссийской научно-практической конференции «Братская ГЭС:

история строительства, опыт эксплуатации», г. Братск, 2011 г.; всероссийской молодежной научной конференции «Конкурентный потенциал северных регионов России и эффективность его использования», г. Архангельск, 2012 г.; VII Международной молодежной конференции «Тинчуринские чтения», г. Казань, 2012 г.; XVIII Международной научно-практической конференции «Современные техника и технологии», г. Томск, 2012 г.; IV Межрегиональной конференции «Научная молодежь - Северо-Востоку России», г. Магадан, 2012 г.; XI-XIII Всероссийских научно-технических конференциях «Естественные и инженерные науки - развитию регионов Сибири», г. Братск, 2012-2014 гг.; III международной научной конференции «Методология научных исследований: традиции и инновации», г. Санкт-Петербург, 2012 г.; III международной научно-практической конференции «European Science and Technology», г. Мюнхен, 2012 г.; VIII международной научно-технической конференции «Математическое моделирование и информационные технологии», г. Иваново, 2013 г.; XIX международной научно-технической конференции «Радиоэлектроника, электротехника и энергетика», г. Москва, 2013 г.; XVII Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2013 г.; XLIV конференции научной молодежи «Системные исследования в энергетике», ИСЭМ СО РАН, г. Иркутск, 2014 г.

Личный вклад. Положения, составляющие новизну и выносимые на защиту, получены лично автором. В совместных публикациях автору принадлежат результаты, связанные с постановкой задачи, разработкой методики многокритериального двухуровневого выбора пунктов размещения электростанций; методики многокритериального анализа альтернатив в условиях размытых предпочтений ЛПР; методики перевода оценок полезности (ценности) в оценки относительной важности; методики сравнения альтернатив в условиях риска методом анализа иерархий. В СППР «TwinPoint» автором разработаны модули многокритериального анализа альтернатив первого и второго уровней, модуль учета размытых предпочтений ЛПР.

Публикации. По теме диссертации опубликовано 17 научных статей, из них 4 [1-4] - в рецензируемых изданиях, рекомендованных ВАК РФ для публикации основных результатов диссертаций. Получено свидетельство об официальной регистрации программы для ЭВМ [5].

Структура и объём работы. Диссертация состоит из введения, трех глав, заключения, библиографического списка из 293 наименований и приложения. Общий объем работы составляет 205 страниц, в тексте содержится 46 рисунков и 46 таблиц. В приложении приведены отдельные результаты расчетов СППР TwinPoint, акты о внедрении.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследований, направленных на совершенствование методического и программного обеспечения поддержки принятия решений при выборе пунктов размещения электростанций, формулируются цель и задачи для ее достижения; формулируются научная новизна, по-

ложения, выносимые на защиту, практическая значимость работы; приводится краткая характеристика основных разделов диссертации.

В первой главе проводится анализ состояния, проблем и перспектив развития электроэнергетики России: необходимо воспроизводство и строительство новых генерирующих мощностей. На основе анализа нормативных документов, научно-методических работ составлена обобщенная схема процесса принятия решения по размещению электростанций (рис. 1).

Рис. 1. Обобщенная схема процесса принятия решения по размещению

электростанции

В меньшей степени к настоящему времени проработаны вопросы выбора пункта размещения электростанции. Наибольшую сложность вносит необходимость многокритериального анализа альтернатив на двух уровнях. Так, чтобы выбрать пункт (анализ альтернатив на первом уровне), необходимо предварительно выбрать несколько вариантов площадок, наметить мощность электростанции (анализ альтернатив на втором уровне). От качества выбора альтернатив на втором уровне зависит результат сравнения альтернатив на первом.

Для задачи выбора пункта, помимо многокритериальное™, в работе определены другие признаки, характерные для системных проблем: неопределенность, слабая структурированность, конфликтность, неоднозначность, рискованность, комплексность, саморазрешимость и эволюционность проблемы.

В главе сформулированы дополнительные требования к анализу при выборе пунктов размещения электростанций: учет неопределенности исходной информации и предпочтений ЛПР, снижение загрузки ЛПР.

Задача выбора пункта размещения электростанций раскрывается как задача рационального выбора; обосновывается необходимость применения соответствующих методов принятия решений. Проведен критический обзор методов рационального выбора. Для рассматриваемой задачи эффективными являются метод многокритериальной теории полезности MAUT и МАИ, они будут использоваться в разрабатываемой методике.

Проведен критический обзор существующих СППР, обоснована необходимость создания новой СППР по выбору пунктов размещения электростанций.

Во второй главе для совершенствования процесса принятия решений по выбору пунктов размещения электростанций формулируется задача двухуровневого многокритериального выбора альтернатив. Пусть А={а\, аг, ..., а*} -множество альтернатив первого уровня (АПУ), которые оцениваются по множеству критериев F=F\|J G. Подмножество критериев F\={f\, fi., ...,fs} служит

для оценки альтернатив только первого уровня, подмножество критериев G={gi, gl, •■•, gp] — для оценки альтернатив и первого, и второго уровней. Каждому элементу а, множества А ставится в соответствие множество возможных альтернатив второго уровня (АВУ) Вг{Ъц, Ьа, ..., bim\. Необходимо упорядочить по предпочтению альтернативы множества А с учетом многокритериальных оценок альтернатив множеств Д.

В работе предложена методика многокритериального двухуровневого анализа. Этапы ее реализации приведены на рис. 2.

Рис. 2. Методика многокритериального двухуровневого анализа

В методике используется два метода многокритериального анализа в связи с различными условиями анализа АВУ и АПУ. При сравнении пунктов привлекается информация агрегированного характера, отражающая социально-экономическое окружение, условия строительства, перспективы развития. Поэтому АПУ характеризуются преимущественно критериями с качественным описанием оценок, а в отдельных случаях — по критерию могут быть даны лишь

сравнительные оценки для пар альтернатив. Количество АПУ, как правило, не превышает 10. Для описанных условий эффективен МАИ. АВУ характеризуются преимущественно критериями с количественным измерением, поскольку уровень детализации информации увеличивается. Немногочисленные критерии с качественным описанием могут быть переведены в количественные с помощью искусственной шкалы. Количество АВУ потенциально не ограничено. Многокритериальный анализ в таких условиях может эффективно проводиться методом MAUT. Этапы 1, 3-8 соответствуют анализу АВУ методом MAUT, этапы 1,2, 10-14 соответствуют анализу АПУ методом МАИ. Методом MAUT предварительно оцениваются варианты реализации станции в каждом пункте (например, площадки, мощности), и пункты сравниваются методом анализа иерархий в предположении, что именно лучшие варианты будут реализованы.

Рассмотрим этапы методики двухуровневого анализа. На этапах 1-4 формулируется цель, определяются критерии множества F\ для оценки пунктов. Для каждого пункта необходимо определить возможные АВУ. Например, в каждом пункте может быть реализовано несколько площадок, на каждой из которых возможно несколько вариантов мощности. Площадка и мощность станции определяют экономические, экологические, социальные воздействия. Выбираются критерии множества G для предварительной оценки эффективности вариантов реализации станции. Проводится сбор информации и оценка АВУ.

На этапе 5 в диалоге с ЛПР производится проверка условий-аксиом, при выполнении которых может быть получена многокритериальная функция полезности в аддитивном (1) или мультипликативном виде (2):

п

"(У) = и(У»Уп-,Уп) = Ы, (1)

¿=1

п

kii{y) + \=kii(y„y2,...,yn) + \=Y\ [кк,и, (у,) +1], (2)

1 1

где Ufa) - однокритериальная функция полезности; у, - возможный исход при оценке по критерию с; к,, к— шкалирующие коэффициенты.

Если рассматривается выбор в условиях, определенности, функцию полезности и(у) называют функцией ценности v(y). Выполнение условия взаимной независимости критериев по предпочтению позволяет получить многокритериальную функцию ценности в аддитивном виде:

п

v(y) = v(j, ,y2,...,yn) = Y, k-vi (у, )> (3)

/=1

где v,(y,) - однокритериальная функция ценности, у, - оценка по критерию /.

На этапе 6 в диалоге с ЛПР определяются однокритериальные функции полезности (ценности), которые отражают полезность и каждого исхода (оценки) yg для ЛПР по критерию g с учетом его отношения к риску.

На этапе 7 определяются шкалирующие коэффициенты с участием ЛПР путем сопоставления критериев по важности. Предлагается методика учета размытых предпочтений ЛПР на этом этапе, поскольку по сравниваемым критериям существует неопределенность информации, например из-за изменяющихся

во времени факторов, различающихся точек зрения нескольких ЛПР. На рис. 3 представлена: а) стандартная процедура определения шкалирующих коэффициентов; б) предлагаемая процедура.

Уч

1^1/1 о О 0 \

У„ А\(у^у р.....у „)

\\

' \ <1/ 0 г '»1 А.' 1 0 0 \

\ \А2(»[у е2.у ¿Ау у „)

\ Л*>1 0 л О О Ч

\ Л2(У „У «.у „)

\ а-

УВ2

\ \ I \

» X

У,

Уе

О ы

Угг У Г2

У а

а) б)

Рис. 3. Процедуры определения шкалирующих коэффициентов: а) стандартная; б) предлагаемая

Согласно стандартной процедуре определения шкалирующих коэффициентов ЛПР предлагается работать в пространстве оценок пар критериев, например gl, ¿1, а оценки остальных критериев зафиксировать на худшем уровне. Формируется искусственная альтернатива А 1с лучшей оценкой по менее важному критерию и худшей оценкой по более важному критерию. Затем предлагается определить равноценную .альтернативу А2 с худшей оценкой по менее важному критерию (рис. За). Если однозначно дать ответ затруднительно, ЛПР предлагается определить значения двух границ интервала: у^2 и укя\ (рис. 36).

Выбирается шаг разбиения, и каждый интервал заменяется конечным количеством г оценок у*'. При р критериях это, в общем случае, обуславливает

формирование 2=!Р~1 систем линейных уравнений и, соответственно, 2 вариантов шкалирующих коэффициентов. Получившееся множество шкалирующих коэффициентов порождает множество функций (1), (2) или (3) и многокритериальных оценок АВУ. Поэтому оценки АВУ формируются для всех вариантов предпочтений 2 (этап 8, рис. 2). Например, на рис. 4а представлены многокритериальные оценки АВУ пункта П1 — при всех 2 лучшая АВУ не меняется.

Рис. 4. Определение лучших АВУ с учетом интервально заданных предпочтений ЛПР: а) лучшая АВУ не меняется; б) лучшая АВУ меняется

Для П1 выбирается только АВУ1 для анализа на первом уровне. На рис. 46 представлены многокритериальные оценки АВУ пункта П2. Лучшая АВУ меняется, поэтому для П2 необходимо рассматривать в дальнейшем АВУ1 и АВУ2. Таким образом, по результатам анализа АВУ пунктов П1, П2, будут сформированы наборы Hi=[(ni, АВУ1), (П2, АВУ1)]; Н2=[(П1, АВУ1), (П2, АВУ2)] с лучшими АВУ. На первом уровне анализа (этапы 10-15, рис. 2) пункты будут сравниваться в предположении, что в них будут реализованы АВУ соответствующих наборов.

Итак, на этапе 9 (рис. 2) для дальнейшего анализа формируются наборы Hi,...,H„ лучших АВУ для всех вариантов предпочтений Z. На этапе 9 также определяется относительная устойчивость решений (ОУР) к изменениям предпочтений ЛПР для каждого набора Ну. Для этого определяется сумма интервалов устойчивых решений, внутри которых не изменяются лучшие АВУ для всех рассматриваемых пунктов:

т

Sj (4)

¡=1

где Sj - ОУР j-го набора Ну, %; £),у - f-й интервал, внутри которого не изменяются лучшие АВУ для всех пунктов у'-го набора, %.

ОУР к изменениям предпочтений ЛПР набора Ну отражает степень склонности ЛПР к выбору этого набора. Этот показатель будет использоваться на этапе 15 (рис. 2) для принятия окончательного решения при выборе пункта.

Таким образом, в результате выполнения этапов 1-9 методики двухуровневого многокритериального анализа (рис. 2) определены лучшие альтернативы второго уровня для возможности сравнения пунктов. При использовании методики учета размытых предпочтений ЛПР в отношении критериев (рис. 5) будет сформировано несколько наборов лучших АВУ.

1. Определение интервалов [ yh\, у^г ] при сравнении пар критериев i,j множества G

*

2. Замена интервалов оценками у^' *

3. Формирование Z=f~l систем линейных уравнений ♦

4. Определение Z вариантов шкалирующих коэффициентов для (1), (2) или (3)

*

5. Многокритериальная оценка АВУ и формирование наборов Ну=[(я„ Ъыу)] 6. Определение относительной устойчивости решений по выражению (4) Рис. 5. Методика учета размытых предпочтений ЛПР при оценке альтернатив

На этапе 10 (рис. 2) дается описание оценок по критериям множества F\ для АПУ. На этапе 11 сравниваются попарно критерии множества F при помощи известной шкалы (таблица 1), заполняется матрица парных сравнений. Аналогично проводятся парные сравнения альтернатив первого уровня по каждому критерию: 1) множества G (этап 12, рис. 2); 2) множества F\ (этап 13, рис. 2).

Таблица 1 — Шкала относительной важности

Уровень важности Количественное значение

Равная важность 1

Умеренное превосходство 3

Значительное превосходство 5

Явное превосходство 7

Абсолютное превосходство 9

Вычислив собственные вектора матриц парных сравнений, проведя нормирование их элементов, можно получить веса критериев и альтернатив. Определение собственного вектора матрицы Х=(Х], Хг, ..., Х„) может быть проведено по известному выражению:

(5)

где X/, — элемент собственного вектора матрицы, соответствующий альтернативе или критерию /; с,у - оценка шкалы парных сравнений альтернатив или критериев / и у; л — количество альтернатив или критериев.

Вес критерия и', или альтернативы у,у определяется путем нормирования элементов собственного вектора:

(6)

/ /=1

На этапе 14 проводится оценка альтернатив с учетом всех критериев:

(7)

где V] — показатель качествау'-й альтернативы; и»/ — вес г-го критерия; — весу-й альтернативы по /-му критерию.

Таким образом, используя метод анализа иерархий, могут быть получены оценки альтернатив первого уровня (пунктов). При помощи методики многокритериального двухуровневого анализа определяется лучшая АПУ с учетом оценок АВУ, этим обеспечивается повышение качества принимаемых решений по выбору пункта. В методике используется два метода анализа в эффективной для них области применения. Этим обеспечивается сохранение оригинального описания критериев и оптимальное количество запросов к ЛПР.

Рассмотрим предлагаемую методику перевода оценок полезности (ценности) в оценки относительной важности (рис. 2). Методика предложена для снижения загрузки ЛПР путем сокращения количества задаваемых ему вопросов. На этапе 12 (рис. 2) сравниваются пункты (АПУ) в предположении, что будет реализован один из вариантов станции (одна из лучших АВУ). Критерии множества О, по которым были выбраны лучшие АВУ, теперь привлекаются для сравнения АПУ. Но информация от ЛПР в отношении оценок по этим критериям уже получена. Предлагаемая методика перевода оценок полезности (ценности) в оценки относительной важности избавит ЛПР от необходимости

повторного сравнения. Методика перевода особенно важна, если сформированы наборы лучших АВУ в результате интервально заданных предпочтений в отношении критериев, так как прямое заполнение матриц парных сравнений в таком случае становится крайне неэффективным из-за многочисленных запросов к ЛПР. Методика перевода оценок позволяет без дополнительных затрат усилий ЛПР оценить влияние отклонений предпочтений ЛПР при анализе АВУ на результат сравнения АПУ. Также в работе предложено использование методики для снижения загрузки ЛПР при сравнении альтернатив в условиях риска методом анализа иерархий. Шаги методики перевода оценок представлены на рис. 6.

1. Определение максимальной разности по полезности (ценности) г/тах—г/гшп

+

2. Определение соответствия разности оценок и оценки относительной важности

_3. Определение коэффициента перевода К по выражению (8)_

*

_4. Определение оценок всех парных сравнений по выражению (9)_

Рис. 6. Методика перевода оценок полезности (ценности) в оценки сравнительной важности МАИ

После определения соответствия (шаги 1, 2) распространим его на другие разности оценок. Для этого определим коэффициент перевода оценок:

К:

^max ^

(8)

где Птах, Птт - максимальная и минимальная полезность (ценность) альтернатив по критерию, Стах — максимальная назначаемая ЛПР оценка относительной важности этих альтернатив.

Сравнительная оценка, записываемая в матрицу парных сравнений:

1 + К(ил-и;), 1

и, >и,

-, и, < и, \ + K(Uj-Ui)

(9)

где iii, iij — полезность (ценность) /—й иу'-й альтернатив.

Иллюстрация процедуры представлена на рис. 7. Наибольшая разность в оценках полезности у альтернатив А, В: итах - unin = 0,925-0,3 = 0,625. Этой разности ЛПР установлено соответствие стах = 9. Это соответствие распространено на сравнение альтернативы С и D — оценка «4» (см. таблицу 1).

"Су«)

Шкапа относительной важности

оценки альтернатив по критерию g

Рис. 7. Пример перевода оценок полезности в оценки шкалы сравнения МАИ

Дополнительным преимуществом методики перевода оценок является гарантированная согласованность матриц парных сравнений. Вычислительными экспериментами в СППР ТшпРоЫ показано, что отношения согласованности для матриц, заполненных при помощи предлагаемой методики, будут находиться в допустимых пределах (не более 0,1) (таблица 2).

Таблица 2 - Результаты расчета программы ТуушРош!

Размерность матрицы 3 4 5 6 7 8 9 10

Отношение согласо- 0,100 0,072

0,063 0,056 0,053 0,048 0,058 0,054

ванности, о.е.

Рассмотрим предлагаемую методику анализа альтернатив первого уровня в условиях риска при наличии комплексных критериев (рис. 2). При наличии неопределенности в отношении исходных данных, необходимо сформировать возможные сценарии, определяющие оценки по критериям. При использовании МАИ возникает необходимость многочисленных запросов к ЛПР при заполнении матриц парных сравнений для каждого возможного сценария, что делает применение метода крайне затруднительным. Неопределенность, в общем случае, может быть свойственна как простым критериям, так и комплексным. В случае если неопределенность связана с комплексным критерием, представление его в виде субкритериев позволяет выделить последние, содержащие вероятностную зависимость от некоторого события. Появляется возможность учесть влияние указанной неопределенности на результат анализа. Предлагаются следующие этапы методики многокритериального анализа для решения задач с обозначенными трудностями (рис. 8).

_1. Представление комплексных критериев через субкритерии

_2. Построение дерева событий для определения вероятности сценариев_

3. Построение функций полезности субкритериев и критериев, оценки по которым

_зависят от событий, характеризуемых вероятностью_

4. Применение методики перевода оценок (рис. 6) для заполнения матриц парных

сравнений альтернатив по субкритериям и критериям для всех сценариев_

6. Интеграция полученных результатов в схему общего анализа альтернатив по

_всем критериям (рис. 9)_

♦ ~

7. Получение математического ожидания весов по выражению (11), стандартного

_отклонения весов. Выбор лучшей альтернативы_

Рис. 8. Методика многокритериального сравнения альтернатив методом анализа иерархий в условиях риска при наличии комплексных критериев

На рис. 9 комплексный критерий разбит на т субкритериев, которыми оценивается к альтернатив. Пусть, в результате анализа дерева событий, получены вероятности сценариев р\, ..., р„,. При сравнении по субкритерию СК-1 альтернативы АПУ 1 - АПУ к имеют оценки АПУ 1-11, АПУ 2-11, ..., АПУ

А-11. С помощью методики перевода (рис. 6) формируются матрицы парных сравнений альтернатив по субкритерию СК-1. По выражениям (5) и (6) определяются веса альтернатив, вероятность их получения соответствует вероятности сценария — р\. Аналогично проводится анализ для других сценариев, по другим субкритериям СК. Веса альтернатив при сравнении их по комплексному критерию для каждого сценария определяются:

= 1>Лу(4)>

(10)

где у,и(А,) — вес альтернативы А* по комплексному критерию д при сценарии событий у, имеющем вероятность р\ Уу(/Ь) — вес альтернативы А^ по субкритерию 5 при сценарии событий у; — вес субкритерия 5.

После проведения анализа по всем критериям множества /<" (рис. 9), используя выражение (6), может быть получено множество весов альтернатив для каждого сценария по выражению (7). Для принятия окончательного решения предлагается определить математическое ожидание и стандартное отклонение весов, полученных для различных сценариев (рис. 9). Ожидаемый вес альтернативы А

М[У,] = Ь,ШР,, (11)

где у/А^ — вес альтернативы Л, приу'-м сценарии; ру - вероятностьу'-го сценария.

Множество критериев Я Комплексный критерий

Субкритерий СК 1

апу1

0ценки I Рл АПУ-1-11

ш

- ^ Субкритерий СК 2| | . Г~апу-1-2

Р<.....Р/.

- ^ Субкритерий СК го

мпс

субкритериев

-Рл

МПС АПУ-А11 по СК 1

МПС АПУ-ь12 по СК 1

А

оценки АПУ-2-11 I

ш

МПС АПУ-/-1ЛПО СКП

ш

1

П0

¿о

М

А А

-г-С

А

оценки

А А А

Р<.....Рп

Р<.....Рп

МПС АПУ-»-2 по СК 2 | | МПС АПУ-1-/С по СКт|

Ш

Результаты сравнения АПУ по комплексному критерию для каждого сценария по формуле (10)

Результаты сравнения АПУ по другим критериям по формуле (6)

Результаты сравнения критериев Р по формуле (6)

Результаты сравнения АПУ по всем критериям по формуле (7) для каждого сценария

Результат сравнения альтернатив

с учетом вероятностей сценариев по формуле (11)

Рис. 9. Схема анализа альтернатив методом анализа иерархий в условиях риска

Предпочтение следует отдать альтернативе с максимальным значением математического ожидания и минимальным стандартным отклонением веса.

Таким образом, предложенная методика (рис. 8) позволяет за счет использования процедуры перевода оценок без существенного увеличения затрат усилий ЛПР провести сравнение альтернатив методом анализа иерархий по комплексным критериям с оценками, зависящими от различных событий.

Перейдем к рассмотрению процесса выбора лучшей АПУ в методике двухуровневого многокритериального анализа. Выбор на этапе 15 (рис. 2) может усложниться двумя обстоятельствами: 1) предпочтения ЛПР в отношении критериев заданы интервально, в результате сформированы наборы лучших АВУ, что привело к получению нескольких лучших АПУ; 2) анализ АПУ проводился в условиях риска, и для различных сценариев лучшие АПУ отличаются. В этих условиях выбор лучшей АПУ предлагается проводить по выражению:

где IV, — вес /-й альтернативы с учетом ОУР; Sj — ОУР по у'-му набору; jV/[Kv] -математическое ожидание веса /-й АПУ у-го набора.

Итак, используя предложенные методики в комплексе (рис. 2, 5, 6, 8), может быть выбран лучший пункт размещения электростанции. При этом будет обеспечен многокритериальный двухуровневый анализ альтернатив. Неопределенность в отношении исходной информации на первом уровне анализа может быть учтена с помощью предложенной методики (рис. 8), на втором уровне анализа — с помощью функций полезности. Неопределенность ЛПР в отношении критериев может быть учтена применением соответствующей методики (рис. 5). Перевод оценок позволит сократить число запросов к ЛПР и, таким образом, избежать ошибок при анализе.

В третьей главе предлагается архитектура СППР для многокритериального двухуровневого выбора пунктов размещения электростанций, дается описание ее блоков. Рассматриваются особенности разработанной в среде Delphi СППР TwinPoint, которая реализует предлагаемые методики (рис. 2, 5, 6, 8). СППР построена по модульному принципу, имеет windows-ориентированный интерфейс, возможность сохранения и загрузки исходных, промежуточных данных и результатов, графического представления полученных результатов и вывода их на печать.

Для исследования качества решений, получаемых с помощью СППР TwinPoint, проводится выбор пункта размещения гидроэлектростанции (ГЭС) на реке Индигирке в республике Саха (Якутия). На рис. 10 изображен ситуационный план района, расположенного на территории Момского и Оймяконского улусов. На плане обозначены три населенных пункта (п. Хонуу, п. Предпорожный, п. Усть-Нера), месторождения полезных ископаемых, автотрасса, а также варианты трасс планируемой железной дороги (ЖД). На реке Индигирке для сравнения были выбраны 5 пунктов возможного строительства ГЭС, два из которых были намечены Институтом физико-технических проблем Севера.

я

(12)

.Индигирка \?Хонуу " ) \Мома

Трасса ЖД вариант 1

Момский улус

Индигирка

Оймяконский улус „

Трасса ЖД ^^/^\вариант 2

\ Садылахд

»ПредпорожныЙ

Р504 (Колыма»

/П4

115 /

Г Индигирка\

Рис. 10. Ситуационный план района

Рассмотрим основные этапы применения методики многокритериального двухуровневого анализа (рис. 2). На этапе 1 составляется иерархия целей и критериев с выделением двух уровней анализа (рис. 11).

Рис. 11. Иерархия целей и критериев задачи выбора пункта строительства ГЭС

Критерии КЗ, К4 и Кб являются комплексными и подразделяются на субкритерии. В исследовании пункты размещения ГЭС являются АПУ, возможные варианты нормального подпорного уровня (НПУ) плотины ГЭС -АВУ. Диапазоны возможных в пункте НПУ определяют варианты мощностей станции, площадей затопления земель и стоимости ГЭС.

На этапах 3-9 (рис. 2) определяются лучшие АВУ для каждого пункта, формируются наборы Н,. На рис. 11 представлены графики изменения оценок АВУ для пунктов П1, П4, П5 в зависимости от вариантов предпочтений Ъ.

АПУ1 (П1) АВУ13(50м)

-АПУ1 (П1) АВУ14(60м)

АПУ4 (П4) АВУ42(30и)

- АПУ4 (П4) АВУ43(40м)

АПУ5 (П5) АВУ52(30м)

- АПУ5 (П5) АВУ53(40м)

Наборы 1 ■ 2 ■ 3 ■ 4

О 20 40 60 80 100

Рис. 12. Зависимости оценок АВУ от варианта 2 предпочтений ЛПР

Для пунктов П2 и ПЗ лучшие АВУ не менялись, поэтому графики не приводятся. Анализ показал, что изменение лучших АВУ каждого пункта порождает 4 набора альтернатив. В нижней части рис. 12 показаны интервалы устойчивых решений О,,. Были определены ОУР к изменениям предпочтений ЛПР (таблица 3).

Таблица 3 - Набо

зы пунктов с лучшими АВУ

Набор НПУ ГЭС, м ОУР, %

П1 П2 ПЗ П4 П5

Н, 50 50 40 40 30 3

Н2 50 50 40 30 30 9

Н3 60 50 40 40 30 23

н4 60 50 40 40 40 65

Дальнейший анализ проводился для каждого набора с использованием всех критериев К1-К7 методом анализа иерархий (рис. 2, этапы 10-15). Применялась процедура перевода оценок ценности в оценки сравнительной важности для снижения загрузки ЛПР (рис. 6). Количество запросов составило 106, без применения процедуры перевода требуется 244 запроса.

Анализ пунктов на этапах 10-15 методики (рис. 2) проводился для нескольких сценариев. Согласно стратегии развития железнодорожного транспорта в Российской Федерации до 2030 года, запланировано строительство стратегической железнодорожной линии Якутск - Мома - Магадан, что необходимо учитывать при принятии решения. Неизвестно время окончания строительства железной дороги (ЖД), существует неопределенность с вариантом трассы. Это

создает неопределенность в оценках пунктов по критериям - К4 и Кб. В соответствии с методикой (рис. 8) К4 и Кб были представлены через субкритерпн. что позволило учесть влияние различных вариантов строительства железной дороги на оценки по этим критериям. Было построено дерево событий (рис. 13). В таблице 4 представлены сформированные сценарии.

Железную дорогу не построят

0,1 ОД Не к начал}-'

Построят ли железную дорогу? строительства ГЭС

0,2 По варианту трассы 1 0,126

К началу

0,8

0,7 Железную дорогу 0,63 строительства ГЭС

0,9 0,504

построят Не к началу

0,9

строительства ГЭС

0,3 0,2 0,054

По варианту трассы 2 К началу строительства ГЭС

0,27 0,8

0,216

Рис. 13. Дерево событий, характеризующее строительство железной дороги

Таблица 4 - Сценарии и их вероятности

Сценарий События Вероятность

СЦ-1 Железная дорога будет построена по варианту 1 к началу строительства ГЭС 0.504

СЦ-2 Железная дорога будет построена по варианту 2 к началу строительства ГЭС 0.216

СЦ-3 Железная дорога будет построена по варианту 1. но после окончания строительства ГЭС 0.126

СЦ-4 Железная дорога будет построена по варианту 2. но после окончания строительства ГЭС 0.054

СЦ-5 Железная дорога не будет построена 0.1

Каждый из сценариев предполагает решение задачи выбора пункта размещения ГЭС с различными весами альтернатив по субкритерням К4-1 и К6-1. В таблице 5 приведены результаты оценки АПУ для пяти сценариев, полученные с использованием первого набора (см. таблицу 3) лучших АВУ.

Таблица 5 - Результаты расчета итоговых весов альтернатив по сценариям

Сценарий П1 П2 ПЗ П4 П5

СЦ-1 0.240 0.201 0.130 0.238 0.190

СЦ-2 0,163 0.167 0.155 0.301 0.214

СЦ-3 0.211 0.187 0.134 0.264 0.204

СЦ-4 0.164 0.166 0.149 0,302 0.218

СЦ-5 0.164 0.165 0.149 0.306 0.215

По данным таблиц 4 и 5 определяются математические ожидания весов АПУ. Аналогично проводится анализ для других наборов с лучшими АВУ (см. таблицу 3). В таблице 6 приводятся математические ожидания весов АПУ, полученные по выражению (11), для четырех наборов по пяти сценариям. При наборе Н) лучшим является пункт П4, при Н: - П2, а при Н? и Щ - пункт П1.

Таблица 6 - Математические ожидания весов при сравнении АПУ

Набор П1 П2 ПЗ П4 П5

Н, 0,208 0,187 0,139 0,265 0,201

Н2 0,218 0,240 0,143 0,207 0,192

Нз 0,253 0,179 0,141 0,224 0,203

Н4 0,236 0,194 0,177 0,202 0,191

На этапе 15 (рис. 2) для определения лучшей АПУ учтем относительную устойчивость решений к изменениям предпочтений ЛПР (см. табл. 3) с помощью выражения (12). Результаты сравнения пунктов приведены в таблице 7.

Таблица 7 - Итоговые оценки альтернатив первого уровня

Пункт П1 П2 ПЗ П4 П5

Вес 0,245 0,188 0,149 0,218 0,199

Пункт П1 является наиболее перспективным для строительства ГЭС с позиций выраженных предпочтений и вероятностей событий. Пункт П4 может рассматриваться в качестве дополнительного варианта. Результаты выбора были сопоставлены с решениями, полученными на основе известных подходов: 1) MAUT с одним уровнем альтернатив; 2) Двухуровневый анализ пунктов методом главного критерия (таблица 8).

Таблица 8 - Сопоставление подходов к выбору пунктов размещения станций

Предлагаемая методика Метод MAUT Метод главного критерия

Результат выбора П1 (П4) П1 П4

Количество уровней анализа 2 1 2

Многокритериальность да, на двух уровнях да один критерий и ограничения

Учет неопределенности информации и предпочтений ЛПР да, на двух уровнях да нет

Количество запросов к ЛПР 106 учет размытых предпочтений ЛПР: любое количество наборов лучших АВУ; представление комплексных критериев в виде субкритериев;5 сценариев развития района 54 без учета размытых предпочтений ЛПР, 1 сценарий развития района; без субкритериев 28 без учета размытых предпочтений ЛПР, 1 сценарий развития района; без субкритериев

Перевод качественных оценок в количественные требуется для критериев второго уровня требуется для всех критериев не требуется

Проверка непротиворечивости суждений ЛПР да да нет

Полученный с помощью предложенных методик результат - П1 - совпадает с результатом, полученным методом MAUT. А дополнительное решение П4 совпадает с результатом метода главного критерия. Метод главного критерия не ориентирован на получение высоких оценок по всем критериям, что объясняет отличие сделанного с его помощью выбора. Анализ результатов сопоставления позволяет заключить, что предложенная методика двухуровневого многокритериального выбора пунктов размещения электростанций в большей степени отвечает указаниям нормативных документов и степени сложности задачи. Сравнительно большое количество запросов к ЛПР оправдывается необходимостью получения как можно более взвешенного решения. Так, оценки пунктов, полученные с помощью разработанных методик, учитывают качество возможных в них последующих решений. Анализ был проведен по семи критериям, три из которых - комплексные. Было учтено 5 возможных сценариев развития района; были учтены размытые предпочтения ЛПР в отношении критериев; при анализе использовались процедуры, направленные на снижение количества запросов к ЛПР. Необходимость более глубокого анализа диктуется риском остановки строительства электростанции, существенными корректировками проекта. Электростанция - объект, который будет оказывать воздействия многие десятилетия, поэтому увеличенное количество запросов к ЛПР при ее размещении является оправданным.

ЗАКЛЮЧЕНИЕ

На основании проведенных диссертационных исследований решена актуальная научно-практическая задача разработки методического и программного обеспечения для выбора пунктов размещения электростанций. При этом получены следующие научные результаты:

1. Выделены два уровня анализа альтернатив при выборе пунктов размещения электростанций и сформулирована задача двухуровневого многокритериального выбора.

2. Разработана методика двухуровневого многокритериального анализа альтернатив на основе методов MAUT и МАИ, позволяющая, при сравнении пунктов размещения, учесть качество возможных дальнейших решений. В методике используется два метода анализа в эффективной для них области применения. Этим обеспечивается сохранение оригинального описания критериев и оптимальное количество запросов к ЛПР.

3. Предложена методика перевода оценок полезности (ценности) альтернатив в оценки относительной важности для снижения числа запросов к ЛПР при заполнении матриц парных сравнений с обеспечением их согласованности.

4. Предложена методика учета размытых предпочтений ЛПР при использовании метода MAUT на основе задания интервалов соотношений при оценке важности критериев и исследовании изменений ранжирования сравниваемых вариантов на двух уровнях анализа. Предложен количественный показатель, отражающий склонность ЛПР к выбору того или иного набора лучших альтернатив, - относительная устойчивость решений к изменению предпочтений ЛПР.

5. Разработана методика сравнения альтернатив методом анализа иерархий в условиях риска, отличающаяся уменьшенным числом запросов к ЛПР за счет определения предпочтений ЛПР на всем пространстве оценок критериев и перевода оценок альтернатив в оценки сравнительной важности.

6. Разработана СППР TwinPoint, реализующая двухуровневый анализ альтернатив и предложенные методики учета размытых предпочтений ЛПР, перевода оценок полезности (ценности) в оценки относительной важности, анализа альтернатив методом анализа иерархий в условиях риска.

7. Проведен двухуровневый многокритериальный анализ пунктов размещения ГЭС на реке Индигирке в республике Саха (Якутия) с учетом возможных сценариев развития района; намечены перспективные альтернативы.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях из перечня ВАК:

1. Панкратьев П.С., Шакиров В.А. Многокритериальный выбор створа гидроэлектростанции на реке Индигирке в республике Саха (Якутия) // Системы. Методы. Технологии. - 2012. - № 3 (15). - С. 71-80.

2. Шакиров В.А., Панкратьев П.С. Многокритериальный двухуровневый подход к выбору лучшей альтернативы в рамках слабоструктурированной проблемы // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. —2013. — №2. —С. 118-127.

3. Шакиров В.А., Панкратьев П.С. Поддержка принятия решений на стадии предпроектных исследований на основе двухуровневого многокритериального анализа//Прикладная информатика-2013. -№6 (48). - С. 111-121.

4. Шакиров В.А., Панкратьев П.С. Выбор пункта строительства электростанции в условиях риска методом анализа иерархии // Современные технологии. Системный анализ. Моделирование. — 2014. — №4 (44). — С. 141-147. Свидетельство о регистрации программы для ЭВМ:

5. Шакиров В.А., Панкратьев П.С. Система поддержки принятия решений по выбору пунктов строительства электростанций (TwinPoint v. 1.00) // Свидетельство о государственной регистрации программы для ЭВМ №2014619051 от 8 сентября 2014 г.

Публикации в других изданиях:

6. Шакиров В.А., Панкратьев П.С. Перспективы развития гидроэнергетики Северо-Востока России // Братская ГЭС: История строительства, опыт эксплуатации, перспективы: Труды Всероссийской научно-практической конференции / Ред. коллегия: C.B. Белокобыльский, и др.; Братск, госуд. ун-т. — Братск: Издательский дом Братск, 2011. — 248 с.

7. Панкратьев П.С., Шакиров В.А. Многокритериальная оценка эффективности использования энергии рек на Северо-Востоке России // материалы всероссийской молодежной научной конференции (7-9 июня 2012) / Отв. ред. д.э.н. В.Э. Тоскунина. — Архангельск: Архангельский научный центр УрО РАН, 2012.-274 с.

8. Панкратьев П.С. Обоснование необходимости нечеткого многокритериального анализа в проблеме выбора створа плотины ГЭС // Современные техника и технологии: сборник трудов XVIII Международной научно-практической конференции студентов, аспирантов и молодых ученых. В 3 т. Т. 1 / Томский политехнический университет. — Томск: Изд-во Томского политехнического университета, 2012. —426 с.

9. Панкратьев П.С. Многокритериальный анализ выбора створа малой ГЭС // Научная молодежь — Северо-Востоку России: Материалы IV Межрегиональной конференции молодых ученых / Рос. акад. наук, Дальневост. отд-ие, Сев-Воет, комплекс. НИИ. - Магадан: ООО «Новая полиграфия», 2012. - Вып. 4.-157 с.

10. Панкратьев П.С. Многокритериальная проблема выбора места размещения гидроэлектростанции // Материалы III международной научной конференции, 10 ноября 2012 г., г. Санкт-Петербург. - Петрозаводск: Открытие, 2012.-111 с.

11. Pankratyev P.S., Shakirov V.A., The Problem of Choice of the Platform Under Hydroelectric Power Station Construction in Multicriterion Environ-ment // European Science and Technology: materials of the III international research and practice conference, Vol. I. Munich, October ЗОл-ЗР', 2012 / publishing office Vela Verlag Waldkrainburg - Munich - Germany, 2012 - 712 p.

12. Панкратьев П.С., Шакиров B.A. Выбор створа плотины ГЭС на основе метода анализа иерархий // Труды Братского государственного университета. - Братск: Изд-во БрГУ, 2012. - 185 с.

13. Шакиров В.А., Панкратьев П.С. Поддержка принятия решений при выборе пунктов строительства энергетических объектов // Международный научно-исследовательский журнал. - 2013. - №8(15), часть 2. - с. 71-73.

14. Панкратьев П.С. Многокритериальный выбор площадки под строительство ГЭС // Восьмая международная научно-техническая конференция студентов, аспирантов и молодых ученых «Энергия-2013»: Материалы конференции. В 7 т. Т. 5, Ч. 1 — Иваново: ФГБОУ ВПО Ивановский государственный энергетический университет им. В.И. Ленина, 2013. - 346 с.

15. Шакиров В.А., Панкратьев П.С. Многокритериальный двухуровневый подход к выбору пункта размещения гидроэлектростанции // Системный анализ в проектировании и управлении. Часть 2: сборник научных трудов XVII Междунар. науч.-практ. конф. - СПб.: Изд-во Политехи, ун-та, 2013 - 320 с.

16. Панкратьев П.С. Многокритериальный двухуровневый анализ площадок под строительство ГЭС // Труды Братского государственного университета. - Братск: Изд-во БрГУ, 2013. - 254 с.

17. Панкратьев П.С., Шакиров В.А. Методика определения перспективных электрических нагрузок удаленных электрических станций на основе кластерного анализа // Труды Братского государственного университета: Серия: Естественные и инженерные науки: в 2 т. - Братск: Изд-во БрГУ, 2014. - 401 с.

18. Панкратьев П.С. Системные исследования в энергетике //Труды молодых ученых ИСЭМ СО РАН, Вып. 44. - Иркутск: ИСЭМ СО РАН, 2014.-175 с.

Панкратьев Павел Сергеевич

ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ ПРИ МНОГОКРИТЕРИАЛЬНОМ ДВУХУРОВНЕВОМ ВЫБОРЕ ПУНКТОВ РАЗМЕЩЕНИЯ ЭЛЕКТРОСТАНЦИЙ

АВТОРЕФЕРАТ

Лицензия на издательскую деятельность ИД № 04998 от 04.06.2001 г. Подписано в печать 24.02.2015 г. Формат бумаги 60/84 1/16. Бумага тип. №1 Печать офсетная. Объем п. л. 1,5. Заказ 1069. Тираж 100.

ООО «Издательский дом «Братск» 665717, г. Братск, ул. Янгеля, 122