автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Разработка методов и инструментов оценки качества механизмов электронного участия на сайтах электронного правительства

На правах рукописи

Леонова Марнна Владимировна

0046

РАЗРАБОТКА МЕТОДОВ И ИНСТРУМЕНТОВ ОЦЕНКИ КАЧЕСТВА МЕХАНИЗМОВ ЭЛЕКТРОННОГО УЧАСТИЯ НА САЙТАХ ЭЛЕКТРОННОГО ПРАВИТЕЛЬСТВА

8293

Специальность: 05.13.10 - Управление в социальных и экономических

системах

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

2 3 ДЕК 2010

Москва-2010

004618293

Работа выполнена на кафедре управления развитием высоких и информационных технологий Московского физико-технического института (Государственного университета)

Научный руководитель:

доктор социологических наук, кандидат технических наук Якиыец Владимир Николаевич

Официальные оппоненты:

доктор технических наук, профессор Цыгичко Вит&тий Николаевич кандидат технических наук, с.н.с. Филиппов Вячеслав Алексеевич Учреждение Российской академии наук Вычислительный центр им. А. А. Дородницына РАН

Ведущая организация:

Защита состоится «27» декабря 2010 года в 11 час. 00 мин. на заседании диссертационного совета Д-002.086.02 в Учреждении Российской Академии наук Институт Системного Анализа по адресу: 117312, Москва, проспект 60-летия Октября, 9

С диссертацией можно ознакомиться в библиотеке Учреждения Российской Академии наук Института Системного Анализа по адресу: 117312, Москва, проспект 60-летия Октября, 9

Автореферат разослан 3S> ноября 2010 года.

Ученый секретарь Диссертационного совета Д-002.086.02

Доктор технических наук, профессор

А.И. Пропой

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования

Начиная с 2000 года, внедрение новых принципов управления государством с широким использованием возможностей информационно-коммуникационных технологий (ИКТ) -один из стратегических приоритетов развития многих стран. В частности, Европейского Союза, США и других. Активно используется понятие «электронное правительство» (далее-э-правительство, ЭП). Переход на качественно новый уровень государственного управления - одна из целей Административной Реформы в РФ. В рамках данной реформы внедряется ФЦП «Электронная Россия» (2002-2010).

Теоретические основы и практические аспекты применения ИКТ в государственном управлении и создания ЭП разрабатывались в работах Т.Беккера, К. Беллами, Дж. Тейлора, Д. Гарсона, Дж. Фоунтейн, Д. Норриса и др., а также в рамках проектов ООН, Всемирного банка, Gartner, Microsoft, Процесс Консалтинг. Среди отечественных ученых, внесших вклад в комплексное изучение различных аспектов ЭП, можно отметить работы В.И.Дрожжинова, А.Е. Шадрина, А.П.Голубицкого, Ю.В. Ирхина, Л.В. Сморгунова, А.Н.Кулика, С.А. Дятлова, А.В.Данилина, А.В.Клименко, А.О. Голосова, В.В. Никитина, A.B. Павроза, В.Г.Матюхина, И.И.Моссуха, В.И.Тищенко, Т.И.Жуковой, Ю.С.Попкова, Б.В.Сазонова, В.В. Солодова, К.Ю. Носкова, A.B. Петрова, A.B. Ермолаева, О.Б. Пака, А.Б. Жулииа, А. Нарсесяна.

Концепция э-правительства включает три ключевых постулата' открытость или публичность, электронное участие (э-участие, ЭУ) и онлайн-трацзакщш. В зарубежных разработках более-менее сбалансировано реализуются все три аспекта. Однако, при реализации Федеральной программы «Электронная Россия» наименьшее внимание было уделено вопросам разработки и применения инструментов з-участия. Это обусловило разрывы обратных связей между создателями сайтов ЭП и пользователями. Между тем, именно постулат инструментов э-участия является весьма значимым для распространения современных методов государственного управления и развития гражданского общества.

Реализация принципов и процедур э-участия зависит, во-первых, от того, как при разработке сайтов министерств и ведомств достигается простота и доступность инструментов ЭУ для пользователей (граждан, объединений, бизнес-структур и ведомств), во-вторых, от степени активности применения этих инструментов пользователями и, в -третьих, тем, как организован учет мнений при разработке значимых социально-экономических решений. Очевидно, что недостаточное внимание, уделяемое разработке инструментов э-участия, сказывается негативно на эффективности деятельности ЭП.

При изучении публикаций и анализе сайтов ЭП не было выявлено метода, который позволял бы систематическим образом оценивать наличие понятных и эффективных инструментов ЭУ и механизмов обратной связи (механизмов ОС), а также «дружелюбность» сайтов ЭП по отношению к пользователям. Под инструментами ЭУ и механизмами ОС здесь понимаются такие способы взаимодействия пользователей с представителями органов власти в рамках ЭП, как методы получения мнений различных групп граждан органами государственной власти, методы участия граждан в принимаемых решениях, методы контроля деятельности, методы получения пользователями необходимой информации от представителей министерств и ведомств.

Отсутствие метода оценки и мониторинга состояния сайтов ЭП с точки зрения ОС не способствует рационализации работы ЭП в целом. Отметим, что наличие такого «измерительного» инструмента не было выявлено при изучении работ зарубежных ученых.

Поэтому задача разработки инструмента оценки полноты и качества механизмов ОС (инструментов ЭУ) на сайтах ЭП является актуальной. С помощью такого инструмента можно будет оценить развитость отдельных сайтов, научиться сравнивать всю совокупность сайтов ЭП с позиции качества реализации инструментов ЭУ на них, а также формировать варианты управленческих решений по совершенствованию функционирования ЭП. Цели и задачи работы

Цель работы - разработка и исследование количественных методов и алгоритмов оценки полноты набора и качества инструментов электронного участия (ЭУ) и механизмов обратных связей (ОС) на сайтах Электронного правительства РФ, обеспечивающих учет мнений пользователей при управлении социально-экономическими системами. Для достижения поставленной цели были определены и решены следующие задачи:

• Системный анализ текущего состояния исследований в области ЭП, базовых моделей развития, структуры ЭП в РФ, понятия обратных связей в нем, существующих систем оценки и мониторинга.

• Разработка принципов построения системы оценки и мониторинга состояния механизмов обратных связей и инструментов ЭУ на сайтах ЭП, включая методику межстранового экспресс-сравнения вариативности инструментов э-участия, индексы оценки полноты набора и качества инструментов взаимодействия на сайтах ЭП, алгоритмы расчета значений и визуализации индексов.

• Описание процедур проведения мониторинга (формирование групп экспертов, определение критериев оценки, построение шкал, разработка инструкций для экспертов и организация их работы) и обработки информации.

• Исследование информационных ресурсов федеральных органов исполнительной власти (сайтов ЗГТ) с использованием разработанных методов и алгоритмов. Выработка вариантов управленческих решений по совершенствованию функционирования ЭП. Объект исследования: системы и процедуры отношений между разными группами пользователей и федеральными министерствами и ведомствами, строящихся в виде инструментов ЭУ и механизмов ОС, действующих в рамках информационных ресурсов (сайтов) ЭП РФ.

Предмет исследования: методы, инструментарий и алгоритмы оценки полноты и качества механизмов ОС и инструментов э-участия на сайтах ЭП. Методы исследования

В данной работе использованы методы многокритериального анализа, методы сбора и обработки экспертных суждений, методы теории принятия решений. При проведении прикладных работ использовались методы контент-анализа, методы опроса экспертов и экспертные процедуры, социологические и социометрические методы получения и обработки информации. Выявление совокупностей инструментов э-участия на сайтах ЕС проводилось с использованием поисковых систем ассоциации Epractice.eu и DEMO-net. ПО для расчета индексов основывалось на использовании языков программирования MS Visual Basic, С++. Научная новизна

В диссертационной работе предложен метод оценки полноты набора и качества инструментов ЭУ и ОС на сайтах ЭП РФ, основанный на применении разработанных автором двух субиндексов Индекса полноты набора инструментов ЭУ (моделируется как функция булевой переменной) и Индекс оценки их качества (формализуется в виде аддитивной свертки на множестве критериев).

Предложен алгоритм построения композитного индекса оценки полноты и качества инструментов ЭУ, использующего расчетные значения обоих субиндексов.

Предложен метод формирования эталонного набора инструментов э-участия и механизмов ОС для развития сайтов ЭП РФ.

Разработана и реализована проблемно-ориентированная модель и программное обеспечение для графической визуализации результатов оценивания по двум субиндексам в двумерном пространстве.

Разработаны методические основы оценки и мониторинга объектов ОС на сайтах ЭП, включающие определение подмножества сайтов, на которых целесообразно проводить оценку полноты и качества ОС, правила формирования групп экспертов, разработку анкет

для экспертного оценивания, инструкции для экспертов, формирование групповых оценок и визуализацию результатов оценивания.

Предложена процедура формирования альтернативных вариантов решений по совершенствованию деятельности сайтов ЭП с использованием методов ТПР. с учетом индексных оценок и имеющихся ограничений по финансовым и трудовым ресурсам. Практическая ценность работы

Разработанные модели, методы и индексы были использованы при оценке состояния механизмов ОС и инструментов ЭУ на сайтах ЭП РФ в течение 2007-2010 гг. В 2007-2008 гг. проводились пилотажные исследования с целью отработки основных методик.

При анализе деятельности совокупности действующих сайтов ЭП РФ проверялись и были подтверждены следующие гипотезы:

- на большинстве сайтов ЭП РФ реализован минимальный набор из общего числа всевозможных инструментов ЭУ и механизмов ОС.

- на сайтах, где реализовало и доступно пользователям небольшое число инструментов ЭУ, качество их работы выше.

- существует необходимость включения механизмов ЭУ, использующих сервисы web 2.0.

На основе полученных результатов выработаны практические рекомендации по совершенствованию управления развитием информационных ресурсов э-правительсгва РФ.

Сформулированы принципы построения системы мониторинга. Апробация работы

Результаты пилотных исследований были представлены в докладе «Индекс оценки полноты и качества обратных связей на сайтах ФОИВ» 22 апреля 2009 года на объединенной Научной сессии Отделения нанотехнологий и информационных технологий РАН и Отделения общественных наук РАН (ОНИТ и ООН РАН).

В 2009-2010 гг. совокупность разработанных теоретических моделей и методика расчета индексов полноты и качества получила применение при выполнении проекта на средства, полученные в виде гранта от Института общественного проектирования, выданного в соответствии с распоряжением Президента РФ. Результаты этой работы вошли в «Доклад о состоянии гражданского общества в Российской Федерации -2009» Общественной палаты РФ.

Анализ результатов пилотного исследования и работы 2009-2010 гг. позволили сделать вывод о том, что разработанный метод оценки полноты и качества ОС может применяться также при анализе соответствующих сайтов на региональном и муниципальном уровне.

Теоретические разработки, модели и методы, а также результаты их применения при оценке состоянии ОС на сайтах ЭП РФ апробированы в ходе ряда Всероссийских и Международных конференций. В том числе на Международной конференции «Системный анализ и информационные технологии САИТ-2007», Обнинск, ИСА РАН, 2007 г.; на Всероссийской конференции «Интернет и современное общество», Санкт-Петербург, СПб ГУ 2007 г.; на 7-й Всероссийской конференции «Электронное правительство в информационном обществе», Санкт-Петербург, СПб ГУ 2008г.; на К Международной научной конференции "Россия: ключевые проблемы и решения", Москва, ИНИОН РАН, 2008 г.; иа Четвертой Всероссийской научно-практической конференции «Научное, экспертно-аналитическое и информационное обеспечение национального стратегического проектирования, приоритетных национальных проектов и программ», Москва, 2008 г; на Всероссийской научной конференции «Наука и власть: проблема коммуникаций», Москва,

2008 г.; на 50, 51 и 52-й научных конференциях Московского физико-технического института (2007, 2008, 2009) - в 2008 и 2009 году работы отмечены дипломами конференции; на 7-ой Международной конференции «Государственное управление в XXI веке: традиции и инновации», Москва, МГУ им. М.В.Ломоносова 2009 г.; на Международной конференции «Системный анализ и информационные технологии» САЙТ -2009, Звенигород, ИСА РАН, 2009 - доклад отмечен дипломом конкурса докладов молодых ученых; на «European Conference on E-Government (ECEG-2009)», London, United Kingdom,

2009 г.; на XI Международной научной конференции по проблемам развития экономики и общества, Москва, ГУ-ВШЭ 2010.

Структура и объем диссертации

Диссертация изложена на 175 страницах и состоит из оглавления, введения, четырех глав, заключения, списка литературы (89 позиций, упорядоченных по алфавиту) и 3 приложений.

Краткое содержание работы

Во введении обоснована актуальность работы, обозначены объект и предмет исследования. Введены основные понятия и обозначения. Приведена формулировка целей и задач исследования, оценка научной новизны и практической ценности результатов.

Первая глава посвящена описанию современного состояния ЭП в разных странах и анализу различных систем их оценки. Охарактеризованы следующие наиболее интересные разработки: исследование «Индекс готовности к э-правительству ООН» (2003-2010), включающий индекс развития электронного участия различных стран; анализ, проведенный специалистами Университета Македонии по уровню применения различных инструментов з-

участия на сайтах стран ЕС (2009); оценка эффективности сайтов э-правительства Турции с использованием теории нечетких множеств (2009) и пр. Рассмотрены следующие отечественные разработки: рейтинги информационной открытости сайтов ЭП РФ Института развития свободы информации (2005-2010), оценки уровня развития ИКТ инфраструктуры для различных регионов РФ (рабочая группа ИСИЭЗ ГУ-ВШЭ), оценка проблем и направлений развития ЭП России (Институт современного развития и Институт развития информационного общества).

В работе сделан анализ существующих нормативных документов, регулирующих функции ЭП в ЕС и РФ. Дано краткое описание методов принятия решений, используемых для экспертных оценок ЭП, а также результатов зарубежных исследований, посвященных развитию э-участия, как неотъемлемого компонента ЭП.

Сформулирована задача разработки количественного метода оценки полноты набора и качества инструментов э-участия на сайтах ЭП РФ и обоснованы ее актуальность и новизна.

Вторая глава посвящена характеристике предложенного метода оценки полноты набора и качества инструментов ЭУ и ОС на сайгах ЭП РФ, основанного на применении разработанных автором двух субиндексов: Индекса полноты набора инструментов ЭУ (моделируется как функция булевой переменной) и Индекса оценки их качества (формализуется в виде аддитивной свертки на множестве критериев). Описан алгоритм построения композитного индекса оценки полноты и качества инструментов ЭУ, использующего расчетные значения обоих субиндексов. Рассмотрен метод формирования эталонного набора инструментов э-участия и механизмов ОС дня развития сайтов ЭП РФ. Описана проблемно-ориентированная модель и программное обеспечение для графической визуализации результатов оценивания по двум субиндексам в двумерном пространстве. Разработана блок-схема оценки сайтов ЭП, представленная на рис. 1.

Первый шаг в оценке - отбор сайтов, по которым будет проведена оценка э-правительства. В работе предложен следующий метод отбора сайтов для оценки э-участия в электронном правительстве. Группа управления экспертизой проводит изучение каждого из ведомств по трем ключевым признакам, влияющим на «интерактивность» информационных ресурсов: возможность получить ответ на вопрос в режиме реального времени (С>), общественный контроль над деятельностью ведомства в целом и его сотрудников в частности (С), общественное участие (Р). В результате такого анализа сайт каждого ведомства получает вектор значений <3, С, Р>. По каждому из признаков группа управления экспертизой присваивает сайтам оценку от 1 до 3 баллов (1 - наихудший вариант

реализации признака, а 3 - наилучший). Расчет модуль вектора значений р= У(22 + С2 + Р2 позволяет разбить множество сайтов натри подмножества: сайты, потребность в обращении к которым у пользователей минимальна (р < 3); сайты, к которым пользователи обращаются довольно часто (3 < р < 5); сайты, наиболее востребованные пользователями (р > 5). Устанавливая пороговое значение для модуля вектора, группа управления экспертизой или ЛПР формируют выборку объектов исследования.

Рис 1. Блок-схема оценки сайтов электронного правительства.

Далее в работе описан метод выбора инструментов ЭУ и механизмов ОС, подлежащих т\етеанию.

Поскольку модель функционирования и развития ЭП РФ во многом имеет свойства аналогичных моделей, развиваемых за рубежом, то важно правильно определить какие инструменты ЭУ и механизмы ОС следует развивать и, следовательно, оценивать , Простое копирование модели, используемой в ЕС, например, ограничивает набор ОС, применяемых в России. Анализируя в 2007-2008 гг. нормативную документацию по ЭП РФ и существующие сайты ведомств, автор выявила список из 7 механизмов ОС. В 2009г. организацией DEMOnet из ЕС обобщены модели э-участия и сформулирован свой список "e-participation areas", включающий И позиций. В работе описана схема определения достаточного набора инструментов для проведения оценки. Окончательно были выбраны следующие инструменты (детально описанные в диссертации): 1. Предоставление информации.

2. Простой вопрос.

3. Запрос, требующий подготовки экспертного заключения.

4. Он-лайн консультации, комментарии: учет мнения заинтересованных лиц (стейкхолдеров).

5. Оценка проектов и общественная экспертиза.

6. Включение в общественный совет.

7. Общественный контроль.

8. Создание групп з-участия (community).

9. Проведение кампаний/публичных акций.

10. Слабоструктурированное обсуждение (deliberation).

11. Дискурс.

12. Разрешение конфликтных ситуаций он-лайн, (mediation).

13. Городское планирование и вопросы защиты окружающей среды.

14. Проведение опросов среди граждан.

Далее в работе описан метод межстранового сравнения полноты используемых инструментов, который состоит из нескольких этапов: обзор существующих механизмов э-участия, создание списка ОС и их описание; анализ сайтов экспертами и выявление используемых механизмов для каждого сайта; расчет групповых оценок полноты ОС для страны или группы стран, принимающих участие в исследовании; расчет соотношения использования механизмов ОС; визуализация межстранового сравнения - гистограммы.

В диссертационной работе предложен метод оценки полноты набора и качества инструментов ЭУ и ОС на сайтах ЭП РФ, основанный на применении разработанных автором двух субиндексов: Индекса полноты набора инструментов ЭУ (моделируется как функция булевой переменной) и Индекса оценки их качества (формализуется в виде аддитивной свертки на множестве критериев). Остановимся на каждом из индексов подробнее.

Построение Индекса полноты (ИП) заключается в следующем: определяется перечень параметров, которые должны присутствовать в конфигурации сайта для предоставления всем заинтересованным лицам возможностей для обратной связи; значения ИП для каждого сайта определяется с помощью функции (аддитивной свертки), зависящей от булевой переменной, принимающей значение I, если у сайта имеется данный параметр, О-в противном случае).

На первом этапе каждый из экспертов проводит оценку наличия механизмов ОС из множества К на совокупности сайтов S*, получая т.о. индивидуальную оценку

s и» , . ( 1, если ¿механизм есть на сайте s к (0, если к механизм отсутствует на сайте s

¿=/,2..., ^'-порядковый номер сайта, - общее количество сайтов, к=1,2,...,К -порядковый номер механизма ОС, К- общее количество механизмов ОС.

Поскольку механизм обратной электронного участия некоторые из экспертов могут не распознать при первом знакомстве с сайтом, или, напротив, спутать назначение механизма, для получения групповой оценки вводится параметр стратификации.

Рассматривая каждый из механизмов для каждого сайта в отдельности, считаем, что если аддитивная свертка ИП по данному механизму ОС, нормированная на количество экспертов, больше заданного параметра, то ИП по механизму ОС присваивается значение один, а если меньше - ноль. Таким образом, задается критерий ошибки экспертов по ИП. Итак, определяя индекс полноты одним экспертом 1 для одного сайта 5 по порядковому номеру механизма к и суммируя показатели по всем экспертам, получим инг = и 1 хы~ гДе Н - функция Хевисайда. После этого преобразования групповой ИП по всем механизмам ОС может быть определен как ИГ? = ИП£

^'-порядковый номер сайта, 5* - общее количество сайтов, к-1,2,...,К -порядковый номер механизма ОС, К - общее количество механизмов ОС, 1-1,2,...,Ь -порядковый номер эксперта, X - всего экспертов в процедуре, Р - пороговое значение ИП при формировании группового индекса ИП, в нашем случае принимается Р=1/2.

Следующий шаг в приведенной схеме - оценить, сколько инструментов из сформулированного набора на самом деле существуют на сайтах. Если фактическое количество инструментов меньше эталонного, дальнейшая оценка по индексу качества ведется уже для ограниченного набора инструментов (например, из 14 приведенных выше инструментов эталонного набора на сайтах федеральных органов исполнительной власти РФ экспертами в 2009 г. найдены только 6).

Индекс качества (ИК) направлен на определение степени доступности и комфортности механизмов ОС для пользователей. Определение значений ИК для каждого из сайтов строится следующим образом:

• формируется набор критериев и задаются их шкалы;

• определяются критерии и шкалы оценки качества механизмов;

• для исследуемого множества сайтов на основе анализа результатов определения ИП формируется набор механизмов ОС, качество которых будет определяться с помощью индекса ИК;

• с участием экспертов строится матрица весовых коэффициентов критериев для каждого механизма ОС;

« эксперты оценивают ОС каждого сайта по набору критериев;

• проводится расчет индивидуальных и групповых оценок ИК.

Окончательный список критериев оценки в работе определен следующим: простота использования механизма; информативность и обновление информации; наличие системы подсказок и специальных форм; участие представителей ведомства в диалоге, принятие решений.

В оценке принимают участие три группы экспертов: «бизнес», «граждане», «представители власти».

Групповой индекс ИК определяется по формуле

я=],2..., 5* - порядковый номер сайта, - общее количество сайтов, к=1,2.....К' -

порядковый номер механизма ОС, К'- общее количество механизмов ОС при оценке ИК,

1=1,2.....1 - порядковый номер эксперта, Ь - всего экспертов в процедуре, / -1,2, -, М-

порядковый номер критерия оценки в ИК, М - общее число критериев, а* - весовой коэффициент ;-го критерия для механизма с порядковым номером к, выставленный экспертом /, <*(" = 1. О < а* < 1, - балл, данный экспертом механизму к сайта а по критерию < при оценке ИК, <^¡6 {1,2,../?}, Л-максимальная оценка.

Общая оценка состояния инструментов обратных связей и механизмов электронного участия проведена с помощью композитного индекса КИ ОС, который предлагается определить как точку на плоскости. Первая ось - это ось значений ИП, а вторая ось - ось значений ИК. Тогда каждый сайт 5 может быть представлен парой значений: КИ_0С,5 = (ИП*,ИК*), где ИП* и И^ - индексы полноты и качества по оценке эксперта I. Групповая

оценка композитного индекса кТГбС5 = (ЙП*, ЙК5 ), где ЙТГ и ЙК5 - групповые оценки индексов полноты и качества. Исследование расположения сайтов на такой плоскости позволит сформулировать рекомендации по стратегии развития, как отдельных информационных ресурсов, так и электронного правительства в целом.

Для дальнейшего анализа результатов оценки сайтов в работе представлен следующий алгоритм.

Получив множество оценок КИ_ОС по двум группам критериев - ИП и ИК (назовем его О) поставим задачу разбить такое множество на подгруппы для выработки отдельных рекомендаций. В работе использована комбинация двух подходов: поиск парето-опггимальных решений и принцип идеального решения. Пусть 5 - множество сайтов,

(=1 к=1

5 = В результате экспертных процедур есть две оценки для каждого сайга:

Индекс полноты = ИП(5П) = г у{ г; (ж) - индекс полноты в общем виде, у- весовой вектор, Индекс качества = ИК($П) = £¡^77,-г; (х) - индекс качества в общем виде, т|-весовой вектор. Критериальное пространство О с К2. Отображение множества в критериальное пространство Q порождает в этом множестве множество решений Множество оценок сайтов замкнуто и ограничено, лежит в положительном ортанте. В рамках задачи необходимо разбить исходное множество на Ь подмножеств парето-оптимальных решений/ фронтов парето = 1тг,.

Свойства множеств таковы: внутри парето-слоя расстояние до идеальной точки кратно 5 - граничному расстоянию (длина вектора (0,05;0,05) в критериальном пространстве (3). Расстояние между крайними точками соседних парето-сдоев менее В - заранее заданного параметра. Цель разбиения: получить возможность дальнейшей выработки рекомендаций для групп сайтов, для этого предлагается описать всю совокупность сайтов как суперпозицию парето-оптимальных множеств с различной мощностью. Далее, проведя сужение парето-оптимальных областей - выбор «представительских точек», описать возможные варианты развития таких точек, а также каждой из групп. Сужение множеств Парето рассматривали в своих работах различные авторы (Гафт М.Г., Озерной В.М; Подииовский ВВ. и Вик.В.;Ларичсв О.И.; Ногин В.Д; Берман В.П., Наумов Г.Е.;Барышников Ю.М., Березовский Б.А., Борзенко В.И., Кемпнер Л.М., Травкин С.И., Петровский А.М.).

В случае проведения мониторинга, повторные или промежуточные оценки можно вести только для точек-представителей, а не для всего слоя в целом.

Итак, пошагово алгоритм разбиения на парето-слои выглядит следующим образом. Шаг 1.Выбрать векторы с максимальным значением <?!• 0+={ч„: (ЯтахгС^кХ'^гС^к))] Шаг 2.Идеальной назовем точку с максимально возможными значениями по критериям:

(Ятах! > Ятах'А

Шаг 3. Среди заданного множества векторов выберем абсолютно доминирующий вектор

г-Р («1, Чг) = (Чпнч; Цтахг)-

Шаг4.г= 1

Шаг 5.Множество л^ = г]=Р(дтах1, цтахг) - первый парето-слой. Шаг б.Из множества исключить подмножество я^: - (¡ц \ щ Шаг7.г= (+1

Шаг 8. Используя принцип идеальной точки, сформировать множество пс по правилу:

Щ = {Рср-г- я!(яр))2) < гдг] 1=1

Где гдг - граничное расстояние (длина вектора (0,05;0,05) в критериальном пространстве 0). Такая длина выбрана, поскольку веса критериев и Цг равны.

Шаг 9, Проверить, не пусто ли множество Если — 0 перейти к шагу 7, если нет - к шагу 10.

Шаг 10. Из множества СЬ исключить подмножество лс: = \ г^

Шаг 11. Проверить выполнение равенства = 0 Если оно имеет место, разбиение

на парето-оптимальные слои окончено. В противном случае - перейти к шагу 12. Шаг 12. гдг - гдг + 5! где 8, - также длина вектора (0,05,0,05) в критериальном пространстве О

Шаг 13. Проверить выполнение неравенства гдт < О(г',г0), где г' = , д2) = (0,0).

0=1,41 Если оно выполнено, то перейти к шагу 7 если нет закончить. Алгоритм выбора «представительской точки» по оценкам главного критерия Шаг 1.Для группы точек тгс с мощностью множества ¡1С выбрать максимальную Ь

минимальную по главному критерию точки ¡тах, 5т1п . Шаг 2.Определить шаг изменения т = Шаг 3^0

Шаг 4. К минимальному значению добавить шаг изменения 1в = БтЫ + т Шаг 5.6=8+1

Шаг 6. Для 1 изменяющегося от 1 до ¡1С выбрать все точки из множества пс , такие что

'а-1 < * < 'а > * 6 Шаг 7. Для каждого чд вычислить весовой коэффициент в виде уд = ц„д Шаг 8. Если g<дt перейти к шагу 5 если нет-перейти к шагу 9 Шаг 9. е и3 = ув

Шаг 10. С учетом рассчитанных весовых коэффициентов определить

представительскую точку по формуле <рс = Лс —

Используя приведенные выше инструменты, а работе предложено создать систему мониторинга и оценки инструментов обратных связей, а также механизмов электронного участия. На основе анализа результатов пилотной апробации разработанных методов и алгоритмов сформулированы принципы построения системы оценки инструментов ЭУ и ОС:

сопоставимость результатов оценивания сайтов между собой; максимизация возможной полноты набора инструментов, которые будут «продвигаться» на сайтах ЭП РФ; принцип сочетаемости содержательной, алгоритмической и программной возможностей реализации инструментов ОС на сайтах; принцип простоты оценки полноты и качества ОС; принцип простоты экспертной оценки (участия экспертов в экспертных процедурах); принцип простоты результатов экспертизы в смысле практической направленности мониторинга (предполагает возможность простой выработки решений на основе результатов исследований); принцип обоснованности принимаемых решений на базе индексных оценок; принцип воспроизводимости результатов исследования.

В третьей главе общий алгоритм оценки и мониторинга в диссертационной работе дополнен различными методическими материалами, детально описывающими механизм проведения экспертизы. Схема экспертизы дана на рис. 2.

Группа управления

Метсдика выбора сайтов для оценки

Методические материалы Методика

формирования экспертных групп

Методика проведения опросоа

"Методика вы5ора' эталонного множества механизмов ОС

Критерии Методика расчета индексов Методы Программный

оценки визуализации К0МПГ.8КС

Корректировка методических материалов

Выборка сайтов

Выбор 1 эталонного I множества ОС

Формирование экспертных групп

Проведение экспертизы

Индекс Индекс

Качества Полноты

Композитный индекс

ки_ос

Обработка | результатов

Рис 2. Схема экспертизы: процедуры, методики, инструменты.

Автор приводит детальное описание предварительных процедур для группы управления: выбор экспертов и формирования экспертных групп, выбор механизмов обратных связей для оценки, выбор множества сайтов.

Описаны также методические рекомендации экспертам по определению индексов полноты и качества обратных связей, включая анкеты экспертов, критерии оценки качества ОС, шкалы оценки.

Для сбора и обработки полученной информации разработаны: методики расчета групповых оценок но индексам ИП, ИК, программное обеспечения для формирования групповых оценок и методические рекомендации по его использованию.

Использование результатов оценок возможно с помощью методики составления предложений по повышению эффективности функционирования организационных систем э-правительства, а совершенствование системы экспертизы возможно с использованием методов автоматизированного поиска, которое также обсуждается в данной главе.

В четвертой главе приведены и обсуждаются результаты предварительных наблюдений (2008-2009): 1 Мониторинг изменений ОС на сайтах ФОИВ 2008 год, 2) межстрановое сравнение использования механизмов ОС - кратко результаты оценки но множеству механизмов электронного участия сайтов федеральных органов исполнительной власти России и сайтов э-правительства Европейского Союза даны на рис.3.

Механизмы ЭУ

Он-лайн голосование Праведениеопросов Городское планирование Посредничество Дискурс

Слабоструктурир. дискуссия Предвыборные кампании Проведение акций Он-лайн консультации Создание групп э-учасгия Информация

40'/.

«о%

80% 100%

% сайтов, использующих механизм ЭУ

Рис.З Сравнительный анализ использования механизмов ОС сгран ЕС и РФ, 2009 год.

Из рисунха 3 видно, что на сайтах ЭП РФ доминирует инструмент предоставления информации гражданам (93%). Что же касается сайтов ЕС, они развиваются более равномерно и направлены не только на предоставление информации, но и на вовлечение граждан в диалог, коллективное принятие решений, на развитие обратных связей. Преобладающими на сайтах ЕС являются: предоставление информации - 44%,

слабоструктурированная дискуссия - 30%, консультации - 28%, дискурс - 16%. Детальный анализ результатов представлен в работе.

В данной главе также показаны этапы применения методики КИ_ОС для совокупности сайтов ФОИВ и ряда дополнительных значимых сайтов ЭП РФ федерального уровня в 2009. Приведены результаты апробации индексов в докладе ОП РФ 2009 года.

Для расчета значений индексов ИП и ИК отобранных сайтов ЭП РФ привлекались эксперта из трех групп («граждане», «бизнес», «представители власти»). Они работали по специально созданной процедуре оценки. Согласованность оценок всех групп оказалась достаточно высокой.

Список изучаемых сайтов включал: информационные ресурсы ФОИВ, сайт Президента, сайт «Национальные проекты», сайт Премьер-министра и сайт «Электронная Россия». Из общего числа (91 сайт) для экспертизы и анализа были отобраны 72 сайта. Экспертиза по обоим индексам проводилась в августе-октябре 2009 года. Было установлено, что из 54 инструментов ОС и механизмов ЭУ эталонного набора, в России фактически нашли применение лишь 6 инструментов. На рис. 4 приведено количественное распределение инструментов по сайтам. Установлено что каждый пятый из изученных сайтов имеет следующие механизмы: «общественный контроль» (формы «антикоррупция» или независимая оценка работы ведомства на форуме и др.); «слабоструктурированные дискуссии» (как правило, в виде форумов); опросы общественного мнения (как простые, так и достаточно развернутые).

Рис. 4 Количественное распределение инструментов ОС.

К сожалению, такие наиболее действенные механизмы э-участия, как комментарии и мнения (в том числе экспертные), дискурс, общественная он-лайн экспертиза проектов, общественный совет, группы э-участая, он-лайн кампании и петиции, на сайтах ЭП РФ используются в единичных случаях, т.е.находятся в зачаточном состоянии. Поскольку на большинстве сайтов (около 90%) было выявлено наличие 6 инструментов, то оценка экспертами Индексов ИП и ИК велась только применительно к ним. Композитный индекс для общей групповой оценки приведен на Рис.5.

0,1 0,2

0,6 0,7 0,8 0,9 1

Индекс полноты

1 ПрегадектРФ 13 Мккгтромторг 25 ФСБ 37 Рособраюваиме 49 ФА? 61 Росстат

2 Премьер РФ 14 Мнкретион 26 Госнарвдконтролъ 38 Росгидромет 50 Росиолодежъ 62 Роскартографнл

3 Пралмтельетяо 15 Миле* л к 27 ГУСП 39 ФСНП 5} ФАТ 63 Россестр

4 МВД 16 Минсель.хо7 2% Рослотребкадюр 40 Ростехнаетор 52 Россторт (А ФАУОЭЗ

5 МЧС 17 Мине порт 29 Рос здрав надзор 41 Росаоаресурси 53 Ространснаяюр 65 ФАС

6 МИД 18 Минтранс 30 Роструд 42 Рос недра 54 Рос авиация 66 ФТС

7 М. обороны 19 Минфин 31 ФМБА 43 Роскомнгшор 55 Росаятодор 67ФСТ

8 Минюст 20 МЭР 32 Росохрамультура 44 Росннформтсхнологии 5 С Росжелдор 68ФКА

Мингара»»

9 соцра^вктя 21 Минэнерго 33 Росархни 45 Роспечать 57ФАМнРТ 69 НАК

10 Минкульт 22 ФМС 34 Роспатент 46 Россвть 58 ФНС 70 Нацгсроекты

11 Мин обр науки 23 ФСИН 35 Рособриахюр 47 Россель хоз надчор 59 ФССИ 71 ФЦП «Э-Россиа»

12 Минприроды 24 ФССП 36 ФА1Ш 48 ФАЛХ 60 Ка.значенстго РФ 72 Работа в России

Рис. 5. Распределение сайтов ЭП по индексу КИ_ОС -2009 год, групповая оценка.

Описание результатов и их оценка приведены в работе.

Большая часть сайтов попала в группу слабого уровня развития ОС по ИП и ИК. Многие из них, по отзывам экспертов, представляют собой «обычную газету» с официальными новостями. В таких «газетах» размещают проекты документов для проверки на коррупциогенность, например, но как высказать мнение по документу, зачастую неясно (разве что по электронной почте редактору сайта). Как правило, не развиты инструменты принятия групповых решений.

Принимая во внимание гипотезу: чем меньше инструментов реализовано на сайте, тем более автоматизируемыми будут такие инструменты и меньше вовлеченность сотрудников ведомств в диалог, введем расчет Индекса Качества с нормализацией на общее число рекомендуемых инструментов ОС (К').

Для того, чтобы исследовать качество инструментов ОС в среднем по каждому сайту, введем ЙК^м =Г—Е?^ аи Яш, где... 5=1,2..., 5*-порядковый номер сайта, 5* - общее количество сайтов, к=1,2,...,К'~ порядковый номер механизма ОС, А"- общее количество механизмов ОС при оценке ИК, 1=1,2,... - порядковый номер эксперта, I. -

всего экспертов в прсцедуре, I =1,2.....М- порядковый номер критерия оценки в ИК, М -

общее число критериев, а,' - весовой коэффициент /-го критерия для механизма с порядковым номером к. выставленный экспертом I а* О <а* < 1, - балл, данный экспертом I механизму к сайта л по критерию / при оценке ИК, qfk¡€ {1,2,..К}, Л -максимальная оценка.

Результаты исследования вкратце охарактеризуем так: более «сложные» в реализации инструменты в сравнении с более «простыми» получили меньшие оценки за качество.

Используя алгоритмы, описанные в главе 2, рассчитаем количество парето-оптимальных групп: всего их 10. Используя алгоритм поиска представительских точек, получаем следующее разбиение: рис 6. Отметим также, что по мощности указанные группы кардинально различаются, увеличиваясь от 1 к 10 группе.

Более детальное описание дано в работе. Очевидно, что недостаточное использование инструментов ОС и механизмов электронного участия деформирует исходную идею развития ЭП России, снижая потенциал развития ЭУ и ограничивая гражданскую инициативу.

Индекс качества

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0

* 1

♦ 9

♦ 10

♦ 6

♦ 7

♦ 8

♦ 4

♦ 5

•О 2

♦ 3

0,1 0,2 0,3 0,4 0,5 0,6 0,7

0,8 0,9 1 Индекс полноты

Рис. 6 Представительские точки множеств - парето-слоев.

Проанализировав результаты исследования, обобщим ряд причин ситуации.

Проблемы организационного характера: отсутствие нормативной базы, централизованных программ и политик по развитию ЭУ в РФ. Оказание государственных услуг руководители ведомств делают приоритетной задачей, в то время как ЭУ зачастую не развивается; концептуально ЭУ, как метод взаимодействия между представителями бизнес-сообщества, гражданами и государственными служащими, в РФ не воспринимается.

Причнпы «социального» характера: невысокий уровень доверия к представителям ведомств, и, как следствие, пониженная активность граждан для участия в дискуссиях на официальных сайгах; «Цифровое неравенство» - разный уровень владения ИКТ разными группами граждан.

Методологические причины: проблема вовлечения гражданского общества в процесс управления государством посредством ИКТ и технологий ЭП мало изучена научным сообществом; отсутствие достаточного взаимодействия в развитии методологии ЭП между «практиками» и «учеными».

Установлено, что информационные ресурсы не развиваются в соответствии с концепцией э-правительсгва и э-демократни, заявленной в программе «Электронная Россия». Более того, развитие ведущих ресурсов ФОИВ РФ слабо соответствует уровню сайтов электронного правительства, например, стран ЕС.

Методика определения приоритетных механизмов э-участия для конкретного сайта включает следующие этапы. Оценка содержательной применимости опций э-участия на каждом из сайтов. Содержательная применимость определяется сотрудниками ведомства и экспертами по э-правительству с учетом специфики деятельности ведомства по определенному набору показателей. Построение на основе предыдущей оценки двумерной матрицы «сайты-опции э-участия», в которой в строках соответствующих сайтов помечены только те опции, которые приоритетны дня данного ведомства Выявление механизмов э-участия, которые до сих пор не получили применения на каждом из сайтов, в результате чего по каждому из сайтов определяется три возможных варианта состояния: набор опций э-участия на сайте полностью соответствует требуемому; набор опций э-участия на сайте частично соответствует требуемому; необходимые опции отсутствуют на сайте.

Определение размеров ресурсных ограничений, требуемых для развития опций э-участия (финансовые, временные и др.)для каждого из ведомств и решение задачи многокритериального выбора приоритетных механизмов э-участия в рамках имеющихся ограничений с последующей формулировкой рекомендаций по поддержке и развитию механизмов э-участия экспертной группой руководству ФОИВ.

РЕЗУЛЬТАТЫ, ВЫНОСИМЫЕ НА ЗАЩИТУ

В диссертации проведен анализ комплекса задач, связанных с систем и процедур отношений между разными группами пользователей и федеральными министерствами и ведомствами, строящихся с использованием инструментов ЭУ и механизмов ОС, действующих в рамках информационных ресурсов (сайтов) ЭП РФ.

Для сайтов ЭП России разработана и апробирована методика оценки, позволяющая комбинировать количественный и качественный подходы к решению задач оценки полноты набора и качества инструментов электронного участия на сайтах. Разработанная методика дает возможность вести оценку и мониторинг развития индивидуальных сайтов ЭП внутри страны, сравнивать их показатели и разрабатывать стратегии развития. Основные научные результаты работы

1. Разработаны основы построения системы оценки и мониторинга состояния инструментов ЭУ и механизмов обратных связей на сайтах ЭП, включая принципы создания системы, методику межсгранового экспресс-сравнения вариативности инструментов э-участия, метод отбора ключевых параметров, индексы оценки полноты набора и качества инструментов взаимодействия на сайтах ЭП, алгоритмы расчета значений и визуализации значений индексов для совокупности исследованных сайтов.

2. Разработаны процедуры и алгоритмы оценки и мониторинга инструментов ЭУ на сайтах ЭП, включающие правила формирования групп экспертов, разработку анкет для экспертного оценивания, инструкции для экспертов, формирование групповых оценок, программную реализацию композитного индекса.

3. Предложен метод исследования множества полученных оценок сайтов по двум субиндексам, включающий разбиение оценок на парето-слои и определение представительских точек с целью формирования рекомендаций совершенствованию функционирования сайтов ЭП.

4. Предложена процедура формирования альтернативных вариантов решений по совершенствованию деятельности ЭП в условиях имеющихся ограничений.

Научные результаты использованы в качестве базы для оценки электронного правительства РФ, в частности для: сравнительного анализа полноты реализации механизмов ЭУ на сайтах ЕС и РФ, мониторинга изменений сайтов в связи с реструктуризацией ФОИВ; применения методики композитного индекса оценки качества и полноты обратных связей (КИ_ОС) на всем множестве сайтов ЭП РФ; исследования множества оценок в пространстве двух субиндексов; формирования рекомендаций по развитию э-участия в РФ.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

Издания из Переченя ведущих рецензируемых научных журналов и изданий, в которых

должны быть опубликованы основные научные результаты диссертаций на соискание

учёной степени доктора и кандидата наук.

/. Леонова М.В. Построение системы мониторинга эффективности сайтов Федеральных органов исполнительной власти. Индекс качества // Труды МФТИ том 2 X» 1 (5). - М.: Изд-во МФТИ, 2010. - 115. СС. 9В -101

2. Леонова М.В. Инструменты «электронного участия» в России: оценка и перспективы //Политическая экспертиза: ПОЛИТЭКС. Научный журнал. Том 6. № 3. - СПб.: Изд-во С.-Петерб. ун-та, 2010. - 300. СС. 232-239

3. Леонова М.В. Оценка и пути развития «электронного участия» в РФ// Человек. Сообщество. Управление. К» 4,2010 г. - Краснодар: Изд-во Кубанского государственного университета, 2010. ISSN 1179-5629

4. Леонова М.В, Якимец В Н. Индексы оценки полноты и качества обратных связей информационных ресурсов государственной власти..// В сб. «Инновации в общественной сфере/Под ред. Б.В. Сазонова. Труды ИСА РАН Т.34. - М.: Издательство ЛКИ, 2008. -400 с, Вклад диссертанта в создание работы 70%.

Прочие работы

5. Леонова М.В., Якимец В.Н. Система мониторинга и управления развитием электронных ресурсов ФОИВ на основе композитного индекса оценки. //Сб.Трудов 2-ой международной конференции «Системный анализ и информационные технологии САИТ-2007, том 2, Обнинск, ИСА РАН,2007, СС.83-85. Вклад диссертанта в создание работы 60%.

6. Леонова М.В., Якимец В.Н. Система мониторинга эффективности обратных связей информационных ресурсов Федеральных органов исполнительной власти - важное условие эффективного управления национальными проектами.// сб. Трудов Четвертой Всероссийской научно-практической конференции «Научное, экспертно-аналитическое и информационное обеспечение национального стратегического проектирования, приоритетных национальных проектов и программ»- М.ИНИОН-2008. Вклад диссертанта в создание работы 60%.

7. Леонова М.В., Якимец В.Н. Композитный индекс оценки эффективности обратных связей информационных ресурсов ФОИВ России. //Сб. трудов «Интернет и современное общество», Труды X Всероссийской объединенной конференции. СПб.: Санкт-Петербургский государственный университет, 2007, СС.217-220 Вклад диссертанта в создание работы 50%.

8. Леонова М.В. Разработка модели мониторинга социальной эффективности электронного правительства в России. 49 Научная студенческая конференция МФТИ. // Труды 49-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»: Часть IX. Инновации и высокие технологии. — М.: МФТИ, 2006. — 60 с

9. Леонова М.В. Построение системы мониторинга эффективности сайтов Федеральных органов исполнительной власти. Индекс Качества// Труды 50-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»: Часть IX. Инновации и высокие технологии. — М.: МФТИ, 2007. — 168 с

Ю.Леонова М.В. Методология создания ИКТ-систем с эффективной обратной связью в государственном управлении// Труды 51-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»: Часть IX. Инновации и высокие технологии. —М.: МФТИ, 2008. — 168 с. ISBN 978-5-7417-0277-2

П.Леонова M.B. Развитие «электронного участия» в Российской Федерации: вопросы оценки и перспективы развития. // Труды 52-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»: Часть IX. Инновации и высокие технологии. — М.: МФТИ, 2009. — 166 с. ISBN 978-5-7417-0284-0

12. Леонова М.В., Якимец В Н. Методика опреления и развития механизмов электронного участия на сайтах э-правительства РФ, Сб.Трудов 3-ей международной конференции «Системный анализ и информационные технологии САИТ-2009, Звенигород, ИСА РАН,2009, СС.623-627. Вклад диссертанта в создание работы 60%.

13. Леонова М.В., Якимец В.Н. О развитости обратных связей на сайтах э-правительства: иедекс оценки, пилотные измерения, критерий «дружелюбности», актуальность в условиях кризиса. В книге «Государственное управление в XXI веке: традиции и инновации». -М.: МАКС Прес, сс.548-556.. Вклад диссертанта в создание работы 70%.

14. Leonova M. New Index foc measuring Feedback and e-Participation effectiveness of EGovernment in Russia. IX European Conference on E-Govenrnicnt, Лондон, Великобритания 29-30 июня 2009. ISBN: 978-906638-33-7 Book

Подписано в печать:

23.11.2010

Заказ № 4646 Тираж -120 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoroferat.ru

Введение

Глава 1 Внедрение электронного правительства, подходы и методы 11 оценки

Глава 2 Процедура оценки сайтов электронного правительства РФ: 40 индексы, алгоритмы, методы

Глава 3 Методические материалы для проведения экспертизы

Глава 4 Исследования электронного правительства РФ: прикладные 108 результаты

Актуальность темы исследования

Начиная с 2000 года внедрение новых принципов управления государством с широким использованием возможностей информационно-коммуникационных технологий (ИКТ) — один из стратегических приоритетов развития многих стран. В частности, Европейского Союза, США и других. Активно используется понятие «электронное правительство» (далее- э-правительство, ЭП). Переход на качественно новый уровень государственного управления - одна из целей Административной Реформы в РФ. В рамках данной реформы внедряется ФЦП «Электронная Россия» (2002-2010) [47].

Теоретические основы и практические аспекты применения ИКТ в государственном управлении и создания ЭП разрабатывались в работах Т.Беккера [54], К. Беллами [76], Дж. Тейлора [80], Д. Гарсона [63], Дж. Фоунтейн [62], Д. Норриса [71], Е.Панопулу [75], Т.Ундхайма [59] и др., а также в рамках проектов ООН [56, 83-86], Всемирного банка [78,82], Gartner [53], Microsoft [69], Процесс Консалтинг [14]. Среди отечественных ученых, внесших вклад в комплексное изучение различных аспектов ЭП, можно отметить работы В.И.Дрожжинова [7], А.Е. Шадрина [51], О. Голубицкого и Е.Шевчука [3], Ю.В. Ирхина [10] , Л.В. Сморгунова [40], А.Н.Кулика [15], Д.С. Черешкина, Г.Л. Смоляна и В.Н. Цыгичко [50], А.В.Данилина [5], A.B. Павроза [34], Т.И.Жуковой [9], Ю.С.Попкова [45], О.Б. Пака [74], В.Г.Матюхина [30] .

Концепция э-правительства обобщается в работе на три ключевых постулата: открытость или публичность, электронное участие (э-участие, ЭУ) и онлайн-транзакции. В зарубежных разработках более-менее сбалансировано реализуются все три аспекта. Однако, при реализации Федеральной программы «Электронная Россия» наименьшее внимание было уделено вопросам разработки и применения инструментов э-участия. Это обусловило разрывы обратных связей между создателями сайтов ЭП и пользователями. Между тем, именно постулат инструментов э-участия является весьма значимым для распространения современных методов государственного управления и развития гражданского общества.

Реализация принципов и процедур э-участия зависит, во-первых, от того, как при разработке сайтов министерств и ведомств достигается простота и доступность инструментов ЭУ для пользователей (граждан, объединений, бизнес-структур и ведомств), во-вторых, от степени активности применения этих инструментов пользователями и, в-третьих, тем, как организован учет мнений при разработке значимых социально-экономических решений. Очевидно, что недостаточное внимание, уделяемое разработке инструментов э-участия, сказывается негативно на эффективности деятельности ЭП.

При изучении публикаций и анализе сайтов ЭП не было выявлено метода, который позволял бы систематическим образом оценивать наличие понятных и эффективных инструментов ЭУ и механизмов обратной связи (механизмов ОС), а также «дружелюбность» сайтов ЭП по отношению к пользователям. Под инструментами ЭУ и механизмами ОС здесь понимаются такие способы взаимодействия пользователей с представителями органов власти в рамках ЭП, как методы получения мнений различных групп граждан органами государственной власти, методы участия граждан в принимаемых решениях, методы контроля деятельности, методы получения пользователями необходимой информации от представителей министерств и ведомств.

Отсутствие методики оценки и мониторинга состояния сайтов ЭП с точки зрения ОС не способствует рационализации работы ЭП в целом. Отметим, что наличие такого «измерительного» инструмента не было выявлено при изучении работ зарубежных ученых.

Объект исследования: системы и процедуры отношений между разными группами пользователей и федеральными министерствами и ведомствами, строящиеся в виде инструментов ЭУ и механизмов ОС, действующих в рамках информационных ресурсов (сайтов) ЭП РФ.

Остановимся подробнее на описании объекта исследования. Управляющая система ФОИВ (87 ведомств и министерств) имеет ряд потребностей и обязательств по отношению к объектам управления — гражданам и юридическим лицам. Определены системы отношений и процедур отношений между ФОИВ и тремя группами: граждане, компании, иные социально-экономические институты. Последняя группа включает в себя региональные, муниципальные органы исполнительной власти, НКО, исследовательские организации и др. Реализация взаимодействия объектов и субъектов управления в данной системе организована с помощью приемных, телефонных центров (call-centers), письменных запросов по почте, обращений граждан к представителям ФОИВ. Эти механизмы без использования ИКТ ориентированы на мало-интенсивный диалог с гражданами.

На первый взгляд, создание электронного правительства подразумевает упрощение отношений с указанными группами с помощью механизмов обратных связей на сайтах ФОИВ, а также расширение функций ФОИВ и привлечение к диалогу ранее неактивных групп граждан [87] с помощью внедрения процедур электронного участия. Это показано на рис 1.

ТЛ стандартные компоненты и процедуры включение» э-участия

- приемные

- запросы информации

- жалобы

- обращения

Рис. 1 Изменение модели взаимодействия в системе управления с внедрением электронного участия.

В целом, обзор мирового опыта внедрения электронного участия позволяет сделать следующий вывод. Внедрение электронного участия, в том числе с использованием инструментов Web 2.0, приводит не только к увеличению стандартных групп, дающих обратную связь в управляющую систему, но и:

• создает возможности для формирования активных подгрупп по тому или иному вопросу;

• увеличивает шансы межгруппового взаимодействия в процессе оценки инициатив и принятия решений;

• ускоряет обработку предложений и «прохождение импульса» от заинтересованных лиц к лицам, принимающим решения;

• увеличивает доверие к управляющей системе (см., например, [65]).

Как было отмечено выше, ЭУ нуждается в инструментах оценки качества и эффективности. Создание инструментов для одновременной оценки качества-механизмов ЭУ и инструментов ОС является задачей данной работы. Применение инструментов оценки позволит принимать управленческие решения по дальнейшему развитию, как отдельных сайтов, так и э-правительства в целом.

Предмет исследования: методы, инструментарий и алгоритмы оценки полноты и качества механизмов ОС и инструментов э-участия на сайтах ЭП.

Дополняя и обобщая введенные выше определения, введем основные понятия и обозначения в работе.

Электронное правительство (ЭП) — внедрение Интернет-технологий в государственное управление. Инициатива правительства, направленная на совершенствование деятельности государственных учреждений и создания принципиально новых форм взаимодействия правительства и общества.

Электронное участие (ЭУ) Электронное участие — использование информационно-коммуникационных технологий с целью привлечения различных групп граждан в публичную политику и развития новых эффективных форм взаимодействия с органами власти. Электронное участие подразумевает двусторонний обмен информацией между гражданами (бизнес-сообщество, экспертное сообщество, гражданское общество в целом) и представителями государственной власти всех уровней компетенции. Государственные услуги рассматриваются только в аспекте предоставления информации. Существует набор механизмов или инструментов ЭУ.

Обратная связь (ОС) имеет ряд аспектов: это метод получения мнений различных групп граждан органами государственной власти, метод участия граждан в принимаемых решениях, метод контроля деятельности государственных учреждений, а также метод получения информации любым гражданином от представителей электронного правительства. Существует набор механизмов ОС. Эффективно работающие механизмы обратной связи приводят к реализации электронного участия механизмы или инструменты электронного участия

Федеральные органы исполнительной власти (ФОИВ): (термин конституционного права), (англ. federal executive bodies) - в РФ органы, исполнительной власти, осуществляющие исполнительную власть в от имени Федерации в соответствии с их компетенцией. В систему ФОИВ входят министерства РФ (федеральные министерства) и иные ФОИВ: государственные комитеты РФ, федеральные комиссии России, федеральные службы России, российские агентства, федеральные надзоры. России, а также Управление делами Президента РФ. Перечень ФОИВ утверждается Президентом Российской Федерации по предложению Председателя Правительства Российской Федерации в соответствии с Конституцией Российской Федерации 1993 г. Утверждается с 1994 г. при каждой смене Правительства (в период работы Правительства одного состава в нее вносятся изменения). Web 2.0 (определение Тима О'Рейли, введенное в 2006 году, [72]) — методика проектирования систем, которые путём учета сетевых взаимодействий становятся тем лучше, чем больше людей ими пользуются. Особенностью Web 2.0. является принцип привлечения пользователей к наполнению и многократной выверке контента. Существует ряд инструментов Web 2.0

Пользователь — это конкретное лицо, которое входит в интернет-пространство и использует возможности электронного правительства для выполнения определенных задач или функций.

Сайт ФОИВ — совокупность баз данных, программного обеспечения, инструментов взаимодействия с пользователями, расположенных по определенному адресу в сети Интернет, работающих с единой целью и логически являющихся частью одной системы федеральных органов исполнительной власти.

Цель работы - разработка и исследование количественных методов и алгоритмов оценки полноты набора и качества инструментов электронного участия (ЭУ) и механизмов обратных связей (ОС) на сайтах электронного правительства РФ, обеспечивающих учет мнений пользователей при управлении социально-экономическими системами.

Для достижения поставленной цели были определены и решены следующие задачи:

• Системный анализ текущего состояния исследований в области ЭП, базовых моделей развития, структуры ЭП в РФ, понятия обратных связей в нем, существующих систем оценки и мониторинга.

• Разработка принципов построения системы оценки и мониторинга состояния механизмов обратных связей и инструментов ЭУ на сайтах ЭП, включая методику межстранового экспресс-сравнения вариативности инструментов э-участия, индексы оценки полноты набора и качества инструментов взаимодействия на сайтах ЭП, алгоритмы расчета значений и визуализации индексов.

• Описание процедур проведения мониторинга (формирование групп экспертов, определение критериев оценки, построение шкал, разработка инструкций для экспертов и организация их работы) и обработки информации.

• Исследование информационных ресурсов федеральных органов исполнительной власти (сайтов ЭП) с использованием разработанных методов и алгоритмов. Выработка вариантов управленческих решений по совершенствованию функционирования ЭП.

Методы исследования

В данной работе использованы методы многокритериального анализа, методы сбора и обработки экспертных суждений, методы теории принятия решений. "При проведении прикладных работ использовались методы контент-анализа, методы опроса экспертов и экспертные процедуры, социологические и социометрические методы получения и обработки информации. Выявление совокупностей инструментов э-участия на сайтах ЕС проводилось с использованием поисковых систем ассоциации Epractice.eu и DEMO-net. ПО для расчета индексов основывалось на использовании языков программирования MS Visual Basic, С++.

Научная новизна

В диссертационной работе предложен метод оценки полноты набора и качества инструментов ЭУ и ОС на сайтах ЭП РФ, основанный на применении разработанных автором двух субиндексов: Индекса полноты набора* инструментов ЭУ (моделируется как функция булевой переменной) и Индекса оценки их качества (формализуется в виде аддитивной свертки на множестве критериев).

Предложен алгоритм построения композитного индекса оценки полноты и качества инструментов ЭУ, использующего расчетные значения обоих субиндексов.

Предложен метод формирования эталонного набора инструментов э-участия и механизмов ОС для развития сайтов ЭП РФ.

Разработана и реализована проблемно-ориентированная модель и программное обеспечение для графической визуализации результатов оценивания по двум субиндексам в двумерном пространстве.

Разработаны методические основы оценки и мониторинга объектов ОС на сайтах ЭП, включающие определение подмножества сайтов, на которых целесообразно проводить оценку полноты и качества ОС, правила формирования групп экспертов, разработку анкет для экспертного оценивания, инструкции для экспертов, формирование групповых оценок и визуализацию результатов оценивания.

Предложена процедура формирования альтернативных вариантов решений по совершенствованию деятельности сайтов ЭП с использованием методов ТПР: с учетом индексных оценок и имеющихся ограничений по финансовым и трудовым ресурсам. Практическая ценность работы

Разработанные модели, методы и индексы были использованы при оценке состояния механизмов ОС и инструментов ЭУ на сайтах ЭП РФ в течение 20072010 гг. В 2007-2008 гг. проводились пилотажные исследования с целью отработки основных методик.

При анализе деятельности совокупности действующих сайтов ЭП РФ проверялись и были подтверждены следующие гипотезы:

- на большинстве сайтов ЭП РФ реализован минимальный набор из общего числа всевозможных инструментов ЭУ и механизмов ОС.

- на сайтах, где реализовано и доступно пользователям небольшое число инструментов ЭУ, качество их работы выше.

- существует необходимость включения механизмов ЭУ, использующих сервисы Web 2.0.

На основе полученных результатов выработаны практические рекомендации по совершенствованию управления развитием информационных ресурсов э-правительства РФ.

Сформулированы принципы построения системы мониторинга.

Результаты исследования качества механизмов ЭУ «в среднем», т.е. при нормировке ИК на количество инструментов на данном сайте, вкратце охарактеризуем так: более «сложные» в реализации инструменты в сравнении с более «простыми» получили меньшие оценки за качество.

Проблемы и рекомендации

Проанализировав результаты исследования, обобщим ряд причин сложившейся ситуации.

Проблемы организационного характера: отсутствие нормативной базы, централизованных программ и политик по развитию ЭУ в РФ. Оказание государственных услуг руководители ведомств делают приоритетной задачей, в то время как ЭУ зачастую не развивается; концептуально ЭУ, как метод взаимодействия между представителями бизнес-сообщества, гражданами и государственными служащими, в РФ не воспринимается.

Причины «социального» характера: невысокий уровень доверия к представителям ведомств, и, как следствие, пониженная активность граждан для участия в дискуссиях на официальных сайтах; «Цифровое неравенство» -разный уровень владения ИКТ разными группами граждан.

Методологические причины: проблема вовлечения гражданского общества в процесс управления государством посредством ИКТ и технологий ЭП мало изучена научным сообществом; отсутствие достаточного взаимодействия в развитии методологии ЭП между «практиками» и «учеными».

Установлено, что информационные ресурсы не развиваются в соответствии с концепцией э-правительства и э-демократии. Более того, развитие ведущих ресурсов ФОИВ РФ слабо соответствует уровню сайтов электронного правительства, например, стран ЕС.

Определение размеров ресурсных ограничений, требуемых для развития опций э-участия (финансовые, временные и др.) для каждого из ведомств и решение задачи многокритериального выбора приоритетных механизмов э-участия в рамках имеющихся ограничений — задачи дальнейших исследований.

Заключение

В диссертации проведен анализ комплекса задач, связанных с системами и процедурами отношений между разными группами пользователей и федеральными министерствами и ведомствами, строящихся с использованием инструментов ЭУ и механизмов ОС, действующих в рамках информационных ресурсов (сайтов) ЭП РФ.

Для сайтов ЭП России разработана и апробирована методика оценки, позволяющая комбинировать количественный и качественный подходы к решению задач оценки полноты набора и качества инструментов электронного участия на сайтах. Разработанная методика дает возможность вести оценку и мониторинг развития индивидуальных сайтов ЭП' внутри страны, сравнивать их показатели и разрабатывать стратегии развития. Основные научные результаты работы

1. Разработаны основы построения системы оценки и мониторинга состояния инструментов ЭУ и механизмов обратных связей на сайтах ЭП, включая принципы создания системы, методику межстранового экспресс-сравнения вариативности инструментов э-участия, метод отбора ключевых параметров, индексы оценки полноты набора и качества инструментов взаимодействия на сайтах ЭП, алгоритмы расчета значений и визуализации значений индексов для совокупности исследованных сайтов.

2. Разработаны процедуры и алгоритмы оценки и мониторинга инструментов ЭУ на сайтах ЭП, включающие правила формирования групп экспертов, разработку анкет для экспертного оценивания, инструкции для экспертов, формирование групповых оценок, программную реализацию композитного индекса.

3. Предложен метод исследования множества полученных оценок сайтов по двум субиндексам, включающий разбиение оценок на парето-слои и определение представительских точек с целью формирования рекомендаций по совершенствованию функционирования сайтов ЭП.

4. Предложена процедура формирования альтернативных вариантов решений по совершенствованию деятельности ЭП в условиях имеющихся ограничений. Прикладные результаты

Научные результаты использованы в качестве базы для оценки электронного правительства РФ, в частности для:

- сравнительного анализа полноты реализации механизмов ЭУ на сайтах ЕС и РФ, мониторинга изменений сайтов в связи с реструктуризацией ФОИВ;

- применения методики композитного индекса оценки качества и полноты обратных связей (КИ ОС) на всем множестве сайтов ЭП РФ;

- исследования множества оценок в пространстве двух субиндексов; формирования рекомендаций по развитию э-участия в РФ.

Впервые предложенная автором методика аналитической оценки множества композитных оценок сайтов обеспечила возможность формирования рекомендаций как для отдельных ведомств, так и для э-правительства в целом.

1. Березовский Б.А., Барышников Ю.М., Борзенко В.И., Кемпнер JI.M. Многокритериальная оптимизация. Математические аспекты —М.: Наука, 1989. -128 с.

2. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. М: «Экономика», 1976. — 79 с.

3. Голубицкий О., Е. Шевчук. Технология e-Government. — Киев: 2001. Электронный ресурс. http://www.capri.ustu.ru/e-government/e-government.htm, дата посещения 12 апреля 2008.

4. Государственная программа Российской Федерации "Информационное общество (2011 2020 годы)" (утв. распоряжением Правительства РФ от 20 октября 2010 г. N 1815-р).

5. Дрожжинов В. Исследование: "Новые бизнес модели для электронного правительства в Российской Федерации". — М.: EuropeAid/126204/SER/RU Проект G2C по поддержке э-правительства Российской Федерации. Сентябрь 2010 г.-94 с.

6. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука, 1986. — 295 с.

7. Жукова Т. И. Электронное правительство диалог с властью?//Труды ИСА РАН. Т. 26 -М.: Издательство ЛКИ, 2006. - С.41-55.

8. Китаев H.H. Групповые экспертные оценки. — М: Знание, 1975. — 64 с.

9. Клименко A.B. Всероссийский мониторинг внедрения административных регламентов / A.B. Клименко, А.Б. Жулин // Вопр. гос. и муницип. упр. 2009— № 1 .— М:ГУ-ВШЭ, 2009. СС. 123-150.

10. Компания "Процесс Консалтинг" отчет об исследовании. — 2005. Электронный ресурс. http://www.processconsulting.ru

11. Кулик, А.Н. Электронное государство в "суверенной демократии" /А.Н.-Кулик // Технологии информ. общ-ва — Интернет и соврем, общ-во: Труды X Всерос. объед. конф. СПб. 23-25 октября 2007 г. СПб.: Изд-во филолог, фак. СПбГУ, 2007. - СС.212-216.

12. Ларичев О.И. Объективные модели и субъективные решения. — М: Наука, 1987. 143 с.

13. Леонова М.В. Построение системы мониторинга эффективности сайтов Федеральных органов исполнительной власти. Индекс качества // Труды МФТИ том 2 № 1 (5).-М.: Изд-во МФТИ, 2010. 115. СС. 98-101.

14. Леонова M.B. Инструменты «электронного участия» в России: оценка и перспективы //Политическая экспертиза: ПОЛИТЭКС. Научный журнал. Том 6. № 3. СПб.: Изд-во С.-Петерб. ун-та, 2010. - 300. СС. 232 - 239.

15. Леонова М.В. Оценка и пути развития «электронного участия» в РФ// Человек. Сообщество. Управление. № 4, 2010 г. Краснодар: Изд-во Кубанского государственного университета, 2010. ISSN 1179-5629.

16. Леонова М.В, Якимец В.Н. Индексы оценки полноты и качества обратных связей информационных ресурсов государственной власти.// В сб. «Инновации в общественной сфере/Под ред. Б.В. Сазонова. Труды ИСА РАН Т.34. -М.: Издательство ЛКИ, 2008. СС.351-363.

17. Миркин Б.Г. Проблема группового выбора. — М: Наука, 1974. —-256 с.

18. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. — М.: ФИЗМАТ ЛИТ, 2002. — 144 с.

19. Озерной В.М., Гафт М.Г. Методология решения дискретных многокритериальных задач // Многокритериальные задачи принятия решений. — М.: Машиностроение. 1978.—СС. 14-47.

20. Петровский А.Б. Метод "маска" для групповой экспертной классификации многопризнаковых объектов". Доклады академии наук, 2010, том 431, № 1,—М:РАН, 2010 —СС. 27-31.

21. Положение об общероссийском государственном информационном центре (утверждено приказом Мининформсвязи от 11 марта 2008 г. N 32.

22. Приказ зарегистрирован в Минюсте 21 марта 2008 г, регистрационный N 11394).

23. Проблемы современного государственного управления в России./Под.ред. В.И.Якунина. Выпуск №3(17). Проблемы систематизации и развития нормативно-политических и нормативно-правовых оснований государственного управления. —М.:Научный эксперт, 2008. — 112с.

24. Результаты мониторинга официальных сайтов федеральных органов исполнительной власти в 2009 году. Институт развития свободы информации. Электронный ресурс. http://www.svobodainfo.org/ru/node/24

25. Рейтинг уровня использования технологий электронного правительствана федеральном и региональном уровнях. — М.: ИСИЭЗ ГУ-ВШЭ. Электронный ресурс.http://www.hse.ru/data/359/821/1235/Bull Index printA4 n3 EG.pdf

26. Рыков А.С Модели и методы системного анализа: принятие решений и оптимизация. — М.:МИСиС, 2005. — 352 с.

27. Салуквадзе М.Е. О задаче линейного программирования с векторным критерием качества// Автоматика и телемеханика, 1972, 5. — М.:1972. — СС.99-105.

28. Слободская М.А. Терминология российского некоммерческого сектора. — М: Институт проблем гражданского общества, 2007. — 167 с.

29. В. И. Тищенко, Ю. С. Попков "Сетевая инфраструктура сетевых сообществ" //Труды ИСА РАН. Т. 26 М.: Издательство ЛКИ, 2006. - СС.165-215.

30. Федеральная целевая программа "Электронная Россия (2002 2010 годы)" (утв. постановлением Правительства РФ от 28 января 2002 г. N 65) (в редакции постановления Правительства Российской Федерации от 9 июня 2010 г. N 403).

31. Федеральное государственное унитарное предприятие Всероссийский научно-исследовательский институт проблем вычислительной техники и информатизации. Раздел об электронном правительстве Электронный ресурс. http://www.pvti.ru/

32. Черноруцкий И.Г. Методы принятия решений СПб: БХВ-Петербург, 2005.-416 с.

33. Черешкин Д.С. Смолян Г.Л, Цыгичко В.Н. Информационное развитие России путь к информационному обществу. // Федеральный справочник «Связь в Российской Федерации». - М. 2005 - СС.39 - 48.

34. Шадрин А.Е. Проблемы стимулирования развития информационно-коммуникационных технологий.: Препринт WP5/2002/05 — М.: ГУ-ВШЭ, 2002. -48 с.

35. Электронное государство: Насколько информативны и полезны для общественности Интернет-сайты федеральных органов исполнительной власти. Аналитический доклад. М.: Ассоциация Менеджеров, 2009. — 36 с.

36. Baum С., Maio A. Gartner's four phases of e-government model. -Stamford:Gartner Group Inc., 2000. — 168 p.

37. Berman V.P., Naumov G. E. Podinovski V.V. Intervalvalue tradeoffs methodology and techniques of multicriteriadecision analysis. //User-oriented methodologyand techniques of decision analysis and support. -Springer-Verlag, Berlin, 1993, PP. 144-149.

38. Buyiikozkan G. Evaluating Government Websites Using a Multi-Criteria Decision Making Approach. //Proceedings of 9th European Conference on e-Government. London: Academic conferences, 2009 ISBN: 978-906638-33-7. PP. 190-199.

39. Camp J., Chein Y.T. The Internet as a public space: Concepts, issues, and implications in public policy // Computers and society. — On-line journal, 2000. N 4. Электронный ресурс. http:// www.computersandsociety.org.

40. Codagnone C., Undheim T.A. Benchmarking eGovernment: tools, theory, and practice. European Journal of ePractice. No 4. ISSN: 1988-625X. August 2008 r. Электронный ресурс. www.epracticejournal.eu

41. DEMO-net. Introducing eParticipation. DEMO-net booklet series №1.5 31, 2007. Электронный ресурс. http://www.demo-net.org

42. Garson G. David. Digital Government: Principles and Best Practices — IGI Global, 2003 ISBN-10: 1591401224 ISBN-13: 978-1591401223. 394 p.

43. Grimsley M., Meehan A. "Attaining Social Value from Electronic Government." Electronic Journal of e-Government Volume 6 Issue 1, 2008. — pp. 31 42. Электронный ресурс. www.eieg.com.

44. Hayat A. A Collaboration Pattern Language for e-Participation: A Strategy for Reuse. //Proceedings of 9th European Conference on e-Government. — London: Academic conferences, 2009 ISBN: 978-906638-33-7. PP. 29-38.

45. Kampen J., Snijkers K. E-Democracy. A critical evaluation of the ultimate E-dream // Social science computer review. — Los Angeles, CA, USA, London, UK et al., 2003. Vol.21, N 4 - P. 492.

46. Leonova M. New Index for measuring Feedback and e-Participation effectiveness of EGovernment in Russia. //Proceedings of 9th European Conference on e-Government. — London: Academic conferences, 2009 ISBN: 978-906638-33-7. PP.445-450.

47. Microsoft. Роль современных информационных технологий в социально-экономическом развитии. Информационный бюллетень. Выпуск 29. Май 2006. -М.: Microsoft, 2006. 50 с.

48. Ndou V. E-Government for Developing Countries: Opportunities and Challenges//The Electronic Journal of Information Systems in Developing Countries. ISSN: 1681-4835 Электронный ресурс. www.ejisdc.org, vol.18-2004.-PP. 1-24.

49. Norris D. E-government Research: Policy and Management. — IGI Publishing: 2007. ISBN-10: 1599049139 ISBN-13: 978-1599049137. 300 P.

50. O'Reilly, T. "Web 2.0 Compact Definition: Trying Again." Электронный ресурс. ttp://radar.oreilly.com/archives/2006/12/web20compact.html.

51. Osmo D. Benchmarking eGovernment in the Web 2.0 era: what to measure, and how. European Journal of ePractice, 2008 Электронный ресурс. ww.epracticejoumal.eu.

52. Panopoulou Е., Tambouris Е., Tarabanis К. eParticipation initiatives: How is Europe progressing? //European Journal of ePractice № 7, March 2009, 1988-625X S Электронный ресурс. www.epracticejournal.eu.

53. Raab С., Bellamy С. Electronic democracy and the 'mixed polity': symbiosis or conflict? //Electronic democracy: mobilisation, organisation and participation via new ICTs. — London:Routledge, 2000. pp. 17-42.

54. Rowe G., Frewer, L. J. Public Participation Methods: A Framework for Evaluation. — Science, Technology, & Human Value, 25(1), 2000. pp. 3-29.

55. Schwäre R. (ed). E-Development: From Excitement to Effectiveness. -Washington DC:World Bank Group, 2005. 168 p.

56. Smith S., Dalakiouridou E. Contextualising Public (e)Participation in the Governance of the European Union //European Journal of ePractice, № 7, March 2009, ISSN: 1988-625X, pp. 1-11 Электронный ресурс. www.epracticejournal.eu

57. Taylor J. Governing in the information age. Open University Press, 1998. ISBN 0335194516.- 196 p.

58. The Economist Intelligence Unit's Index of Democracy 2008 Электронный ресурс.http://a330.g.akamai.net/7/330/25828/20081021185552/graphics.eiu.com/PDF/Demo cracy%20Index%202008.pdf

59. The International Bank for Reconstruction and Development/The World Bank. Information and Communications for Development 2009: Extending Reach and1.creasing Impact. ISBN:978-0-8213-7605-8. 1818 H Washington, DC: World Bank Group, 2009.- PP 83-102.

60. UN Global E-government Readiness Report 2003// United Nations, New York -2003.Электронный ресурс.http://www2.unpan.org/egovkb/globalreports/03servey.htm.

61. UN Global E-government Readiness Report 2005// United Nations, New York -2005. Электронный ресурс.http://www2.unpan.org/egovkb/global reports/05report.htm.

62. UN Global E-government Readiness Report 2008// United Nations, New York 2008. Электронный ресурс.http://www2.unpan.org/egovkb/globalreports/08report.htm.

63. UN E-Government Survey 2010 Leveraging e-government at a time of financial and economic crisis// United Nations, New York 2010. Электронный ресурс. http://www2.unpan.org/egovkb/global reports/1 Oreport.htm

64. West D.M. An Assessment of City Government Websites/Brown University Urban E-government. 2001