автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка и исследование моделей и алгоритмов распознавания объектов числовой и нечисловой природы

На правах рукописи

ТУГАЙ Максим Васильевич

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МОДЕЛЕЙ И АЛГОРИТМОВ РАСПОЗНАВАНИЯ ОБЪЕКТОВ ЧИСЛОВОЙ И НЕЧИСЛОВОЙ ПРИРОДЫ (НА ПРИМЕРЕ СИСТЕМЫ ОБРАЗОВАНИЯ)

Специальность 05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва - 2008

1 2 ДЕК 2008

003457754

Работа выполнена на кафедре информационных систем в Московском государственном университете печати

Научный руководитель: доктор технических наук, профессор

Васильев Владимир Иванович

Официальные оппоненты:

доктор технических наук Попов Дмитрий Иванович

кандидат технических наук Котиков Вячеслав Иванович

Ведущая организация: Московский автомобильно-дорожный

институт (Государственный технический университет)

Защита состоится « 25 » декабря 2008 г. в 13 час. 30 мин. на заседании диссертационного совета Д 212.147.03 в Московском государственном университете печати по адресу: г. Москва, ул. Прянишникова, 2а.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета печати.

Автореферат разослан « Шу, ¡лХ- 2008 г.

Ученый секретарь диссертационного совета Д 212.147.03, д.т.н., профессор

Общая характеристика работы

Актуальность работы. Трудность исследования сложного многофакторного процесса заключается в том, что объекты, принимающие в нем участие, имеют числовую и нечисловую природу. Процессы, происходящие в системе образования, не являются исключением. В этом случае оценка процессуальной стороны и результата образования на основе статистики качеств однородных объектов не представляет полной картины действительности, а допущение об однородности референтов исследуемой системы приводит к неверной интерпретации результатов.

Специфика объекта управления, которым является образовательная деятельность, а также слабое развитие методологической основы и технологической поддержки для данной отрасли делают актуальной задачу разработки научной основы для решения проблем в области реконструкции педагогической деятельности на основе методов распознавания образов, имеющих произвольную (числовую и нечисловую) природу. Для успешного решения этой задачи нужны, как исследования методологических основ оценки качества, так и разработка практических методик анализа данных. При этом основным звеном в сфере образования без сомнения является образовательно-педагогическая деятельность (ОПД), представленная субъектами предоставления образовательных услуг и итогами работы высших учебных заведений. Вопросы кластеризации и ранжирования объектов системы образования на основании качества их деятельности и являются актуальной задачей настоящей диссертационной работы.

Целью диссертационной работы является разработка и исследование моделей и алгоритмов распознавания образов числовой и нечисловой природы с точки зрения системного анализа на основе методов теории информации, статистики качеств и непараметрических подходов.

Задачи исследования. В соответствии с поставленной целью требуется решить следующие задачи:

■ провести анализ существующих алгоритмов распознавания образов;

■ разработать алгоритм оценки значимости гибридных факторов исследуемых объектов при оценке качества деятельности;

■ разработать алгоритм приведения исходных признаков к одному и тому же единству;

■ разработать алгоритм вычисления топометрик в пространстве интенсивных величин;

■ разработать модели и алгорш-мы решения практических задач исследования объектов числовой и нечисловой природы в системе высшего образования - ранжирование, кластерный анализ, анализ динамики распределения;

■ разработать автоматизированную систему для решения комплекса задач в области распознавания объектов смешанной числовой и нечисловой природы в системе образования.

Объектом исследования является область теоретической информатики, связанная с разработкой моделей и алгоритмов распознавания образов, содержащих переменные числовой и нечисловой природы.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы теории информации, статистики качеств, педагогической герменевтики и элементы теории квалиметрии. Разработка программного обеспечения для реализации алгоритмов проведена в среде Borland Delphi (ver.5.0).

Методологической основой исследования являются работы в области оценки качества образования, анализа многофакторных объектов произвольной природы, статистики объектов нечисловой природы, теории информации (труды В.А.Долятовского, К.Э.Шеннона, В.И.Васильева, Б.Г.Литвака, С.А.Айвазяна, В.В.Красильникова, А.И.Орлова и др.).

Достоверность полученных результатов подтверждается применением концепции энтропии, опознавания образов, статистики качеств, методов моделирования, герменевтической интерпретацией результатов, практической

реализацией и внедрением разработанных моделей и алгоритмов в систему высшего и среднего профессионального образования.

Научная новизна полученных в данной работе результатов состоит в следующем:

1. Разработан алгоритм оценки интенсивности факторов числовой и нечисловой природы на основе принципа энтропии и метода экспертной оценки.

2. Разработан алгоритм приведения значений факторов к общему единству.

3. Получены модели расчета коэффициентов множественной и парной конкордации в пространстве качеств и разработано алгоритмическое обеспечение обработки преобразованных факторов.

4. Разработаны технологии ранжирования, кластерного анализа, анализа динамики развития объектов в пространстве интенсивных величин.

Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой для распознавания многомерных объектов числовой и нечисловой природы, формируют базу для создания автоматизированных систем оценки качества.

Практическая ценность работы состоит в разработке технологий использования методов теории информации, опознавания образов и непараметрической статистики для оценки качества процессуальной стороны и результата образования.

Разработан и внедрен программный комплекс оценки качества деятельности образовательного учреждения и его компонентов.

На защиту выносятся следующие положения: ■ алгоритмы распознавания образов числовой и нечисловой природы; " алгоритмическое обеспечение расчета степени влияния фактора на

качество деятельности системы образования;

• методология качественного анализа данных - алгоритм приведения значений признаков к общему единству;

■ алгоритмы расчета топометрик сходства объектов числовой и нечисловой природы;

■ модели и алгоритмы кластеризации, ранжирования, оценки качества и анализа динамики развития образовательных учреждений;

■ автоматизированная среда оценки качества деятельности образовательного учреждения на основе методов статистики качеств. Апробация результатов работы. Основные результаты

диссертационной работы доложены и обсуждены на Всероссийской конференции «Инновационные методы и средства оценки качества образования», Москва, 2006 и на международной конференции «Диалог общества и власти в образовательном пространстве СНГ», Москва, 2006.

Внедрение результатов. На основании предложенных моделей и алгоритмов создана автоматизированная система «АСТ-ОКО - Экспертная оценка качества деятельности», успешно применяемая в ряде вузов РФ, в том числе, в Московском государственном университете печати, Московском авиационном институте (государственном техническом университете), Московском государственном техническом университете гражданской авиации. Программный продукт зарегистрирован в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (Свидетельство об официальной регистрации программ для ЭВМ №2007610932). Получен сертификат соответствия РОСС ГШ СП.16.Н00023 от 11.05.2007.

Публикации. Основные положения диссертации изложены в 8 научных публикациях.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, выводов по каждой главе, основных результатов, списка используемой литературы и приложения.

Диссертация изложена на 175 страницах, содержит 12 рисунков, 33 таблицы, 4 приложения. Список используемой литературы содержит 49 наименований.

Содержание работы

Во введении обоснована актуальность выбора темы, сформулированы цели и задачи диссертационного исследования, приведены положения, выносимые на защиту, обсуждены научная новизна и практическая значимость работы.

В первой главе проводится критический анализ существующих методов распознавания, существующих метрик, показывается направленность данных методик на использование объектов либо числовой, либо нечисловой природы. Приведены работы многих авторов (Ю.И.Журавлев, Б.Г.Миркин, С.А.Айвазян и др.).

Несмотря на то, что существующие методы кластерного анализа могут работать как с количественными, так и с качественными признаками, обрабатываемая выборка объектов должна характеризоваться только количественными или только качественными признаками. Эти методы не позволяют одновременно использовать оба вида признаков.

Вторая глава посвящена методологическим основам качественного анализа данных. Здесь анализируется влияние различных факторов на качество деятельности системы образования, разрабатываются алгоритмы оценки интенсивности признаков, перевода значений факторов к общему единству.

Природа большинства объектов, существующих в окружающем мире, описывается широким набором характеристик (факторов). Сложный реальный объект, такой как система образования, характеризуется смешанными факторами, как измеряемыми (количественными), так и оцениваемыми (качественными). Таким образом, любой сложный многофакторный объект представляется конечным набором значений факторов (признаков), называемым его описанием.

Оценка качества деятельности системы образования определяет степень близости к идеальным характеристикам в пространстве выделенных единичных факторов. Объектами оценки являются образовательные учреждения и их составляющие: преподаватели, студенты. Субъектами внешней оценки выступают Рособнадзор РФ, академическая общественность, работодатели, выпускники и специалисты.

Набор объектов оценки и набор характеризующих их состояние релевантных факторов образуют матрицу значений признаков вида:

т

VSlll

(1)

где т - количество объектов;

и - количество признаков.

Поскольку значимость различных факторов неодинакова, необходимо установить весовые коэффициенты признаков. Их вычисление начинается с составления таблицы опроса мнений специалистов-экспертов, в которую заносятся исследуемые факторы. Каждому эксперту предлагается оценить их значимость в условных единицах по соответствующим шкалам.

Весовой коэффициент признака рассчитывается путем нормирования оценок, данных каждым экспертом, по формуле:

(2)

= ы

N

lch

11=1

где Сь, - оценка к-м экспертом важности л-го параметра (в баллах);

N- количество признаков.

При этом, определение степени полезности признака, основанное на использовании весовых коэффициентов не дает полной картины качества деятельности системы. Для решения данной задачи введем дополнительный фактор неопределенности. В качестве показателя неопределенности признака

предлагается использовать предложенную К.Э.Шенноном формулу информационной энтропии, как меру хаоса и неупорядоченности любой системы. Значение энтропии может трактоваться также как среднее количество информации, содержащейся в сообщении или наборе данных.

Энтропия определяется как математическое ожидание количества информации I для измеряемой величины X:

Н(Х) = M[I(X)] = -tpM log2 р(х,), (3)

/=I

где К - количество уровней качества: Н(Х) - энтропия признака X; р(х,) - частота появления в выборке значения х,.

Энтропия значений признака является удобной, легко интерпретируемой, а главное - объективной оценкой значимости фактора в задачах оценки качества. Это позволяет использовать ее в процессе ранжирования объектов без внесения исследователем субъективных искажений.

Рис. 1. Алгоритм приведения значений факторов к единому основанию

В работе предлагается алгоритм перехода от экстенсивных и интенсивных факторов к их новым качественным аналогам. В данном случае параметр К определяет количество качественных уровней единой шкалы (Рис. 1). Данная процедура применяется ко всем значениям факторов.

Полученные величины качественных аналогов могут быть легко интерпретированы. На рис. 2 представлена семиуровневая шкала с интерпретацией каждого уровня качества. Самый верхний уровень назначается со стороны субъекта оценивания, как максимальное встречающееся значение. Нижний уровень является лицензионным. Средний уровень является условным нулем шкалы. Все значения, находящиеся ниже условного нуля говорят о низком качестве, а выше - о высоком качестве.

ь К = 7 Отлично

К = 6 Хорошо

К = 5 Более, чем удовлетворительно

К = 4 Удовлетворительно

К = 3 Менее, чем удовлетворительно

К = 2 Плохо

1 г К = 1 Очень плохо

Рис. 2. Семиуровневая шкала качеств

В третьей главе разрабатываются алгоритмы кластеризации, ранжирования, предлагаются алгоритмы оценки топометрических коэффициентов множественной и парной качественной конкордации объектов, определяется характеристика внутрисистемной согласованности объекта.

На основании описания состояния объекта или процесса производится его классификация, то есть разбиение на группы сходных, но не тождественных явлений или объектов. Это свойство системы позволяет сформировать такое понятие, как образ и дает основание судить обо всем множестве явлений (или объектов), его составляющих. В теории распознавания объектами, объединяемыми в образ, будут служить, например, образовательные учреждения, факультеты, кафедры, преподаватели и т.п.

Выявлены следующие недостатки использования существующих метрик, использующихся для вычисления близости объектов:

1. Недопустимость суммирования разноимённых значений факторов.

2. Относительность понятия «расстояние».

3. Увеличение расстояния по мере увеличения количества признаков. Предложены следующие топометрики, основанные на метрике

«Евклидова» расстояния (4):

«и

-1-1

Р^ (4)

и метрики «Манхэттенского» расстояния (5):

(5)

п{К-1) '

где п - количество признаков, общих для сравниваемых объектов V и V*;

К-число качественных уровней {К = 2, 3,...);

к\] и кг, - качественные значения факторов первого и второго объектов.

В таком новом виде (4) и (5) полученные численные значения И^д следует трактовать уже не как расстояния между каждой парой объектов, а как степень согласованности двух факторных объектов по совокупности общих для этих референтов признаков, называемая коэффициентом сходства качественных признаков (коэффициентом парной качественной конкордации). Это коэффициент находятся в пределах 0 ^ IV < 1; IV = О говорит о полном отсутствии сходства, а IV = 1 означает абсолютное сходство. Здесь Ж уже не метрическое расстояние, а категория сходства качественных значений признаков.

Полученное численное значение IV определяет именно процент сходства. Введением понятия качество и топометрики (5) устраняются три перечисленных существенных недостатка, присущие существующим мерам расстояний.

1. Поскольку значения признаков в этих топометриках выражены не разноимёнными количествами, а качествами, это снимает проблему суммирования разноимённых количественных значений признаков.

2. Определены границы «близости» двух объектов. Коэффициенты (4) и (5) позволяют определить абсолютную величину «близости» двух объектов.

3. Так как 0 < ^ 2 < 1, то с увеличение числа признаков значение коэффициента сходства не увеличивается беспредельно, а всегда остаётся в этих границах.

Разработан алгоритм определения внутрисистемной согласованности объектов или характеризующих их признаков. Данный алгоритм осуществляет последовательный перебор все пар объектов или признаков, и использует формулу определения коэффициента множественной качественной конкордации, т.е. коэффициента сходства всех объектов, входящих в систему (1):

М NN .

НЕМ,

= 1- м"'/-> V-V ( )

где Ы- число объектов;

М- число характеризующих объекты признаков;

К - количество уровней качества;

ка, к)1 - значения качественного признака / для /-го иу'-го объектов соответственно.

Разработан алгоритм вычисления интегрального показателя качества объекта, основанный на объективной значимости каждого фактора и использующегося в качестве ранга объекта. Данный параметр учитывает вес факторов, определенный на основании мнений экспертов (2), и степень неопределенности значений факторов (3). Нормированное значение показателя качества будет вычисляться следующим образом:

I «ЛА т

пгах

где - интегральное качество объекта 5,;

Ы— количество признаков;

к0 - качественная оценка у-го признака для /-го объекта.

а, - вес у-го признака;

Н] - значимость_/-го признака;

ЛГ-количество уровней качества;

Птах - максимальная возможная энтропия исследуемой системы.

При решении задачи распределения группы исследуемых объектов применительно к автоматизированной системе был применен обобщенный иерархический агломеративный алгоритм (рис. 3) для произвольного метода объединения кластеров.

| Обозначаем каждый объект, как одиночный кластер

Формируем матрицу межкластерных расстояний |

Г

Находим два кластера с минимальным расстоянием между ними

Объединяем найденные кластеры в один

Определение центров кластеров

Рис. 3. Блок-схема иерархического агломеративного алгоритма

В четвертой главе проводится проверка работоспособности разработанной модели на примере исследования стимулирования преподавателей с использованием реальных показателей их деятельности.

Для примера были выбраны необходимые данные об оцениваемых компонентах и факторах, в том числе и данными о предельных возможностях оценок. Факторы должны удовлетворять следующим требованиям:

• Единый интервал значений показателя,

• Учет всех существенных факторов,

• Однозначность оценки,

• Широкая область применения,

• Пригодность для интерпретации в терминах полезности,

• Простота в математическом смысле и доступность для диагностических оцениваний и измерений.

Для эффективной реализации мотивационной задачи при формировании системы дополнительного стимулирования преподавателей к повышению качества осуществляемой деятельности было предложено использовать дифференцированный подход к оценке каждого компонента и его влиянии на размер получаемого преподавателем стимулирующего вознаграждения. Предлагаемые весовые коэффициенты для расчета размера стимулирующего вознаграждения преподавателя за качество профессиональной деятельности приведены в табл. 1.

Таблица 1.

Основные компоненты содержания профессиональной деятельности преподавателя вуза Весовой коэффициент

Учебная работа 0,35

Учебно-методическая работа 0,15

Научная работа 0,35

Воспитательная работа 0,1

Саморазвитие, повышение профессиональной квалификации 0,05

После приведения значений всех признаков преподавателей к единой качественной шкале появляется возможность корректного сравнения и определения рангов всех преподавателей. Формула (21) позволяет вычислить интегральный показатель качества деятельности преподавателя, который

представляет величину, характеризующую качество отдельно взятого преподавателя по всему профилю.

Табл. 2. содержит полученные значения интегральных показателей качества деятельности преподавателей по каждому из пяти профилей, а также общий показатель по полному набору релевантных признаков с учетом их значимости из табл. 1. Представленный алгоритм позволяет определить размер стимулирующей набавки, которую следует выплатить каждому преподавателю за достижения, демонстрируемые в каждом направлении осуществляемой им деятельности.

Таблица 2

№ п/п Преподаватель Распределение, %

I. 2. 3. 4. 5. 2

1. Преподаватель 1 6.43 23.64 4.11 25 11.79 70,97

2. Преподаватель 2 6.07 31.36 4.11 27 13.21 81,75

3. Преподаватель 3 8.93 29.55 4.46 28 11.79 82,73

4. Преподаватель 4 7.14 25.45 4.29 24 12.14 73,02

5. Преподаватель 5 7.86 30.45 4.11 26 10.71 79,13

6. Преподаватель 6 8.93 28.18 4.82 22.5 12.14 76,57

7. Преподаватель 7 7.5 27.27 4.29 30.5 10.71 80,27

8. Преподаватель 8 8.21 32.73 4.29 19.5 12.14 76,87

9. Преподаватель 9 6.07 27.27 4.29 25.5 13.21 76,34

10. Преподаватель 10 8.21 30 4.46 23 11.79 77,46

11. Преподаватель 11 8.21 29.55 3.93 27 12.5 81,19

12. Преподаватель 12 6.79 28.64 4.29 25.5 11.79 77,01

13. Преподаватель 13 8.57 28.18 3.75 29.5 13.21 83,21

14. Преподаватель 14 7.14 31.82 4.46 26 13.57 82,99

15. Преподаватель 15 8.21 24.55 4.29 24.5 11.43 72,98

16. Преподаватель 16 6.43 30.91 4.11 22 12.14 75,59

17. Преподаватель 17 7.5 29.09 4.11 24.5 12.86 78,06

18. Преподаватель 18 7.14 31.36 4.11 28 13.21 83,82

19. Преподаватель 19 7.5 32.27 4.11 28 13.93 85,81

20. Преподаватель 20 7.14 31.36 4.82 30 14.29 87,61

В приложении приведено описание системы экспертной оценки качества деятельности «АСТ-ОКО», ее возможности и способ использования. Кроме того, приведены акты внедрения системы в Московском государственном университете печати, Московском государственном техническом университете гражданской авиации и Московском авиационном институте (Государственном техническом университете).

Основные результаты и выводы

В процессе выполнения диссертационной работы были решены научные задачи по разработке моделей и алгоритмов распознавания образов числовой и нечисловой природы с точки зрения системного анализа, на основе методов теории информации, статистики качеств и непараметрических подходов, разработана автоматизированная система оценки качества деятельности вузов АСТ-ОКО.

На основании полученных результатов можно сделать следующие выводы:

1. Существующие способы кластерного анализа основываются на анализе признаков без учета их природы. Это приводит к тому, что производится сравнение несравнимых факторов. Симптомы с большим численным значением подавляют признаки с меньшими значениями.

2. Утверждения количественных методов при оценке качества объектов произвольной природы не согласуются с установленными фактами, не выдерживают объективной практической проверки. Более того, количественные знания фрагментарны и не вписываются в содержательную по своей сущности обобщенную картину оценки уровня подготовки выпускников.

3. Разработанная модель распознавания объектов охватывает все релевантные факторы образовательной действительности (числовой и нечисловой природы), учитывая действующие нормы в сфере

образования и направляя ее в сторону гармоничного учета признаков числовой и нечисловой природы.

4. Разработаны алгоритмы определения степени влияния значения фактора на качество деятельности, как на основании энтропии, так и на основании мнения экспертов.

5. Выбор единого качества и установление границ изменения каждого образовательного признака при моделировании деятельности образовательной организации продвигает исследователя значительно вперед к решению основной задачи - получение оценки или определения влияния каждого из существенных факторов на уровень моделируемого показателя. Результат решения, представленный в виде диапазона изменения рассматриваемых признаков, позволяет учитывать специфическое их проявление на данном этапе исследования качества образования. Таким образом, появляется возможность одновременно и совместно оценить влияние многомерной системы гибридных факторов, имеющих количественную и качественную характеристику, на уровень моделируемых показателей, а также каждого признака в отдельности.

6. При использовании статистики качеств можно производить оценку разности влияния между двумя и более факторами и, что особенно важно, оценивать количественно влияние, оказываемое на показатели деятельности различных сочетаний рассматриваемых симптомов.

7. Сравнение традиционных методов оценки показало, что предлагаемый способ комплексной реконструкции качества образования более наглядно дифференцирует вузы по качеству их функционирования. Теоретические и практические исследования показали неприменимость ранговых методов анализа данных в отрыве от всестороннего изучения характеристик распределения образовательных признаков.

8. Разработаны алгоритмы установления топометрик множественной и парной качественной конкордации, адекватно оперирующие интенсивными значениями факторов и допускающие ясную

интерпретацию результатов в пространстве количественных и качественных признаков, где неприемлемы классические меры сходства.

9. Распределение множества объектов высшего образования в зависимости от их качества необходимо производить с учетом полезности каждого фактора, характеризующего поведение исследуемого объекта, а также с учетом степени влияния фактора на качество процесса образовательно-педагогической деятельности.

Ю.Разработанная автоматизированная система оценки качества деятельности образовательных учреждений является гибким и мощным средством анализа объектов числовой и нечисловой природы, покрывая весь спектр задач исследования характеристик качества.

Основные публикации по теме диссертации

Статьи, опубликованные в ведущих рецензируемых научных журналах,

определенных ВАК

1. Тугай М. В. Классификация объектов в образовательной сфере [Текст] / М. В. Тугай // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. - 2008. № 3. - С. 61-69.

Другие публикации

2. Тугай М. В. Разработка системы оценки качества АСТ-ОКО [Текст] / М. В. Тугай // Вестник Московского государственного университета печати. - 2006. № 6. - С. 62.

3. Тугай М. В. Инновации, движение и развитие в сфере образования [Текст] / М. В. Тугай // Инновационные методы и средства оценки качества образования : тез. докл. 4-й науч.-методической конф. - М., 2006.-С. 294-296.

4. Тугай М. В. Система экспертной оценки качества АСТ-ОКО [Текст] / М. В. Тугай // Инновационные методы и средства оценки качества

образования : тез. докл. 4-й науч.-методической конф. - М., 2006. - С. 297-298.

5. Тугай М. В. Целое и целостность [Текст] / М. В. Тугай, О. А. Тягунова // Инновационные методы и средства оценки качества образования : тез. докл. 4-й науч.-методической конф. - М., 2006. - С. 299-303.

6. Тугай М. В. Система экспертной оценки качества образования [Текст] / М. В. Тугай // Диалог общества и власти в образовательном пространстве СНГ : тез. докл. международной научной конф. - М, 2006. - Ч. 1. - С. 173-174.

7. Тугай М.В. Автоматизированная система количественно-качественной оценки образовательной деятельности ACT-ОКО [Текст] : методическое пособие / М. В. Тугай, Т. Н. Тягунова, О. Г. Исаева. - М.: МГУП, 2008. -72 с. -500 экз. - ISBN 978-5-8122-0939-1.

8. ACT-ОКО — Экспертная оценка качества деятельности свидетельство об офиц. регистрации программы для ЭВМ № 2007610932 Российская Федерация / Тугай М. В., Тягунова Т. Н., Васильев В. И. - № 2007610298 ; опубл. 28.02.2007.

Подписано в печать 31.10.2008. Формат 60x84/16. Бумага офсетная. Печать на ризографе. Усл. печ. л. 1.16. Тираж 100 экз. Заказ № 357/329. Отпечатано в РИО Московского государственного университета печати 127550, Москва, ул. Прянишникова, 2а