автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Обработка экспертной информации при отборе экспертов в научно-технической сфере

а

3

На правах рукописи

/7

005016211

Путивцева Наталья Павловна

ОБРАБОТКА ЭКСПЕРТНОЙ ИНФОРМАЦИИ ПРИ ОТБОРЕ ЭКСПЕРТОВ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ

Специальность 05.13.01 -Системный анализ, управление и обработка информации (в науке и технике)

Автореферат диссертации на соискание ученой степени кандидата технических наук

3 МАП 2012

Белгород - 2012

005016211

Работа выполнена в Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Белгородский государственный национальный исследовательский университет» (НИУ «БелГУ»)

Научный руководитель доктор технических наук, профессор

Жиляков Евгений Георгиевич

Официальные оппоненты: Рубанов Василий Григорьевич

Доктор технических наук, профессор, Заслуженный деятель науки РФ, Белгородский государственный технологический университет им. В.Г. Шухова,заведующий кафедрой технической кибернетики

Штифанов Андрей Иванович

Кандидат технических наук, Белгородский государственный национальный исследовательский университет, заместитель начальника Управления заочного, очно-заочного обучения и электронных образовательных технологий

Ведущая организация Федеральное казенное образовательное

учреждение высшего профессионального образования «Воронежский институт Федеральной службы исполнения наказаний»(ФКОУ ВПО «Воронежский институт ФСИН»)

Защита состоится «16» мая 2012 года в 14 часов 00 минут на заседании диссертационного совета Д 212.015.10 при Белгородском государственном национальном исследовательском университете по адресу: 308015, г. Белгород, ул. Победы, д. 85.

С диссертацией можно ознакомиться в научной библиотеке Белгородского государственного национального исследовательского университета.

Автореферат разослан: «_» апреля 2012 г.

Ученый секретарь диссертационного совета кандидат технических наук, старший научный сотрудник

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Системный анализ сложных технических объектов не может быть основан только на информации, полученной при помощи измерительных приборов, и часто реализуется с привлечением экспертной информации, отражающей опыт и интуицию специалистов.

Получение и обработка экспертной информации являются важными процедурами системного анализа и управления в научно-технической сфере, успешность применения которых существенно зависит от уровня профессиональных знаний участвующих в них специалистов (экспертов).

Проблемы организации получения, анализа и обработки экспертной информации и вопросы оценивания квалификации экспертов рассмотрены в работах многих зарубежных и отечественных ученых. В основе предлагаемых процедур, как правило, используются тестовые методы, а оценивание уровня знаний одних специалистов осуществляется другими, которые в этом контексте образуют группу эталонных экспертов (иерархия экспертов). Следует отметить, что применяемые в настоящее время тестовые процедуры в недостаточной мере отражают системность знаний профессиональной сферы. Вместе с тем профессиональную деятельность в научно-технической сфере можно представить несколькими аспектами, которые имеют различную важность для специалистов отдельных специализаций в рамках одной профессиональной группы. Поэтому для оценивания уровня профессиональных знаний экспертов целесообразно использовать многокритериальное иерархическое оценивание, позволяющее выявить их целостность и системность.

Таким образом, совершенствование на основе системного подхода процедур оценивания уровня профессиональных знаний экспертов в научно-технической сфере является актуальной задачей.

Предлагаемый подход заключается в том, что процедура системного тестового оценивания уровня профессиональных знаний экспертов в научно-технической сфере должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты возможных описаний характеристик одного и того же технического объекта с заданной точки зрения. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексирова-нием результатов на основе учета иерархичности и весомостей с точки зрения специализаций испытуемых (иерархическое многокритериальное экспертное оценивание). При этом выносить суждение об уровне профессиональных знаний экспертов следует на основе сравнений с эталоном, который заранее формируется с привлечением «эталонных» специалистов из соответствующей профессиональной сферы.

Объект исследований: процессы получения, анализа и обработки экспертной информации в задачах отбора экспертов.

Предмет исследования: методы и алгоритмы получения и обработки информации при оценивании уровня профессиональных знаний в научно-технической сфере.

Целью диссертационного исследования является совершенствование процедур отбора экспертов, привлекаемых для оценивания объектов техники,

на основе разработки системных методов получения и обработки информации об уровне их профессиональных знаний, который сравнивается с формируемым заранее эталоном.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Разработка метода системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации с применением парных сравнений.

2. Разработка алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.

3. Разработка программной реализации алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.

4. Апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере сферы информационно-коммуникационных технологий.

Методы исследований: методы системного анализа, методы получения и обработки экспертной информации, методы статистической обработки эмпирической информации, компьютерное моделирование.

Научную новизну работы составляет следующее:

1. Метод получения и обработки экспертной информации при отборе экспертов в научно-технической сфере, включая:

1.1. новый принцип оценивания уровня профессиональных знаний экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний);

1.2. иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний характеристик анализируемых объектов;

1.3. способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов с привлечением «эталонных» экспертов;

1.4. способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.

2. Алгоритмы получения и обработки экспертной информации в методе парных сравнений без предварительного формирования шкал экспертных суждений, что позволяет повысить гибкость процедур экспертного оценивания за счет отсутствия фиксации количества градаций суждений и выражаемых ими силы превосходств/проигрышей сравниваемых объектов.

Практическая значимость работы определяется тем, что реализация предложенных процедур получения и обработки испытательной информации позволяет повысить обоснованность принятия решений при отборе экспертов,

привлекаемых для оценивания объектов техники. Разработан комплекс программных средств, реализующих процедуру оценивания уровня профессиональных знаний в сфере техники, который применяется в ООО «Матрица» при аттестации специалистов по программированию и конфигурированию в системе 1С: Предприятие 8.2, что подтверждается соответствующим актом.

Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации» (технические науки) по следующим областям исследований:

п. 5. «Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации»;

п. 13. «Методы получения, анализа и обработки экспертной информации».

Связь с научными и инновационными программами. Результаты диссертационных исследований использовались при выполнении следующих проектов: грант РФФИ, проект 07-07-00206а; ФЦП «Научные и научно-педагогические кадры для инновационной России» государственные контракты 14.740.110390 и № 02.740.11.5128, а также внутривузовские гранты БелГУ на проведение исследований по приоритетным направлениям развития науки, технологий и техники, 2008, 2009, 2010 годы.

Положения, выносимые на защиту

1. Метод получения и обработки экспертной информации при определении уровня профессиональных знаний экспертов, привлекаемых для оценивания объектов техники, реализующий принцип выявления способностей испытуемых к упорядочиванию по важности с заданной точки зрения предъявляемых описаний характеристик анализируемых объектов.

2. Алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний характеристик анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений.

3. Методика формирования эталонных упорядочиваний весомостей предъявляемых описаний характеристик анализируемых объектов и получения на основе разработанных мер сопоставления с ними интегральных оценок уровня профессиональных знаний привлекаемых экспертов.

4. Программная реализация алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов и ее апробация на примере сферы ИКТ.

Достоверность выводов и рекомендаций обеспечивается корректностью использования принципов системного анализа, математических формулировок и преобразований, отсутствием противоречий с известными теоретическими положениями и сопоставлениями результатов компьютерного моделирования со статистическими данными.

Личный вклад соискателя. Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии.

Апробация результатов диссертационного исследования.

Основные положения и результаты диссертационного исследования докладывались и обсуждались на следующих конференциях:

Всероссийский конкурс научно-исследовательских работ студентов и аспирантов «Инновационные технологии в образовательном процессе» -Белгород, БелГУ, 2011г; Всероссийская конференция с элементами научной школы для молодежи «Информационные технологии в образовании XXI века» (ИТО-ХХ1), Москва, НИЯИ «МИФИ», 2011 г; Десятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии, - Воронеж, 2010 г; 1-я и 2-я Международная научно-техническая конференция «Компьютерные науки и технологии», - Белгород, НИУ БелГУ, 2009 г, 2011 г; Девятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии», - Воронеж, 2009; Международная научно-практическая конференция «Новые информационные технологии в образовании», Екатеринбург, 2009 г.; Всероссийская научно-техническая конференция «Проблемы информатизации образования». - Тула, 2008; VI Всероссийская конференция (с международным участием) «Современные ИТ в науке, образовании и практике», - Оренбург, 2007.

Получен диплом лауреата Всероссийского конкурса научно-исследовательских работ в области технологий электронного обучения в образовательном процессе - Белгород, БелГУ, 2010г.

Публикации. По теме диссертационного исследования опубликовано 16 печатных работ (из них 8 в журналах из списка ВАК РФ), получено 5 Свидетельств Роспатента РФ о государственной регистрации программ для ЭВМ.

Объем и структура работы. Диссертация состоит из Введения, четырех глав, Заключения, Списка литературы и Приложений. Работа изложена на 140 страницах машинописного текста, включая 11 рисунков, 43 таблицы и список литературных источников из 102 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во Введении обосновывается актуальность диссертационного исследования, формулируется его основная цель и решаемые задачи, дается обзор содержания глав.

Глава 1. «Экспертное оценивапие объектов техники. Отбор экспертов. Состояние вопроса и постановка задач исследования». Основное внимание уделено рассмотрению проблемы экспертного оценивания объектов техники, анализу способов оценивания профессиональных знаний экспертов в научно-технической сфере, была обоснована необходимость системного подхода к слабоструктурированной проблеме оценивания уровня профессиональных знаний и целесообразность применения для отбора экспертов многокритериальных методов по типу экспертного оценивания на основе парных сравнений.

На основе проведенного анализа и в соответствии с целью работы формулируются конкретные задачи диссертационного исследования.

Глава 2. «Разработка метода получения и обработки информации на основе парных сравнений при оценивании подготовленности эксперта»

Раздел 2.1 «Принцип оценивания уровня профессиональных знаний экспертов».

Предлагаемый принцип оценивания профессиональных знаний привлекаемых экспертов заключается в проверке способности испытуемых к упорядочиванию весомостей описания характеристик объектов по степени их полноты с точки зрения направлений профессиональных знаний. Для его реализации должна быть разработана системная классификация знаний в научно-технической сфере, которая адекватно описывает основные направления профессиональной деятельности и позволяет формулировать отдельные характеристики объектов с точки зрения этих направлений, иерархическая процедура получения и обработки информации о знаниях испытуемых на основе парных сравнений и методика сопоставления результатов испытаний с «эталонными» упорядочиваниями характеристик описываемых объектов на основе ответов эталонных экспертов.

Основные положения принципа оценивания уровня профессиональных знаний привлекаемых экспертов:

1. Оценка уровня профессиональных знаний экспертов должна осуществляться на основе процедур получения и обработки соответствующей информации по типу парных сравнений. В качестве основы получения информации об уровне профессиональных знаний испытуемых используется тестирование. Вопрос теста формулируется следующим образом: «Некоторый объект (профессиональной сферы) - это...»

2. Ответы на вопрос — это перечень характеристик объекта с точки зрения выделенных направлений профессиональных знаний. Все ответы обладают разной степенью полноты описания объекта с заданной точки зрения.

3. В результате обработки ответов испытуемого должно быть получено их упорядочивание по важности с вычислением соответствующих весомостей.

4. Для реализации получения и обработки информации используются иерархические процедуры парных сравнений.

5. Уровень профессиональных знаний отбираемых экспертов определяется на основе сопоставлений получаемых от них весомостей вариантов ответов с эталонными весомостями, для чего формируются меры близостей и градации интегральных оценок.

6. Эталонный для сопоставлений уровень профессиональных знаний определяется на основе предварительного формирования весомостей предъявляемых испытуемому ответов с помощью специалистов, квалификация которых не вызывает сомнений (эталонные эксперты).

7. Для получения количественных оценок уровня профессиональных знаний испытуемого эксперта разрабатываются соответствующие решающие процедуры, включая меры близости полученных им упорядочиваний весомостей и эталонных упорядочиваний и основанные на этом градации интегральных оценок.

Раздел 2.2 «Иерархическая процедура получения и обработки экспертной информации при оценивании уровня знаний». Сформирована методика построения классификации знаний, которая подразумевает выделение отдельных направлений знаний таким образом, чтобы, используя их в качестве критериев, можно было выделить характеристики технических объектов и ор-

ганизовать иерархическую процедуру системного оценивания уровня профессиональных знаний, представлена иерархическая процедура получения и обработки информации при проведении испытаний и разработана процедура вычисления эталонных весомостей предлагаемых ответов на основе информации от эталонных экспертов. Иллюстрацией иерархического представления процедуры оценивания уровня профессиональных знаний служит рисунок 1.

Критерии

(Направления Профессионалу знани

Оценивание уровня профессиональных знаний

Направление 1 Направление 2 Направление 3 ...

Направление К

Альтернат (характеристик! объекта с точки зрения направлений профессиональных знаний)

Уровень ответов

Рисунок 1. Иерархическое представление процедуры оценивания знаний об объекте профессиональной сферы.

В научно-технической сфере выделяются направления деятельности специалистов, в которых преимущественно применяется специфический инструментарий и тезаурус. Существенное значение имеют также принципы функционирования технических объектов и их дальнейшего совершенствования. Технические объекты имеют вполне определенное назначение и конечный набор характеристик, поэтому на этой основе заранее выделяются направления профессиональных знаний, число которых не рекомендуется брать больше 7.

Выделенные направления научно-технической сферы должны быть системно связаны, в том смысле, что для развития каждого из них необходимо согласованное развитие других направлений. Системные связи направлений определяют запросы на обеспечение их развития. В каждом направлении выделяются ключевые понятия и объекты, которые используются в основе оценивания уровня профессиональных знаний экспертов. Выделение направлений позволяет составить характеристики объектов с точки зрения каждого из направлений и осуществлять процедуру тестирования.

Процедура получения и обработки экспертной информации состоит в следующем. Формулируется вопрос об объекте профессиональной сферы и ответы, представляющие собой характеристики этого объекта с точки зрения того или иного выделенного направления профессиональных знаний. Направления знаний выступают критериями для сравнения ответов, то есть разных характеристик объекта технической сферы, между собой. Формулировки ответов с разной степенью полноты описывают рассматриваемый объект. Поэтому сравнение этих ответов по степени полноты описания характеристик объекта позволяет получить более полное представление о знании экспертом объектов профессиональной сферы, определить, являются ли его знания устойчивыми.

Испытуемому предъявляются вопросы и варианты ответа на каждый из вопросов, и предлагается заполнить матрицы парных сравнений (МПС), указывается способ ее заполнения и задается точка зрения, относительно которой нужно сравнивать ответы по степени полноты описания характеристик объекта профессиональной сферы. МПС предлагается заполнять следующим образом. Если признано, что объект А, превосходит А; и сила превосходства выражается к-тым по порядку суждением, то Су=к, С:,=-к или же Су=-к, С,,=к, когда наоборот объект А| в той же степени превосходит А;. Суждения формулируются самими испытуемыми. Предполагается, что индексы (номера) суждений упорядочены по возрастанию выражаемой ими силы превосходств. Для дальнейшей обработки МПС используется информация о количестве сформулированных суждений. Количество заполняемых МПС для каждого вопроса теста равно числу критериев. Алгоритм обработки МПС описывается в третьей главе. После обработки каждой из МПС вычисляется вектор локальных весомостей ответов с точки зрения указанного направления профессиональных знаний V" = {кк" ,Уи",..., , где символ ' означает транспонирование.

Для оценивания интегрального уровня профессиональных знаний в сфере техники предлагается использовать свертку.

-»т, 2>,>=1, О)

где ги - интегральные весомости ответов испытуемого на г-й вопрос теста, I -номер варианта ответа, к - номер направления, К - количество направлений знаний; N - количество вопросов теста, К-к'к _ весомости критериев -направлений профессиональных знаний - вычисляются с привлечением эталонных экспертов, У;киг - весомости ответов испытуемого на г-тый вопрос по каждому из критериев сравнения - направлений знаний.

Уровень профессиональных знаний испытуемого определяется на основе сопоставления интегральных весомостей его ответов с весомостями, полученными в результате проведения испытаний с привлечением эталонных экспертов.

Для построения эталонных весомостей привлекаются эксперты, и проводится групповая экспертиза. Эталонные эксперты проходят ту же самую процедуру отбора информации, что и испытуемый, с теми же этапами, заполняя МПС ответов с точки зрения каждого из критериев.

Для усреднения оценок экспертов вычисляется среднее арифметическое соответствующих элементов их МПС. Для определения согласованности суждений группы экспертов используется коэффициент конкордации.

В результате обработки усредненной МПС получаются эталонные весомости ответов на вопросы теста с точки зрения каждого из критериев - направлений знаний. Эталонные интегральные весомости ответов на каждый из вопросов теста У1г также вычисляются комплексированием по критериям с помощью свертки.

к=1 (-1

Як,к-\,К _ весоМости критериев (направлений профессиональных знаний), У;кГ - эталонные весомости ¡-того варианта ответа на г-тый вопрос теста с точки зрения к-того направления знаний.

Раздел 2.3 Меры близости с эталонными весомостями и интегральная шкала бальных оценок

Поскольку компоненты векторов весомостей ответов положительны, и сумма компонент равна 1 (как распределение вероятностей), то в качестве меры близости весомостей ответов испытуемого к эталонным используется мера Питмена: для каждого вопроса вычисляется:

& (3)

Для определения максимального расхождения в оценках испытуемого от эталонных вычисляется Ц. =щахк •

Градации для отметок за вопрос в пятибалльной шкале предлагаются следующие:

£Эг е[0; 0.20]<=> ставится оценка "5м 2,. е(0.20; 0.40]<^> ставится оценка "4"

(2, е(0.40;0.60]<=> ставится оценка "3" Qr е(0.60;1]<=> ставится оценка "2"

Также для каждого вопроса вычисляется коэффициент корреляции между весомостями эталонными и испытуемого г,. Коэффициент корреляции находится в диапазоне [-1;1]. Если относительное отклонение больше 0.60 и коэффициент корреляции находится в диапазоне [-1;0.7], то принимается решение о том, что у тестируемого нет сложившегося знания об объекте, отраженном в соответствующем вопросе, и, соответственно, недостаточен уровень знаний соответствующего направления профессиональной деятельности.

Для получения интегральной оценки уровня профессиональных знаний вычисляется отношение числа ответов, для которых С^<0,2, к общему числу вопросов теста, и для полученного отношения задаются следующие градации его перевода в оценку:

Если (отношение числа ответов, для которых < 0,2, к общему числу вопросов ттест >0,85 и нет вопросов, для которых Qj > 0,60) <=> ставится оценка "5" Если (отношение числа ответов,для которых 0, <0,2, к общему числу вопросов теста е[0,70; 0,85) и количество вопросов, для которых >0,60, < 0,1 Л^) О о ставится оценка "4"

Если {отношение числа ответов, для которых С^ <0,2, к общему числу вопросов ттест е[0,55; 0,70) и количество вопросов, для которых > 0,60, < о ■О ставится оценка "3" Если (отношение числа ответов, для которых < 0,2, к общему числу вопросов теста < 0,55)«» ставится оценка "2"

При одной и той же интегральной оценке уровня профессиональных знаний у испытуемых может быть разное распределение их уровней по направлениям. В соответствии с этим, целесообразно определять и уровень профессиональных знаний эксперта в каждом из направлений.

Для этого вычисляются векторы размерности N (по количеству вопросов теста) с использованием меры Питмена. Компонента вектора ? соответствует к-му направлению профессиональных знаний, каждая координата вектора - .т,—

представляет собой расстояние между эталонными весомостями ответов, соответствующих к-му направлению, и соответствующими весомостями ответов тестируемого. Суммируются квадраты разностей между эталонными весомостями и весомостями испытуемого, соответствующими к-му направлению профессиональных знаний, по всем вопросам теста.

? = = (4)

где N - число вопросов теста.

Градации оценки уровня профессиональных знаний в каждом из направлений предлагаются следующие:

л-,. е[0;0,2]о ставится оценка "5" я) е(0,20;0,40]<=> ставится оценка "4"

5,. е(0,40;0,60]<=> ставится оценка "3" е (0,60;1] <=> ставится оценка "2"

По результатам обработки следуют общие выводы и рекомендации: тестируемому необходимо повышать профессиональный уровень по тем направлениям знаний, по которым получены оценки «2» и «3».

Для того чтобы определить уровень устойчивости профессиональных знаний испытуемого, несколько из вопросов, составляющих тест, предъявляется испытуемому неоднократно с определенным временным интервалом и с другим порядком следования ответов на данный вопрос. В качестве меры близостей вариантов упорядочения ответов предлагается использовать соотношение

. к = (5)

где га',1 = 1,..,М - весомости ответов тестируемого при 1-том варианте их предъявления на к-тый вопрос. Отсутствие символа «*» означает первый вариант весомостей ответов. В результате для всех вопросов серии получаем вектор

о = (о, ,о2,...рм) (6)

Определяем компоненту вектора с максимальным значением о т„.

0,2 , то уровень устойчивости высокий е (0,2; 0,5], то уровень устойчивости средний (7)

> 0,5 , то уровень устойчивости низкий Высокий уровень устойчивости говорит о том, что тестируемый стабилен в своих суждениях относительно весомостей ответов на вопрос теста при его неоднократном предъявлении с различным порядком ответов. Аналогичную процедуру проводится для всех серий повторяющихся вопросов в тесте. В результате вычислений получается вектор ю = (о1пт,о2п1ах,...,о?тах), я - количество серий.

Далее определяется интегральный уровень устойчивости профессиональных знаний. Для этого вычисляется отношение числа компонент вектора ю, меньших порогового значения 0,2, к общему числу серий из повторяющихся вопросов.

Если это отношение >=0,8, то уровень устойчивости профессиональных знаний тестируемого высокий, если отношение находится в интервале [0,5;0,8), то уровень устойчивости знаний средний, если это отношение <0,5, то уровень устойчивости низкий.

Глава 3. «Разработка алгоритмов получения и обработки экспертной информации без предварительного формирования шкал суждений»

Раздел 3.1 «Алгоритм получения и обработки экспертных оценок без предварительного формирования шкал экспертных суждений». Разработан алгоритм вычисления весомостей сравниваемых объектов на основе формирования и обработки МПС следующего вида c(p) = exp((g,..,p)), где (,) - скалярное произведение векторов; М - максимальный индекс использованных суждений, р = (р,,...,рм)'- неизвестный, определяемый в процессе вычислений вектор с положительными компонентами (рк > 0), gs = ёк ■signbv, где by - элемент матрицы В, которая заполняется следующим образом: = /:)П(л,, = -к), если при сравнении признано, что объект Aj превосходит Aj, и сила превосходства выражена к-тым по порядку суждением, и (Ьг] = -k)f](bß = к), если наоборот Aj в той же степени превосходит А;. ёк = (l,l,...,l, 0,...,0) - вектор, имеющий к первых единиц.

Так как элементы МПС являются оценками соответствующих элементов идеальных МПС, т.е. cv ~ fu = &>, / (о/, можно получить выражение для оценок

последних в виде (р) = а, /5>j = exp[(g,,р)-(gt.,р)], g, =Y,S,j /'К.

Вектор р определяется на основе вариационного принципа

£ In2 (с, (р) • fß (р))/£ In2 (с, (р)) = min, рей/, ¡.м / ¡.м

который преобразуется к виду

p'(G-Я)р/р'Яр = min, ре й+м (8)

где RtM - множество М-мерных векторов с положительными компонен-

К к

тами, G = IK^gß]-, Н = ^gijg'u, при дополнительных условиях

¿=1 /,>=1

рм-р, <0,p,t2-2p,41+p, >0, (9)

первое из неравенств отражает представление о том, что для количественных выражений силы превосходств суждений xk = expj^р. j, ха = 1 выполняется неравенство хк/хк_х > хкл/х,, т.е. с ростом индекса относительные различия уменьшаются. В свою очередь второе из неравенств отражает факт уменьшения с ростом индекса абсолютных величин первых разностей |р4+, -рк | > \рм - pi+1|, т.е. хк представляет собой вариант функции роста. Минимизация функционала (8) реализуется с помощью метода покоординатного спуска.

Раздел 3.2 «Программно-алгоритмическая реализация иерархической процедуры обработки экспертной информации». Разработана программная реализация трехуровневой иерархии с вычислением весомостей на основе алгоритма обработки экспертных оценок без предварительного формирования шкал суждений.

Раздел 3.3 «Проведение вычислительных экспериментов». Описаны вычислительные эксперименты, которые заключались в проверке работоспособности метода обработки экспертных суждений без предварительного фор-

мирования шкал с использованием модельных примеров, для которых известны реальные весомости альтернатив, и в проверке работоспособности разработанного программного модуля. Ниже в Таблицах 1 и 2 приведены результаты обработки модельных примеров, взятых из работы: Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати - М.: Радио и связь, 1993. - 320 с.

Для удобства сопоставлений в таблицах приведены результаты вычислений весомостей Саати при использовании основной шкалы метода анализа иерархий. Они имеют индекс 'с'. В качестве меры близости к истинным весомо-

п ^ ^

стям было выбрано расстояние р = Л— XXй'* - »V )2, где — реальные весомости, й>4 - оценки, вычисленные с использованием одного из методов (разработанного метода обработки МПС без предварительного формирования шкал экспертных суждений и метода Саати).

Таблица 1

Результаты обработки МПС разработанным методом и методом Саати

К 1 2 3 4 5 6 7 Р

W 0,413 0,225 0,043 0,069 0,055 0,104 0,092

w 0,405 0,217 0,025 0,065 0,061 0,123 0,104 р=0,012

wc 0,427 0,230 0,021 0,052 0,052 0,123 0,094 рс=0,014

Таблица 2

Результаты обработки МПС разработанным методом и методом Саати

к 1 2 3 4 5 6 Р

W 0,279 0,381 0,032 0,132 0,177 0,019

w 0,265 0,371 0,035 0,137 0,168 0,024 р=0,008

wc 0,262 0,397 0,033 0,116 0,164 0,028 рс=0,013

Легко видеть, что разработанный метод дал значения, более близкие к реальным весомостям альтернатив, чем метод Саати.

Глава 4. «Программная поддержка получения и обработки экспертной информации при оценивании уровня знаний». Представлена программная поддержка получения и обработки информации при оценивании уровня профессиональных знаний экспертов.

Раздел 4.1 «Концептуальные основы построения программной поддержки». Сформулированы требования, которым должна удовлетворять программная система оценивания уровня профессиональных знаний. 1-я группа -требования, относящиеся к соответствию программной реализации принципам осуществления тестирования; 2-я группа - функциональные требования к системе.

Раздел 4.2 «Описание интерфейса». Представлено описание интерфейса программного комплекса для определения уровня профессиональных знаний. Данная программная система была разработана в среде Delphi 7, работает в трех режимах: в режиме пользователя (тестируемого эксперта), эксперта (эталонного эксперта) и администратора. Профиль входящего в программу определяет перечень доступных ему функций.

Q Тестирование знаний режим АДМИНИСТРАТОРА ^ Админисграто Режимы работы ¡Тесты! Оценивание Сервис Ссзлт Открыть

Редактироаать Пользовательский тест

Рисунок 2 Главное окно программы при разных профилях

При работе программы создается файл, содержащий всю информацию о ' тесте и файл протокола тестирования.

Раздел 4.3 «Апробация разработанных процедур оценивания уровня знаний на примере сферы ИКТ». Представлены результаты апробации разработанного метода оценивания уровня профессиональных знаний экспертов и реализованной программной поддержки для сферы информационно- коммуникационных технологий. Для оценки адекватности подхода необходимо было охватить широкий круг лиц, и при этом иметь возможность сопоставления с какими-то усредненными данными. В качестве такого сопоставляемого контингента был выбран студенческий, поскольку:

1. Студенты могут рассматриваться в качестве двух групп экспертов - с незаконченным высшим и полным высшим образованием;

2. Федеральные образовательные стандарты предписывают вполне определенное содержание образования, что позволяет формулировать вопросы тестовых проверок;

3. У студентов есть оценки в дипломе и текущие оценки как опорные значения их уровня знаний;

4. Имеется определенная специальность, по которой студенты обучаются и для которой можно определить весомости направлений профессио- 1 нальных знаний;

5. Есть преподаватели специальности, которых можно считать эталонными экспертами, и есть возможность провести преподавателей и студентов через все испытания, предусмотренные разработанным методом.

Было проведено тестирование 30 студентов 5 курса специальности «Прикладная информатика (в экономике)». Для студентов профессиональной сферой | их будущей деятельности является сфера информационно-коммуникационных технологий (ИКТ).

В сфере ИКТ были выделены следующие направления профессиональных знаний, служащие критериями при оценивании уровня профессиональных знаний:

• Профессиональные знания, отражающие основные аспекты собственно компьютерных технологий, которые служат платформой, обеспечивающей це- 1 лостное представление о современной сфере ИКТ и областью пересечения профессиональных компетенций специалистов из разных направлений деятельности в области ИКТ;

• Профессиональные знания, отражающие проблемы создания информационных хранилищ, включая распределенные базы данных;

симы работы Тесты j Оценивание 1

Вопросы j

1 ^ 1

• Профессиональные знания, отражающие проблемы обеспечения информационной безопасности;

• Профессиональные знания, отражающие проблемы передачи информации в ИТС;

• Профессиональные знания, отражающие проблемы деятельности на рынке ИКТ.

Для оценивания профессиональных знаний была введена следующая иерархия экспертов:

1-й уровень — эталонные эксперты - преподаватели;

2-й уровень - эксперты с высшим образованием - выпускники 5 курса;

3-й уровень - эксперты с неоконченным высшим образованием — студенты 3 курса.

Для реализации тестирования были сформулированы тестовые вопросы об объектах сферы ИКТ и ответы, каждый из которых представляет собой характеристику объекта с точки зрения одного из выделенных направлений профессиональных знаний в сфере ИКТ.

Пример тестового испытания

Вопрос 1. Протокол в сфере ИКТ - это...

Ответы

01)... набор правил и соглашений, реализация которых обеспечивает максимально возможную скорость и наименьшее число ошибок при связи компьютеров друг с другом и с периферийными устройствами.

02)... набор правил и соглашений, осуществляемых при доступе к файлам, хранящимся на удаленном компьютере

03)... набор правил и соглашений, осуществляемых при кодировании данных.

04)... набор правил и соглашений, осуществляемых при передаче данных файлов и определяющих способы передачи сообщений между станциями ЛВС.

05)... набор правил и соглашений, реализующий сложный процесс связи между компьютерами разных моделей и производителей.

В работе показан подробный пример вычисления уровня профессиональных знаний на примере одного студента.

Для проверки обоснованности результатов оценивания уровня профессиональных знаний предлагается сравнивать оценку, полученную студентом 5 курса по каждому из направлений знаний, со средним баллом по дисциплинам, изучение которых обеспечивает формирование необходимого уровня профессиональных знаний по соответствующему направлению.

Таблица 3

Сопоставление результатов оценивания уровня профессиональных знаний

Студента 12 - пятикурсника - с результатами его успеваемости

Интегральная оценка Оценка по напр. 1 -Собственно Комп. Техн. Оценка по напр. 2 - Созд. и прнмен. хранилищ данных Оценка по напр. 3 -Инф-ная Безоп-ть Оценка по напр. 4 -Передача Инф-ции Оценка по напр. 5-Деят-ть на рынке ИКТ

1 2 3 4 5 6

1 2 3 4 5 6

«4» «4» «5» «4» «3» «4»

Ср. интеграл. балл 4,23 Ср. балл по напр. 1 4,00 Ср. балл по напр. 2 4,5 Ср. балл по напр. 3 4,5 Ср. балл по напр. 4 3,83 Ср. балл по напр. 5 4,33

Относит, отклонение интеграл, оценки 0,058 Относит, отклонение оценки по напр.1 0,000 Относит, отклонение оценки по напр. 2 0,100 Относит, отклонение оценки по напр. 3 0,125 Относит, отклонение оценки по напр. 4 0,278 Относит, отклонение оценки по напр. 5 0,083

С целью проверки работоспособности разработанного метода оценивания уровня профессиональных знаний, его надежности и валидности были проведены сравнения данного подхода с широко распространенными тестами - дихотомическим, дифференцированным, моделью Раша и моделью нечеткого оценивания знаний, а также с нейросетевой оценкой, реализованной с использованием программного пакета Neural Network Wizard. Для определения качества использованных тестовых методов вычисляется относительное отклонение результатов оценивания уровня знаний студентов, вычисленного с их использованием, от их среднего балла этих студентов.

Таблица 4

Относительное отклонение оценок студентов, вычисленных с использованием различных подходов, от их среднего балла

Интеграл, оценка (разработанный подход) Оценка по дифферент тесту Оценка по дифф. тесту (жестк. градация) Нейросе-тевая оценка Оценка по модели Раша Оценка по дихотом. тесту Модель нечеткого оценивания

0,042817 0,114998 0,309535 0,2289 0,252535 0,240254 0,185966

В девяти приложениях приведены: блок-схема алгоритма, реализующего метод парных сравнений без предварительной разработки шкал; блок-схемы алгоритмов оценивания уровня профессиональных знаний экспертов, результаты экспериментов по проверке надежности и валидности разработанного подхода к оценке профессионального уровня экспертов; а также сравнение с широко распространенными методами оценки знаний, интерфейс программной реализации алгоритмов получения и обработки информации при оценивании уровня профессиональных знаний.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ РАБОТЫ 1. Разработан метод системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации, включая:

1.1.новый принцип оценивания уровня профессиональных знаний привлекаемых экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний);

1.2. иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний характеристик анализируемых объектов;

1.3.способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов с привлечением «эталонных» экспертов;

1.4. способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.

2. Разработаны алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений и определением уровня профессиональных знаний на основе сопоставлений с предварительно формируемым эталонным уровнем с применением мер близостей для сопоставлений вычисленных весомостей на основе разработанных шкал интегральных оценок.

3. Разработана программная реализация алгоритмов получения и обработки информации при отборе экспертов в научно-технической сфере.

4. Проведена апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере оценивания уровня профессиональных знаний в сфере информационно-коммуникационных технологий.

Сопоставление результатов проведенных вычислительных экспериментов с реальными данными иллюстрируют работоспособность предлагаемых алгоритмов обработки экспертной информации при оценивании уровня профессиональных знаний экспертов в научно-технической сфере.

Предложенные алгоритмы получения и обработки экспертной информации при определении уровня профессиональных знаний позволяют повысить эффективность процедур отбора экспертов, привлекаемых для оценивания объектов в научно- технической сфере, ввиду повышения обоснованности принимаемых решений с применением системного подхода к формированию и использованию эталонных уровней знаний.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в изданиях, входящих в перечень, рекомендованный ВАК РФ

1. Путивцева, Н.П. Об использовании метода парных сравнений для принятия решений при оценивании уровня профессиональных компетенций обучаемых / Е.Г. Жиляков, C.B. Игрунова, Ю.Г. Чашин, С.Н. Девицына, Н.П. Путивцева, C.B. Ме-динцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2008. - № 10(50), вып. 8/1. - С. 65-74.

2. Путивцева, Н.П. Применение метода парных сравнений для анализа учебных планов с использованием модели профессиональных ИКТ-компетенций / C.B. Игрунова, С.Н. Девицына, Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2009. - №9(64), вып. 11/1. - С. 186-190.

3. Жиляков, Е.Г. Системная модель направлений профессиональной деятельности в сфере информационно- коммуникационных технологий (ИКТ) / Е.Г. Жиляков,

С.П. Белов, C.B. Игрунова, С.Н. Девицына, Н.П. Путивцева // Известия ОрелГТУ. Информационные системы и технологии. - 2009. - № 5 - С. 56-65.

4. Жиляков, Е.Г. Вариационный метод решения обратной задачи экспертного оценивания при парных сравнениях /, Н.П. Путивцева, Н.В. Щербинина // Вопросы радиоэлектроники. Сер. РЛТ. - 2007. - (№4)вып.2. - С. 142-155.

5. Путивцева, Н.П. О системном подходе к выявлению знаний / Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2007.

6. Путивцева, Н.П. Системная процедура оценивания уровня ИКТ-компетенций на основе парных сравнений / Н.П. Путивцева, C.B. Игрунова // Вопросы радиоэлектроники, Сер. ЭВТ. -2010. Вып.1. - С. 118-126.

7. Путивцева, Н.П. Об одной процедуре выбора варианта программного обеспечения для организации / П.В. Демин, А.О. Кривошеее, Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2010. -№19(90), вып. 16/1.-С. 141-145.

8. Путивцева, Н.П. Разработка процедуры обработки информации при оценивании уровня профессиональных знаний в сфере ИКТ на основе парных сравнений / Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика.-2011.-№7(102), вып. 18/1.-С. 152-161.

Статьи в научных журналах и сборниках трудов

9. Жиляков Е.Г. Обратная задача обработки экспертных оценок при степенной калибровке матрицы парных сравнений / Е.Г. Жиляков, Н.П. Путивцева // Вестник национального технического университета «Харьковский Политехнический Институт». Сборник научных работ. Тематический выпуск: Информатика и моделирование. -Харьков: НТУ «ХПИ», 2003. №26,- С. 3-12.

Статьи в материалах и сборниках трудов научных конференций

10. Путивцева, Н.П. Разработка процедуры применения системного подхода к выявлению знаний в автоматизированном режиме работы / Н.П. Путивцева // Проблемы информатизации образования: Всероссийская научно-техн. конф. Тула, Россия: сборник статей. - Тула: Изд-во ТулГУ, 2008. - С. 127-132.

11. Путивцева, Н.П. Формирование у студентов информационно-коммуникационных компетенций на основе командной работы / Ю.Г. Чашин, С.Н. Девицына, C.B. Игрунова, C.B. Мединцева, Н.П. Путивцева // Инновационные технологии научных исследований социально-экономических процессов: VI Междунар. науч.-практ. конф. Пенза, Россия: сборник статей. - Пенза: Приволжский Дом знаний, 2008.-С. 316-321.

12. Путивцева, Н.П. О системном подходе к выявлению знаний / Н.П. Путивцева // VI всероссийская науч.-практ. конф. (с международным участием), Оренбург, Россия: докл.- Оренбург: ИПК ГОУ ОГУ, 2007. - С. 506-511.

13. Путивцева, Н.П. Об использовании метода парных сравнений для принятия решений при оценивании уровня профессиональных компетенций обучаемых / Е.Г. Жиляков, C.B. Игрунова, С.Н. Девицына, Н.П. Путивцева, C.B. Мединцева, Ю.Г. Чашин // Новые информационные технологии в образовании: Материалы междунар. научн.-практ. конф. - Екатеринбург, 2009. - С.82-85. (Часть 1).

14. Путивцева, Н.П. Разработка процедуры применения системного подхода к выявлению знаний в автоматизированном режиме / Н.П. Путивцева // Информатика: проблемы, методология, технологии: материалы Девятой междунар. науч.-метод. конф. - Воронеж: Издательско-полиграфический центр Воронежского государственного университета, 2009. - С. 241-245.

15. Путивцева, Н.П. Об анализе учебных планов на основе модели профессиональных ИКТ-компетенций и метода парных сравнений / Игрунова C.B., Путивцева Н.П., Девицына С.Н. // Компьютерные науки и технологии: 1 междунар. науч.-техн. конф., Белгород, Россия: сборник трудов. - Белгород: ГиК, 2009. - С. 173 - 177.

16. Путивцева, Н.П. Формирование профессиональных ИКТ-компетенций при изучении дисциплины «Информатика» на основе моделирования командной работы / Н.П. Путивцева, C.B. Игрунова // Информатика: проблемы, методология, технология: материалы X Междунар. научно-метод. конф., Воронеж, Россия. - Воронеж: Издатель-ско-полиграфический центр Воронежского государственного университета, 2010. -С. 245-251. (Том 2).

Программы для ЭВМ

17. Свидетельство о государственной регистрации программы для ЭВМ № 2008614723 «Программная система для решения обратной задачи обработки экспертных суждений в методе парных сравнений при обосновании управленческих решений», Жиляков Е.Г., Путивцева Н.П. Заявка № 2008613595, дата поступления 1 августа 2008 г. Зарегистрировано в Реестре программ для ЭВМ 1 октября 2008.

18. Свидетельство об отраслевой регистрации разработки №11556 «Программная система для определения относительной важности объектов», Жиляков Е.Г., Путивцева Н.П. Зарегистрировано в Отраслевом фонде алгоритмов и программ 24 сентября 2008.

19. Свидетельство о государственной регистрации программы для ЭВМ №2009612865 «Программная система для оценивания уровня профессиональных компетенций на основе Метода анализа иерархий», Жиляков Е.Г., Путивцева Н.П., Игрунова C.B., Девицына С.Н. Заявка № 2009611500, дата поступления 6 апреля 2009 г. Зарегистрировано в Реестре программ для ЭВМ 3 июня 2009.

20. Свидетельство о государственной регистрации программы для ЭВМ №2009611826 «Программная система выбора альтернатив на основе метода анализа иерархий», Маторин С.И., Трубицин С.Н., Путивцева Н.П. Заявка № 2009610982, дата поступления 25 марта 2009 г. Зарегистрировано в Реестре программ для ЭВМ 8 апреля 2009.

21. Свидетельство о государственной регистрации программы для ЭВМ №2010616299 «Программная система для многокритериальной оценки уровня сформированное™ профессиональных ИКТ-компетенций», Жиляков Е.Г., Путивцева Н.П., Игрунова C.B., Зайцева Т.В. Заявка № 2010614859, дата поступления 5 августа 2010 г. Зарегистрировано в Реестре программ для ЭВМ 22 сентября 19 ноября 2010.

Подписано в печать 10.04.2012. Формат 60x84/16. Гарнитура Times. Усл. п. л. 1,0. Тираж 100 экз. Заказ 105 Оригинал-макет подготовлен в ИПК НИУ «БелГУ» 308015, г. Белгород, ул. Победы, 85

61 12-5/3388

БЕЛГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

ОБРАБОТКА ЭКСПЕРТНОЙ ИНФОРМАЦИИ ПРИ ОТБОРЕ ЭКСПЕРТОВ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ

по специальности 05.13.01 -Системный анализ, управление и обработка информации

(в науке и технике)

Путивцева Наталья Павловна

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель профессор, д.т.н., Е.Г. Жиляков

Белгород -2012

СОДЕРЖАНИЕ

ВВЕДЕНИЕ................................................................................................................................3

ГЛАВА 1. Экспертное оценивание объектов техники. Отбор экспертов. Состояние вопроса и постановка задач исследования............................................................................10

1.1 Процедура экспертного оценивания объектов техники................................................10

1.2 Процедуры решения слабоструктурированных проблем на основе парных сравнений ...................................................................................................................................................20

1.3 Иерархический метод парных сравнений в форме Саати (МАИ)................................31

1.4 Задачи исследования.........................................................................................................42

ГЛАВА 2. Разработка метода получения и обработки информации на основе парных сравнений при оценивании подготовленности эксперта.......................................45

2.1 Принцип оценивания уровня профессиональных знаний экспертов...........................45

2.2 Иерархическая процедура получения и обработки экспертной информации при оценивании знаний..................................................................................................................47

2.3 Меры близости с эталонными весомостями и интегральная шкала бальных оценок 57

2.4 Основные результаты и выводы главы...........................................................................64

ГЛАВА 3. Разработка алгоритмов получения и обработки экспертной информации

без предварительного формирования шкал суждений.........................................................66

3.1 Алгоритм получения и обработки экспертных оценок без предварительного формирования шкал экспертных суждений..........................................................................66

3.2 Программно-алгоритмическая реализация иерархической процедуры обработки экспертной информации.........................................................................................................77

3.3 Проведение вычислительных экспериментов................................................................82

3.4 Основные результаты и выводы главы...........................................................................86

ГЛАВА 4. Программная поддержка получения и обработки экспертной информации при оценивании знаний....................................................................................87

4.1 Концептуальные основы построения программной поддержки...................................87

4.2 Описание интерфейса........................................................................................................88

4.3 Апробация разработанных процедур оценивания знаний на примере сферы ИКТ...........................................................................................................................................97

4.4 Основные результаты и выводы главы.........................................................................127

ЗАКЛЮЧЕНИЕ......................................................................................................................128

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ............................................................130

ПРИЛОЖЕНИЕ А.................................................................................................................141

ПРИЛОЖЕНИЕ Б..................................................................................................................146

ПРИЛОЖЕНИЕ В..................................................................................................................160

ПРИЛОЖЕНИЕ Г..................................................................................................................163

ПРИЛОЖЕНИЕ Д..................................................................................................................168

ПРИЛОЖЕНИЕ Е..................................................................................................................203

ПРИЛОЖЕНИЕ Ж.................................................................................................................222

ПРИЛОЖЕНИЕ 3..................................................................................................................229

ПРИЛОЖЕНИЕ И.................................................................................................................233

ВВЕДЕНИЕ

Актуальность работы.

Системный анализ сложных технических объектов не может быть основан только на информации, полученной при помощи измерительных приборов, и часто реализуется с привлечением экспертной информации, отражающей опыт и интуицию специалистов.

Получение и обработка экспертной информации являются важными процедурами системного анализа и управления в научно-технической сфере, успешность применения которых существенно зависит от уровня профессиональных знаний участвующих в них специалистов (экспертов).

Проблемы организации получения, анализа и обработки экспертной информации и вопросы оценивания квалификации экспертов рассмотрены в работах многих зарубежных и отечественных ученых. В основе предлагаемых процедур, как правило, используются тестовые методы, а оценивание уровня знаний одних специалистов осуществляется другими, которые в этом контексте образуют группу эталонных экспертов (иерархия экспертов). Следует отметить, что применяемые в настоящее время тестовые процедуры в недостаточной мере отражают системность знаний профессиональной сферы. Вместе с тем профессиональную деятельность в научно-технической сфере можно представить несколькими аспектами, которые имеют различную важность для специалистов отдельных специализаций в рамках одной профессиональной группы. Поэтому для оценивания уровня профессиональных знаний экспертов целесообразно использовать многокритериальное иерархическое оценивание, позволяющее выявить их целостность и системность.

Таким образом, совершенствование на основе системного подхода процедур оценивания уровня профессиональных знаний экспертов в научно-технической сфере является актуальной задачей.

Предлагаемый подход заключается в том, что процедура системного тестового оценивания уровня профессиональных знаний экспертов в научно-

3

технической сфере должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты возможных описаний характеристик одного и того же технического объекта с заданной точки зрения. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексированием результатов на основе учета иерархичности и весомостей с точки зрения специализаций испытуемых (иерархическое многокритериальное экспертное оценивание). При этом выносить суждение об уровне профессиональных знаний экспертов следует на основе сравнений с эталоном, который заранее формируется с привлечением «эталонных» специалистов из соответствующей

профессиональной сферы.

Целью данной работы является совершенствование процедур отбора экспертов, привлекаемых для оценивания объектов техники, на основе разработки системных методов получения и обработки информации об уровне их профессиональных знаний, который сравнивается с формируемым заранее эталонном.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Разработка метода системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации с применением парных сравнений.

2. Разработка алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.

3. Разработка программной реализации алгоритмов получения и обработки информации при оценивании уровня профессиональных знаний привлекаемых экспертов.

4. Апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере сферы информационно-коммуникационных технологий.

Методы исследований:

- Методы системного анализа;

- Модели отбора и обработки экспертной информации;

- Методы парных сравнений;

- Методы статистической обработки эмпирической информации;

- Компьютерное моделирование.

Научную новизну работы составляет следующее:

1. Метод получения и обработки экспертной информации при отборе экспертов в научно-технической сфере, включая:

1.1. новый принцип оценивания уровня профессиональных знаний экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний);

1.2. иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний характеристик анализируемых объектов;

1.3. способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов с привлечением «эталонных» экспертов;

1.4. способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.

2. Алгоритмы получения и обработки экспертной информации в методе парных сравнений без предварительного формирования шкал экспертных суждений, что позволяет повысить гибкость процедур экспертного оценивания за счет отсутствия фиксации количества градаций суждений и выражаемых ими силы превосходств/проигрышей сравниваемых объектов.

Практическая значимость работы определяется тем, что реализация предложенных процедур получения и обработки испытательной информации позволяет повысить обоснованность принятия решений при отборе экспертов, привлекаемых для оценивания объектов техники. Разработан комплекс программных средств, реализующих процедуру оценивания уровня профессиональных знаний в сфере техники, который применяется в ООО «Матрица» при аттестации специалистов по программированию и конфигурированию в системе 1С: Предприятие 8.2, что подтверждается соответствующим актом.

Положения, выносимые на защиту:

1. Метод получения и обработки экспертной информации при определении уровня профессиональных знаний экспертов, привлекаемых для оценивания объектов техники, реализующий принцип выявления способностей испытуемых к упорядочиванию по важности с заданной точки зрения предъявляемых описаний характеристик анализируемых объектов.

2. Алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний характеристик анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений.

3. Методика формирования эталонных упорядочиваний весомостей предъявляемых описаний характеристик анализируемых объектов и получения на основе разработанных мер сопоставления с ними

интегральных оценок уровня профессиональных знаний привлекаемых экспертов.

4. Программная реализация алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов и ее апробация на примере сферы ИКТ.

Достоверность выводов и рекомендаций обеспечивается корректностью использования принципов системного анализа, математических формулировок и преобразований, отсутствием противоречий с известными теоретическими положениями и сопоставлениями результатов компьютерного моделирования со статистическими данными.

Личный вклад соискателя

Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии.

Апробация результатов диссертационного исследования.

Результаты диссертационного исследования обсуждались на следующих научно-технических конференциях:

1. Всероссийская конференция с элементами научной школы для молодежи «Информационные технологии в образовании XXI века» (ИТО-ХХ1), 2011г., Москва, Россия.

2. Всероссийский конкурс научно-исследовательских работ студентов и аспирантов «Инновационные технологии в образовательном процессе», 2011 г, Белгород, Россия.

3. Вторая Международная научно-техническая конференция, «Компьютерные науки и технологии», 2011 г., Белгород, Россия.

4. Десятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии, 2010 г, Воронеж, Россия.

5. Первая Международная научно-техническая конференция, «Компьютерные науки и технологии», 2009 г., Белгород, Россия.

6. Девятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии», 2009 г., Воронеж, Россия.

7. Международная научно-практическая конференция «Новые информационные технологии в образовании», 2009 г., Екатеринбург, Россия.

8. Всероссийская научно-техническая конференция «Проблемы информатизации образования», 2008 г., Тула, Россия.

9. VI Всероссийская конференция (с международным участием) «Современные ИТ в науке, образовании и практике», 2007 г., Оренбург, Россия.

Связь с научными и инновационными программами

Диссертационное исследование проводилось в рамках следующих программ фундаментальных, поисковых и инновационных исследований: Грант РФФИ № 07-07-00206а «Обратная задача экспертного оценивания относительных важностей конечного множества объектов при степенной калибровке матрицы парных сравнений»; Федеральная целевая программа «Научные и научно-педагогические кадры для инновационной России» на 2009-2013 годы, проект по теме: «Разработка автоматизированной системы количественного синтеза результатов внедрения технологий электронного обучения (META-ANALYSIS E-LEARNING)»; Федеральная целевая программа «Научные и научно-педагогические кадры для инновационной России» на 2009-2013 годы, проект: «Разработка вариационных методов и алгоритмов обработки изображений земной поверхности в задачах их дешифрирования»; внутривузовские гранты БелГУ на проведение исследований по приоритетным направлениям развития науки, технологий и техники, 2008, 2009, 2010 годы.

Публикации

По теме диссертационного исследования опубликована 21 печатная работа (из них 8 в журналах из списка ВАК РФ), в том числе пять

Свидетельств Роспатента РФ о государственной регистрации программы для ЭВМ.

Объем и структура работы

Диссертация состоит из Введения, четырех глав, Заключения и Приложения. Работа изложена на 140 страницах машинописного текста, включая 11 рисунков, 43 таблицы и список литературных источников из 102 наименований.

Работа выполнена на кафедре Прикладной информатики Белгородского государственного национального исследовательского университета.

ГЛАВА 1. Экспертное оценивание объектов техники. Отбор экспертов. Состояние вопроса и постановка задач исследования.

1.1 Процедура экспертного оценивания объектов техники

1.1.1 Понятие объектов техники и технического знания

Техника включает всё многообразие технических объектов как результатов технической деятельности, а также всё многообразие видов научно-технического знания, которое является результатом этой деятельности и воплощается в соответствующих технических объектах, технологии производства.

Любой вид технической деятельности может быть проанализирован с точки зрения структуры.

Техническое знание включает в себя от специализированных рецептурно-технических до теоретических научно-технических и системотехнических знаний. Современная техника, и, прежде всего техническое знание, неразрывно связаны с развитием науки.

Важной особенностью функционирования технического знания, отражающей его связь с практикой, является то, что оно обслуживает проектирование технических и социальных систем. Технические науки принято рассматривать как специфическую сферу знания, возникающую на границе проектирования и исследования и, синтезирующую в себе элементы того и другого [86].

В техническом знании особенности технических наук отражаются различным образом [86]:

1. в нем находят отражение социально-технические характеристики объекта.

2. техническое знание, как конечный продукт познавательной деятельности, определяет характер познавательного процесса, выступая в качестве средства социально-технического проектирования.

3. определяет в известной степени как характер деятельности по созданию новых объектов, так и структурно-функциональные характеристики самих объектов.

Техническая информация сопровождает разработку новых изделий, материалов, конструкций, агрегатов, технологических процессов.

Поскольку управление подразумевает, прежде всего, принятие ответственных решений, рациональное управление требует в настоящее время глубоких знаний из различных областей науки и техники [11].

Возрастающая потребность в информации во всех областях общественного производства повлекла за собой повышение роли научных знаний, которые оказываются все более необходимыми для производства материальных благ, преобразования окружающего мира, разумной организации общества. Наука становится основой высоких темпов