автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и информационная система для оценки профессиональных знаний специалистов промышленного производства

На правах рукописи

Никаев Станислав Александрович

МОДЕЛИ И ИНФОРМАЦИОННАЯ СИСТЕМА ДЛЯ ОЦЕНКИ ПРОФЕССИОНАЛЬНЫХ ЗНАНИЙ СПЕЦИАЛИСТОВ ПРОМЫШЛЕННОГО ПРОИЗВОДСТВА

Специальность 05.13.01 - Системный анализ, управление и обработка информации (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Самара - 2004 г.

Работа выполнена на кафедре электронных систем и информационной безопасности Самарского государственного технического университета

Научный руководитель: кандидат технических наук доцент Буканов Фёдор Фёдорович

Официальные оппоненты: доктор технических наук профессор Прохоров Сергей Антонович кандидат технических наук; доцент Погорелова Елена Вадимовна

Ведущая организация: Государственный научно-производственный ракетно-космический центр «ЦСКБ-Прогресс», г.Самара

Защита состоится 14 мая 2004 г. в 12 часов на заседании диссертационного совета Д212.217.03 Самарского государственного технического университета в ауд. 28 (корп.6. ул. Галактионовская, 141).

Отзывы на автореферат просим присылать по адресу: 443110, г. Самара, ул. Молодогвардейская, 244, Самарский государственный технический университет, Главный корпус, Ученому секретарю диссертационного совета:

С диссертацией можно ознакомиться в библиотеке Самарского государственного технического университета (ул.Первомайская, 18). Автореферат разослан 2 апреля 2004 г.

Ученый секретарь диссертационного совета

кандидат технических наук

доцент

В.ГЖиров

Общая характеристика работы

В диссертации разработана система оценки профессиональных знаний таксономического характера, основанная на применении тестовых заданий открытого типа с формой естественно-языкового ответа на задание на основе структуры иерархического списка. Предполагается применение этой системы для контроля качества знаний данного типа у специалистов промышленного производства.

Актуальность проблемы. В различных отраслях промышленности, науки и техники существует стремление к обобщению, упорядочиванию, систематизации и классификации знаний, так как знания именно в систематизированном виде наиболее доступны для понимания и передачи от человека к человеку. С этой точки зрения систематизацию знаний, как научное явление, можно рассматривать как один из фундаментальных процессов в науке. При этом для наиболее наглядного представления знаний в систематизированном виде часто используются таксономические структуры, то есть структуры однотипных элементов предметной области, в которых предусмотрена иерархия групповых соотношений, установленных по разным параметрам, так что эта группировка однозначно указывает размещение групп относительно друг друга и положение каждого элемента в системе. Таксономические структуры позволяют представить комплексно, в сжатом и достаточно наглядном виде многие упорядоченные структуры взаимосвязанных элементов: различные классификации, составные части конструкций машин и механизмов и т.п. Часто они образуют как бы основу теоретических знаний по дисциплине или специальности, знание которой для специалистов соответствующего профиля является обязательным. В этом случае, при осуществлении контроля знаний по некоторому теоретическому курсу, контроль качества усвоения указанных выше знаний становится первостепенным по своей важности.

В настоящее время основой контроля качества профессиональных знаний специалистов является тестовый контроль знаний. Анализ современного состояния в этой области показывает, что наиболее распространенным типом тестовых заданий, применяемых для тестового контроля профессиональных знаний, являются задания закрытого типа, которые предполагают выбор испытуемым одного или нескольких ответов из предварительно разработанного списка их возможных вариантов. Широкое применение заданий закрытого типа в первую очередь обусловлено удобством обработки результатов тестирования. Но они имеют и существенный недостаток, снижающий уровень объективности результатов тестирования, связанный с наличием подсказки в виде меню возможных вариантов ответа. Это так называемая проблема угадывания правильных ответов, которая, несмотря на имеющиеся некоторые разработки по методикам ее учета, в настоящее время не имеет кардинального решения.

Указанного принципиального недостатка

С.птрв«г 03 к»

ния

открытого типа, которые предполагают формулирование ответа испытуемым, обычно в форме пропущенного выражения или слова, при отсутствии меню возможных вариантов ответа. Применение тестовых заданий открытого типа с максимально свободной формой изложения ответа без ограничений на его форму сдерживается сложностью проблемы машинного понимания естественного языка и проблемы оценки полученных ответов. В связи с этим представляется актуальным поиск и создание таких форм тестовых заданий открытого типа с ограничениями на структуру естественно-языкового ответа, которые, с одной стороны, максимально упрощают алгоритм машинного понимания ответа, а с другой стороны, предоставляют испытуемому максимальную степень свободы изложения своих знаний по конкретному профессиональному вопросу. В связи с этим оказывается также актуальной разработка соответствующих методов оценки, не просто учитывающих правильность или неправильность формулировки ответа, но и определяющих численный показатель качества ответа.

Целью работы является создание информационной системы оценки качества теоретических знаний таксономического характера у специалистов промышленного производства, основанной на применении тестовых заданий открытого типа с формой ответа на задание на основе структуры иерархического списка.

Методы исследования базируются на комплексном применении положений теории множеств, моделей представления знаний, теории графов, комбинаторики и методологии структурного системного проектирования, основанной на CASE-технологии.

Научная новизна: предложена и обоснована теоретико-множественная модель эталонных знаний таксономического характера и модель субъективных знаний; предложена и обоснована теоретико-множественная модель иерархического списка как средства представления субъективных знаний таксономического характера в естественно-языковой форме; разработан алгоритм выявления знаний таксономического характера субъекта на основе анализа его естественно-языкового ответа на вопрос по таксономии, представленного в форме иерархического списка;

предложен комплекс показателей качества субъективных знаний таксономического характера в сравнении с эталонными знаниями, а также обобщенная оценка качества знаний данного типа; разработан алгоритм вычисления показателей качества субъективных знаний таксономического характера и обобщенной оценки качества знаний данного типа;

разработана информационная система оценки профессиональных знаний таксономического характера.

Практическая значимость заключается в использовании разработанной системы в качестве средства автоматизации и повышения

объективности оценки знаний таксономического характера специалистов в различных отраслях промышленности, а также в системе профессионально ориентированного образования для оценки соответствующих знаний учащихся. Полученные результаты могут быть распространены для оценки соответствующих знаний специалистов в других областях науки и техники. Система применяется для контроля профессиональных знаний специалистов на самарском швейном предприятии «Гармония» и в Самарском государственном медицинском университете, на кафедре «Педагогики, психологии и психолингвистики».

На защиту выносятся следующие научные положения: модель эталонных знаний таксономического характера и модель субъективных знаний;

модель иерархического списка как средства представления субъективных знаний таксономического характера в естественноязыковой форме;

комплекс показателей качества субъективных знаний таксономического характера в сравнении с эталонными знаниями и обобщенная оценка качества знаний данного типа;

концептуальная схема информационной системы оценки знаний таксономического характера.

Публикации. По результатам выполненных исследований было опубликовано 13 работ.

Апробация работы. Основные положения работы и результаты исследований обсуждались на. международных, всесоюзных и региональных научно-технических конференциях и семинарах: на международном семинаре «Нелинейное моделирование и управление» (Самара, 1998), на второй международной научно-практической конференции «Педагогический процесс как культурная деятельность» (Самара, 1999), на всероссийской научно-методической конференции «Языковые и культурные контакты различных народов» (Пенза, 2001), на десятом симпозиуме «Квалиметрия в образовании: методология и практика» (Москва, 2002), на научно-методической конференции «Актуальные проблемы университетского образования» (Самара, 2002).

На заключительном этапе работа была поддержана грантом Российского гуманитарного научного фонда (РГНФ), грант №04-06-00141а.

Структура и объем работы. Диссертация состоит из введения, 4 глав, основных результатов, списка использованных источников и 3 приложений. Основное содержание работы изложено на 150 страницах текста. Работа содержит 34 рисунка, 7 таблиц и список использованной литературы из 110 наименований.

Содержание работы.

Во введении обоснована актуальность диссертации. Дано краткое содержание работы и основные положения, выносимые на защиту.

В первой главе рассматриваются общие положения тестового контроля знаний, существующие классификации тестов и тестовых

заданий, особенности тестовых заданий открытого типа. В связи с тесной связью проблемы применения тестовых заданий открытого типа с проблемой машинного понимания текстов на естественном языке проводится сравнительный анализ существующих моделей анализа естественного языка.

Современные классификации тестовых заданий выделяют задания двух основных типов: закрытого и открытого. Тестовые задания закрытого типа предполагают выбор испытуемым одного или нескольких ответов из ряда предлагаемых. Основным преимуществом использования тестовых заданий данного типа является простота реализации программного обеспечения для тестирования и простота формирования списка вопросов. Одним из основных доводов критиков методов тестирования закрытого типа является существование вероятности случайного угадывания правильных ответов. Несмотря на то, что с увеличением числа возможных вариантов ответа в рамках одного задания вероятность угадывания снижается и существуют некоторые разработки по методикам учета погрешности измерения от угадывания, в настоящее время проблема окончательно не решена. Указанного принципиального недостатка лишены тестовые задания открытого типа.

Задания открытого типа оставляют выбор формулировки ответа за самим испытуемым. Приэтом отсутствует меню возможных вариантов ответа. К заданиям открытого типа относятся задания двух видов: свободного изложения и дополнения: В заданиях типа дополнений от испытуемого ожидается ответ в форме пропущенного выражения, слова и т.п., которое необходимо вписать испытуемому. Формулировка ответа должна дать возможность однозначного оценивания. Таким образом, возможность свободного развернутого выражения испытуемым своих знаний остается в значительной степени ограниченной.

Задания свободного изложения предполагают свободные ответы испытуемых по самой сути задания, они максимально приближаются к традиционной для педагогики форме развернутого письменного ответа на вопрос и в общем случае предполагают наличие бесконечного множества вариантов ответов, в том числе бесконечное множество ответов правильных. Появляется возможность использования более точной шкалы оценки ответа на отдельное тестовое задание, чем шкала «правильный неправильный ответ», то есть возможность определения численных показателей того, насколько один правильный ответ полнее и точнее другого правильного ответа. С точки зрения объективности контроля знаний этот тип задания является наиболее привлекательным, но его широкое применение сдерживается сложностью проблемы машинного анализа естественного языка.

К технологии анализа естественного языка традиционно относятся методы лексического анализа словоформ (морфологический анализ), методы анализа предложений (синтаксический анализ) и методы семантического анализа.

Существуют два основных варианта реализации морфологического анализа для русского языка. Первый вариант предполагает традиционный разбор слова на части, с последующим их анализом. Второй использует более грубое деление на основу и флексию (изменяющуюся часть слова). В пером случае необходимо создать базу данных, которая описывала бы все части слова и особенности их применения. Для этого необходимо хранить информацию о допустимости сочетаний определенных частей, а также данные об их семантическом воздействии на смысл и значение получаемого слова. Данный подход обладает несколькими недостатками. Во-первых, необходимы механизмы отсеивания неупотребляемых слов. Во-вторых, при воде нового слова от пользователя требуется достаточно высокая квалификация, чтобы разбить слово на отдельные части. Второй вариант, с разделением на неизменяемую часть слова (основу) и изменяемую часть (флексию) не позволяет получить такого большого количества информации о слове, но способен предоставить информацию о его словоизменении. В этом методе для каждой части речи описывается конечное количество стандартных вариантов словоизменения, каждый из которых включает в себя сведения об основе, набор флексий и дополнительную морфологическую информацию (род, число, падеж и т.д.). Благодаря простоте реализации и использования данный метод является оптимальным выбором для простейших лингвистических процессоров. Существует упрощенный вариант данного метода, в котором словоизменение моделируется с помощью информации об основе слова и интервале длины флексии, который нашел свое применение в системах общения с базами данных на естественном языке, основная задача которых заключается в выполнении перевода коротких фраз-запросов неподготовленных пользователей с естественного на формализованные языки запросов к базе данных. Процесс понимания в данных системах протекает с ориентацией на выделение элементов схемы базы данных и идентификацию логических операций, формирующих тело запроса. С точки зрения простоты реализации подход, применяемый для анализа естественного языка в них, наиболее предпочтителен для решения задачи анализа словоформ в нашей системе.

Для распознавания семантик предметной области (ПО) воспользуемся упрощенной схемой машинного перевода: «уровень лексических единиц - уровень семантических единиц». Подобный лексико-семантический подход обеспечивает непосредственный перевод лексем и их комбинаций в семантики ПО, с учетом допущения, что если произвольная короткая естественно-языковая фраза в рамках ПО построена согласно правилам грамматики и орфографии русского языка правильно, то в связи с узостью ПО можно не учитывать согласованность слов в словосочетаниях, означающих с точки зрения русского языка некоторую семантику. То есть предполагаем, что для корректного распознавания семантик короткой фразы ответа необходимо и достаточно, чтобы для всех семантик слова в именующих их словосочетаниях находились в

допустимых позициях, и все слова фразы участвовали в именовании только одной семантики. Тогда для семантического распознавания короткой фразы ответа достаточно задать для всех семантик шаблоны допустимых позиций слов и выполнить проверку на соответствие позиций слов фразы ответа заданным шаблонам.

Во второй главе анализируются знания таксономического характера, предлагается модель эталонных знаний, модель знаний субъекта, рассматривается иерархический список как средство представления субъективных знаний при проведении тестирования на основе заданий открытого типа, алгоритм перехода от естественно-языкового представления субъективных знаний в виде иерархического списка к модели знаний субъекта, предлагается комплекс показателей качества субъективных знаний и обобщенная оценка качества знаний данного типа и алгоритм их расчета.

В п.2.1 формируется и обосновывается модель эталонных знаний таксономического характера с учетом принятого лексико-семантического подхода к распознаванию семантик ПО. На множество всех понятий ПО Аэ выделяются классы эквивалентности понятий А]Э, А„э, на каждом из которых задана таксономическая структура. Предполагается, что основная таксономическая структура, подлежащая оцениванию определена на множестве Э = А^ х ... х А„э. Если при этом количество элементов

аЭ

классов эквивалентности множества достаточно велико, то значительно возрастает сложность физической реализации эталонной модели таксономии, так как в конечном итоге ее может заполнить данными только эксперт вручную. Чтобы избежать достаточно объемной рутинной работы по формированию эталонной структуры на множестве , но при этом сохранить возможность последующего количественного и качественного анализа субъективной таксономической структуры, в данной работе формируется единая модель эталонных знаний для независимых друг от друга эталонных таксономических структур по всем классам эквивалентности понятий ПО. При этом накладываются ограничения по допустимости кортежей понятий ПО из разных классов эквивалентности с точки зрения ПО, для чего задается предикат Ро—>{0,1}, который принимает значение 1, если кортеж с точки зрения ПО

является возможным сочетанием элементов из соответствующих классов эквивалентности множества Аэ и значение О-в противном случае. Если из субъективной таксономии на множестве Б выделить таксономические структуры по каждому из множеств А13, ..., А„э, то, сравнивая попарно субъективные таксономии с эталонными, можно получить оценки качества таксономической структуры ответа относительно эталона сначала по каждому из классов эквивалентности, а на их основе обобщенную оценку таксономии на множестве D.

Во многих таксономических структурах встречаются альтернативные способы деления того или иного понятия на ряд других согласно одному и тому же или разным критериям деления, которые

одинаково допустимы с точки зрения ПО. Для учета данного обстоятельства вводится определение критериального подмножества А^3 множества А3 (К-подмножество). Подмножество Ак|Э определяется как критериальное, если существует элемент аеА;Э\Ак1Э> такой что каждый а5еАщЭ является «непосредственно подчиненным» элементу а, то есть выполняется редукция отношения «подчинения» одного элемента другому. К-подмножество выполняет роль критерия или принципа деления одного понятия на другие. Для каждого класса А;3 рассматривается семейство К-подмножеств К3.. Для каждой пары А3 и К;3 задается отношение Р|Э, которое ставит в соответствие некоторым элементам множества А3 один или несколько элементов множества К;3., так что если аеА3, кеК3 и выполняется аР3к., то элемент а «непосредственно делится» на множество элементов к. Кроме того, задается отношение Рк»3, которое ставит в соответствие каждому К-подмножеству кеК3 те и только те элементы множества А,3, которые принадлежат множеству К(3. Отметим, что на каждом множестве А;3 существует некоторая вершина таксономической структуры, то есть элемент, с которого начинается деление понятий.

Не все элементы множества А3 одинаково значимы с точки зрения важности их появления в субъективной таксономии. Для учета данного факта, определяется предикат «значимости» элементов множества А3 -р13:Аэ—>{0,1}, принимающий значение 1, если важность появления понятия аеА3 в субъективной таксономии с точки зрения ее полноты и корректности максимальная (главные понятия) и 0 - в противном случае (второстепенные понятия).

Модель эталонных знаний таксономического характера на 1-м классе эквивалентности понятий ПО без учета принятой лексики может быть представлена как совокупность

"о,Э= < А3, К3; Р3(А3,кД РК1Э(К,Э, А3), Р„Э(Л3)>, где Ри (А| ) - предикат Р] (А ), определенный на множестве A¡ сА , а на множестве Б как совокупность:

С20Э= < А,3,..., А„э, К,3,..., К„3; Р,Э(А,Э, К,3),Р„3(АП3 КД

РК1Э(К,Э, А,3),..РкДкД А„э), ¥0(В), Р3(А3) >.

Для учета принятой лексики ПО и последующего применения в

алгоритме распознавания семантик ПО модель расширяется: пэ = < А,3,..., А„3, К,3,..., К„э, и V, г, (3; РЛА,3, К,3),..., Р„Э(АПЭ, КД

Рк.Э(К,3 А13),...>РкДКп3,АД

Р0(0), Р3(АЭ), Р¿и N0, N0), Ру(У, Ри М), Рур(У), Р2(У, Т), V, (}) >, где Аэ = А,3и...иАп3;

^ — множество неизменяемых основ слов подмножества Ьц множества слов русского языка, которые могут участвовать в составе словосочетаний или самостоятельно в именовании семантик ПО множества Б3 = А,3 и ... и Апэ и К13 и ... и К„э;

Рь = {^П, Птш, птах>| /05ПеЬ, пт1П, птахе1^о} - отношение, ставящее в

соответствие каждому /о5ЛеЬ минимальное птш и максимальное птах количество символов аффиксов всех возможных слов из множества Ья с основой /05П, N0 - множество целых неотрицательных чисел, V - множество цепочек из элементов /еРь соответствующих фразам, именующим семантики ПО;

Рут^—»-{1,0} - предикат, принимающий значение 1, если цепочка уеУ допускает любые перестановки составляющих его элементов -

в противном случае;

- отношение, ставящее в соответствие каждой цепочке УбУ одну или несколько пар <1, п>, таких что если выполняется Р^у^п), то в цепочке V элемент I находится в позиции п, К- множество натуральных чисел;

Ъ - множество шаблонов для распознавания семантик - множество цепочек порядковых номеров элементов множества представленных в виде <П[/п2/.../пт>, где «/» - символ-разделитель, п, - порядковый номер элемента в множестве

- отношение, ставящее в соответствие каждой цепочке уеУ один или несколько шаблонов из множества Ъ таким образом; что если предикат Р\т(у) = 1, то цепочке V соответствуют шаблоны, сформированные на основе всех возможных, перестановок порядковых номеров входящих в цепочку элементов, а если ,

то единственный шаблон;

- множество качественных оценок наименования единичных семантик ПО;

- отношение, ставящее в соответствие каждому элементу уеУ одну или несколько пар <5^>, таких что семантика веЗ3 именуется цепочкой уеУ с качественной оценкой именования че(?.

В п.2.2. рассматриваются субъективные знания таксономического характера. Они по своему семантическому содержанию и структуре связей между семантиками ПО являются близкими к эталонным, стремятся в максимально полном объеме отразить эталонное семантическое содержание таксономии, максимально точно повторить ее структуру, но в то же время в реальности могут отличаться от нее. Они могут содержать в себе как реально существующие в ПО семантики, присутствующие в эталоне, так и семантики, неизвестные с точки зрения ПО, как реально существующие таксономические связи между семантиками ПО, так и в реальности не существующие. Гипотетическая модель субъективных знаний таксономического характера строится на основе анализа только текста и структуры ответа в форме иерархического списка. Она уточняется на этапе сравнения с эталонными знаниями и оценки качества.

Гипотетическую модель субъективных знаний таксономического характера на множестве Б можно представить как совокупность:

Псг = < А|С,..., А„с, К,сг, ..., К„сг; Р.^А^К,0),..., РПСГ(АПС,КПСГ), Рк1СГ(К,сг,А,с),РклСГ(К„сг,Апс), Р|С(АС), Р0сг(5сг,д) >, где

А;С - множество понятий субъективной таксономии ьш класса эквивалентности понятий ПО (подмножество мультимножества, состоящего из элементов ); Ас = А,си...иАпс;

К;СГ - множество К-подмножеств субъективной таксономии ьш класса

эквивалентности понятий ПО (подмножество мультимножества,

состоящего из элементов пересечения множеств К;Э и {1^}, где ки -

неопределенное безымянное К-подмножество ьш класса

эквивалентности, которое не названо, а только обозначено в ответе

самой структурой ответа);

Эсг = А1С и ... и А„с и К,сги ... и К„сг; СГ" с сг

Р; (А[ ) — отношение ввшокдеедственного деления некоторого элемента множества А)С на одно или несколько элементов множества К)СГ (может не совпадать с соответствующим отношением Р^А^Ьц*) модели £2Э);

р1оСГ(К)СГ,А|С) - отношение принадлежности элементов множества А;С к К-подмножествам множества К)СГ (может не совпадать с соответствующим отношением РщЭ(К1Э,А^) модели £2Э);

С С4 р р л

Р[ (А ) - предикат значимости элементов ПО (УаеА Р[ (а)=р1 (а) ); Р(}СГ(8СГ, О) - функция, ставящая в соответствие каждой семантике ответа уровень качества ее именования ;

а по ьму классу эквивалентности понятий ПО как совокупность: П;СГ = < А;с, К,сг; Р;СГ(А;С, К(СГ), РИСГ(^СГ,А,С)) РиС(А;с),Р<21СГ(8;СГ,д)>)где Рн°(А;С) - предикат Р,С(АС), определенный на множестве А,ссАс;

учр ГГ >>р ГГ

№ ,(?) - функция Р0 (Б ,(}), определенная на множестве 8,сгс8сг,8^г = А;СиК1СГ.

В п.2.3 рассматривается иерархический список как структура для представления естественно-языкового ответа на вопрос по таксономии. Предполагается, что в каждом пункте корректного ответа в виде иерархического списка должны быть определенны отдельные семантики ПО или кортежи семантик, а отношения между семантиками ПО или их кортежами отображены указанием относительных уровней иерархии пунктов списка. Таким образом, задача распознавания сводится к распознаванию семантик во всех пунктах списка, а не отношений между ними, т.к. последние за счет уровней иерархии указываются практически явным образом.

Иерархический список можно представить как дважды упорядоченное множество фраз Т в виде пятерки:

Г2Ф = < \У, Т; Рр(\У, Ри(\У, Ы), РТ(\У, Т) >, где

- множество всех пунктов списка с заданным на нем отношением совершенного строгого порядка Рр, таким что если и

выполняется \у,Рр\У|, то пункт списка wi расположен в списке выше пункта

- функцию, ставящая в соответствие каждому пункту списка

уровень его иерархии в иерархическом списке, -

множество натуральных чисел;

- множество естественно-языковых фраз, расположенных во всех пунктах списка;

- функция, ставящая в соответствие каждому пункту списка фразу на естественном языке

Каждый пункт списка представляет собой фразу с упорядоченным слева направо множеством лексем. Тогда список может быть описан моделью:

Ол = < £; Рр(Ш^), Ы), £),

Ррь.^, Ь,), .Т., Бил^, 1^), FSLp(W) >, где

- количество пунктов иерархического списка;

- множество лексем произвольного пункта списка, ;

- семейство множеств лексем всех пунктов списка;

Р;е(\У,,£) - функция, ставящая в соответствие каждому пункту списка множество лексем Це^С, ¡е[1,ш];

- частичная функция, определяющая порядок на множестве, ставящая в соответствие каждой позиции лексем множества Ь; саму лексему, которая в этой позиции расположена, N - множество натуральных чисел, ;

- предикат лексической распознанности пунктов списка,

принимающий значение 1, если все лексемы множества Ь)=Р;с(\у) пункта списка распознаны или и 0 - в противном случае,

С точки зрения выражения таксономической структуры последовательность лексем каждого пункта списка может именовать одну или несколько семантик ПО или являться семантически неопределенным. Тогда список может быть описан моделью:

= < 'М, X; ЕрОУ, Ри(^, Ы), К), Р50р^)>,где - семейство всех семантически определенных множеств семантик пунктов списка;

- функция, ставящая в соответствие каждому пункту списка одну или несколько его семантических интерпретаций из

семейства X;

Р$ор^) - предикат семантической определенности пунктов списка Ш, который для каждого принимает значение 1, если для него

существует хотя бы одно семантически определенное множество семантик из семейства и 0 - в противном случае;

- множество натуральных чисел.

В п.2.4 рассматривается алгоритм выявления знаний таксономического характера субъекта на основе анализа его естественно языкового ответа на вопрос по таксономии, представленного в форме иерархического списка. В связи с возможностью наличия множества семантических интерпретаций каждого пункта списка, связанной с

явлением полисемии в естественном языке, существует множество интерпретаций всего ответа, каждый из которых требует сравнения с эталоном. Процедура построения гипотетической модели субъективной таксономии разделяется на три этапа:

1. Переход от Q® к Ол на основе информации о лексике ПО из тезауруса, заданного отношением FL модели fi3 (распознаваниелексики);

2. Переход от Пл к fic на основе информации о соответствии элементов множества V модели fi3 единичным семантикам, заданным отношением Fq (распознавание семантики);

3. Переход от fic к множеству всех вариантов интерпретации ответа {П,сг, ..., Г2мСГ}, где M - произведение количества вариантов интерпретации всех пунктов списка, при этом каждый вариант представляется в виде множества таксономии по каждому из выделенных классов эквивалентности понятий ПО {ОцСГ, -.., finjCr} (выделение всех вариантов субъективных таксономических структур по всем классам эквивалентности).

В п.2.5 рассматривается методика оценки субъективных знаний таксономического характера. Задачу сравнения таксономических знаний субъекта согласно j-й интерпретации ответа с эталонными знаниями можно свести к задаче попарного сравнения таксономических структур fi,jCr и fi 3, ¡=1,...,п. Сравнение субъективной таксономии на множестве элементов i-ro класса эквивалентности понятий ПО с эталонной предлагается осуществлять по следующим основным характеристикам таксономии:

по объему таксономии, то есть по количеству правильно названных семантик;

по уровню критериальности таксономии, то есть по количеству использованных в ней критериев деления одних семантик на другие; по качеству структуры таксономии, то есть по степени правильности и полноты использования в ней критериев; по уровню владения профессиональной терминологией ПО.

Воспользуемся представлением эталонной таксономии i-ro класса эквивалентности понятий ПО в виде графа G3=<S3, Rj3>, где множество вершин графа S3 = А3 и К3, множество дуг г Rj? = f3(4i3, Кцэ) v

РюЭ(К3, Ai) и j-й интерпретации соответствующей субъективной

гг рр

таксономии в виде графа Gy = <Sy , Ry >, где множество вершин графа S;jcr = АцС и Кисг. множество дуг графа RyCr = F^A^, Kfjcr) v FKiicr(Kfr, AjjC).

Зададим на множестве АуС разбиение на множества,Ау|С,..., Аутс (т - количество различных элементов множества Ау°), каждое из которых представляет собой мультимножество из элементов одного вида. Относительный объем j-й интерпретации таксономических знаний субъекта по главным понятиям i-ro класса эквивалентности понятий ПО определим как отношение:

Уменьшение на единицу числителя и знаменателя связано с тем, что нет необходимости учитывать в оценке объема субъективной таксономии вершину таксономической структуры, так как она называется в вопросе и всегда присутствует как в субъективной, так и в эталонной таксономии, и мы всегда можем отнести его к категории главных понятий.

Относительный объем ^й интерпретации таксономических знаний субъекта по второстепенным понятиям ьго класса эквивалентности понятий ПО определим как отношение:

Для оценки уровня качества структуры таксономии необходимо оценить правильность деления отдельных понятий субъективной таксономии, согласно явно или неявно указанным в ней критериям деления. Для этого определим понятие звена графа ОцСГ на основе элемента

СГ" СГ" сг с

кеКу как его подграф вгу , состоящий из: узла кеКн , узла аобАу , для которого (ао,к)е11уСГ и множества из п^ подчиненных узлов АгуС для которых Получаем: =

{(а0,к), (к,а,),...,(к,ап1)}. Структуру связей элементов каждого звена необходимо сравнить с эталонной структурой графа в;3

Пусть для кеКуСГ на й3 существует множество в е рКшОисК;3, таких что для всех кэеКг3(к) выполняется (ао.кэ)^^3. Любая из данных

СГ

вершин может служить тем аналогом вершины кеК^ , которая «имелась в виду» в субъективной таксономии, поэтому множество ЬСг|Э(к) можно

СГ

условно назвать множеством кандидатов в аналоги вершины кеК^ .

Пусть для вершины кеК3 на G3 существует множество цепей С, соединяющих ее с вершиной аеА3'. Обозначим количество понятий входящих в произвольное К-подмножество кеК3 как N(k). Определим степень связности Uc(k/a) верш к®К|)? и вершины аеА3 по цепи сеС, соединяющей к и а на графе G 3 как произведение обратных величин N(k) по всем элементам цепи, принадлежащих множеству Kj3:

U с (к/а) = П

N(5)

Величина ис(к/а) принимает значение в диапазоне (0,1] и убывает по мере удаления вершин к и а друг от друга.

Определим степень связности и(к/а) вершины кеКг5 и вершины аеАр по всему множеству цепей С, соединяющих к и а на графе О3 как максимум степеней связности 11с(к/а) по элементам множества С:

,приС Ф 0 :0

LV1 1V1 ^IV^llV^nV^JTl JIIW^ 1 XL

и(к/а) = ЬХис(к/а)'Прт

[ 0, при С =!

Величина U(k/a) по всему множеству цепей от к до а принимает значение в диапазоне [0,1].

Пусть предикат Ро(к,а|,...,а„). принимает значение 1, если для каждого ae{ai,...,an} U(k/a)*0 и 0 - в противном случае:

а предикат P(ai,...,an) принимает значение 1, если на графе G¡3 не существует ни одного пути от вершины at до вершины ai,, где k, h = 1,..., п и 0 - в противном случае:.

Р(а,,...,а ) = Í1,если Va"ai> м?Чак.аь] = " ' " [0,если3ак,аь M?+[ak,ah] = l'

где Mj3* — матрица транзитивного замыкания графа G¡?; k, h = 1,..., п..

Определим степень связности U(k/a, ,...,аПк) вершины кеКг5 со всеми.вершинами на графе как сумму степеней

связности U(k/a) по всем а, ,...,а1к, если Р(а, ,...,ani) = 1 и Р0(к,а, ,...,ani) = 1 и 0 - если Р( а,,..a<t) = 0 или Р0(к, а, ,...,аИк ) = 0:

сг

Определим качество и(к) структуры звена йгц на основе элемента

кбКуСГ графа в3 по всему множеству Кг;Э(к) вершин - кандидатов в

сг__, сг

как максимальную из оценок

аналоги вершины кеКу графа йу и(кэ/а,а„к ) по всем кэеКйэ(к)

и(к) = к тах^и(кэ/а,,...,аП1)

По определению 1Дк) лежит в интервале [0,1].

Подмножество КддЭ(к) множества КдЭ(к), для всех элементов которого и(кэ/а,,..., ап1) принимает максимальное значение, равное и(к)

примем за множество аналогов вершины кеКуСГ на графе О3: КА2(Э= {кэ 1 кэеКг;ЭАи(кэ/а,,...,ач) = и(к)}

На основе введенных определений можно уточнить гипотетическую

модель субъективных знаний. Для этого в первую очередь необходимо рассмотреть множество Кусг с точки зрения анализа аналогов для его элементов на множестве К,э. Множество Кус уточненной модели субъективных знаний Оус сформируем на основе множества Кусг,

применяя ко всем элементам Кч функцию Кч —»К,, : КуС = ТЧ(КЧСГ), где

|кэ | кэ е К^(к) а ^(Ц) = тах Р^(к'), если и(к) > 8тт

I .ДК) — < *еКль(к) »

[ ^га) > еСЛИ и(к) < 8тга

кШ1 - К-подмножество, которому нет аналогов в эталонной модели; 5тш - пороговое значение уровня качества структуры отдельного звена, устанавливающее предельное значение уровня качества его структуры, при снижении до которого К-подмножество ему соответствующее принимается за неправильное К-подмножество кШ1 (задается экспертом для конкретной ПО).

На основе отношений РуСГ(АуС,КуСГ) и РКдсг(Кчсг,Ачс) модели Пусг определим соответствующие отношения Рис(Аис,Кис) и РКус(Кис,Аис)

модели О,

с.

у

РкуС(кс» а) = 1 о (кс = Чуксг)) а (РКци (ксг, а) = 1),

Рчс(а, кс) = Ю (кс - ЧУМ) л (РуСГ(а, ксГ) = 1),

сгг

Риа(кс) =

УкСбКвс,кСгбКчсг,абАчс.

Пусть функция Рии: Кус->[0,1] ставит в соответствие каждому элементу ксеКуС уровень качества структуры - действительное число в диапазоне [0,1] следующим образом:

Ги(кгг),есликг гг

П и ь м,,гдекс = Ту(ксг),ксгеКуСГ.

0, есликс =кш]

Пусть функция Р(2УС.' 5уС-»р ставит в соответствие каждому элементу множества семантик субъективной таксономии на ¡-м классе эквивалентности понятий ПО 5еБуС=АуСиКуС уровень качества его именования в ЕЯ представлении субъективной таксономии следующим образом:

г(5и

[0,если-<8еА^у(8бК^л8 = Ч'в(8))) '

Тогда модель субъективной таксономической структуры на ¡-м классе эквивалентности понятий ПО согласно .¡-й интерпретации ответа:

Яус = <

с= А С,

-"ц

общая

А»°, Кчс; РуС(АуС,КуС), РкцС(КуС,АуС), 1ц (АцС), Рс^^ДО), Рии(КуС) >, где

Б,, Ау ^ Кч ,

структуры ]-и

а общая модель субъективной таксономической интерпретации ответа:

ЦС = < А); , ..., , Ки , ..., (А^ , К^ ), ..., Р^ (Аш

РкиС(К,с,А,с),..., РКпЖс,А„Д Р,,с(АД Р^^Б^О), ^К,0) >, где

AjC = A|jC u ... и Anjc; К/ = K,jc u ... u Knjc; S,c = A,c и KjC.

Зададим на множестве Кис разбиение на множества Кч)с, ..., Kljmc (ш - количество различных элементов множества Кчс), каждое из которых представляет собой мультимножество из элементов одного вида, так чтобы

если к^еКу1", то kniieK1JniI=K,jml". Зададим множество К,^'" лучших по

слн

качеству наименования и множество Кч элементов множества Кчс:

слс

лучших по качеству структуры

Куслн = {к|кеК1/, Fq,j(к) = шах F^(k'), d=l,...,h},

k'sKljd

к™ = {к I кеК,/, F£(k) = max U(k'), d=l,...,h}, где

т-1,еслиК

h = < -ml

ml

*0

^ т, если К™ = 0

Относительный уровень качества структуры ]-й интерпретации

субъективной таксономии на нм классе эквивалентности определим следующим образом:

Относительный уровень критериальности ]-й интерпретации таксономических знаний субъекта по ьму классу эквивалентности понятий ПО определим как отношение числа элементов множества К,^0 к числу

элементов множества К,

Относительный уровень владения профессиональной терминологией продемонстрированный субъектом согласно ]-й интерпретации ответа определим как приведенное к шкале от 0 до 1 среднее значение функции

р рп рп

Р()у на множестве Ац иКц :

Чиш - максимальное значение качества наименования семантик ПО.

Для определения общей оценки Оц качества субъективных знаний

таксономического характера на множестве понятий ьго класса

эквивалентности понятий ПО по ш-бальной шкале оценок, согласно )-й

интерпретации ответа, рассматривается линейное пространство О),.5, базис

„ г

которого составляют показатели качества таксономических знаний сор,, ,

©5у> ®к.и> Юьу Любой вектор х „(хРдг, хРув, х5и, хКи, хЬи) пространства й),Д координаты которого есть соответствующие показатели субъективной таксономии определяет общую оценку ее качества. Оценка О,, может быть

5

определена в пространстве соу как номер класса вектора-прототипа, ближайшего к вектору оценки х„, соответствующей субъективной таксономии. Каждый из классов векторов-прототипов определяется специалистами-экспертами ПО при определении качества уже известных субъективных таксономических структур как соответствующих данному уровню их качества. Я качестве точки прототипа для каждого к-го класса выбирается вектор х - центр геометрической группировки класса:

ё - количество векторов в к-м классе, принадлежность которых к к-му классу определяется экспертами.

Для определения обобщенной оценки качества субъективных знаний таксономического характера Е, на множестве декартовых произведений Б понятий из разных классов эквивалентности понятий ПО по т-бальной шкале оценок, согласно )-й интерпретации ответа, рассматривается линейное пространство , базис которого составляют оценки качества таксономических знаний по всем классам эквивалентности

понятий ПО. Оценка может быть определена как номер класса вектора-прототипа, ближайшего к вектору оценки таксономии по всем классам эквивалентности. Каждый из классов векторов-прототипов определяется специалистами-экспертами ПО при определении качества уже известных субъективных таксономических структур как соответствующих данному уровню их качества. В качестве точки прототипа для каждого к-го класса выбирается вектор - центр геометрической группировки класса:

ё - количество векторов в к-м классе.

В качестве итоговой обобщенной оценки ответа из полученных по всем М интерпретациям ответа оценок выбирается в пользу

отвечающего максимальная, на основании которой делается вывод о соответствии уровня его таксономических знаний тому или иному уровню квалификации.

В третьей главе предлагается общая концептуальная схема системы оценки знаний таксономического характера на основе анализа естественноязыкового ответа, представленного в форме иерархического списка, на тестовое задание открытого типа (рис.1). На ее основе с помощью методологии СЛ8Е-технологии проведен структурный системный анализ соответствующей системы оценки профессиональных знаний, создана модель данных и модель логической структуры системы.

Система построена как специализированная экспертная оболочка.

Она состоит из двух основных подсистем:

подсистемы эталонных знаний, основное назначение которой заключается в обеспечении дружественного интерфейса между экспертом ПО и программной оболочкой при создании эталонных структур знаний, их заполнении и редактировании; подсистемы оценки субъективных знаний, предназначенной для обеспечения дружественного интерфейса между субъектом и программной оболочкой при вводе субъектом своих знаний на вопрос по таксономии на естественном языке в виде иерархического списка, для выделения данных знаний из ответа и выполнения процедуры их сравнительного анализа с эталонными знаниями с целью формирования заключения о соответствии уровня таксономических знаний субъекта тому или иному квалификационному уровню.

Рис. 1. Концептуальная схема системы

В четвертой главе рассматривается программная реализация системы, область ее применения, приводятся примеры практического использования. Программная реализация системы произведена в интегрированной среде программирования Delphi на базе рассмотренных в третьей главе модели данных и модели логической структуры информационной системы.

Проведены эксперименты по применению разработанной системы в легкой промышленности на примере оценки качества знаний

таксономического характера специалистов по специальностям «Швейное производство» и «Модельер-конструктор» на самарском швейном предприятии «Гармония» и в медицине для оценки качества знаний специалистов по специальности «Лечебное дело» в Самарском государственном медицинском университете. Эксперименты показали, что более чем для 90% ответов оценка, данная системой, совпала с экспертной. Основные требования к тесту - надежность и валидность - в данной системе обеспечиваются уже самим фактом наличия одного сложного вопроса, на который требуется дать один развернутый ответ, и одного эталона этого развернутого ответа.

Система оценки профессиональных знаний таксономического характера может быть применена на промышленном производстве при кадровом отборе, для получения объективной оценки уровня теоретических знаний кандидата на некоторую должность в соответствующей профессиональной области или при проведении аттестации. Наиболее целесообразно применение данной системы в комплексе с другими существующими средствами контроля профессиональных знаний, как средство объективной оценки знаний данного вида.

Основные выводы и результаты работы.

1. Разработана формальная модель эталонных знаний таксономического характера и формальная модель субъективных знаний.

2. В качестве средства представления знаний в естественно-языковой форме использована структура иерархического списка, разработана формальная модель иерархического списка как носителя знаний данного вида.

3. Разработан алгоритм выявления субъективных знаний на основе анализа естественно-языкового ответа, представленного в форме иерархического списка на вопрос по таксономии.

4. Предложенный в работе комплекс показателей качества субъективных знаний на множестве элементов одного класса эквивалентности понятий ПО в сравнении с эталонными знаниями учитывает как объем так и качество ответа и представляет собой вектор показателей, включающий в себя: относительный объем знаний по главным понятиям и второстепенным понятиям ПО, относительный уровень качества структуры субъективной таксономии, относительный уровень критериальности субъективной таксономии, уровень владения профессиональной терминологией.

5. Уровень качества знаний на множестве элементов одного класса эквивалентности определяется в пространстве показателей качества как уровень соответствующий ближайшему вектору-прототипу. Каждый из векторов-прототипов соответствует определенному уровню знаний, их координаты задаются экспертами.

6. Для определения уровня субъективных знаний таксономического характера на множестве кортежей из элементов выделенных классов

эквивалентности понятий ПО, сначала определяются показатели качества знаний по каждому из классов эквивалентности, затем в пространстве показателей качества определяется уровень качества знаний по каждому из классов эквивалентности. Обобщенная оценка качества знаний определяется в пространстве оценок знаний по всем классам эквивалентности как уровень, соответствующий ближайшему вектору-прототипу. Каждый из векторов-прототипов соответствует определенному уровню знаний, их координаты задаются экспертами.

7. Разработан алгоритм вычисления значений показателей качества субъективных знаний, уровней знаний по выделенному классу эквивалентности понятий ПО и обобщенной оценки качества знаний по всем классам эквивалентности понятий ПО.

8. Разработана концептуальная схема системы оценки качества знаний таксономического характера.

9. Проведен анализ информационных процессов системы оценки качества профессиональных знаний таксономического характера, на основе которого создана модель данных и модель логической структуры системы. На основе полученных результатов создана экспериментальная специализированная программная оболочка.

10. Разработанная программная оболочка применена для контроля профессиональных знаний таксономического характера у специалистов в заданной предметной области.

По теме диссертации опубликованы следующие работы:

1. Никаев С.А. Применение многоуровневых иерархических списков в системе оценки качества классификационных знаний. / «Вопросы гуманитарных наук», №5,2003. - Москва, 2003, - с.126-127.

2. Никаев С.А. Оценка относительных объемов семантик понятий, представленных взаимосвязанными множествами иерархически упорядоченных структур. / Материалы научно-методической конференции «Актуальные проблемы университетского образования». - Самара, 2002, - с.225-226.

3. Никаев С.А. Анализ естественно-языковых структур при оценке качества подготовки специалистов. / Вестник Самарского государственного технического университета. Вып.5. - Самара, 1998, -с.161-162.

4. Буканов Ф.Ф., Краснов А.Н., Меркушев А.Н., Никаев С.А. Семантические модели при оценке качества подготовки специалистов. / Тезисы докладов научно методической конференции «Развитие и совершенствование учебного процесса для подготовки специалистов XXI века». 4.2. - Самара, 1998, - с.49.

5. Краснов А.Н., Корнилов С.Н., Мензул Е.В., Никаев СА, Петина О.В., Ионесова Д.А., Краснова Т.С. Графическая интерпретация семантических экстенсионалов высказываний обучаемых. / Тезисы докладов международного семинара «Нелинейное моделирование и

управление». - Самара, 1998, - с.69-71.

6. Буканов Ф.Ф., Краснов А.Н., Меркушев А.Н., Никаев С.А Модель предметной области (ПО) в системе контроля знаний на основе анализа естественно-языкового текста. / Материалы и тезисы докладов 2-й Международной научно-практической конференции «Педагогический процесс как культурная деятельность». - Самара, 1999, - с.558-560.

7. Краснов А.Н., Меркушев А.Н., Никаев С.А. Структуризация информации в системе контроля знаний. / Сборник докладов межвузовской научно-метадической конференции. - Самара, 2000, -с.193-194.

8. Буканов Ф.Ф., Краснов А.Н., Никаев С.А. Модель классификационных знаний в системе анализа знаний на основе обработки структурированного естественно-языкового текста-ответа. / Тезисы докладов Второго Всероссийский симпозиума по прикладной и промышленной математике. В кн. Обозрение прикладной и промышленной математики. Т.8, Вып. 1. - Москва, 2001, - с.98-99.

9. Краснов А.Н., Меркушев А.Н., Никаев С.А. Языковая личность как носитель языковой картины мира. Анализ структур стандартной языковой картины предметной области. / Сборник материалов Всероссийской научно-методической конференции «Языковые и культурные контакты различных народов». 4.1. - Пенза, 2001, - с. 137139.

10. Буканов Ф.Ф., Краснов А.Н., Меркушев А.Н., Никаев С.А. Сравнительный анализ семантической структуры на примере классификации повреждений таза, предложенной Д.Шойлевым. / Межвузовский сборник научных работ «Естествознание, экономика, управление». Вып. 2. - Самара, 2001, - с. 104-115.

11. Краснов А.Н., Буканов Ф.Ф., Меркушев А.Н., Никаев С.А. Квалиметрия классификационных знаний на основе обработки естественно-языковых ответов. / Десятый симпозиум «Квалиметрия в образовании: методология и практика». В кн. Развитие квалиметрии человека и образования: теоретические постановки и практика. Кн. 2. -Москва, 2002, - с. 195-200.

12. Буканов Ф.Ф., Краснов А.Н., Меркушев А.Н., Никаев С.А. Применение иерархических списочных структур для представления ответов на естественном языке. / Материалы научно-методической конференции «Актуальные проблемы университетского образования». - Самара, 2002,-с.214-215.

13. Буканов Ф.Ф., Краснов А.Н., Меркушев А.Н., Никаев С.А. Вопросы квалиметрии естественно-языковых ответов предметной области классификационного типа. / Сборник трудов V Всероссийской научно-методической конференции «Теория и методика непрерывного образования». Т. 1. - Тольятти, 2003, - с. 165-168.

Отпечатано с разрешения диссертационного совета Д212.217.03 Самарского государственного технического университета (протокол №2 от 19 февраля 2004 г.) на кафедре электронных систем и информационной безопасности Самарского государственного технического университета г.Самара ул.Молодогвардейская 244 29.03.04 тир. 100 экз.

ВВЕДЕНИЕ

9 I. Тестовый контроль знаний и проблема понимания естественного языка. Тестовые задания открытого типа.

1.1. Общие положения тестового контроля знаний. Современная классификация тестов. Тестовые задания открытого типа.

1.2. Системная организация естественного языка. Вопросы формального понимания естественного языка. 17 Заключение.

II. Модель знаний таксономического характера и методология их оценки на основе тестовых заданий открытого типа.

2.1. Модель эталонных знаний таксономического характера.

2.2. Гипотетическая модель субъективных знаний таксономического характера.

2.3. Модели иерархического списка для представления знаний таксономического характера при проведения тестирования на основе заданий открытого типа.

2.4. Алгоритм перехода от естественно-языкового представления зна-^ ний таксономического характера в виде иерархического списка к гипотетической модели.

2.4.1. Алгоритм перехода от фразовой к лексической модели иерархического списка

2.4.2. Алгоритм перехода от лексической к семантической модели иерархического списка

2.4.3. Алгоритм перехода от семантической модели иерархического списка к гипотетической модели знаний таксономического характера

2.5. Методика оценки субъективных знаний таксономического харак

В различных отраслях промышленности, науки и техники существует стремление к обобщению, упорядочиванию, систематизации и классификации знаний, так как знания именно в систематизированном виде наиболее доступны для понимания и передачи от человека к человеку. С этой точки зрения систематизацию знаний, как научное явление, можно рассматривать как один из фундаментальных процессов в науке. При этом для наиболее наглядного представления знаний в систематизированном виде часто используются таксономические структуры, то есть структуры однотипных элементов предметной области, в которых предусмотрена иерархия групповых соотношений, установленных по разным параметрам, так что эта группировка однозначно указывает размещение групп относительно друг друга и положение каждого элемента в системе. Таксономические структуры позволяют представить комплексно, в сжатом и достаточно наглядном виде многие упорядоченные структуры взаимосвязанных элементов: различные классификации, составные части конструкций машин и механизмов и т.п. Часто они образуют как бы основу теоретических знаний по дисциплине или специальности, знание которой для специалистов соответствующего профиля является обязательным. В этом случае, при осуществлении контроля знаний по некоторому теоретическому курсу, контроль качества усвоения указанных выше знаний становится первостепенным по своей важности.

В настоящее время основой контроля качества профессиональных знаний специалистов является тестовый контроль знаний. Анализ современного состояния в этой области показывает, что наиболее распространенным типом тестовых заданий, применяемых для тестового контроля профессиональных знаний, являются задания закрытого типа, которые предполагают выбор испытуемым одного или нескольких ответов из предварительно разработанного списка их возможных вариантов. Их широкое применение в первую очередь обусловлено удобством обработки результатов тестирования. Но задания закрытого типа имеют и существенный недостаток, снижающий уровень объективности результатов тестирования, связанный с наличием подсказки в виде меню возможных вариантов ответа. Это так называемая проблема угадывания правильных ответов, которая, несмотря на имеющиеся некоторые разработки по методикам ее учета, в настоящее время не имеет кардинального решения.

Указанного принципиального недостатка лишены тестовые задания открытого типа, которые предполагают формулирование ответа испытуемым, обычно в форме пропущенного выражения или слова, при отсутствии меню возможных вариантов ответа. Применение тестовых заданий открытого типа с максимально свободной формой изложения ответа без ограничений на его форму сдерживается сложностью проблемы машинного понимания естественного языка и проблемы оценки полученных ответов.

В связи с этим представляется актуальным поиск и создание таких форм тестовых заданий открытого типа с ограничениями на структуру естественноязыкового ответа, которые с одной стороны максимально упрощают алгоритм машинного понимания ответа, а с другой стороны предоставляют испытуемому максимальную степень свободы изложения своих знаний по конкретному профессиональному вопросу, а также разработка для них соответствующих методов оценки, не просто учитывающих правильность или неправильность формулировки ответа, а определяющих численный показатель качества ответа. Представляется актуальным решение указанной выше задачи для такого важного типа знаний, каковыми являются знания таксономического характера.

Целью данной работы является создание информационной системы оценки теоретических знаний таксономического характера у специалистов различных отраслей промышленного производства, основанной на применении тестовых заданий открытого типа с формой ответа на задание на основе структуры иерархического списка. Для достижения поставленной цели в диссертации были сформулированы и решены следующие задачи:

1. Предложена формальная модель эталонных знаний таксономического характера и формальная модель субъективных знаний.

2. Предложена формальная модель иерархического списка как средства представления субъективных знаний таксономического характера в естественноязыковой форме.

3. Разработан алгоритм выявления субъективных знаний таксономического характера на основе анализа естественно-языкового ответа на вопрос по таксономии, представленного в форме иерархического списка.

4. Предложен комплекс показателей качества субъективных знаний таксономического характера в сравнении с эталонными знаниями, который учитывает как объем, так и качество таксономической структуры. На его основе предложена обобщенная оценка качества знаний данного типа.

5. Разработан алгоритм вычисления показателей качества субъективных знаний таксономического характера и обобщенной оценки качества знаний.

6. Разработана концептуальная схема системы оценки знаний данного типа. Проведен системный анализ информационных процессов системы оценки профессиональных знаний таксономического характера, на основе которого создана модель данных и модель логической структуры системы.

7. На основе модели данных и модели логической структуры системы создана экспериментальная программная оболочка для оценки качества субъективных знаний данного типа.

Диссертация состоит из введения, 4 глав, основных результатов, списка использованной литературы 110 наименований, 3 приложений и 2 актов, подтверждающего внедрение результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ

1. Разработана формальная модель эталонных знаний таксономического характера и формальная модель субъективных знаний.

2. В качестве средства представления знаний таксономического характера в естественно-языковой форме использована структура иерархического списка, разработана формальная модель иерархического списка как носителя знаний данного вида.

3. Разработан алгоритм выявления субъективных знаний таксономического характера на основе анализа естественно-языкового ответа, представленного в форме иерархического списка на вопрос по таксономии.

4. Предложенный в работе комплекс показателей качества субъективных знаний таксономического характера на множестве элементов одного класса эквивалентности понятий ПО в сравнении с эталонными знаниями учитывает как объем, так и качество ответа и представляет собой вектор показателей включающий в себя: относительный объем знаний по главным понятиям ПО, по второстепенным понятиям, относительный уровень качества структуры субъективной таксономии, относительный уровень критериальности субъективной таксономии, уровень владения профессиональной терминологией.

5. Уровень качества знаний на множестве элементов одного класса эквивалентности определяется в пространстве показателей качества как уровень соответствующий ближайшему вектору-прототипу. Каждый из векторов-прототипов соответствует определенному уровню знаний, их координаты задаются экспертами.

6. Для определения уровня субъективных знаний таксономического характера на множестве кортежей из элементов выделенных классов эквивалентности понятий ПО, сначала определяются показатели качества знаний по каждому из классов эквивалентности, затем в пространстве показателей качества определяется уровень качества знаний по каждому из классов эквивалентности. Обобщенная оценка качества знаний определяется в пространстве оценок знаний по всем классам эквивалентности как уровень, соответствующий ближайшему вектору-прототипу. Каждый из векторов-прототипов соответствует определенному уровню знаний, их координаты задаются экспертами.

7. Разработан алгоритм вычисления значений показателей качества субъективных знаний таксономического характера, уровней знаний по выделенному классу эквивалентности понятий ПО и обобщенной оценки качества знаний по всем классам эквивалентности понятий ПО.

8. Разработана концептуальная схема системы оценки качества знаний таксономического характера.

9. Проведен системный анализ информационных процессов системы оценки качества профессиональных знаний таксономического характера, на основе которого создана модель данных и модель логической структуры системы. На основе полученных результатов создана экспериментальная специализированная программная оболочка.

Ю.Разработанная программная оболочка применена для контроля профессиональных знаний таксономического характера у специалистов в заданной предметной области.

Заключение.

На основании проведенных в данной главе исследований вытекают следующие выводы:

1. Система оценки профессиональных знаний таксономического характера может быть применена на промышленном производстве при кадровом отборе, для получения объективной оценки уровня теоретических знаний таксономического характера кандидата на некоторую должность в соответствующей профессиональной области.

2. Наиболее целесообразно применение системы оценки профессиональных знаний таксономического характера в комплексе с другими существующими средствами контроля профессиональных знаний, как средство объективной оценки знаний данного вида.

3. Задание векторов оценок для различных уровней знаний позволяет гибко настраивать систему для оценки конкретных уровней знаний.

4. Введение весовых коэффициентов уровня влияния каждого из показателей качества ответа на интегральную оценку ответа позволяет получить рейтинг ответа относительно других ответов, что соответствует тестам, ориентированным на норму.

5. Основные требования к тесту — надежность и валидность, выявленные при практическом использовании системы, соответствуют допустимым. Они обеспечиваются уже самим фактом наличия одного сложного вопроса, на который требуется дать один развернутый ответ, и одного эталона этого развернутого ответа

1. Аванесов B.C. Композиция тестовых заданий. — М.: Адепт, 1998.

2. Аванесов B.C. Научные проблемы тестового контроля знаний: Монография. — М.: Исследовательский центр, 1994. — 307 с.

3. Аверкин А.Н., Батыршин И.З., Блишун А.Ф. и др. Нечеткие множества в моделях управления и искусственного интеллекта /Под ред. Д.А. Поспелова/ — М.: Наука. Гл. ред. физ.-мат. лит., 1986. 312 с.

4. Александров Г.Н., Ратнер Г.Л. Программированное обучение и его место в медицинских вузах. — М.: Медицина, 1968. — 183 с.

5. Аллен Дж.Ф., Перро Р. Выявление коммуникативного намерения содержащегося в высказывании/УНовое в зарубежной лингвистике. — М.: Прогресс, 1986-Вып. 17 С.322-362.

6. Беспалько В.П. Объективный программированный контроль качества знаний учащихся в медицинском вузе: Методические указания. — М.: 2-й МОЛГМИ, 1973.-96 с.

7. Беспалько В.П. Основы теории педагогических систем. — Воронеж, 1978. — 123 с.

8. Брябрин В.М., Любарский А .Я., Микулич Л.И. и др. Диалоговые системы в АСУ ./Под ред. Д.А. Поспелова.-М.: Энергоиздат, 1983.- С.22-40.

9. Н.Буканов Ф.Ф., Меркушев А.Н., Никаев С.А. Анализ естественно-языковых структур при оценке качества подготовки специалистов. / Вестник Самарского государственного технического университета. Вып.5. — Самара, 1998, — с.161—162.

10. Буканов Ф.Ф., Меркушев А.Н., Погорелова Е.В. Квалиметрия профессиональных знаний.: Самар.гос.техн.ун-т, 1996. — 100 с.

11. Булатов О. Translation Office — квартет для переводчика// Компьютерра-1996-№22(149) С.ЗО.

12. Вендров A.M. CASE-технологии. Современные методы и средства проектирования информационных систем М.: Финансы и статистика, 1998. — 176 с.

13. Выготский JLП. Мышление и речь — М.: Лабиринт, 1999. — 416 с.

14. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. — СПб.: Питер, 2000. 384 с.

15. Гийом Г. Принципы теоретической лингвистики. М.: Культура, 1992. — 218 с.

16. Давтян А. Дружба с умным алгоритмом // Компьютерра.-1996.-№20( 147)-С.36-38.

17. Дракин В.И., Попов Э.В., Преображенский А.Б. Общение конечных пользователей с системами обработки данных.—М.: Радио и связь, 1988.-288 с.

18. Дружини В.Н. Экспериментальная психология: Учебное пособие. М.: Ин-фра, 1997.-255 с.

19. Дуза Р., Харт П. Распознавание образов и аналих их: Пер с англ. М.: Мир, 1976.-511 с.

20. Дюк В.А. Компьютерная психодиагностика. — СПб.: «Братство», 1994. -364с.

21. Иванов Б.Н. Дискретная математика. Алгоритмы и программы: Учеб. пособие. — М.: Лаборатория Базовых Знаний, 2001. — 288 с.

22. Калянов Г.Н. CASE. Структурный системный анализ. — М.: Лори, 1996. — 240с.

23. Каменская И. Текст и коммуникация. М.: 1990.

24. Квалиметрия человека и образования: методология и практика. Сб. науч.ст. К.2. 4.2. / Под ред. Субетто А.И., Селезневой Н.А. — М.: Исследовательский центр проблем качества подготовки специалистов, 1993. — 219 с.

25. Квалиметрия человека и образования: методология и практика. Сб. науч.ст. К.2. Ч.З. / Под ред. Субетто А.И., Селезневой Н.А. М.: Исследовательский центр проблем качества подготовки специалистов, 1993. — 163 с.

26. Клайн П. Введение в психометрическое программирование: Справочное руководство по конструированию тестов. Киев, 1994.

27. Классификация и кластер: Пер с англ. /Под ред. Д.В. Райзина/ — М.: Мир, 1980.-391 с.

28. Кононенко И.С. Экспериментальная система понимания коротких текстов // Тез. докл. IV Всеросс. конф. по ИИ.- Рыбинск, 1994 Т. 2 - С. 339-343.

29. Кочетков А., Панкратова Г., Шумянкова Н. Контроль знаний студентов: опыт организации // Социально-политический журнал. — М. 1994. — №11-12, с.113-123.

30. Краснов А.Н., Меркушев А.Н., Никаев С.А. Структуризация информации в системе контроля знаний. / Сборник' докладов межвузовской научно-метадической конференции. Самара, 2000, - с. 193-194.

31. Кривошеев А.О., Фомин С.С. Конкурс «Электронный учебник» // Компьютерные технологии в высшем образовании. / Редакц.колл.: А.Н. Тихонов, В.А. Садовничий и др. — М.: Изд-во Моск. ун-та, 1994. — С.264-268.

32. Кузин JI.T. Основы кибернетики: В 2-х т. Т.2. Основы кибернетических моделей. М.: Энергия, 1979. 584 с.

33. Кукушкин А.А., Овсянников А.А. CASE-моделирование информационных процессов. Орел: ВИПС, 1998.

34. Кулагина О.С. О проблемах автоматической обработки текстов на естественном языке // Интеллектуальные системы. — 1996. Том 1, Вып. 1-4. - С. 109-116.

35. Либрович Л.В., Макаренко В.Н. Автоматизированная система обучения и контроля знаний на базе ЭВМ СМ-4 // Научно-методические основы применения ЭВМ в учебном процессе: Межвуз. сб. науч. тр. / Под ред. В.И.Прохорова. Л.: ЛИАП, 1987. - Вып. 189. - С.24-28.

36. Лозовский В. С. Сетевые модели // Искусственный интеллект. Т.2. Модели и методы. М.: Радио и связь, 1990. - С.28-49.

37. Лурия А.Р. Язык и сознание / Под ред. Е.Д. Хомской. Ростов н/Д.: Изд-во Феникс, 1998.-416 с.

38. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. СПб.: Образование и культура, 1996.51 .Мальковский М. Г. Диалог с системой искусственного интеллекта-М.: Изд-во МГУ, 1985.-214 с.

39. Марков Фреймы. М.: изд-во АН СССР, 1954. - 374 с.

40. Маслов Ю.С. Введение в языкознание. — М.: Высшая школа, 1975.

41. Мельников В.М., Ямпольский Л.Г. Введение в экспериментальную психологию личности. М., 1985.

42. Минский М. Фреймы для представления знаний: Пер с англ. М.: Энергия, 1979.-151 с.

43. Моделирование языковой деятельности в интеллектуальных системах / Под ред. Кибрика А.Е., Нариньяни А.С. М.: Наука, 1987. - 280 с.

44. Наводнов В.Г. Математические модели САПР ПИМ: Предпринт №4/97. — Йошкар-Ола: Научно-информационный центр государственной аккредитации, 1997.

45. Нариньяни А.С. Проблема понимания ЕЯ-запросов к базам данных решена // Труды Международного семинара Диалог'95 по компьютерной лингвистике и ее приложениям. — Казань: 195.

46. Нариньяни А.С., Яхно Т.Г. Продукционные системы // Представление знаний в человеко-машинных и робототехнических системах. — М.: ВЦ АН СССР, ВИНИТИ, 1984. С.136-177.

47. Невзорова О.А. Машинное обучение и задачи обработки естественного языка // Новости искусственного интеллекта. 1998. — №1. — С.35-42.

48. Никаев С.А. Применение многоуровневых иерархических списков в системе оценки качества классификационных знаний. / «Вопросы гуманитарных наук», №5, 2003. Москва, 2003, - с.126-127.

49. Нильсон Н. Принципы искусственного интеллекта.: Пер. с англ. — М.: Радиои связь, 1985.-373 с.

50. Новиков Ф.А. Дискретная математика для программистов. СПб.: Питер, 2002.-304 с.

51. Падучева Е.В. О семантике синтаксиса. — М.: Наука, 1974. — 292 с.

52. Попов Э.В. Общение с ЭВМ на естественном языке.-М.: Наука, 1982. — 360с.

53. Поспелов Д.А. Данные и знания // Искусственный интеллект. Т.2. Модели и методы. М.: Радио и связь, 1990. - С.7-13.

54. Поспелов Д.А. Продукционные модели // Искусственный интеллект. Т.2. Модели и методы. — М.: Радио и связь, 1990. — С.28-49.

55. Поспелов Д.А. Уровни понимания. в кн.: Справочник по ИИ / в 2-х т. Том 1: ред. Э.В.Попов; Том 2: ред. Д.А.Поспелов — М.: Энергия, 1992; Том 2, с.110.

56. Пранц М.Г. ТАСС — диалоговая система обработки текста // Разработка и применение лингвистических процессоров/ВЦ ОС АН СССР.-Новосибирск, 1983-C.3 7-43.

57. Преображенский А.Б. Состояние развития систем естественноязыкового общениям/Искусственный интеллект. T.I. Системы общения и экспертные сис-темы.-М.: Радио и связь, 1990.- С.32-64.

58. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М.: МИФИ, 1995.

59. Романовский И.В. Дискретный анализ: Учеб. пособие. — Издание 2-е, исправленное. СПб.: Невский диалект, 2000. — 240 е., ил.

60. Сенокосов А.И., Юнерман Н.А. О тестах российских замолвите слово // Информатика (Приложение к газете «1 сентября»). — М.: 1997. №1.

61. Слобин Д., Грин Дж. Психолингвистика: Пер. с англ. М.: Прогресс, 1976. — 350 с.

62. Судоплатов С.В., Овчинникова Е.В. Элементы дискретной математики: Учебник. М.: ИНФРА-М, Новосибирск: Изд-во НГТУ, 2002. - 280 с.

63. Сухопяткина И.Т. Методические приемы использования ЭВМ при различных формах обучения // Использование омпьютерных технологий в обучении. Сб. науч. тр. / АН УССР. Институт кибернетики им. В.М. Глушкова. — Киев, 1990.-С. 15-19.

64. Талызина Н.Ф. Теоретические проблемы программированного обучения. — М.: Изд-во Моск. ун-та. 1969. 56 с.

65. Тимофеев Е. «Контекст 3.0»: электронный словарь идет в народ. // Компьютерра- 1996 -№27(154)-С.40.

66. Фаронов В.В. Delphi 5. Руководство программиста. М.: «Нолидж», 2001. — 880 с.

67. Франц В.Я. Оборудование швейного производства: Учеб. для сред. проф. образования. М.: Издательский центр «Академия», 2002. — 448 с.

68. Хафман И. Активная память. М.: Прогресс, 1986. — 309 с.

69. Хачатрян А.Р. Неточный вывод на знаниях // Искусственный интеллект. Т.2. Модели и методы. — М.: Радио и связь, 1990. С. 105-110.

70. Хювёнен Э., Сеппянен Й. Мир Лиспа. В 2-х т.: Пер. с. финск. — М.: Мир, 1990.-Т. 1,2.

71. Цаленко М.Ш. Моделирование семантики в базах данных. М.: Наука. Гл. ред. физ.-мат. лит., 1989. — 288 с.

72. Черемных С.В. и др. Моделирование и анализ систем. IDEF-технологии: практикум. — М.: Финансы и статистика, 2002. 192 с.

73. Шенк Р. Обработка концептуальной информации: Пер. с англ. — М.: Мир, 1987.-С. 274.

74. Шкурин Г.П. Справочник по электро- и электронно-измерительным приборам. М.: Воениздат, 1972. - 448 с.

75. Шрейдер Ю.А. Равенство, сходство, порядок. М.: Наука. Гл. ред. физ.-мат. лит., 1971.-256 с.

76. Щапов А.Н., Урванцева Г.А. Педагогическое тестирование. // Учебно-методическое пособие. Ярославль, 1988. 33 с.

77. ЭВМ в учебном процессе ВУЗа // Межвуз. сб. науч. тр. / Под ред.

78. В.Н.Врагова. Новосибирск: НГУ, 1988. - 170 с.

79. Ebel, Rober L. Measuring educational achievement, Prentice-Hall Inc., New Jersey, 1965.

80. Evaluating natural language processing systems// Artificial intelligence. -1999. -Vol.107, №1.-C. 15-56.

81. Femando C.N. Pereira, David H.D. Warren Definite clause grammars for language analysis survey of the formalism and a comparison with augmented transition networks // Artificial intelligence. - 1980. - Vol.13, №3. - C. 231-278.

82. Gronlund, Norman E. How to Make Achievement Tests and Assessments. — Allyn and Bacon, 1993.- 180 c.

83. Gronlung N.E. Constructing achievement tests. New York, Prentice-Hall, 1977.

84. Hobbs J.R., Stidcel M.E., Appelt D.E. Interpretation as abduction// Artificial intelligence. 1993. - Vol. 63. - C. 69-142.

85. Jane Morris, Graeme Hirst Lexical cohesion computed by thesaural relations as an indicator of the structure of text // Computational linguistics. 1991. - Vol. 17, №1. -C.21-48.

86. Masaru Tomita. An efficient augmented context-free parsing algorithm// Computational linguistics. 1987. - Vol.13, №1-2. - C. 31-46.

87. Moore J., Newell A. How can MERLIN understand? — In: Knowledge and cognition. Baltimore: Lawrence Erlbaum Associates, 1973.

88. Natural language parsing and linguistic theories / Ed. by U.Reyle — Berlin: Rohrer Dordrecht, 1998. 625 c.

89. Palmer M.S., Passonnean R.J., Weir C., Finin T. The KERNEL text understanding system // Artificial Intelligence. 1993. — Vol.63. - C. 17-68.

90. Paul S. Jacobs, Lisa F. Ran Innovations in text interpretations // Artificial1.telligence. 1993. - Vol. 63. -C.14-25.

91. Schank R.C. Conceptual Information Processing. — Amsterdam: North-Holand Publishing Company, 1975.

92. Shieber S. An introduction to unification-based approaches to grammar//CSLI lecture notes Chicago: Chicago University Press, 1986. - Vol.4-510c.

93. Susan L. Graham, Michael A. Harrison. Parsing of general context-free languages// Advances in computers. 1976. - Vol.14. - C. 77-186.

94. Villano M. Probabilistic student models: Bayesian belief networks and knowledge space theory. Proceedings of the Second International Conference on Intelligent Tutoring Systems. New York: Springer-Verlag, 1992. - P.491-498.

95. Walter Daelemants, Gerald Gozdar, Koenraad De Smedt Inheritance in natural language processing // Computational linguistics. 1992. - Vol.18, № 2. - C.201-214.1. УТВЕРЖДАЮакарова1. АКТо результатах использования научно-технической продукции

96. Настоящий акт составлен по результатам использования (применения) научно-технической продукции.

97. Наименование научно-технической продукции:

98. Программное обеспечение системы квалиметрии профессиональных знаний таксономического характера специалистов

99. Авторы научно-технической продукции: Никаев Станислав Александрович3. Место внедрения:

100. Швейное предприятие «Гармония»

101. Основания для внедрения: Применение информационной системы для квалиметрии профессиональных знаний таксономического характера

102. Цель внедрения: Обеспечение объективности, надежности и достоверности оценки уровня профессиональных знаний таксономического характера.

103. Результаты внедрения: Автоматизация процессов контроля качества профессиональных знаний таксономического характера.

104. Отв. за внедрение директоршвейного предприятия «Гармония»1. Н.В. Макарова

105. Министерство здравоохранения Российской Федерации

106. Место внедрения: ' '*" ~ -- " " СамГМУ. кафедра «Педагогики, психологии и психолингвистики»

107. Основания для внедрения: Применение информационной системы для квалиметрии профессиональных знаний таксономического характера специалистов.

108. Цель внедрения: Обеспечение объективности, надежности и достоверности оценки уровня профессиональных знаний таксономического характера специалистов.

109. Начальник отдута гаяров СамГМУ1. Ц5. Картшова>