автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Оценка управления качеством учебного процесса

ОГЛАВЛЕНИЕ.

Введение.

Глава 1. Качество: история, терминология, принципы управления.

1.1. Экономические аспекты качества.

1.2. Экономика - эконометрика - квалиметрия.

1.3. Единство качества и количества.

1.4. Оценка потребностей в качественной продукции.

1.5. Методы измерений.

1.6. Измерительные шкалы.

1.7. Требование единства измерений.

1.8. Принципы квалиметрии.

1.9. Особенности управления качеством оказания образовательных услуг населению.

Глава 2. Использование нечетких логик при оценке управления качеством учебного процесса.

2.1. Механизм оценки качества учебного процесса.

2.2. Логики Заде, Лукасевича и вероятностей.

2.3. Применение логик Заде, Лукасевича и вероятностей на практическом примере.

2.4. Интервальная логика.

2.5. Логико-арифметический подход.

Глава 3. Принципы построения алгоритма для выработки однозначного заключения.

3.1. Модель диагностики.

3.2. Некоторые соображения о выработке заключения.

3.3. Основные принципы построения автоматизированного алгоритма выработки заключения.

3.4. Алгоритм выработки заключения.

Глава 4. Методики построения диагностической матрицы и выработки заключения.

4.1. Некоторые особенности нечетких логик.

4.2. Методика составления диагностической матрицы.

4.3. Методика выработки однозначного заключения.

Глава 5. Практическая реализация.

5.1. Описание предметной области.

5.2. Построение диагностической матрицы.

5.3. Выработка заключения.

5.4. Описание программного продукта.

Экономическое состояние государства обусловлено в основном его научно-техническим развитием. Важнейшей целью научно-технического прогресса является ускорение производства высококачественной продукции в необходимом количестве и с наименьшими затратами материальных, трудовых и финансовых ресурсов. Очевидно, что цели экономики и научно-технического развития совпадают - они состоят в удовлетворении потребностей всех членов общества.

Приоритетность интенсивного метода экономического развития страны требует не простого увеличения объема производства, а выпуска наиболее совершенной технической продукции и оказания услуг населению. При этом очевидно, что проблема повышения качества и конкурентоспособности разнообразных изделий и услуг не просто актуальна, а одна из важнейших. Выход отечественной экономики из кризиса в условиях свободных рыночных отношений возможен, если наше общество будет оказывать только высококачественные и, следовательно, конкурентоспособные услуги.

Управление качеством охватывает всю производственную деятельность человека. Одно из важных мест в этой деятельности занимает процесс обучения и повышения квалификации. В свою очередь повышение эффективности обучения требует регулярного управления качеством.

В настоящее время, в связи с переходом хозяйства России на новые принципы управления потребность в оказании населению образовательных услуг резко возросла. В первую очередь это связано с тем, что многие специалисты оказались не у дел, произошла резкая автоматизация офисной, управленческой деятельности, резко повысилась значимость экономики, мировые фирмы стали усиленно внедряться в хозяйственную деятельность нашей страны, что требовало переобучения существующих инженерных кадров. Данная ситуация определила появление множества учебных заведений коммерческого толка. Это касается как государственных, так и открывшихся не государственных ВУЗов. Подготовка и особенно переподготовка инженеров, начиная с получения второго высшего образования, и кончая множеством курсов, привлекла к этой деятельности большое количество организаций, не всегда квалифицированно проводящих обучение. Это обстоятельство приводит к необходимости как-то оценить качество обучения. В настоящее время существуют государственные стандарты, а также лицензирование и аккредитация, что частично устраняет эту проблему. Объясняется это тем, что анализ качества обучения, лицензирование и аккредитация не носят автоматизированного вида и имеют множество вариантов оценок. Автоматизация управления качеством обучения позволяет приобрести ему массовый характер.

Таким образом, актуальность темы диссертационной работы определяется необходимостью создания, внедрения и совершенствования методов, методик и инструментальных средств управления качеством учебного процесса.

В соответствии с намеченной сферой исследований целью работы является повышение качества и эффективности образовательных программ.

Представленная на защиту диссертация является обобщением проведенных автором исследований и разработок, в результате которых решена проблема создания концепции управления качеством учебного процесса на основе механизма нечетких логик, позволяющих более точно давать оценку учебного процесса. Конкретные результаты, обладающие научной новизной, состоят в следующем:

• Разработана методика составления диагностической матрицы, отражающей связи между множеством признаков, описывающих учебный процесс, и множеством состояний оценки качества.

• Разработана методика выработки однозначного заключения, которая при получении нескольких близких оценок качества образовательных программ позволяет выбрать одну из них.

• Произведен анализ логик Заде, Лукасевича и вероятностей с целью применения их в данной работе. По результатам анализа показаны их недостатки. Предложен логико-арифметический подход в обработке диагностической матрицы, который показал высокие распознающие качества.

• Произведена практическая реализация предложенного подхода на примере Факультета переподготовки специалистов Санкт-Петербургского Государственного политехнического университета (ФПС СПбГПУ). Диссертация является законченной научно-исследовательской работой.

Краткое содержание работы сводится к следующему.

В первой главе «Качество: история, терминология, принципы управления» дан обзор истории и современного состояния процесса оценки качества. Отмечается, что проблема повышения качества и конкурентоспособности разнообразных изделий и услуг не просто актуальна, а одна из важнейших.

Управление качеством может иметь успех, если таким управлением охватывается вся производственная деятельность человека. На первое место надо поставить процесс обучения, поскольку не о каких новшествах нельзя говорить, пока не налажен процесс обучения и повышения квалификации работников во всех сферах деятельности человека. Вопросы управления качеством обучения в меньшей степени рассматриваются в литературе и, как правило, не носят автоматизированный вид. Автоматизация управления качеством обучения позволит приобрести ему массовый характер.

На основании вышеизложенного, делается вывод, что система управления качеством обучения имеет практический интерес.

В работе приведены несколько трактовок термина «качество». Рассматривается понятие качества с точки зрения философской сущности и когда описание дается только с потребительской точки зрения. Рассмотрен экономический критерий общей оценки качества продукции как товара, состоящий в том, что качественная продукция выгодна как потребителю, так и производителю. Дана характеристика методов измерения и их классификация.

Качество продукции или услуг можно оценить через количественное измерение реальных свойств и соответствующую, то есть тоже количественную, оценку тех потребностей, которым эти свойства должны удовлетворять. Степень удовлетворения совокупности важнейших свойств продукции потребностям людей и есть количественный показатель качества продукции. Поэтому, в первую очередь необходимо разработать перечень параметров, по которым будет оцениваться качество.

Оценка качества образовательных программ является многокритериальной задачей. Нельзя говорить о качестве, рассматривая только учебный план или сосчитав процент преподавателей, имеющих докторскую степень. Необходимо рассматривать множество параметров, а также то, как они в совокупности влияют на качество учебного процесса.

Выявлена необходимость разработки методик по оценке качества учебного процесса, рассмотрены особенности управления качеством оказания образовательных услуг населению, показано, что оценка качества является многокритериальной задачей, решение которой зависит от множества параметров, формулируются основные задачи исследования. Делается вывод в необходимости разработки методик по оценке качества учебного процесса.

Во второй главе «Использование нечетких логик при оценке управления качеством учебного процесса» рассматриваются логики Заде, Лукасевича и вероятностей. Отмечаются их недостатки при использовании в диагностических системах и, как альтернатива, предлагается использование логико-арифметического подхода.

Четкие логики, такие, как булева алгебра, исчисление предикатов, предполагают, что переменные принимают всего два значения: «истинно (1)» или «ложно (0)». Много столетий эти принципы были основными при описании тех или иных законов логики. Предыдущее столетие характеризовалось тем, что появились «нечеткие» логики, у которых любая переменная является функцией другой переменной, отражающей истинность основной переменной.

В результате проведенных исследований отмечены некоторые особенности контитуальных логик. Для выбора логики в работе рассматриваются композиционное правило вывода, а также обобщенное правило вывода modus ponens.

Заде в своей работе вводит понятия истинности и лжи как лингвистические. Когда формируется понятие «истина», тогда «ложь» - это зеркальное отображение истины относительно точки 0.5.

Более заманчиво рассматривать степень принадлежности четкого значения лингвистическому в другом виде, когда степень принадлежности трактуется как близость к «истине» или «лжи». В этом смысле на оси признаков должно быть 3 точки: 0, 0.5, 1, где 0-ложь, 0.5-неизвестно, 1-истина. Так как такое обозначение трех точек неудобно как для понимания, так и для вычислений, то в работе предлагается взять набор (-1, 0, +1).

Исходя из этого трех/точечного представления, может быть предложено несколько вариантов логик. Выбрано композиционное правило вывода, которое вполне соответствует обобщенному правилу modus ponens.

Предлагается переход к диапазону [-1, 1], замена операции «ИЛИ» простой арифметической операцией сложения с учетом знака, а затем по всем столбцам матрицы нормализация с учетом знака суммы. Операция «И» выполняется как обычная операция умножения.

В данной главе проанализированы нечеткие логики Заде, Лукасевича, вероятностей. Отмечены их недостатки при использовании в диагностических системах. Предложена новая логика, работающая в интервале [-1.+1], свободная от эффекта поглощения.

В третьей главе «Принципы построения алгоритма для выработки однозначного заключения» произведен анализ существующих методов выработки заключения, разработаны процедуры описания переменных в лингвистических значениях истинности и перевод их в числовые значения истинности, описан механизм применения а - сечения.

Подробно рассматривается вопрос построения диагностируемой модели по типу отношения «признак - состояние».

Для выработки заключения необходимо ЛЗИ преобразовать в ЧЗИ. Для этого введен коэффициент сечения кривых истинности и лжи а, который изменяется от 0 до 1.

При изложении этапов алгоритма выработки заключения считается, что сформирована логика, разработана база знаний, получены входной и выходной векторы. Последовательность этапов алгоритма следующая:

1. Производим первую попытку, сформировать входной вектор.

2. С помощью предложенного логико-арифметического подхода воздействуем в базе знаний на основную таблицу "признак-состояние" и получаем выходной вектор событий с его значениями истинности.

3. Если выделено одно событие, доминирующее над другими событиями, тогда это и есть решение, и работа алгоритма закончена.

4. Если появились несколько событий претендентов на решение, то необходима процедура устранения противоречия.

Итак, в качестве элементов, позволяющих приблизить однозначность заключения, используются: частично или вся таблица «признак-событие», уточнение во входном векторе числа признаков и их степень достоверности, изменение коэффициента а

В четвертой главе «Методики построения диагностической матрицы и выработки заключения» описываются разработанные методика формирования и проверки диагностической матрицы и методика выработки однозначного заключения.

Точные методы существуют, но они не могут быть применены на практике из-за отсутствия необходимого объема данных или невозможности их накопления по соображениям стоимости, времени и т.д. Поэтому эксперты все чаще используют неточные методы. Предложенная Заде теория нечетких множеств (fuzzy set theory) представляет собой формализм, предназначенный для формирования суждений о таких категориях и принадлежащих к ним объектах. Эта теория лежит в основе нечеткой логики.

Для оценки качества учебного процесса, в работе предложено отказаться от классической логики и применить математический аппарат, основанный на нечеткой логике.

Использование аппарата нечетких множеств и нечеткой логики кроме сильных сторон имеет и недостатки: исходный набор постулируемых нечетких правил формулируется экспертом человеком и может оказаться неполным или противоречивым. Поэтому особое внимание уделяется проверке корректности информации, сформулированной экспертом на этапе формирования взаимосвязи между множеством признаков, описывающих учебную программу, и множеством состояний оценки качества учебного процесса. Эта взаимосвязь оформляется в виде матрицы, которую предложено называть диагностической.

Предлагаемая методика составления диагностической матрицы, включает в себя следующие этапы:

1. Разработка множества признаков и состояний.

2. Определение максимумов влияния.

3. Заполнение диагностической матрицы.

4. Построение коррелирующих матриц.

5. Проверка на эталонных и пограничных состояниях.

Таким образом, в результате применения предложенной методики получается заполненная и проверенная диагностическая матрица.

Предлагаемая методика получения однозначного результата включает в себя следующие этапы:

1. Создание и анализ вектора оценки признаков.

2. Вычисление вектора оценки состояний.

3. Проверка определяющих признаков для доминирующих состояний.

4. Использование а-сечения.

Результатом применения предложенных методик являются составленная и проверенная диагностическая матрица и однозначное решение при оценке качества учебного процесса для каждого конкретного случая.

В пятой главе «Практическая реализация» дается описание разработанного программного комплекса, в котором нашли применение предлагаемые методики. На его основе проведена оценка качества оказания образовательных услуг по специальности 2204 «Программное обеспечение вычислительной техники и автоматизированных систем» на ФПС СПбГПУ. Разработан набор признаков, характеризующих учебный процесс. Составлена и откорректирована диагностическая матрица, описывающая нечеткие связи между признаками и состояниями оценки качества учебного процесса. Получен и проверен входной вектор признаков, описывающий состояние учебного процесса на ФПС СПбГПУ. Как конечный результат получено однозначное заключение о качестве учебного процесса, даны рекомендации по его повышению.

Достижение поставленной цели обеспечивается: за счет обобщения опыта в организации и оценке качества учебного процесса на ФПС СПбГПУ; увеличения точности оценки управления качеством учебного процесса благодаря использованию и доработке нечетких логик. Предложенные подход и методики служат основой для совершенствования учебного процесса.

Основные результаты работы заключаются в следующем:

1. Разработана методика составления диагностической матрицы, отражающей связи между множеством признаков, описывающих образовательную программу, и множеством состояний качества.

2. Разработана методика выработки однозначного заключения, которая при получении нескольких близких оценок качества образовательных программ позволяет выбрать одну из них.

3. Произведен анализ логик Заде, Лукасевича и вероятностей с целью применения их в данной работе. По результатам анализа показаны их недостатки и предложен логико-арифметический подход в обработке диагностической матрицы, который показал высокие распознающие качества.

4. Разработан программный комплекс, в котором реализованы предложенные методики. На его основе проведена оценка управления качеством учебного процесса на ФПС СПбГПУ по специальности 2204

Программное обеспечение вычислительной техники и автоматизированных систем».

заключения

4.1. Некоторые особенности нечетких логик

Использование аппарата нечетких множеств и нечеткой логики кроме сильных сторон имеет и недостатки: исходный набор постулируемых нечетких правил формулируется человеком-экспертом и может оказаться неполным или противоречивым. Поэтому особое внимание уделяется проверке корректности информации сформулированной экспертом.

Необходимо предусмотреть механизмы, которые помогут эксперту проверить достоверность вводимой им информации, как при разработке диагностической матрицы, так и при задании входного вектора, описывающего рассматриваемую учебную программу. Кроме этого необходима процедура, позволяющая принять однозначное решение при рассмотрении результирующего вектора состояний. Таким образом, есть задача проверки достоверности вводимой информации и задача выработки однозначного заключения. С этой целью в работе были разработаны две методики, описанные ниже.

Методика составления диагностической матрицы, включающая в себя следующие этапы:

1. Разработки множества признаков и состояний;

2. Определения максимумов влияния;

3. Заполнения диагностической матрицы;

4. Построения корреляционных матриц;

5. Проверки на эталонных и пограничных состояниях.

Методика выработки заключения для получения однозначного результата, включающая в себя следующие этапы:

1. Описание вектора оценки признаков;

2. Вычисление вектора оценки состояний;

3. Проверка определяющих признаков для состояний-претендентов;

4. Использование а-сечения.

Далее в работе подробно рассматриваются предлагаемые методики по этапам.

4.2. Методика составления диагностической матрицы

Методика составления диагностической матрицы включает в себя следующие этапы:

1. Разработка множества признаков и состояний. Экспертом составляется четкое множество признаков, характеризующих учебное заведение, подразделения учебного заведения и учебную программу. Затем составляется четкое множество состояний, показывающих уровень (баллы) качества учебного заведения. Количество признаков может быть очень велико и составлять от нескольких сотен до нескольких тысяч. Количество состояний значительно меньше. В работе предлагается использовать 20 состояний. Это объясняется тем, что малое количество состояний будет давать большую погрешность. Например, использование всего пяти состояний даст 20% погрешность. Большое количество состояний вызовет у эксперта затруднение при составлении диагностической матрицы, когда необходимо отметить влияние конкретного признака на различные состояния. Например, очень трудно отметить влияние низкой квалификации профессорско-преподавательского состава на 100 состояний. Поэтому, цифра 20 кажется оптимальной, т.к. обеспечивается приемлемая погрешность, и оценка взаимосвязи между признаком и состояниями будет соответствовать действительности. Множество состояний можно разбить на подмножества, объединяющие близкие состояния по смыслу. А именно, с 1 по 5 - «плохое качество учебного процесса», с 6 по 10 - «удовлетворительное», с 11 по 15 -«хорошее», с 16 по 20 - «отличное». Такой переход от цифровых к описательным обозначениям позволит эксперту более четко отвечать на вопрос о влиянии конкретного признака на соответствующее состояние. Если эксперт считает, что наличие этого признака оказывает отрицательное воздействие на качество процесса обучения, ему остается выбрать одно из пяти состояний с 1 по 5 включительно, в зависимости от степени воздействия этого признака. При оценке учебного заведения, проводящего обучение в области информационных технологий за основу можно брать разработанные в данной диссертации множества признаков и состояний.

2. Определение максимумов влияния. Из-за больших объемов данных и временного интервала при заполнении диагностической матрицы, попытка начать ее заполнение сразу после определения множества признаков и состояний может привести к некорректным результатам. Поэтому следующим шагом предлагаемой методики является составление промежуточной матрицы, отражающей наиболее сильные связи между признаками и состояниями. Для каждого признака определяется состояние, на которое он, по мнению эксперта, оказывает максимальное воздействие. Соответствующему элементу матрицы Ыу присваивается значение «1», а всем остальным элементам, показывающим влияние данного признака на другие состояния, присваивается значение «О». Таким образом, определяются наиболее сильные связи признаков с состояниями. Полученная матрица будет содержать только «О» и «1». Лучший вариант, когда связь между признаком и состояниями уникальна, т.е. в соответствующей строке матрицы присутствует только одна единица. На практике допускается ситуация, когда в строке присутствует несколько единиц, но тогда их не более двух или трех, они располагаются друг за другом, и это говорит о затруднениях эксперта в определении того, на какое из этих состояний оказывает максимальное воздействие рассматриваемый признак. Анализ полученной матрицы производится путем применения композиционного правила вывода, когда на вход подаются по порядку векторы, описывающие влияние разных признаков на конкретное состояние. В результате получаем набор векторов состояний. Для каждого такого вектора максимальное значение должно находиться в том элементе, номер которого совпадает с номером состояния, значение признаков которого подавалось на вход. Желательно, чтобы эти максимальные числа были бы близки для разных состояний, это позволит получить более равномерное распределение. Чем больше будет максимальное значение, тем большее количество признаков влияет на соответствующее состояние. Если это максимальное значение равно «О» или очень мало, это говорит о том, что на состояние с соответствующим номером признаки не оказывают совсем никакого воздействия, или это воздействие очень мало. Такое состояние является как бы независимым от признаков, выпавшим из поля зрения эксперта, чего естественно не может быть. Это будет говорить о неправильном определении максимумов влияния, или, скорее всего, о недостаточном количестве признаков. В этом случае эксперт должен или пересмотреть свое мнение о максимумах влияния, или увеличить множество признаков, чтобы новые из них оказывали влияние именно на такое состояние.

3. Заполнение диагностической матрицы. Далее эксперт должен составить саму диагностическую матрицу, отражающую нечеткую зависимость между четкими множествами признаков и состояний, отталкиваясь от полученных ранее максимумов влияния. Удобнее и правильнее проводить заполнение матрицы по строкам, отражая для выбранного признака степень его влияния на каждое из состояний. В первую очередь эксперт для выбранного признака определяет лингвистическое значение истинности максимума влияния рассматриваемого признака, определенного на предыдущем шаге. Это значение может быть УТ, ЯТ, РТ и отражает степень уверенности эксперта о значимости рассматриваемого признака. Значение УТ говорит о высокой уверенности, а РТ

- о низкой. Низкая уверенность эксперта о значимости признака говорит, скорее всего, о неполноте знаний эксперта о влиянии этого признака. Если максимум влияние оценивается экспертом как РБ, УР, это говорит о малом объеме информации о признаке у эксперта, и необходимости эксперту получить дополнительную информацию. Для каждого признака полезно построить график зависимости лингвистических значений истинности этого признака от состояний. Наглядность такого графика очень помогает для корректного заполнения диагностической матрицы. График зависимости ЛЗИ одного из признаков от состояний качества приведен на рисунке 8.

Рисунок 8

Естественно графики получаются довольно симметричными относительно максимума влияния, если это не так, то это говорит об ошибках эксперта при составлении диагностической матрицы. Т.к. если признак П) влияет на состояние Сь то на состояния См и См его воздействие уменьшается более менее равномерно. По пологости графика можно судить о размытости влияния рассматриваемого признака на состояния. Чем более четко на графике виден пик, тем более явиа связь рассматриваемого признака с конкретным состоянием, а не множеством состояний.

Наглядность графического представления зависимости лингвистических значений истинности от состояний позволяет эксперту избежать целого ряда ошибок. Для примера, рассмотрим два графика изображенных ниже:

Рисунок 9

Рисунок 10

График, изображенный на рисунке 9, показывает, что эксперт считает рассматриваемый признак как оказывающий определяющее влияние на одно состояние. Этот пример очень близок к четкой логике: если есть признак Ц, то наступит событие С;. Анализ графика показывает, что эксперт очень уверен в своих знаниях, и не использует механизм нечетких логик. В действительности такая уверенность вызывает большие сомнения. По графику, изображенному на рисунке 10, можно сказать, что эксперт очень не уверен в своих знаниях о влиянии рассматриваемого признака, и не может даже примерно определить состояние, на которое он влияет. Анализ графика показывает, что эксперт должен получить больше информации об этом признаке. К сожалению, полученную диагностическую матрицу нельзя сравнить с каким-либо эталоном, т.к. такового просто не существует. Поэтому, кроме построения графиков зависимости ЛЗИ каждого признака от состояний, эксперту должны быть предложены еще некоторые механизмы, позволяющие ему проверить правильность и связность своих рассуждений при составлении диагностической матрицы.

4. Построение корреляционных матриц. На этом этапе проверяется, насколько хорошо экспертом учтены связи между разделами признаков. Назовем этот этап проверкой с помощью построения корреляционных матриц. Размерность диагностической матрицы может быть очень большой. В рассматриваемом в работе примере используется более 200 признаков и 20 состояний, т.е. размерность диагностической матрицы в этом случае составит 200 на 20. Таким образом, эксперту необходимо 4000 раз ввести соответствующее лингвистическое значение истинности. На практике количество признаков может достигать нескольких тысяч, следовательно, эксперт должен заполнить десятки тысяч значений. Из-за большого объема данных заполнение диагностической матрицы может занять несколько дней, или даже недель. Поскольку этот процесс сильно растянут по времени, на мнение эксперта может оказывать его физическое, моральное и т.д. состояние. Поэтому, после полного составления диагностической матрицы эксперту предлагается проверить связность введенной им информации. Большинство разделов имеет корреляцию между собой, и эта зависимость была неявно учтена экспертом при составлении диагностической матрицы. Для проверки эксперту предлагается построить корреляционную матрицу зависимости между разделами признаков, естественно используя механизм нечеткой логики. После составления корреляционной матрицы, она перемножается на один из рассматриваемых разделов, после чего результат нормируется, а затем сравнивается отклонение полученной матрицы от соответствующего раздела диагностической матрицы, заданного экспертом ранее. После рассмотрения результата эксперт на основании отклонений элементов матрицы от «О» может принять решение о внесении изменений в диагностическую матрицу. В теории процесс построения корреляционных матриц продолжается до тех пор, пока не учтены все связи между различными разделами. На практике это может занять очень много времени, поэтому эксперт для оценки правильности заполнения им диагностической матрицы может использовать только наиболее явные связи между разделами.

5. Проверка на эталонных и пограничных состояниях. Еще одним способом проверки полученной диагностической матрицы является использование в качестве входных данных, описывающих конкретное учебное заведение, состояний самой матрицы. Как и в пункте 2 предлагаемой методики, на вход подаются по порядку вектора, описывающие конкретные состояния. В результате также получаем набор векторов. Для каждого полученного вектора максимальное значение должно находиться в том элементе, номер которого совпадает с номером состояния, значение признаков которого подавалось на вход. После проверки на эталонных состояниях, переходим к проверке на состояниях, описывающих ситуацию между эталонными, назовем их пограничными состояниями. На вход будем подавать вектор, описывающий состояние, находящееся между состояниями С( и С^+ь В результате должен получиться вектор с двумя максимумами, естественно расположенными в элементах с номерами I и 1+1. Проверку на пограничных состояниях рекомендуется проводить для каждой пары близлежащих эталонных состояний.

Таким образом, результатом предложенной методики является заполненная и проверенная диагностическая матрица.

Алгоритм методики составления диагностической матрицы приведен ниже:

Рисунок 11

4.3. Методика выработки однозначного заключения

Методика выработки заключения для получения однозначного результата включает в себя следующие этапы:

1. Описание вектора оценки признаков. Вначале экспертом составляется вектор, описывающий присутствие того или иного признака в рассматриваемом учебном заведении, его подразделениях и учебной программе. Вектор оценки признаков будет нечетким множеством, т.к. при рассмотрении наличия конкретного признака эксперт будет использовать лингвистические значения истинности. Например, при ответе на вопрос об уровне квалификации профессорско-преподавательского состава возможны следующие варианты утверждений:

• «профессиональная» - может быть правдивое;

• «высокая» - довольно правдивое;

• «очень хорошая» - правдивое;

• «хорошая» - довольно правдивое;

• и т.д.

Для проверки построенного вектора оценки признаков предлагается снова использовать графическую интерпретацию результатов. Для всех признаков, имеющих отношение к одному разделу, строим график зависимости признаков раздела от их лингвистических значений истинности. В результате одно или несколько близлежащих ЛЗИ будут максимальными, а слева и справа от максимума ЛЗИ будут довольно равномерно убывать. Как было отмечено при рассмотрении предыдущей методики, максимум может принимать ЛЗИ равные УТ, ЯТ, РТ, отражающие степень уверенности эксперта о присутствии рассматриваемого признака. Значение УТ говорит о высокой уверенности, а РТ - о низкой. Если максимум влияния оценивается экспертом как РБ, УБ, это говорит о малом объеме информации о разделе рассматриваемых признаков у эксперта. В этом случае эксперт должен повысить свою квалификацию, и пересмотреть ЛЗИ признаков из рассматриваемого раздела. По пологости графика можно судить о доминирующих признаках. Чем более четко на графике виден пик, тем более явно проявляется доминирующий признак. Если на графике как доминирующий проявляется только один признак, а остальные имеют ЛЗИ на уровне УБ, ИТ7, то это может говорить о том, что в своих рассуждениях эксперт использует четкую логику. Например, для эксперта утверждение, что квалификация профессорско-преподавательского состава «хорошая» является правдивым, а все другие утверждения являются ложными или довольно ложными. Такая «100% уверенность» эксперта вызывает сомнения, и может быть обоснована отсутствием информации обо всех признаках данного раздела. Построение графика зависимости признаков раздела от их лингвистических значений истинности позволяет эксперту наглядно увидеть эту зависимость и избежать, таким образом, целого ряда ошибок.

2. Вычисление вектора оценки состояний. Подаем вектор оценки признаков, полученный на предыдущем шаге, на разработанную по описанной ранее методике диагностическую матрицу. В результате применения логико-арифметического подхода получаем вектор оценки состояний. По его анализу делаем вывод, к какому состоянию качества наиболее близко рассматриваемое нами учебное заведение. Этому состоянию соответствует элемент вектора оценки состояний, имеющий наибольшее значение. Если такое состояние определяется однозначно, т.е. максимум один, и его значение значительно превосходит остальные значения вектора оценки состояний, то поставленная задача решена. На практике получить однозначный ответ затруднительно, и рассматривается несколько вариантов значений, из которых необходимо сделать выбор. Множественности решения можно избежать несколькими способами:

• Выявление ошибок и неточностей эксперта при составлении входного вектора признаков;

• Выбор состояния на основе анализа максимальной уверенности эксперта о влиянии присутствующих признаков. В этом случае, выбор между состояниями, где связь между присутствующими признаками и состоянием определена как УТ, и где связь определена как ЯТ, делается в пользу первого.

3. Проверка определяющих признаков для состояний-претендентов. Если на предыдущем этапе не удалось получить однозначное решение, тогда, анализируя вектор оценки состояний, выделяем состояния, которые являются претендентами на решение. После этого для каждого состояния-претендента задача решается в обратном направлении. На вход диагностической матрицы подается состояние-претендент, в результате чего получаем вектор оценки признаков, оказывающих определяющее влияние на данное состояние. Производим повторную проверку правильности формирования входного вектора признаков, обращая внимание особенно на те признаки, которые определяют рассматриваемое событие наиболее достоверно. Если после проверки формирования определяющих признаков для всех состояний-претендентов во входной вектор признаков были внесены изменения, переходим снова к этапу вычисления вектора оценки состояний. Если изменения во входной вектор признаков больше не вносятся, а доминирующее состояние так и не было определено, тогда переходим к следующему этапу.

5. Использование ос-сечения. Изменение а-сечения в диапазоне от 0 до 1, позволяет нам увеличивать или уменьшать количество событий-претендентов. При малых значениях а большое число событий в выходном векторе будут иметь почти одинаковую и низкую степень достоверности. Наоборот, чем выше а, тем меньше в выходном векторе событий, и тем выше их достоверность. Манипулирование значениями а в диапазоне от 0 до 1, позволяет находить однозначное решение.

Алгоритм методики выработки однозначного заключения приведен ниже:

1. Абрамов О.В., Бернацкий Ф.И., Здор В.В. Параметрическая коррекция систем управления. М., Энергоиздат, 1982.

2. Алексеев A.B. Проблемы разработки математического обеспечения выполнения нечетких алгоритмов. В сб.: Модели выбора альтернатив в нечеткой среде. - Рига, РПИ, 1984, с. 79-82.

3. Алексеев A.B. Применение нечеткой математики в задачах принятия решений. В сб.: Методы и системы принятия решений. - Рига, РПИ, 1983, с. 38-42.

4. Алиев P.A. и др. Производственные системы с искусственным интеллектом. М., Радио и связь, 1990.

5. Алтунин А.Е., Востров H.H. Методы определения функций принадлежности в теории размытых множеств. Труды ЗапсибНИГНИ, Тюмень, вып. 154, 1980, с.62-72.

6. Беллман Р., Заде JI. Принятие решений в расплывчатых условиях В сб.: Вопросы анализа и процедуры принятия решений. М., Мир, 1976, с.172-215.

7. Бокша В.В., Силов В.Б. Нечеткое целевое управление системами с заданным конечным состоянием. Автоматика, N 3, 1985, с.3-8.

8. Борисов А.Н. и др. Модели принятия решений на основе лингвистической переменной. Рига, Зинатне, 1982. - 256с.

9. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления М., Мир, 1972, 544с.

10. Бурков В.Н., Макаров И.М., Соколов В.Б. Модели и механизмы функционирования иерархических систем (обзор). Автоматика и телемеханика, 1977, N11, с. 106-131.

11. Гаврилова Т.А., Червинская К.Р. Извлечение и структурирование знаний для экспертных систем. М., Финансы и статистика, 1992.

12. Гаек П., Гавранек Т, Автоматическое образование гипотез: математические основы общей теории. М., Наука, 1983.

13. Гудмен И. Нечеткие множества как классы эквивалентности случайных множеств. В сб.: Нечеткие множества и теория возможностей. М., Радио и связь, 1986, с.241-264.

14. Гусев Л.А., Смирнова И.М. Размытые множества. Теория и приложения (обзор). Автоматика и телемеханика, N 5, 1973, с.66-85.

15. Джордж Ф. Основы кибернетики. М., Радио и связь, 1984.

16. Дюбуа Д., Прад А. К анализу и синтезу нечетких отображений. В сб.: Нечеткие множества и теория возможностей. М., Радио и связь, 1986, с.229-240.

17. Дюбуа Д., Прад А. Теория возможностей. Применение к представлению знаний в информатике. М., Радио и связь, 1990.

18. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М., Мир, 1976, 165с.

19. Заде JI.A. Размытые множества и их применение в распознавании образов и кластер анализе. В сб.: Классификация и кластер. М., Мир, 1980, с.208-247.

20. Кандель А., Байатт У.Дж. Нечеткие множества, нечеткая алгебра, нечеткая статистика. Труды американского общества инженеров радиоэлектронщиков, т. 66, 1978, N12, с.37-61.

21. Кини P.JL, Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М., Радио и связь, 1981, 560с.

22. Клейман О.И., Кудаков A.B., Речинский A.B., Яшин A.M. Интеллектуальный инструментарий для разработки экспертных систем.// Научно-методическая конференция. «Высокие интеллектуальные технологии образования и науки». Санкт-Петербург, 1994. С. 46.

23. Кофман А. Введение в теорию нечетких множеств. М., Радио и связь, 1982, 432с.

24. Кудаков A.B., Зудилова Е.В., Речинский A.B., Человеко-Центрический подход к проектированию экспертных систем.// IV Санкт-петербургская международная конференция «Региональная информатика». Санкт-Петербург, 1995. С. 135.

25. Кудаков A.B., Речинский A.B., Щукин A.B., Яшин A.M. Математические основы систем искусственного интеллекта. Санкт-Петербург, СПбГТУ, 1998. 145 е., ил.

26. Ли Р. Оптимальные оценки, определение характеристик и управление. М., Наука, 1966, 176с.

27. Малышев Н.Г., Берштейн Л.С., Боженюк A.B. Нечеткие модели для экспертных систем в САПР. М., Энергоатомиздат, 1991, 136с.

28. Мартин Дж. Вычислительные сети и распределенная обработка данных. Вып. 1. М., Финансы и статистика, 1985, 256с.

29. Нечеткие множества и теория возможностей. Последние достижения. М., Радио и связь, 1986, 408с.

30. Норвич A.M., Турксен И.Б. Построение функций принадлежности. В сб.: Нечеткие множества и теория возможностей. М., Радио и связь, 1986, с.64-71.

31. Норвич A.M., Турксен И.Б. Фундаментальное измерение нечеткости. В сб.: Нечеткие множества и теория возможностей. М., Радио и связь, 1986, с.54-64.

32. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М., Наука, 1981, 203с.

33. Осуга С. Обработка знаний. М., Мир, 1989.

34. Под ред. Поспелова Д.А. Нечеткие множества в моделях управления и искусственного интеллекта. М., Наука, 1986.

35. Поспелов Д.А. Ситуационное управление. М., Наука, 1986.

36. Представление и использование знаний. Под ред. Уэно X., Исидзука. М., Мир, 1989.

37. Пфанцагль И. Теория измерений. М., Мир, 1976, 166с.

38. Райе Дж. Матричные вычисления и математическое обеспечение. М., Мир, 1984, 264с.

39. Речинский A.B., Рыбкин К.Э. Интеллектуальный инструментарий для разработки экспертных систем.// Научно-техническая конференция

40. Фундаментальные исследования в технических университетах». Санкт-Петербург, 1997. С. 141.

41. Речинский A.B. Основы теории управления. Санкт-Петербург, СПбГТУ, 2001.-74 с. ил.

42. Речинский A.B. Оценка качества учебного процесса.// Международная научно-практическая конференция «Проблемы управления персоналом на современных предприятиях». Санкт-Петербург, 2002. С.

43. Речинский A.B. Профессиональная работа с Microsoft Project. Санкт-Петербург, СПбГТУ, 2000. 48 е., ил.

44. Семухин М.В. Теория нечетких множеств. Учебно-методическое пособие. Тюмень, ТюмГУ, 1999, 50 с.

45. Тихонов А.Н. и др. Регуляризующие алгоритмы и априорная информация. -М: Наука, 1983,200с.

46. Тэрано Т. Примеры применения нечеткой техники. Пер. ВЦП, N А-44061. 1976, с.1137-1144.

47. Уотермен Р. Руководство по экспертным системам. М., Мир, 1989.

48. Устойчивые статистические методы оценки данных. Сборник. М., Машиностроение, 1984, 232с.

49. Хейес-Рот Ф., Уотермен Д. и др. Построение экспертных систем. М., Мир, 1987.

50. Химмельблау Д. Прикладное нелинейное программирование. М., Мир, 1975.

51. Химмельблау Д. Анализ процессов статистическими методами. М., Мир, 1973,468с.

52. Цыпкин Я.З. Адаптивные методы выбора решений в условиях неопределенности. Автоматика и телемеханика, 1976, N 4, с.78-91.

53. Фишберн П. Теория полезности для принятия решений. М., Наука, 1978.

54. Чуклеев С.Н. К вопросу о разрешимости нечетких уравнений. В сб.: Модели выбора альтернатив в нечеткой среде. Рига, РПИ, 1984, с.95-96.

55. Шапиро Д.И. Принятие решений в системах организационного управления: использование расплывчатых категорий. М., Энергоатомиздат, 1983.

56. Шокин И.Ю. Интервальный анализ. Новосибирск, Наука, 1981, 112 с. 251.

57. Ягер P.P. Множества уровня для оценки принадлежности нечетких подмножеств. В сб.: Нечеткие множества и теория возможностей. М., Радио и связь, 1986, с.71-78.

58. H. Zudilova, A. Kudakov, A. Rechinsky, Interface problems during expert systems designing.// East-West International Conference on Human-Computer Interaction EWHCI'94. Санкт-Петербург, 1994. 1 том, С. 280-289.

59. Bellman R., Kalaba K., Zadeh L.A. Abstraction and pattern classification. J.Math. Anal, and Appl., v. 13, Nol, Jan, 1966.

60. Bellman R.E., Gierts M. On the analitical formalism of theory of fuzzy sets. "Inform. Sci.", 1973, v.5, N2, p.149-156.

61. Yager R.R. Fuzzy sets, probilities and decision. "J. of Cybern.", N10, 1980, p.l-18.

62. Состояния качества образовательно процесса (худшее С1, лучшее С20) С1 С2 СЗ С4 С5 С6 С7 С8 С9 С10С11С12С13С14С15С16С17С18С19С20 1. Профессорско-преподавательский состав

63. VF VF VF VF VF VF VF RF RF RF RF PF PF PF РТ РТ РТ RT RT VT

64. VF VF VF VF VF RF RF RF RF PF PF PF PF РТ РТ РТ RT RT VT RT

65. VF RF RF RF RF PF PF PF PF РТ РТ РТ РТ RT RT VT RT RT РТ РТ

66. РТ RT RT VT RT RT РТ РТ РТ PF PF PF PF RF RF RF RF VF VF VF

67. PF РТ РТ РТ RT RT VT RT RT РТ РТ РТ PF PF PF PF RF RF RF RF

68. RF PF PF PF PF РТ РТ РТ RT RT VT RT RT РТ РТ РТ PF PF PF PF

69. VF RF RF RF RF PF PF PF РТ РТ РТ RT RT VT RT RT РТ РТ РТ PF

70. Частота изменения учебных курсов.24.1 Не реже 1 раза в год УР УР УР УР РР РР РР РР РР РР РР РР РТ РТ РТ РТ РТ РТ УТ РТ24.2 Один раз в 2 года РР РР РР РР РР РР РР РТ РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ РТ24.3 Один раз в 3 года

71. Технологии, применяемые при обучении.

72. Используемое программное обеспечение (актуальность версий).36.1 Более 5 лет РТ36.2 Более 3 лет УР36.3 Более 1 года УРрт т- т" \/т т" т- рт рт рр рр рр РР РР РР РР РР РР РР РТ ртур ур ур ур рр рр рр рр рр рр

73. РР РР РР РР РР УР УР УР УР РТ РТ РТ УТ РТ РТ РТ РТ РТ РР РР РТ РТ РТ РТ РТ УТ РТ36.4 Самое новое УР РР РР РР РР РР РР РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ РР РР4. Аудиторный фонд.

74. ЧР УР РР РР РР РР РР РР РР РР УР УР УР УР РР РР РР РР РР РР

75. РР РР РР РР РР РР РР РР РТ РТ РР РР РР РР РТ РТ РТ РТ РТ РТ

76. РТ РТ РТ УТ РТ РТ РТ РТ РР РР

77. УР УР РР РР РР РР РР РР РР РР РР РР РР РР РТ РТ РТ РТ РТ РТ

78. РР РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РР РР

79. РР РР РР РР РР РР РР УР УР РТ РТ УТ РТ РТ РТ РТ РТ РР

80. РТ РТ РТ РТ РТ УТ РТ РТ РТ РР РТ РТ РТ РТ РТ УТ РТ РТ

81. РТ РТ РТ РТ УТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ РТ РР РР

82. РР РР РР РР РР УР УР УР УР

83. РТ РТ РТ РТ РТ УТ РТ РТ РТ УТ РТ РТ РТ РТ РТ РТ РР РР

84. РТ РТ РР РР РР РР РР РР УР РР РР РР РР РР УР УР УР УР46.1 Великолепная.

85. УР УР УР УР УР РР РР РР РР РР РР РР РР РТ РТ РТ РТ УТ РТ РТ46.2 Хорошая46.3 Меняется в зависимости от положения слушателя46.4 Плохая.

86. Обзор со стороны слушателя.47.1 Отличный.47.2 Хороший.47.3 Удовлетворительный.47.4 Неудовлетворительный.48 Освещенность помещений.рр рр рр рр рр рр рр рр РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ рррр РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ рр рр рр рр рр рр рр рр

87. РТ УТ РТ РТ РТ РТ рр рр рр РР рр рр рр рр УР УР УР УР УР УР

88. УР УР УР рр рр рр рр рр рр рр рр РТ РТ РТ РТ РТ УТ РТ РТ РТрр рр рр рр рр РТ РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ рр РР рр рр

89. РТ РТ РТ РТ УТ РТ РТ РТ РТ РТ РТ рр рр рр рр рр рр рр рр УР

90. Шесть метров и более УР V? УР № РР РР РР РР РР РР РР РР РТ РТ РТ РТ РТ РТ РТ УТ

91. Материально-техническая база.

92. Профессорско-преподавательский состав

93. Опыт преподавательской деятельности.14.1 менее 1 года ут14.2 от 1 до 2 лет РР14.3 от 2 до 4 лет РТ14.4 от 4 до 7 лет ут14.5 от 7 до 10 лет РТ14.6 от 10 до 15 лет РР14.7 от 15 до 20 лет РР14.8 более 20 лет УР

94. Опыт практической деятельности в области преподаваемых курсов.15.1 Отсутствует РР15.2 Небольшой РР15.3 Присутствует RT15.4 Большой VT15.5 Очень большой RT15.6 Определяющий Р F

95. Международная сертификация преподавателей.16.1 Отсутствует RF16.2 Единичная РТ16.3 до 30% VT16.4 До 50% RT16.5 до 70% РТ16.4 До 90% PF16.5 Полная сертификация RF

96. Наличие у преподавателей познаний в смежных областях знаний.17.1 Отсутствует РТ17.2 Небольшое RT17.3 Присутствует VT17.4 Широко представлены RT17.5 Обширные РТ

97. Внешний вид преподавателя.110.1 Не опрятны RF110.2 Не обращают внимания РТ110.3 Опрятны VT110.1 Модно одеваются 1ЧТ110.2 Единый модный стиль РР2. Программа обучения

98. Соответствие программы обучения государственному стандарту21.1 Соответствует полностью РТ21.2 Практически соотв-т ут21.3 Частично соответствует РТ21.4 Не соответствует РТ

99. Логическая связь между дисциплинами.23.1 Курсы независимы РТ23.2 Есть небольшая связь РТ23.3 Курсы связаны РТ23.4 Единая концепция РР

100. Частота изменения учебных курсов.24.1 Не реже 1 раза в год РТ24.2 Один раз в 2 года ут24.3 Один раз в 3 года РТ24.4 Один раз в пять лет РР

101. Востребованность выпускников по данной специальности.25.1 Нет данных Р Р25.2 Востребованы в городе ут25.3 Востребованы в городе, стране, за границей РТ

102. Технологии, применяемые при обучении.

103. Методика проведения лекционных занятий.31.1 Стандартная РР31.2 Раздаточный материал РТ31.3 Краткий конспект курса УТ31.4 Полный конспект лекций РТ

104. Методика проведения практических занятий.32.1 Единые задания РТ32.2 Различные задания по сложности VT32.3 Задания различаются по уровню и объему RT

105. Использование технических средств в учебном процессе.33.1 Отсутствуют PF33.2 Overhead проекторы VT33.3 Multimedia проекторы РТ

106. Используемое программное обеспечение (актуальность версий).36.1 Более 5 лет RF36.2 Более 3 лет РТ36.3 Более 1 года VT36.4 Самое новое РТ 4. Аудиторный фонд.

107. Объем помещения, приходящийся на каждого слушателя.41.1 3 кубических метра RT41.2 6 кубических метров РТ41.3 9 кубических метров PF41.4 12 кубических метров РР

108. Вентиляция и кондиционирование помещений.42.1 Отсутствует РР42.2 Принудительная вент-ция РТ42.3 Принудительная вент-ция и кондиционеры РТ42.4 Поддерживается заданный режим РР

109. Обзор со стороны слушателя.47.1 Отличный. РТ47.2 Хороший. УТ47.3 Удовлетворительный. РТ47.4 Неудовлетворительный. УР48 Освещенность помещений.48.1 Стандартная УТ48.2 Отдельное освещение помещения и учебной доски РТ48.3 Освещенность регулируется РР

110. Технический уровень используемых персональных компьютеров.51.1 Устаревший VF51.2 Ниже среднего Р F51.3 Соответствует задачам RT51.4 Выше среднего VT51.5 Превышает потребности RT

111. Используемое программное обеспечение.52.1 Не лицензионное RF52.2 Часитично лицензионное RT52.3 Почти полностью лицензионное VT52.4 Только лицензионное РТ