автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Информационная поддержка принятия решений при анализе университетских образовательных программ

Введение.

Глава 1. Анализ особенностей процесса принятия решений при сопоставлении университетских образовательных программ разных стран.

1.1. Анализ образовательных программ зарубежных университетов в области информатики.

1.2. Анализ существующих подходов к сравнению университетских образовательных программ.

1.3. Анализ особенностей учебных планов различных стран.

1.4. Цели и задачи диссертационного исследования.

Выводы по главе 1:.

Глава 2. Разработка подхода к поддержке принятия решений при сравнении образовательных программ с использованием информационной системы.

2.1.Определение требований информационной системы при поддержке принятия решений при сопоставлении университетских образовательных программ.

2.2. Анализ возможностей технологии экспертных систем для поддержки принятия решений при сопоставительном анализе образовательных программ.

2.3. Разработка системных моделей для информационной системы.

2.4. Разработка алгоритмического обеспечения для информационной системы.

Выводы по главе 2:.

Глава 3. Разработка моделей для построения базы знаний для информационной системы.

3.1. Анализ известных моделей представления знаний.

3.2. Разработка семантической сети для представления знаний о предметной области.

3.3. Разработка продукционных моделей для представления знаний о предметной области.

Выводы по главе 3:.

Глава 4. Разработка программного обеспечения для информационной системы и анализ результатов экспериментального исследования подхода на реальных примерах.

4.1. Анализ результатов экспериментальных исследований по сравнению университетских образовательных программ по информатике экспертами.

4.2. Разработка программного обеспечения для информационной поддержки принятия решений по сопоставлению учебных планов.

Направление дальнейших исследований.

Выводы по главе 4:.

В течение длительного времени высшие школы в различных странах развивались независимо друг от друга в соответствии с принятыми традициями. В настоящее время только в европейских университетах существует 10 различных моделей высшего образования.

Июнь 1999 г. был ознаменован подписанием в Болонье министрами образования 29 Европейских стран «Декларации о Европейском пространстве для высшего образования». Конференция и Декларация явились ключевым документом нового этапа процесса гармонизации национальных систем с целью создания общеевропейского пространства высшего образования. Декларация отражает усилия правительств и европейских институтов найти общеевропейский ответ на общеевропейские проблемы. Долгосрочная цель программы действий, начало которой положила Болонская декларация, «создание общеевропейского пространства высшего образования с целью повышения мобильности граждан на рынке труда и усиления конкурентоспособности европейского высшего образования» [1].

Кратко предысторию и историю Болонского процесса можно проследить по следующим ключевым датам:

• 1088 г. - Болонский (Европейский) университет;

• 1953 г. - Конвенция об эквивалентности документов об образовании, открывающих доступ в вуз, в 1999 г. - ратификация Россией;

• 1954 г. - Европейская культурная конвенция;

• 1957 г. - Римский договор (об Европейском экономическом сообществе);

• 1983 г. - Программы мобильности ЕС;

• 1988 г. - Великая хартия университетов;

• 1992 г. - Маастрихский договор (о Европейском Союзе);

• 1997 г. - Лиссабонская конвенция, в 2000 г.- Ратификация Россией;

• 1998 г. - Сорбонская декларация. История Болонского процесса:

• 1999 г.-Болонья;

• 2001 г. - Саламанка (создание EUA);

• 2001 г.-Прага;

• 2003 г. - Гратц;

• 2003 г. - Берлин;

• 2005 г. - Глазго;

• 2005 г. - Берген /промежуточная инвентаризация/.

Главной целью Болонского процесса в образовании является: «Обеспечение прозрачности каждой из европейских систем образования на основе принимаемых всеми рекомендаций и процедур путем максимального предоставления согласованной информации при сохранении особенностей каждой из систем образования стран-участниц» [2].

Для России необходимость участия в Болонском процессе обоснована такими факторами как:

• Интеграционные процессы в экономике;

• Новый взгляд на собственную систему образования.

Основную цель Болонского соглашения выразил В. В. Путин в журнале «Экономика и образование сегодня», №8, 2004 г.: «Мы должны состыковать нашу систему образования с западно-европейской системой образования, при этом не утратив высокий уровень, который имелся в Советском Союзе и сейчас еще сохранен в России в ведущих вузах страны».

Определенные декларацией подцели Болонского процесса являются значимыми и для российского высшего образования:

• Введение системы, обеспечивающей сопоставимость дипломов, в том числе и при помощи внедрения общеевропейского приложения к диплому.

• Введение двухуровневой системы подготовки во всех странах: первая ступень бакалавра не менее трех лет, и вторая ступень магистра и/или докторской степени.

• Создание системы кредитов аналогичной Европейской системе перезачета кредитов как средства повышения мобильности студентов, преподавателей, исследователей и административного персонала университетов.

• Принятие общего рамочного подхода к квалификациям уровня бакалавров и магистров, обеспечение «сопоставимости» дипломов, отдельных курсов, кредитов.

• Создание целостной системы обеспечения качества образования (на базе European Network of Quality Assurance in Higher Education) и организация информационного обеспечения и обмена.

• Повышение мобильности студентов, преподавателей и исследователей.

• Развитие сотрудничества в сфере обеспечения качества образования с целью создания сопоставимых критериев и методологий.

• Усиление «европейского измерения» в высшем образовании.

Необходимость подключения России к процессам, которые идут в Европейский союз с 1984 г., связана не только и не столько с динамикой сотрудничества РФ и ЕС, но с более глубокими и сложными явлениями глобализации и формированием глобального рынка труда. Болонский процесс формирует среду и определяет правила взаимодействия ее субъектов на региональном уровне. По сравнению с ВТО для него характерны более глубокая степень интеграции и более специфическая сфера применения - образование и человеческий капитал.

Участие России в процессе создания общего европейского образовательного пространства позволит присоединиться к ходу определения задач, методов и скорости их достижения, правил и рамок взаимодействия и, таким образом, поможет обеспечить учет интересов российских вузов и граждан, конкурентоспособность российских вузов и выпускников на этом рынке. Вполне возможен мягкий подход, при котором за основу будет принят принцип разноскоростного движения - присоединение к различным компонентам системы по мере готовности.

Европейский Союз и государства-члены заявили о своем намерении тесно сотрудничать с Россией с целью содействия её интеграции в общеевропейское экономическое и социальное пространство.

На конференции министров высшего образования европейских стран, проходившей в Берлине 7-19 сентября 2002 г. в рамках Болонского процесса, в которой участвовала и делегация Российской Федерации, принято решение о присоединении России к Болонской декларации, и в 2003 г. Россия официально присоединилась к процессу.

Основная цель Болонского процесса - создать единую общеевропейскую сильную, конкурентоспособную систему образования, позволяющую обеспечить экономическую мощь объединенной Европы.

Для полноценного участия в этом процессе нашей стране предстоит до 2010 г. принять ряд мер по модернизации образования. Подписав Болонскую декларацию, Россия приняла на себя вполне определенные обязательства по реформированию своей высшей школы [30].

Два пункта Болонской декларации являются принципиально важными

3,4]:

• Введение единой кредитной системы зачетного перевода типа ECTS;

• Единая форма приложений к дипломам.

Для обоснованного решения этого вопроса, в том числе и в российских вузах, необходим глубокий анализ структуры и содержания образовательных программ. Одной из проблем, которую призвана решить ECTS в высшем образовании, является структуризация учебных планов вузов различных государств с целью обеспечения их совместимости.

Сопоставительный анализ образовательных программ является трудоемкой процедурой, поэтому возникает необходимость ее автоматизации, например, с использованием технологий экспертных систем.

В данной работе рассматриваются модели представления знаний, алгоритмическое и информационное обеспечение экспертной системы для анализа структуры образовательных программ подготовки информатиков.

Особое внимание уделялось вопросам определения критериев сравнения двух образовательных программ, выделения общей структуры образовательных программ университетов различных стран, построению функциональной модели предметной области, моделям представления знаний, апробации работы информационной системы (ИС) на реальных учебных планах.

Авторами разработана научно обоснованная методика сопоставительного анализа университетских образовательных программ по информатике.

Первая глава посвящена анализу предметной области, существующих подходов к сравнению образовательных программ, описанию кредитных систем, используемых в странах Европы и США, рассмотрены учебные планы университетов России, Германии и США.

Вторая глава посвящена разработке системных моделей для предметной области. В результате анализа процесса принятия решений сформулированы требования к ИС для поддержки принятия решений при сопоставлении учебных планов, определено ее место в общем контуре управления. Разработана функциональная модель для ИС поддержки принятия решений, которая является основой для построения других системных моделей и разработки программного обеспечения. Разработано алгоритмическое обеспечение, которое является основой для разработки основных программных модулей.

В третьей главе проводится детальный анализ предметной области, выявляются основные понятия и отношения между ними, рассматривается метамо-дель семантической сети учебного плана университета России, и описываются правила-продукции для работы над семантической сетью.

Четвертая глава посвящена программной реализации информационной системы с использованием элементов объектно-ориентированного программирования (ООП) в среде разработки Delphi 7.0. Здесь представлены результаты работы информационной системы, результаты сравнения образовательных программ человеком-экспертом, а также проведен анализ качества полученных информационной системой результатов по сравнению с результатами экспертов.

Целью диссертационной работы является разработка подхода к поддержке принятия решений при сопоставительном анализе образовательных программ с использованием информационной системы для повышения качества университетского образования за счет учета зарубежного опыта.

Для достижения цели в работе необходимо решить следующие задачи:

1. Провести анализ одноименных образовательных программ университетов разных стран на примере направления подготовки «Информатика», установить общие свойства и особенности документов об этих программах, выбрать показатели сопоставительного анализа, важные для принятия решений в сфере образования;

2. Разработать подход к поддержке принятия решений при сопоставительном анализе учебных планов разных стран на основе информационной системы с учетом выбранных показателей сравнения и с использованием методов искусственного интеллекта. Разработать модели и алгоритмы для реализации обработки документальной информации об образовательных программах в информационной системе;

3. Разработать модели и методы представления информации об учебных планах в базе знаний информационной системы на основе методов инженерии знаний для поддержки процесса сопоставительного анализа университетских образовательных программ;

4. Разработать программное обеспечение для реализации предложенного подхода к поддержке процедуры сопоставительного анализа в виде прототипа информационной системы. Провести анализ работоспособности предложенного подхода на реальных примерах с использованием прототипа информационной системы.

Объектами исследования в данной работе являются документы об университетских образовательных программах разных стран. Предмет исследования - процесс принятия решения при сопоставительном анализе. При проведении диссертационного исследования были использованы методы системного анализа, теории принятия решений, статистического анализа, системного моделирования, искусственного интеллекта, инженерии знаний.

На защиту выносятся следующие результаты исследований:

1. Подход к поддержке принятия решений при сопоставительном анализе учебных планов с использованием выбранных показателей;

2. Функциональная модель сопоставительного анализа образовательных программ университетов разных стран и алгоритмическое обеспечение информационной системы для поддержки сопоставительного анализа образовательных программ университетов разных стран;

3. Модели представления информации об университетских учебных планах на основе семантической сети и продукционных моделей; набор правил для наполнения базы знаний для принятия решений при сопоставительном анализе образовательных программ;

4. Программное обеспечение для системы поддержки принятия решений при сравнении образовательных программ университетов разных стран;

5. Результаты экспериментальных исследований сравнения образовательных программ с использованием экспертов и компьютерного моделирования на реальных примерах.

Новизна полученных результатов обусловлена следующим:

• В результате анализа одноименных образовательных программ университетов разных стран на примере направления подготовки «Информатика» установлены общие свойства документов (учебных планов), выраженных в основных характеристиках образовательных программ (длительность обучения, количество и наименование дисциплин в программе, последовательность изучения дисциплин и их место в графике обучения, трудоемкость и требования к отчетности студента), а также их различия, связанные с разнородностью представления документальной информации и свойств образовательных программ (например, трудоемкости изучения дисциплин). Это позволило выбрать показатели сопоставительного анализа, важные для принятия решений в образовательной сфере и необходимые для реализации процесса сопоставительного анализа в информационной системе.

• Предложенный подход к поддержке принятия решений при сопоставительном анализе учебных планов с использованием выбранных показателей, в отличие от известных, основан на методах инженерии знаний, и позволяет выявить общие и частные закономерности учебных планов университетов разных стран, представленных в разных формах.

• Функциональная модель, в отличие от известных, содержит комплекс элементов, позволяющих провести сопоставительный анализ образовательных программ университетов разных стран на примере направления подготовки «Информатика»;

• Разработанное алгоритмическое обеспечение информационной системы, в отличие от известных, позволяет сравнивать учебные планы университетов разных стран; несмотря на разнородность документальной информации;

• В предложенных моделях представления знаний новизна состоит в том, что используется гибридный подход на основе семантической сети и продукционных моделей для сравнения образовательных программ университетов разных стран; набор правил для наполнения базы знаний для принятия решений сформулирован для данной предметной области.

Практическую ценность имеют: • Методика получения и представления правил для базы знаний информационной системы сравнения образовательных программ по информатике университетов разных стран;

• Информационное и программное обеспечение информационной системы поддержки принятия решений при сравнении образовательных программ университетов разных стран;

• Результаты экспериментальных исследований сравнения образовательных программ с использованием экспертов и компьютерного моделирования на реальных учебных планах.

Внедрение результатов работы осуществлено на факультете информатики и робототехники, на кафедре вычислительной математики и кибернетики и в деканате факультета информатики и робототехники при разработке национально-региональной компоненты, курсов магистерской подготовки, рабочих программ дисциплин, а также в Башкирском строительном колледже для составления индивидуальных планов обучения студентов специальности 230105 «Программное обеспечение вычислительной техники и автоматизированных систем» и для перезачета дисциплин студентам, переведенным из другого учебного заведения со смежных специальностей.

Исследования проводились в рамках грантов РФФИ 03-07-90242 «Интернет-комплекс поддержки выполнения проектов фундаментальных исследований сложных систем с применением интеллектуальных технологий на базе экспертных систем» (2003 - 2005 гг.) и 06-07-89228-а «Система поддержки коммуникативных процессов при выполнении проектов фундаментальных исследований сложных систем на основе интеллектуальных мультиагентов» (2006 - 2008 гг.), а также научно-исследовательской работы по теме ИФ-ВК-01-06-03 «Исследования и разработка интеллектуальных технологий поддержки принятия решений и управления на основе инженерии знаний».

Основные материалы диссертационной работы докладывались и обсуждались на:

• На XIII, XIV, XV, XVI Всероссийских научно-методических конференциях «Проблемы качества образования» (Уфа-2003, 2004, 2005, 2006);

• Международной конференции «Технические университеты: Интеграция с европейскими и мировыми системами образования» (Ижевск, 2004 г.);

• 6-м, 7-м, 8-м Международных научных семинарах «Компьютерные науки и информационные технологии» (Венгрия, Будапешт, 2004; Россия, Уфа-Ассы - 2005; Германия, Карлсруэ, 2006);

• Российской научно-технической конференции: «Мавлютовские чтения», посвященной 80-летию со дня рождения чл.-кор. РАН, проф. P.P. Мавлютова, (Уфа, 2006);

• Зимней школе-семинаре аспирантов и молодых ученых: Интеллектуальные системы обработки информации и управления (Уфа - 2006).

Выводы по главе 4:

1. В результате исследований по сравнению учебных планов по информатике экспертами установлено, что одной дисциплине российского университета соответствует несколько дисциплин американского университета и наоборот, вследствие чего нагрузка дисциплины делилась пропорционально количеству связей. Поэтому было принято решение сравнивать учебные планы еще и по областям знаний, так как такой подход позволяет достаточно четко разделить те области знаний, которые даются по направлению 230100 «Информатика и вычислительная техника», а с другой, - максимально облегчить сопоставление дисциплин по смыслу и содержанию, с минимальной потерей определенности.

Продолжительность процесса сопоставления 2-х планов занимает примерно несколько дней.

2. Разработанное программное обеспечение позволяет реализовать предложенный в работе подход к сопоставлению учебных планов. Анализ работоспособности программного обеспечения подтвердил работоспособность предлагаемого подхода на примере сравнения двух учебных планов.

3. В результате проведенных исследований по сравнению учебных планов по информатике с использованием ИС установлено, что:

Продолжительность процесса сопоставления 2-х учебных планов составляет несколько секунд. При сравнении 3-4 учебных планов время существенно не меняется. Графическое представление результатов сопоставления позволяют лицам, принимающим решение обоснованно определить:

• Существенные различия между учебными планами;

• Возможность корректировать учебные планы и рабочие программы дисциплин для повышения качества за счет использования зарубежного опыта;

• Негативный опыт зарубежных партнеров может быть использован для избегания аналогичных ошибок.

Согласно анализу результатов, полученных с помощью автоматизированной информационной системы сравнения учебных планов, авторы продолжают накапливать статистику сравнения зарубежных образовательных программ с образовательными программами российских университетов.

Автоматизированную информационную систему сравнения учебных планов предполагается дополнить функцией оценки качества освоения перезачитываемых дисциплин, изученных в другом университете.

Заключение

В Берлине во время саммита европейских министров, отвечающих за высшее образование, который прошел 18-19 сентября 2003 г. Россия стала полноправным участником всеевропейского движения, названного Болонским процессом. Пожалуй, впервые в истории отечественного образования Россия будет действовать в одном ключе с европейскими странами. Перед российской образовательной и научной общественностью встала реальная и ответственная задача, не отказываясь от собственных достижений, согласовать свою систему образования и ее отдельных составляющих с общеевропейскими тенденциями

I/ Ш

Анализ одноименных образовательных программ университетов разных стран на примере направления «Информатика» позволил установить, что в них содержится информация о качественных (блоки дисциплин, области знаний, наименования дисциплин, ключевые слов) и количественных (количество дисциплин, количество семестров, объем учебной нагрузки) характеристиках образовательных программ. Документы различны по форме и структуре, информация частично не структурированная; процедуры частично не формализованы; информация представлена в различных форматах. Это позволяет сделать вывод о том, что процедура сопоставительного анализа является трудоемкой и для поддержки принятия решений целесообразно разработать информационную систему с использованием методов инженерии знаний.

Предложенный подход к поддержке принятия решений при сопостави

I; тельном анализе образовательных программ с использованием информационной системы, в отличие от известных, позволяет автоматизировать предварительную обработку информации о содержании и количественных характеристиках учебных планов разных стран с использованием методов инженерии знаний. Построенная функциональная модель процесса сопоставительного анализа образовательных программ является необходимой при разработке программного обеспечения ИС. Разработанное алгоритмическое обеспечение для процесса сопоставления учебных планов: алгоритм выявления дисциплин, близких по смыслу, алгоритм сопоставления дисциплин, для которых не было найдено соответствия в автоматическом режиме (интерактивное сопоставление), алгоритм сравнения нагрузки схожих дисциплин составляет основу для создания программного обеспечения.

Разработанные гибридные модели представления информации о содержании учебных планов (семантические сети и продукционные модели), в отличие от известных, позволяют реализовать в системе процедуру сопоставительного анализа для дисциплин учебных планов университетов разных стран. Они составляют основу для построения базы знаний информационной системы.

I'' Разработанное программное обеспечение обеспечивают поддержку принятия решений при сопоставительном анализе образовательных программ университетов разных стран. Результаты экспериментальных исследований по сравнению образовательных программ подтверждают работоспособность предлагаемого подхода. В рассмотренных примерах продолжительность процесса сопоставления двух планов экспертами занимает несколько дней, что обусловлено разнородностью документов об образовательных программах. Продолжительность процесса сопоставления двух учебных планов при использовании информационной системы составляет несколько секунд не только за счет сокращения времени вычислительных процедур, но и за счет использования разработанных моделей представления информации.

1. Болонский процесс: середина пути /под ред. В. И. Байденко. М.: Исследовательский центр проблем качества подготовки специалистов; Российский Новый Университет, 2005. - 379с.

2. Болонский процесс, или дорога с односторонним движением: беседа с деканом философского факультета НГУ В. Диевым // Университетский проспект. 2004. -№ 15 (58). - 15 декабря.

3. Будущее европейского образования: Болонский процесс (Сорбонна-Болонья-Саламанка-Прага) /сост. и перев. Е.В. Шевченко. СПб: СПбГТУ, 2002. - 76с.

4. Болонский процесс, или дорога с односторонним движением: беседа с деканом философского факультета НГУ В. Диевым // Университетский проспект. 2004. - № 15 (58). - 15 декабря.

5. О перечне направлений высшего профессионального образования Российской Федерации для ГОС третьего поколения. /Белоцерковский А. В., Быстров И. Е., Дудырев Ф. Ф. и др. СПб: Политехнический университет, 2006. - 58с.

6. Андреева, В. С., Шевченко, Е. В. Индексация дисциплин и программ подготовки //Международное сотрудничество в образовании: материалы II междунар. конф., 26-27 апреля 2001 г. Ч. 1. - СПб.: СПбГТУ, 2001. - С. 66-71.

7. Качество образования: Библиограф, указатель. Болонский процесс в до-f' кументах /сост. и пер. Е.В. Шевченко. М.: Логос, 2003. - 200с.

8. Шкала ранжирования ECTS /перев. Е.В. Шевченко // European Credit Transfer System: Users' Guide. Draft. - Brussels: European Commission EC, 1995.-Annex 1.

9. Государственный образовательный стандарт высшего профессионального образования// www.edu.ru

10. Гузаиров, М. Б., Юсупова, Н. И., Гончар, JI. Е. Вопросы управления образовательным процессом в зарубежных технических университетах /Исследовательский центр проблем качества подготовки специалистов. -М., 1998.- 107с.

11. Учебный план университета Калифорнии, http://www.eecs.berkeley.edu/

12. Информатика: Энциклопедический словарь для начинающих / сост. Д. А. Поспелов. -М.: Педагогика-Пресс, 1994.

13. Частиков, А. П., Гаврилова, Т. А., Белов, Д. Л. Разработка экспертных систем. Среда CLIPS. СПб.: БХВ-Петербург, 2003.

14. Informational systems for estimation of educational programs on computer science in Russian and foreign universities. Guzairov M. В., Yussupova N. I., Smetanina O. N., Gayanova M. M. Proceedings of the Workshop Computer

15. Science and Information Technologies (CSIT'2005) //Ufa: USATU, 2005. Vol. 1, pp. 141-148.

16. Башмаков, А. И., Башмаков, И. А. Интеллектуальные информационные технологии. -М.: МГТУ, 2005. 302с.

17. Системы искусственного интеллекта / Ж.-Л. Лорьер // М. : Мир, 1991. -568 с.

18. Введение в экспертные системы / Пире Джексон // Уч. пос. М. : Издательский дом «Вильяме», 2001. - 624 с.

19. Экспертные системы: концепции и примеры / Элти Дж., Кумбс М. // пер. с англ. и предисл. Б.И. Шиткова. -М. : Финансы и статистика, 1987. 191 с.

20. Экспертные системы 90-х гг. Классификация, состояние, проблемы, тен-I денции // Новости искусственного интеллекта, 1991, №2. С. 84-101.

21. Методология IDEF1X/ Информационное моделирование. М.: Метатех-нология, 1993.- 120 с.

22. Методология IDEF0. Функциональное моделирование. М.: Метатехно-логия, 1993.- 120 с.

23. Марко Д., МакГоуэн К. Методология структурного анализа и проектирования. М.: Метатехнология, 1992. - 239 с.

24. Основы системного анализа / Хомяков Д.М., Хомяков П.М. // М. : Изд-во МГУ, 1996. 108 с.

25. Автоматизированное проектирование информационно-управляющих систем. Проектирование экспертных систем на основе системного моделирования / Куликов Г.Г., Набатов А.Н., Речкалов А.В., Черняховская Л.Р.,

26. Никулина Н.О., Старцева Е.Б. Уфа, УГАТУ, 1990. - 223 с.

27. Маклаков С.В. BPWin и ERWin. CASE-средства разработки информационных систем. М. : Диалог-МИФИ, 1999. - 256 с.

28. Исследование систем управления / Н.И. Архипова, В.В. Кульба, С.А. Ко-сяченко, Ф.Ю. Чанхиева М.: Изд-во ПРИОР, 2002. 384 с.

29. Введение в искусственный интеллект / Д.В. Смолин // М. : ФИЗМАТ-ЛИТ, 2004. 208 с.52.http://www.analyst.ru/index.php?lang=eng&dir=content/tec 153.http://ysrp.sgmu.ru/tesis/tesis 2005/ant/zaharova07.htm

30. Проблемы качества образования: материалы XIII Всероссийской научно-методической конференции. Уфа: УГАТУ, 2003.

31. Проблемы качества образования в свете Болонских соглашений: материалы XIV Всероссийской научно-методической конференции. Уфа: УГАТУ, 2004.

32. Актуальные проблемы качества образования и пути их решения в контексте европейских и мировых тенденций: материалы XV Всероссийской научно-методической конференции. Уфа: УГАТУ, 2005.

33. Представление знаний информационной системе для сравнения учебных планов университетов разных стран / Юсупова Н.И., Сметанина О.Н., Гаянова М.М., Буторин A.M. // Технологии и организация обучения. Научное издание. Уфа: УГАТУ 2006. - Стр. 48-57.

34. Базы знаний интеллектуальных систем / Т.А. Гаврилова, В.Ф. Хорошевский // СПб : Питер, 2000. 384 с.

35. Университетские образовательные программы. Модели и методы для сопоставительного анализа / М.Б. Гузаиров, Н.И. Юсупова, О.Н. Сметанина, М.М. Гаянова М.: Изд-во МАИ, 2006. - 117 с.

36. Семантические сети и продукционные модели для анализа университетских образовательных программ в информационной системе / Н.И. Юсупова, М.М. Гаянова // Вестник УГАТУ. Уфа, 2006. Т.7, №2 (15). С. 120 -126.

37. Общероссийский классификатор специальностей по образованию: Приложение №1 к приказу Минобразования России от 04.12.2003 № 4482.

38. Искусственный интеллект: современный подход / Рассел Стюарт, Норвиг, Питер // М.: Издательский дом «Вильяме», 2006. 1408 с.

39. Байденко, В.И. Болонский процесс: структурная реформа высшего образования Европы. М.: Исследовательский центр проблем качества подготовки специалистов; Российский Новый Университет, 2002. - 128с.

40. Хомоненко, А. Д., Гофман, В. Э. Работа с базами данных в Delphi. 3-е изд. - СПб.: БХВ-Петербург, 2005.

41. Немнюгин, С. A. Turbo Pascal СПб: Питер, 2000.

42. Реформы образования: аналитический обзор /под ред. В. М. Филиппова. -М.: Центр сравнительной образовательной политики, 2003.

43. Kouwenaar Ё. Visum. Hague: Nuffic, 1991.83 .Elektrotechik und Infomationstechnik. Universitat Karlsruhe. Zentrum Information und Beratung der Universitat Karlsruhe (TH). - Marz 2003;

44. International Grade Conversions. New York: Word Education Services, 1997.

45. Юсупова, H. И., Сметанина, О. H., Гаянова, М. М. Методика проведения рейтинга высших учебных заведений немецкоязычного региона, выпускающих информатиков. Уфа: УГАТУ, 2003.- С.81-82.

46. Юсупова, Н. И., Сметанина, О. Н., Гаянова, М. М. О качестве подготовки информатиков в европейских университетах. // Принятие решений в условиях неопределенности: межвуз. науч. сб.- Уфа: УГАТУ, 2003. С. 813.

47. Юсупова, Н. И., Сметанина, О. Н., Гаянова, М. М. Об особенностях подготовки информатиков в европейских вузах // Технологии и организация обучения. Уфа: УГАТУ, 2004. - С. 66-68.

48. Dalichow F. Letter to the Editor. ECTS and grading // New letters (EAIE). -1996. -№21.

49. JBlok P. ECTS and grating // New letters (EAIE). 1995. - № 20.

50. Введение в экспертные системы / Пире Джексон // Уч. пос. М. : Издательский дом «Вильяме», 2001. - 624 с.

51. Введение в системный анализ / Ф.И. Перегудов, Ф.П. Тарасенко // Учеб. пособие для вузов. М.: Высш. шк., - 367 с.

52. Системный анализ в управлении: Учеб. Пособие / В.СЧ. Анфилатов, А.А. Емельянов, А.А. Кукушкин; Под. ред. А.А. Емельянова. М. : Финансы и статистика, 2003. -368 с.

53. Бейчмаркинг как средство квалиметрии образовательного процесса / Н.К. Криони, В.В. Мартынов, Т.П. Костюкова // Актуальные проблемы качества образования и пути их решения : матер. XVI Всерос. науч.-метод. конф. Уфа-Москва, 1006. С. 226-229.