автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний

На правах рукописи

ИВАНОВА Татьяна Максимовна

АНАЛИЗ И КОМПЛЕКСНАЯ ОЦЕНКА СИСТЕМ ФОРМИРОВАНИЯ И КВАЛИМЕТРИИ ПРОФЕССИОНАЛЬНЫХ ЗНАНИЙ

Специальность 05 13 01 - «Системный анализ, управление и обработка информации (промышленность)»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Самара - 2007

003065826

Работа выполнена на кафедре «Информационные технологии» Государственного образовательного учреждения высшего профессионального образования «Самарский государственный технический университет».

Научный руководитель:

доктор технических наук, профессор БАТИЩЁВ Виталий Иванович Официальные оппоненты

доктор технических наук, профессор КУЗНЕЦОВ Павел Константинович кандидат технических наук, доцент ПОГОРЕЛОВА Елена Вадимовна

Ведущая организация.

ГОУВПО «Поволжская государственная академия телекоммуникаций и информатики» (ПГАТИ, г Самара)

Защита состоится « 12 » октября 2007г. в П_ часов на заседании диссертационного совета Д212 217.03 ГОУВПО «Самарский государственный технический университет» по адресу. г.Самара, ул.Галактионовская 141, корпус №6, аудитория 28

С диссертацией можно ознакомиться в библиотеке Самарского государственного технического университета по адресу. г.Самара, ул. Первомайская 18

Отзывы на автореферат просим направлять в двух экземплярах по адресу 443100 г.Самара, ул Молодогрвардейская 244, ГОУВПО «Самарский государственный технический университет», главный корпус, на имя ученого секретаря диссертационного совета Д212 217.03

Автореферат разослан

Ученый секретарь

диссертационного совета Д212 217 03

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В современных условиях на нефтяных, химических, машиностроительных и других промышленных предприятиях обостряется проблема обеспечения квалифицированными специалистами, при этом серьезной проблемой является не только своевременная подготовка новых кадров по новым направлениям, но и повышение квалификации, переподготовка большого числа специалистов отраслей Это связано с необходимостью повышения теоретического уровня и практических навыков не только рядовых инженеров, но и руководителей, чтобы быть на уровне требований современного производства В таких масштабах с охватом столь широкого круга людей переподготовка в России ранее не проводилась Для любой отрасли в промышленности очень важно своевременно переподготовить кадры, поскольку просчет в этом может поставить экономику страны в очень тяжелое положение.

В таких условиях главным становится не только численное обеспечение отраслей промышленности специалистами, но и их новое качество. При этом требования к обучению особые, потому что человек, повышающий свою квалификацию, уже имеет профессиональное образование и требует высокого уровня преподавания

Кроме того, с учетом необходимости мобильной и оперативной подготовки специалистов, решение проблемы возможно только с применением информационных технологий и использованием электронных систем формирования и квалиметрии профессиональных знаний, имеющих определенную структуру и необходимые для изучения или повторения материала, а также контроля знаний обучающихся Наряду с этим они должны быть ориентированы на определенную промышленную отрасль, например, должно присутствовать моделирование производственного процесса, аварийных ситуаций и объяснение методов их устранения, представление схем технологического процесса и ремонта оборудования Методологическую основу исследований в области создания электронных средств формирования и квалиметрии профессиональных знаний составляют работы В С Аванесова, Е А Михайлыче-ва, В А. Хлебникова, А Г. Шмелева, М Б. Челышкова, О А Козлова, А А Кузнецова, Дж Стэнли, Дж Глассса и др Однако, большие трудности возникают с оценкой подобных систем, особенно применяемых в различных сферах промышленности, где необходимо учитывать потребности отрасли.

В общем случае анализ и комплексная оценка требуют применения нескольких методов, поскольку осложненные условия исследования подобных систем приводят к необходимости учета ряда особенностей В первую очередь, число электронных обучающих программ, применяемых в промышленности, все более увеличивается, а их структура усложняется, в связи с этим при их выборе приходится анализировать большое количество показателей,

характеризующих свойства программы наряду со специфическими профессиональными показателями Кроме того, требуется учитывать тот факт, что переподготовка специалистов осуществляется за короткие сроки, в связи с этим важным становится не только наполнение систем формирования и ква-лиметрии профессиональных знании, но и удобство работы с системой, пользовательский интерфейс.

В современных условиях одновременно предлагается множество систем одного и того же назначения, что приводит к трудности выбора и принятии решения в пользу той или иной системы. Причем выбор основан не на количественных расчетах, а осуществляется подсознательно и носит эвристический характер В тоже время неточная или ошибочная оценка приводит к рискам, связанным с некачественной подготовкой специалистов, при этом возрастает риск понести убытки предприятиям, на которых работают данные сотрудники

Также необходимо учитывать, что анализ и оценка систем формирования и квалиметрии профессиональных знаний является нетривиальной задачей, требующей методов отличных, например, от оценки технических систем Применение только экспертного метода для анализа и оценки систем формирования и квалиметрии профессиональных знаний приводит к нечеткости (неоднозначности) естественного языка (лингвистическая неопределенность), а процедура принятия решения базируется на неполной информации, т е нечетких посылках Неопределенность проявляется и при формировании списка требований, которым должны удовлетворять системы из-за постоянно меняющихся условий в промышленности

Перечисленные выше особенности приводят к тому, что при анализе и оценке систем формирования и квалиметрии профессиональных знаний игнорируется существование неопределенностей, либо осуществляется предварительная, ненасыщенная оценка, основанная только на опыте и суждениях отдельной группы людей

Таким образом, оценка применяемых в промышленности систем формирования и квалиметрии профессиональных знаний является важной и актуальной задачей, требующей применения современных методов для ее решения с учетом существующих особенностей

Целью настоящей диссертационной работы является системный анализ проблем переподготовки кадров на промышленных предприятиях и разработка методики комплексной оценки систем формирования и квалиметрии профессиональных знаний

Для достижения поставленной цели необходимо решение следующих задач:

1.Проведение системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, разработка классификации существующих и применяемых в промышленности электронных образовательных ресурсов

2 Исследование основных видов и средств тестирования программного обеспечения

3 Выбор критериев качества систем формирования и квалиметрии профессиональных знаний

4 Разработка комплекса требований для оценки систем формирования и квалиметрии профессиональных знаний

5 Разработка дерева показателей на основе многоуровневого принципа построения для формирования последовательности их влияния на качество систем

6 Разработка системы соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки

7 Разработка базы знаний, определяющей систему логических высказываний.

Методы исследования базируются на комплексном применении

методов системного анализа, теории нечетких множеств, методов статистического анализа, операций математической логики

Научная новизна и значимость работы заключается в следующем

1 Предложено системное описание факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, которое в отличие от аналогов, позволяет осуществить процедуру декомпозиции оценивания данной системы на отдельные группы и формализовать их влияние на интегральный показатель качества

2 Разработана методика многокритериальной оценки качества, отличающаяся комплексным подходом к решению поставленной задачи, разработанная на основе анализа электронных образовательных ресурсов, применяемых для переподготовки специалистов на промышленных предприятиях, и позволяющая проводить оценку систем формирования и квалиметрии профессиональных знаний.

3 Разработано дерево логического вывода, отличающееся учетом иерархичности классов входных показателей качества и позволяющее формировать систему вложенных друг в друга нечетких баз знаний меньшей размерности

4 Разработана методика формирования базы знаний с применением нечетких термов, отличающаяся учетом влияния как общих требований к оцениваемой системе, так и специфических профессиональных, что позволяет комплексно оценить систему формирования и квалиметрии профессиональных знаний.

Практическая ценность.

1 Предложенная методика многокритериальной оценки качества позволяет выполнять оценку в соответствии с поставленными требованиями к системе при переподготовке кадров в промышленных отраслях.

2 Внедрение концепции оценки систем формирования и квалиметрии профессиональных знаний позволяет оперативно прогнозировать ее качество

3 Накапливаемый банк данных позволяет регламентировать процесс планирования, подготовки и проведения модернизаций систем, применяемых при обучении персонала в промышленности.

На защиту выносятся следующие положения:

1 Комплекс требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний.

2 Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний

3 Дерево логического вывода, построенное с применением нечетких термов

4. Методика оценки систем формирования и квалиметрии профессиональных знаний с учетом принципов лингвистического моделирования

5. Математическая модель, представленная в виде соотношений, описывающих зависимость между частными показателями качества и интегральным показателем.

Реализация результатов работы. Полученные в диссертационной работе решения и разработанные методики были использованы и внедрены в ОАО «Волгабурмаш» (г Самара), ФОАО «Волгомост» (г Волгоград), ГОУВПО «Самарский государственный технический университет» и ООО «Искусственный интеллект» (г Самара)

Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на следующих конференциях Всероссийский симпозиум «Математическое моделирование и компьютерные технологии» (Кисловодск, 2002); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2003); Международная научно-техническая конференция «Информационные, измерительные и управляющие системы» (Самара, 2005), Межрегиональная научно-практическая конференция «Тенденции и перспективы развития информационных технологий в высшей школе» (Тольятти, 2005), Международная научно-техническая конференция «Наука и образование» (Мурманск, 2005), Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл, 2005), Международная научно-техническая конференция «Современные информационные технологии» Весенняя сессия (Пенза, 2005); Всероссийская научно-практическая конференция «Актуальные проблемы науки в России» (Кузнецк, 2005), Международная научно-техническая конференция «Современные информационные технологии» Осенняя сессия (Пенза, 2005); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2006); Международная научно-техническая конференция «Наука и образование» (Белово, 2006), Международная научно-

техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2007)

Автор награжден Грамотой за инновационную научно-техническую разработку (2003), Дипломом министерства образования РФ по итогам конкурса 2003 года на лучшую научно-исследовательскую работу в рамках МКП НТО, Дипломом ОАО «Приволжскнефтепровод» конкурса молодежи ОАО АК «Транснефть» на лучшую научно-техническую разработку 2003 года

Публикации. По теме диссертации опубликовано 15 печатных работ, в том числе 2 статьи в журнале из перечня, рекомендуемого ВАК РФ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений Она изложена на 146 страницах, содержит 16 рисунков, 14 таблиц, 3 приложения. Список использованных источников состоит из 96 наименований

СОДЕРЖАНИЕ РАБОТЫ Во введении показана актуальность темы диссертации, дана общая характеристика работы, определены цели и задачи исследования Сформулированы научная новизна и практическая ценность, а также основные научные положения, выносимые на защиту Приведены сведения о внедрении результатов, публикациях, структуре и объеме работы

В первой главе проведен анализ основных видов существующих электронных образовательных ресурсов для специалистов промышленных предприятий, на его основе представлена их классификация (рис 1) Кроме того, приводится подробная классификация образовательных ресурсов по функциональному признаку (рис 2)

Проведен анализ возможных способов переподготовки и повышения квалификации кадров промышленных предприятий Исследовались бумажные и электронные средства, применяемые при подготовке персонала на базе среднего и высшего образования, в течение краткосрочных курсов и дистанционно

Системный анализ требований, предъявляемых к электронным обучающим средствам, позволил сформировать основные факторы, влияющие на качество систем формирования и квалиметрии профессиональных знаний

Выполненный обзор по существующим проблемам оценки систем формирования и квалиметрии профессиональных знаний показал, что различные способы оценки систем формирования и квалиметрии профессиональных знаний определяются тем, что понимать под профессиональными знаниями и как они соотносятся с профессиональной деятельностью Профессиональная деятельность исходит из имеющихся у субъекта профессиональных знаний Качество получаемых профессиональных знаний влияет на профессиональные знания и формирование новых профессиональных знаний

В связи с чем, возникает проблема формирования качественных профессиональных знаний

Рисунок 1 - Классификация образовательных ресурсов для специалистов промышленных предприятий

В тоже время при оценке систем формирования и квалиметрии профессиональных знаний необходимо учитывать комплекс требований, поскольку качество профессиональных знаний должно рассматриваться как сложное свойство При этом целесообразно применять методы и средства с учетом проведения системных исследований в данной области.

Проведенный анализ требований показал, что электронные обучающие системы представляют собой многоуровневый объект, который можно рассматривать с различных точек зрения, при этом исследование включает в себя как бы два уровня На первом уровне анализируется объект и его компоненты в общей связи. На втором - проводится анализ требований с учетом особой специфики, с точки зрения требований, предъявляемых только к такому компоненту как, например, пользовательский интерфейс, связывающий функциональное наполнение программного обеспечения с пользователем, являющимся в данном случае внешней средой

Образовательные

элек. ресурсы по функциональному назначению

й а

I §

II

и я

I ё

8 е-

Эл

обучающие программы

Инструментальные средства создания -л, обучающие программ

Ыешй-ресурсы

Электронный •учебник

Тренажер

Эл учебно-методическнй комплекс

Контролирующая протрамма

Программа

Эл задачник

Развивающая комп игра

Виртуальная библиотек:!

МетеМсаталог

Иеп1е1-справочник

Эл представления бумажных изданнй и информационных материалов

(г о

53 «I

я Р & О

¡ц

й-«

о

с

5 ё Й с

е з

1Д

0 ®

1 § £ ё.

Рисунок 2 - Классификация образовательных электронных ресурсов по функциональному признаку Наряду с этим необходимо понимать принципиальные различия задач, стоящих на определенных этапах анализа и комплексной оценки систем формирования и квалиметрии профессиональных знаний Таким образом, следует применять математические методы, известные и показавшие эффективность их применения в других сферах, для оценки достоверности результатов исследований Если оценка осуществляется экспертным методом, то возникает задача расчета уровня компетентности эксперта, а также необходимо осуществлять проверку согласованности и объективности полученных мнений, что также представляет собой проблему. В тоже время неопределенность, возникающая при формировании комплекса требований, которым должна удовлетворять система, а также при вынесении экспертного решения

по тому или иному вопросу требует применения методов теории нечетких множеств, позволяющих решить трудности подобного рода

Во второй главе проведено исследование методов оценки систем, при этом были рассмотрены следующие методы экспертный метод, индексная квалиметрия, таксономическая квалиметрия, вероятностно-статистическая квалиметрия и аппарат теории множеств, выделены основные методы для проведения исследований в работе Поскольку задача анализа и оценки качества систем формирования и квалиметрии является сложной и малоизученной, поэтому только экспертное оценивание с применением статистических методов обработки данных может привести к неточным данным, а применение детерминированных методов вносит определенность в те ситуации, где ее в действительности не существует. Кроме того, в результате исследований выявлено отсутствие методик системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний. На основе проведенных исследований в области создания и применения методик системного анализа других областей научной деятельности была разработана методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний (рис. 3)

Рисунок 3 — Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний

В работе проведено исследование зависимости результатов от экспертных групп на основе однофакторного дисперсионного анализа. Также проведено исследование результатов оценки систем формирования и квали-метрии профессиональных знаний на основе корреляционного анализа

В целом анализ и комплексную оценку систем формирования и квали-метрии профессиональных знаний как задачу многокритериальной оценки можно рассматривать также как задачу идентификации, включающую такие этапы: установление зависимости между входными и выходной переменной; выходная переменная ассоциируется с объектом идентификации, т.е. с видом принимаемого решения, входные переменные ассоциируются с параметрами состояния объекта идентификации, выходная и входные переменные могут иметь количественные и качественные оценки; структура взаимосвязи между выходной и входными переменными описывается правилами ЕСЛИ <входы>, ТО <выход>, использующими качественные оценки переменных и представляющими собой нечеткие базы знаний

В работе предлагается построение дерева логического вывода. Все переменные, стоящие в вершинах дерева, являются лингвистическими переменными со следующими термами 2?2- множество термов для оценки интегрального показателя качества К; {Х1,Х2,.„Ха}- множество термов для оценки переменной X, влияющей на интегральный показатель качества, , Т2.ГА } - множество термов для оценки переменной У и т д

Пользуясь понятиями универсального множества и функции принадлежности, каждый из термов представляется в виде нечеткого множества.

Я, = ^'ОО/т*, 1 =

г

Х,= \цх-(ух)1ух,1 = \,а,ухеих,

их

иг

ХУ = ¡¿*Х< (*,)/, / = 1,1,]= 1«, >*, е их1, уД = ]УА (У^'У,, .¡ = йп,к = 1 ,Ь},е иу],

где Ж - универсальное множество, на котором задана переменная К, те.

К, <=Ж, / = м%

их,иу - универсальные множества, на которых заданы переменные X,¥, те. Х1 С IIх,с: С/у, их ,иу - универсальные множества, на которых

заданы переменные х1, у , I — 1,1, ] — 1, Ш

В целом проведение указанных этапов дает комплексную оценку на основе сформированных нечетких баз знаний

В третьей главе на основании выбранных критериев качества систем формирования и квалиметрии профессиональных знаний разработан комплекс требований для оценки систем подобного рода

Здесь приводится только часть требований, полный список включает в себя 73 требования, сформированные по группам 1 Общие требования к системе

1.1 Наличие информации, соответствующей достижению учебных целей, то есть относящейся к содержанию учебного курса, и не отвлекающей внимание пользователя

1 2 Интерфейс наглядный, понятный, однозначный 1 3 Интерфейс способствует пониманию логики функционирования системы

1 4 Имитационные компьютерные модели снабжены удобными средствами для задания или изменения структуры и параметров изучаемых объектов, процессов и явлений, а также для имитации внешних воздействий

2 Требования к составу системы

2 1 Присутствуют в достаточном объеме выходные сведения о системе и ее разработчиках

2 2 Показаны структура и названия всех семантических единиц обучения

2 3 Наличие всего объема учебного материала, относящегося к его целям и задачам системы

3 Специфические профессиональные требования к системе

3 1 Понятное изложение основных принципов обращения с техническими объектами данной профессиональной сферы

3 2 Предусмотрена возможность сопряжения с учебно-лабораторным и экспериментальным оборудованием, а также стандартной измерительной и вычислительной аппаратурой

3 3 Возможность использования системы для разного уровня образования с учетом профессионально-ориентированной направленности и междисциплинарных связей

3 4 Описание основных промышленных объектов представлено с использованием графиков, мнемосхем, виртуальных образов изучаемых объектов, анимации и т д.

3 5 Наличие списка руководящих документов, международных и отечественных стандартов данной профессиональной сферы

Интегральный показатель качества системы формирования и квали-метрии профессиональных знаний Я зависит от группы критериев X - качество общих требований к системе; У - качество требований к составу системы, X - качество требований к основным функциям,

- качество требований к структуре содержания системы, О, - качество требований к элементам обучения, Р - качество требований к обратной связи в системе, К - качество требований к оформлению (интерфейсу), М - качество требований к документации системы, Ь - качество требований к выходным сведениям, Н - качество специфических профессиональных требований

Иерархия показателей качества показана на рисунке 4 в виде дерева вывода.

Рисунок 4 - Дерево логического вывода Дереву логического вывода соответствует совокупность соотношений

(ч>х2 >х3 >х4 >х5 >х6 'х7 )' >У2 'УЗ >У4 >У5 >У6 >У1) >

К=/К (к\ >к2 )»М=/М (»»1 >т2>тз)> С'1 >12 > я=/я(/г1'/г2"

Этим соотношениям поставлены в соответствие нечеткие логические уравнения, которые позволяют определять уровень показателя 7?

Таким образом, интегральным показателем является комплексная оценка системы формирования и квалиметрии профессиональных знаний, ее качество, складывается из частных показателей - групп критериев, по которым эксперты выносят свои суждения.

Оценку качества систем формирования и квалиметрии профессиональных знаний в работе предлагается проводить на 7 уровнях Гу очень

низкий, 1*2 ~ низкий, Г3- ниже среднего, /"4- средний, Г5- выше среднего,

Г6- высокий; Г7-очень высокий, поскольку данный подход в теории нечетких множеств уже стал традиционным и показал свою эффективность Пусть лингвистические переменные X] — Ху , у^ ~Уу,

щ +п10, рх кх -гк15, тх+тъ, Нх+к5, 1х+15 и

X, Г, ТУ, ¡0, Р, К, М, Н, Ь оцениваются нечеткими термами П - плохо, У - удовлетворительно, Пр - приемлемо, X - хорошо, Прв - превосходно, которые определены с помощью функций принадлежности (рис 5)

Пользуясь нечеткими термами и зная иерархию соотношений, сформированы нечеткие базы знаний В таблице 1 приводится фрагмент такой базы знаний.

Таблица 1 - Фрагмент базы знаний

X У z N е р К м н ь Е

Прв Прв Прв Прв Прв Прв Прв Прв Прв Прв Прв

X X Прв Прв Прв Прв Прв Прв Прв Прв Прв

Пр Пр Пр X X X X X X X X

У X X X X Прв Прв X X X X

Пр Пр Пр У X X X Пр Пр Пр Пр

У У Пр Пр Пр Пр Пр Пр Пр Пр Пр

У У У Пр Пр Пр Пр Пр Пр Пр Пр

Пр Пр У У У X X У У У У

На основании полученных баз знаний можно сформировать нечеткие логические уравнения.

цПр\Щ = иХ{Хг) а л ЦПрЧхъ)а Мпр°(х4) л МЛрЧх5) л а V

V м *(уг) л мпР(у2) л /*»(%) л л А А мПре(У1) V

V /,^(2,) л л л мХ{г4) А мПре(25)лмПре(26) А А л Лг8) л И^) л Л*,,) V

V „'(я,) л ^(«2) Л /Л«з) Л Л АЯрв(«5) Л МПрв("б) А Л«7> А А ^(ц) л л МПреЫ V

V Л) л Мх(д2) л УПй) л л л а цПр«Ш V

V (Л) л/(р2)л/ (Рз) V

V А А Л ЦХ{кА) Л Л ^(¿б) А Л

А /ЛПре{к%) Л /^(¿9) Л Л ц"Р\кп) А А А А V

V цх(и,)Л ^^(/й2)л/(%)у

V //(Л,) Л Л А Л йз) V

V А л*(/2) А А МПРЧи) А Л/5)

Таким образом, предложенная методика на основе нечетких баз знаний оценки систем формирования и профессиональных знаний дает позитивные эффекты.

1 Позволяет оперативно прогнозировать качество системы, тем самым, управляя качеством деятельности во время их проектирования и разработки, а также при управлении процессом выбора лучшей системы среди предложенных

2. Накапливается банк данных о качестве систем формирования и ква-лиметрии профессиональных знаний.

В четвертой главе рассмотрены вопросы реализации системы, области ее применения и предлагается схема методологии построения системы оценки качества систем формирования и квалиметрии профессиональных знаний (рис. 6)

Качество (Ь)

Рисунок 6 - Схема методологии построения системы оценки качества систем формирования и квалиметрии профессиональных знаний

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена анализу и комплексной оценке систем формирования и квалиметрии профессиональных знаний, а также созданию методики многокритериальной оценки качества электронных обучающих программ с учетом основных принципов лингвистического моделирования

В работе получены следующие основные результаты"

1 Поставлены и решены задачи системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, а также исследованы основные виды и средства тестирования программного обеспечения, что позволило выявить основные требования, предъявляемые к системам подобного типа

2 Разработан комплекс требований, отличающийся комплексным подходом к решению поставленной цели и позволяющий проводить оценку систем формирования и квалиметрии профессиональных знаний на основании выбранных критериев качества и с учетом специфических профессиональных требований.

3 Разработана методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний

4 Разработано дерево логического вывода, позволяющее формировать систему вложенных друг в друга нечетких баз знаний и комплексно оценивать систему формирования и квалиметрии профессиональных знаний.

5 Разработана система соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки на базе многокритериальной оценки

6 Предложены нечеткие логические высказывания, позволяющие описать отношения между введенными показателями и являющиеся основой при анализе и оценке систем формирования и квалиметрии профессиональных знаний

7 Разработана концепция оценки качества систем, применяемых для переподготовки кадров на промышленных предприятиях, позволяющая получать оценку по каждой группе критериев

8 Предложено применение концепции оценки систем формирования и квалиметрии на промышленных предприятиях для оперативного прогнозирования качества систем

По теме диссертации опубликованы следующие печатные работы:

1 Иванова Т.М (Егорова Т М) Анализ и оценка систем формирования и квалиметрии профессиональных знаний с помощью теории нечетких множеств // Вестник Самарского государственного технического университета Сер Техн Науки-2007г -Вып №42 -с 176-179

2. Морозов В К, Иванова Т М. (Егорова Т М), Маматов Е Г Учебно-методические комплексы на базе технологий электронного обучения // Открытое образование Научно-практ журнал - М МЭСИ, МАОО, 2002 -№3

3. Иванова Т М (Егорова Т М) Оценка качества электронных обучающих программ // Наука и образование Материалы международ на-

учно-техн. конф - Белово. Беловский полиграфист, 2006 — Ч 1 - с 428-431

4 Иванова Т М (Егорова Т.М) Системный анализ эффективности обучающей системы // Материалы международной научно-технической конференции «Наука и образование - 2005». Мурманск МГТУ, 2005 -ЧастьIV -с.42-45

5. Иванова ТМ. (Егорова ТМ) Анализ требований, предъявляемых к электронным обучающим системам // Информационные, измерительные и управляющие системы (ИИУС - 2005) Материалы между-нар. научно-технич. конфер. Самара СамГТУ, 2005 - с. 87-89

6 Иванова ТМ (Егорова ТМ) Тестирование обучающих программ // Актуальные проблемы науки в России- Материалы Всероссийской научно-практ конф.Кузнецк КИИУТ, 2005-Т 3 -с 134-136

7 Иванова Т М (Егорова Т М.) Анализ языков и технологий разработки электронных обучающих программ // Современные информационные технологии Сбор, статей международной научно-технической конференции Пенза ПГТА, 2005 - Выпуск 1 -с. 183-184

8 Иванова Т М (Егорова Т М), Жиров В В. Комплекс программных средств .для создания электронных учебных пособий // Современные информационные технологии Сбор, статей международной научно-технической конференции Пенза ПГТА, 2005 - Осенняя сессия

9. Иванова Т М (Егорова Т М ), Попов Д К , Рязанова О С Проектирование и разработка электронного обучающего комплекса пе1<1х81ап1;-сошр1ех на базе технологии клиент-сервер // Тенденции и перспективы развития информационных технологий в высшей школе: Сборник матер межрегиональной универ научно-практ конфер Тольятти РГГУ, 2005 -с.151-153

10. Морозов В К, Иванова Т М. (Егорова Т М ), Маматов Е.Г Значение интуитивно-понятийного интерфейса для дистанционного обучения и его разработка с использованием современных информационных технологий // Сборник научных трудов Всеросс симпозиум «Математическое моделирование и компьютерные технологии» Кисловодск, 2002 - С. 30-32

И. Иванова Т.М (Егорова ТМ) Оценка систем формирования и ква-лиметрии профессиональных знаний с помощью теории нечетких множеств // Сборник тезисов XVI международ, конфер Троицк, Моек обл, 2007

12 Иванова Т М (Егорова Т.М) Тестирование электронных обучающих программ и оценка достоверности полученных результатов // Радиоэлектроника, электротехника и энергетика Тез докл международ научно-техн конф.-М МЭИ,2006.-В 1 -с395

13 Морозов В К, Иванова Т.М. (Егорова ТМ), Маматов ЕГ. Проектирование и разработка программного комплекса моделирования ин-

формационных сетей // Радиоэлектроника, электротехника и энергетика Тез. докл. Международ научно-техн конф. - М. МЭИ, 2003. -Т1 — С.344,

14 Иванова Т.М. (Егорова Т М), Колесников А В , Логунов Я С. Проектирование и разработка электронных обучающих программ с применением технологии macromedia flash и языка xml // Применение новых технологий в образовании Сборник тезисов XVI международ, конфер. Троицк, Моек обл, 2005.

15. Морозов В К., Иванова Т.М. (Егорова ТМ), Маматов Е Г Разработка технологии дистанционного обучения и ее применение при создании электронных учебно-методических комплексов профессиональной подготовки специалистов трубопроводного транспорта нефти // Каталог представленных на конкурс проектов и работ: Тез докл Всерос конкурс на лучшие научно-техн и инновац работы - М, 2003 - С.66-67

Автореферат отпечатан с разрешения диссертационного совета Д212 217.03 ГОУВПО «Самарский государственный технический университет» (протокол « №11 » от « 3 » сентября 2007 г )

Заказ № 621 Тираж 100 экз Отпечатано на ризографе Самарский государственный технический университет Отдел типографии и оперативной печати 443100, г.Самара, ул Молодогвардейская, 244

Введение.

1 Анализ электронных образовательных ресурсов, применяемых при переподготовке специалистов промышленных предприятий.

1.1 Профессиональные знания и показатели их качества.

1.2 Анализ требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний.

1.3 Анализ существующих видов оценки информационных систем.

1.4 Классификация образовательных ресурсов и требования к ним.

1.5 Применение информационных технологий при создании систем формирования и квалиметрии профессиональных знаний.

1.6 Обзор рынка современных систем тестирования электронных образовательных ресурсов.

1.7 Выводы.

2 Анализ и обоснование методов оценки систем формирования и квалиметрии профессиональных знаний.

2.1 Анализ методов оценки систем и классификационных шкал.

2.2 Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

2.3 Методика расчета коэффициента компетентности.

2.4 Обоснование методики расчета согласованности мнений экспертов

2.5 Концептуальная модель оценивания объективности.

2.6 Применение однофакторного дисперсионного анализа для исследования зависимости результатов от групп экспертов.

2.7 Применение ранговой корреляции для анализа результатов оценки систем формирования профессиональных знаний.

2.8 Обоснование применения теории нечетких множеств для анализа систем формирования и квалиметрии профессиональных знаний.

2.9 Анализ общих принципов теории нечетких множеств.

2.10 Нечеткая база знаний и нечеткие логические высказывания.

2.11 Выводы.

3 Методика оценки систем формирования и квалиметрии профессиональных знаний.

3.1 Комплекс требований для оценки качества систем формирования и квалиметрии профессиональных знаний.

3.2 Расчет уровня компетентности экспертной группы и построение усредненной функции принадлежности.

3.3 Расчет степени согласованности мнений экспертов и оценки уровня объективности экспертной комиссии.

3.4 Дерево логического вывода для оценки систем формирования и квалиметрии профессиональных знаний.

3.5 Лингвистические переменные и нечеткая база знаний для оценки качества.

3.6 Выводы.

4 Реализация системы оценки систем формирования и квалиметрии профессиональных знаний.

4.1 Области применения информационной системы.

4.2 Выбор способа межпроцессного взаимодействия. Клиентская и серверная приложения системы.

4.3 Проведение оценки систем формирования и квалиметрии профессиональных знаний и анализ результатов.

4.4 Структура системы оценки систем формирования и квалиметрии профессиональных знаний на основе теории нечетких множеств.

4.5 Выводы.

Основные результаты работы и выводы.

В современных условиях на нефтяных, химических, машиностроительных и других промышленных предприятиях обостряется проблема обеспечения квалифицированными специалистами, при этом серьезной проблемой является не только своевременная подготовка новых кадров по новым направлениям, но и повышение квалификации, переподготовка большого числа специалистов отраслей. Это связано с необходимостью повышать теоретический уровень и практические навыки не только рядовых инженеров, но и руководителей, чтобы быть на уровне требований современного производства. В таких масштабах с охватом столь широкого круга людей переподготовка в России ранее не проводилась. Для любой отрасли в промышленности очень важно своевременно переподготовить кадры, поскольку просчет в этом может поставить экономику страны в очень тяжелое положение.

В таких условиях главным становится не только численное обеспечение отраслей промышленности специалистами, но и их новое качество. При этом требования к организации занятий особые, потому что человек, повышающий свою квалификацию, уже имеет профессиональное образование и требует высокого уровня преподавания.

Однако в системе обучения персонала существуют следующие основные противоречия:

- между состоянием развития промышленного производства, с одной стороны, и научно-методическим уровнем обучения, с другой;

- между потребностями в модернизации содержания, принципов его отбора и структурирования, форм, методов и средств производственного обучения, адекватных современным задачам переподготовки и повышения квалификации кадров, с одной стороны, и недостатком разработок в области методологии производственного обучения, с другой.

При этом с учетом требований мобильности и оперативности подготовки специалистов решение проблемы возможно только с применением информационных технологий и использованием электронных систем формирования и квалиметрии профессиональных знаний, имеющих определенную структуру и необходимые для изучения или повторения материала, а также контроля знаний обучающихся. Наряду с этим они должны быть ориентированы на определенную промышленную отрасль, например, должно присутствовать моделирование производственного процесса, аварийных ситуаций и объяснение методов их устранения, представление схем технологического процесса и ремонта оборудования. Методологическую основу исследований в области создания электронных обучающих средств формирования и квалиметрии профессиональных знаний составляют работы B.C. Аванесова, Е.А. Михайлычева, В.А. Хлебникова, А.Г. Шмелева, М.Б. Челышкова, О.А. Козлова, А.А. Кузнецова, Дж. Стэнли, Дж. Глассса и др. Однако, большие трудности возникают с оценкой подобных систем, особенно применяемых в различных сферах промышленности, где необходимо учитывать потребности отрасли.

В общем случае анализ и комплексная оценка требуют применения нескольких методов, поскольку осложненные условия исследования подобных систем приводят к необходимости учета ряда особенностей. В первую очередь, число электронных систем формирования и квалиметрии профессиональных знаний все более увеличивается, а их структура усложняется, в связи с этим при их выборе приходится анализировать большое количество показателей, характеризующих свойства программы наряду со специфическими профессиональными показателями. Кроме того, требуется учитывать тот факт, что переподготовка специалистов осуществляется за короткие сроки, в связи с этим важным становится не только наполнение обучающих программ, но и удобство работы с системой, пользовательский интерфейс.

В современных условиях одновременно предлагается множество электронных обучающих программ одного и того же назначения, что приводит к трудности выбора и принятии решения в пользу той или иной программы, сделанного после оценки ее качества. Причем выбор основан не на количественных расчетах, а осуществляется подсознательно и носит эвристический характер. В тоже время неточная или ошибочная оценка систем приводит к рискам, связанным с некачественной подготовкой специалистов, при этом возрастает риск понести убытки предприятиям, на которых работают данные сотрудники.

Также необходимо учитывать, что анализ и оценка систем формирования и квалиметрии профессиональных знаний является нетривиальной задачей, требующей методов отличных, например, от оценки технических систем. Применение только экспертного метода для анализа и оценки систем формирования и квалиметрии профессиональных знаний приводит к нечеткости (неоднозначности) естественного языка (лингвистическая неопределенность), а процедура принятия решения базируется на неполной информации, т.е. нечетких посылках. Неопределенность проявляется и при формировании списка требований, которым должны удовлетворять системы из-за постоянно меняющихся условий в промышленности.

Перечисленные выше особенности приводят к тому, что при анализе и оценке систем формирования и квалиметрии профессиональных знаний игнорируется существование неопределенностей, либо осуществляется предварительная, ненасыщенная оценка, основанная только на опыте и суждениях отдельной группы людей.

Целью настоящей диссертационной работы является системный анализ проблем переподготовки кадров на промышленных предприятиях и разработка методики комплексной оценки систем формирования и квалиметрии профессиональных знаний.

Для достижения поставленной цели необходимо решение следующих задач:

1. Проведение системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, разработка классификации существующих и применяемых в промышленности электронных образовательных ресурсов.

2. Исследование основных видов и средств тестирования программного обеспечения.

3. Выбор критериев качества систем формирования и квалиметрии профессиональных знаний.

4. Разработка комплекса требований для оценки систем формирования и квалиметрии профессиональных знаний.

5. Разработка дерева показателей на основе многоуровневого принципа построения для формирования последовательности их влияния на качество систем.

6. Разработка системы соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки.

7. Разработка базы знаний, определяющей систему логических высказываний.

Методы исследования базируются на комплексном применении методов системного анализа, теории нечетких множеств, методов статистического анализа, операций математической логики.

Научная новизна и значимость работы заключается в следующем:

1. Предложено системное описание факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, которое в отличие от аналогов, позволяет осуществить процедуру декомпозиции оценивания данной системы на отдельные группы и формализовать их влияние на интегральный показатель качества.

2. Разработана методика многокритериальной оценки качества, отличающаяся комплексным подходом к решению поставленной задачи, разработанная на основе анализа электронных образовательных ресурсов, применяемых для переподготовки специалистов на промышленных предприятиях, и позволяющая проводить оценку систем формирования и квалиметрии профессиональных знаний.

3. Разработано дерево логического вывода, отличающееся учетом иерархичности классов входных показателей качества и позволяющее формировать систему вложенных друг в друга нечетких баз знаний меньшей размерности.

4. Разработана методика формирования базы знаний с применением нечетких термов, отличающаяся учетом влияния как общих требований к оцениваемой системе, так и специфических профессиональных, что позволяет комплексно оценить систему формирования и квалиметрии профессиональных знаний.

Практическая ценность.

1. Предложенная методика многокритериальной оценки качества позволяет выполнять оценку в соответствии с поставленными требованиями к системе при переподготовке кадров в промышленных отраслях.

2. Внедрение концепции оценки систем формирования и квалиметрии профессиональных знаний позволяет оперативно прогнозировать ее качество.

3. Накапливаемый банк данных позволяет регламентировать процесс планирования, подготовки и проведения модернизаций систем, применяемых при обучении персонала в промышленности.

На защиту выносятся следующие положения:

1. Комплекс требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний.

2. Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

3. Дерево логического вывода, построенное с применением нечетких термов.

4. Методика оценки систем формирования и квалиметрии профессиональных знаний с учетом принципов лингвистического моделирования.

5. Математическая модель, представленная в виде соотношений, описывающих зависимость между частными показателями качества и интегральным показателем.

Реализация работы. Полученные в диссертационной работе решения и разработанные методики были использованы и внедрены в ОАО «Волга-бурмаш» (г. Самара), ФОАО «Волгомост» (г. Волгоград), ГОУВПО «Самарский государственный технический университет» и ООО «Искусственный интеллект» (г. Самара).

Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на следующих конференциях: Всероссийский симпозиум «Математическое моделирование и компьютерные технологии» (Кисловодск, 2002); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2003); Международная научно-техническая конференция «Информационные, измерительные и управляющие системы» (Самара, 2005); Межрегиональная научно-практическая конференция «Тенденции и перспективы развития информационных технологий в высшей школе» (Тольятти, 2005); Международная научно-техническая конференция «Наука и образование» (Мурманск, 2005); Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2005); Международная научно-техническая конференция «Современные информационные технологии». Весенняя сессия (Пенза, 2005); Всероссийская научно-практическая конференция «Актуальные проблемы науки в России» (Кузнецк, 2005); Международная научно-техническая конференция «Современные информационные технологии». Осенняя сессия (Пенза, 2005); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2006); Международная научно-техническая конференция «Наука и образование» (Белово, 2006); Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2007).

Автор награжден Грамотой за инновационную научно-техническую разработку (2003), Дипломом министерства образования РФ по итогам конкурса 2003 года на лучшую научно-исследовательскую работу в рамках МКП НТО,

Дипломом ОАО «Приволжскнефтепровод» конкурса молодежи ОАО АК «Транснефть» на лучшую научно-техническую разработку 2003 года.

Публикации. По теме диссертации опубликовано 15 печатных работ, в том числе 2 статьи в журнале из перечня, рекомендуемого ВАК РФ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Она изложена на 146 страницах, содержит 14 рисунков, 14 таблиц, 3 приложения. Список использованных источников состоит из 96 наименований.

Основные результаты работы и выводы

Диссертационная работа посвящена анализу и комплексной оценке систем формирования и квалиметрии профессиональных знаний, а также созданию методики многокритериальной оценки качества электронных обучающих программ с учетом основных принципов лингвистического моделирования.

В работе получены следующие основные результаты:

1. Поставлены и решены задачи системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, а также исследованы основные виды и средства тестирования программного обеспечения, что позволило выявить основные требования, предъявляемые к системам подобного типа.

2. Разработан комплекс требований, отличающийся комплексным подходом к решению поставленной цели и позволяющий проводить оценку систем формирования и квалиметрии профессиональных знаний на основании выбранных критериев качества и с учетом специфических профессиональных требований.

3. Разработана методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

4. Разработано дерево логического вывода, позволяющее формировать систему вложенных друг в друга нечетких баз знаний и комплексно оценивать систему формирования и квалиметрии профессиональных знаний.

5. Разработана система соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки на базе многокритериальной оценки.

6. Предложены нечеткие логические высказывания, позволяющие описать отношения между введенными показателями и являющиеся основой при анализе и оценки систем формирования и квалиметрии профессиональных знаний.

7. Разработана концепция оценки качества систем, применяемых для переподготовки кадров на промышленных предприятиях, позволяющая получать оценку по каждой группе критериев.

8. Предложено применение концепции оценки систем формирования и квалиметрии на промышленных предприятиях для оперативного прогнозирования качества систем.

1. Аннотация составляется и оформляется в соответствии с ГОСТ

2. Материал, представленный в системе и являющийся аналогом печатного учебного издания содержит выходные сведения соответствующего печатного издания

3. Специфические профессиональные требования к системе

4. Понятное изложение основных принципов обращения с техническими объектами данной профессиональной сферы

5. Предусмотрена возможность сопряжения с учебно-лабораторным и экспериментальным оборудованием, а также стандартной измерительной и вычислительной аппаратурой

6. Возможность использования системы для разного уровня образования с учетом профессионально-ориентированной направленности и междисциплинарных связей

7. Описание основных промышленных объектов представлено с использованием графиков, мнемосхем, виртуальных образах изучаемых объектов, анимации и т.д.

8. Наличие списка руководящих документов, международных и отечественных стандартов данной профессиональной сферы

9. Таким образом, результаты тестирования перед обработкой методами математической стаитистики заносятся в таблицу 7.

10. Аванесов B.C. Композиция тестовых заданий. - М.: Адепт, 1998. -217с.

11. Аверкин А.Н., Батыршин И.З., Блишун А.Ф. и др. Нечеткие множества в моделях управления и искусственного интеллекта/Под ред. Д.А. Поспелова. М.: Наука. Гл. ред. физ.- мат. лит., 1986. - 312 с.

12. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Издательство стандартов, 1972. - 172 с.

13. Андреев А.А., Солдаткин В.И. Дистанционное обучение: сущность, технология, организация. М.: Изд-во МЭСИ, 1999. - 196 с.

14. Анфилатов B.C., Емельянов А.А., Кукушкин А.А. Под ред. А.А.Емельянова Системный анализ в управлении. М.: Финансы и статистика, 2002. - 368 с.

15. Беллман Р., Заде JI. Принятие решений в расплывчатых условиях В сб.: Вопросы анализа и процедуры принятия решений. М: Мир, 1976, с. 172-215.

16. Белышкин А., Головач В. Четырежды не адекватен http://www.w3.Org/l 999/xhtml

17. Беспалько В.П. Стандартизация образования: основные идеи и понятия// Педагогика. 1993, 5. - с. 16-25

18. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989.- 192 е.: ил.

19. Ю.Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. - 263 с.

20. Борисов В.В. Нечеткие модели и сети. М.: Горячая линия-Телеком, 2007. - 284 с.

21. Борисов А.В., Алексеев А.В., Меркурьева Г.В. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989. -304 с.

22. Бородулин И.Н. Тестовый контроль-метод объективной оценки качества подготовки специалистов // Тезисы докладов Всесоюзной научн. -метод, конф. Часть 2. Уфа, 1991. - С. 155.

23. М.Бромберг И. Автоматизация тестирования http://www.osp.ru/w2k/cgi-bin/user.cgi?a=subscribe

24. Буканов Ф.Ф., Губанов Н.Г., Погорелова Е.В. Системный анализ и моделирование профессиональных баз знаний. Самара: Са-мар.гос.техн.ун-т, 2004. - 217с.

25. Буканов Ф.Ф., Меркушев А.Н., Погорелова Е.В. Автоматизированная система оценки профессионального уровня // Тезисы докладов Республиканской науч.- метод, конф. "Пути и методы совершенствования учебного процесса". -Самара, 1992. -.с.54.

26. Вайншток С.М. Трубопроводный транспорт нефти. -М.: ООО «Недра-Бизнесцентр», 2002. Т. 1 - 407 с.

27. Валуев С.А, Волкова В.Н. Системный подход в экономике и организации производства. JL: Политехника. 1991. - 398 с.

28. Вересков А.А., Кузьмин В.Б. Федоров В.В. Определение степеней принадлежности на основе совокупности матриц Саати для нечетких множеств//Сб.тр. ВНИИСИ.- 1982. -№10.

29. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа: Учебник для студ. Вузов. Изд. 2-е перер. и доп. СПб. Изд. СПбГТУ, 2001.-512 с.

30. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000. - 384 с.

31. Гейн К., Сарсон Т. Структурный системный анализ: средства и методы. М: «Эйтекс», 1992.-274 с.

32. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М. 1976.-495 с.

33. Головач Вл. Дизайн пользовательского интерфейса www.uibook.ru

34. Головач В., Манучаров К. Текст для Web. Доступность и привлекательность. СПб.: Вильяме, 2003.

35. ГОСТ 7.32-2001 Отчет о научно-исследовательской работе. -М.: Издательство стандартов, 2002.- 24 с.

36. Грушецкий С.В., Рудинский И.Д. Статистические методы оценивания знаний // Ученые записки ИИО РАО. М., 2004.

37. Дастин Э., Рэшка Дж., Пол Джон Автоматизированное тестирование программного обеспечения. СПб.: Лори, 2003. - 592 с.

38. Дегтярев Ю.И. Системный анализ и исследование операций: Уч. для студ. Вузов. -М.: Высш.школа, 1996. 335 с.

39. Долженко О.В., Шатуновский В.Л. Современные методы и технология обучения в техническом вузе: Метод, пособие. М.: Высш. шк., 1990. -191 е.: ил.

40. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978. - 160 с.

41. Егорова Т.М. Тестирование электронных обучающих программ и оценка достоверности полученных результатов // Радиоэлектроника, электротехника и энергетика: Тез. докл. Международ, нучно-техн. конф. М.: МЭИ, 2006. - B.l. -С.395.

42. Егорова Т.М. Анализ языков и технологий разработки электронных обучающих программ // Современные информационные технологии. 2005

43. Егорова Т.М. Тестирование обучающих программ // Актуальные проблемы науки в России: Материалы Всероссийской научно-практ. конф. Кузнецк: КИИУТ, 2005 134 с.

44. Егорова Т.М. Системный анализ эффективности обучающей системы // Наука и образование. 2005, Часть IV.

45. Ежкова И.В. Семантически-инвариантная формализация лингвистических оценок. М.: МДНТП, 1983.

46. Ематин В. Автоматизация процесса тестирования //Тестирование и качество. 2005 №2

47. Емельянов А.А., Власова Е.А., Дума Р.В. Имитационное моделирование экономических процессов. М.: Финансы и статистика, 2002. - 368 с.

48. Заде JI. Понятие лингвистической переменной и ее применение к принятию приближенных решений. М.:Мир,- 1976.-167 с.

49. Зелковец М., Шоу А., Гэннон Дж. Принципы разработки программного обеспечения. М.: Мир, 1982.

50. Калейчик М.М. Квалиметрия. М.: МГИУ, 2006. - 200 с.

51. Калинина В.Н., Панкин В.Ф. Математическая статистика. М.: Дрофа, 2002.-336 с.

52. Калянов Г.Н. CASE структурный системный анализ. М.: Лори, 1996. -241 с.

53. Колтунова Е. Требования к информационной системе и модели жизненного цикла http://www.silicontaiga.ru/

54. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

55. Кузнецов А.Н. Инвестиции в профессионализм // Трубопроводный транспорт нефти. 2006. - №8. - с. 41 -43

56. Кулямин В.В., Петренко О.Л. Место тестирования среди методов оценки качества программного обеспечения http://software-testing.ru/

57. Льноградский Л.А. Горизонты системного анализа. Самара: ИЭКА «Поволжье», 2000. - 244 с.

58. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980.

59. Майоров А.Н. Теория и практика создания тестов для системы образования. М.: Народное образование, 2000. - 352 с.

60. Мандел Тео Разработка пользовательского интерфейса. М.: ДМК Пресс, 2001.-416 с.

61. Марка Д. А. МакГоуэн К. Методология структурного анализа и проектирования. М.: МетаТехнология, 1993. - 240 с.

62. Марченко Е. Что такое качество программного обеспечения? http://software-testing.ru

63. Морозов В.К., Маматов Е.Г., Егорова Т.М. Учебно-методические комплексы на базе технологий электронного обучения // Открытое образование. 2002, №2

64. НПГ «Планета» Обучающие программы http://mediaplanet.ru

65. Образцов В.И., Косухин В.М. Дидактика высшей военной школы. -Орел: Академия Спецсвязи России, 2004. 317 с.

66. Поспелов Д.А. Нечеткие множества в моделях управления и искусственного интеллекта. М.:Наука.-1986.-312 с.

67. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы. М.: Когито Центр, 2001 - 142 с.

68. Раскин Дж. Интерфейс. Новые направления в проектировании компьютерных систем. М.: Символ Плюс, 2003.

69. Роберт К., Браун К., Кобб Г. Быстрое тестирование. СПб.: Вильяме, 2002.

70. Роберт И.В., Романенко Ю.А., Босова Л.Л., Иващенко М.В., Потапов В.Е. Инструментальные средства информатизации образования. // Ученые записки ИИО РАО. М.: Политиздат, 1991. - 672 с.

71. Ротштейн А.П., Штовба С.Д. Нечеткая надежность алгоритмических процессов.- Винница: Континент-Прим.-1997.- 142 с.

72. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации педагогического тестирования знаний. -М.: Горячая линия Телеком, 2004. - 204 с.

73. Рудинский И.Д., Клеандрова И.А. Как оценить объективность контроля знаний?// Педагогическая диагностика, 2003. №3

74. Сидоренко Е.В. Методы математической обработки в психологии. -СПб.: ООО «Речь», 2004. 350 с.

75. Система управления качеством продукции. Экспертные методы оценки качества продукции. Организация и проведение экспертной оценки качества продукции: ГОСТ 23554.0-79. М.: Изд-во стандартов, 1979

76. Скаткин М.Н., Краевский В.В. Качество знаний учащихся и пути его совершенствования. М.: Педагогика, 1978 - 208 с.

77. Советов Б.Я., Яковлев С.А. Моделирование систем. -М.: Высш.шк., 2005.-343 с.

78. Спицнадель В.Н. Основы системного анализа: Учебное пособие. -СПб. Изд.дом «Бизнес-пресса», 2000. 326с.

79. Степанов И.С. Rational PerformanceStudio средство автоматизированного тестирования распределенных сетевых приложений http://www.interface.ru/rational/perf5.htm

80. Суходольский Г.В. Основы математической статистики для психологов. СПб.: Петрополис, 1994. - 64 с.

81. Тамре Л. Введение в тестирование программного обеспечения. СПб.: Вильяме, 2003. - 368 с.

82. Терехов А., Туньон В. Современные модели качества программного обеспечения http://www.sei.cmu.edu/cmm/

83. Толстова Ю.Н. Логика математического анализа социологических данных. М.: Наука, 1991. - 112 с.

84. Федюкин В.К., Дурнев В.Д., Лебедев В.Г. Методы оценки и управления качеством промышленной продукции: Учебник. М.: Филин, 2000. -328 с.

85. Фигурин В.А., Оболонки В.В. Теория вероятностей и математическая статистика. М.: Новое знание, 2000.

86. Черекдичи Э.И., Горицкий В.Н. Испытание на качество // Трубопроводный транспорт нефти. 2005. - №5. - с. 40-43

87. Цибульский Г.М., Герасимова Е.И., Ерошин В.В. Модели обучения автоматизированных обучающих систем http://systech.miem.edu.ru/ 2004/n2/Cibulskiy.htm

88. Шапиро Д.И. Принятие решений в системах организационного управления: Использование расплывчатых категорий. М.: Энергоатомиз-дат, 1983.- 184 с.

89. Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностр. лит., 1963

90. Ярочкина Г.В. Организация контроля качества профессионального обучения незанятого населения. М., 2000.

91. Ярушкин Н.Г. Основы теории нечетких и гибридных систем. М.: Финансы и статистика, 2004. - 320 с.

92. Яхъяева Г.Э. Нечеткие множества и нейронные сети. Минск: Бином, 2006.-316 с.

93. Bojadziev G., Bojadziev М. Fuzzy Logic for Business, Finance and Management //Advances in fuzzy systems.- 1997.- Vol 12. World Scientific.-232 p.

94. Cleancey W. Classification problem solving || Proc. Nat. Conf. Artif. Intel-ling. AAAI. Univ. Texas. Austin, 1984.

95. Curran T. Gerhard K. SAP R/3 Business blueprint. -Prentice Hall, 1998. -287 p.

96. Digital Copyright Policy Issues in Higher Education. WebNet Journal #2 -1999-p. 5-6

97. Innovations in Science and Technology Education //D. Layton, ED., v.l -London 1984.

98. Miller G.A. The Magic Number Seven Plus or Minus Two: Some Limits on Our Capacity for Processing Information //Psychological Review.- 1956,- № 63.- p. 81-97.

99. Schneider M., Kandel A., Langholz G., Chew G. Fuzzy Expert System Tools.- John Willey & Sons.-1996.- 198 p.

100. Tuninga R. S. J., Seinen I.B. J. / The supply and demand of DE in Russian. -1995.

101. Zadeh L.A. Toward a Perception-Based Theory of Probabilistic Reasoning with Imprecise Probabilities // Journal of Statistical Planning and Inference 105 (2002). http://sedok.narod.ru/sfiles/poland/Zadeh.pdf

102. Yager R.R. A Measurement-Informational discussion of Fuzzy Union and Intersection//Intern. J. of Man-Machine Studies. 1979.