автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.17, диссертация на тему:Метод многокритериального экспертного оценивания обучающих телемедицинских систем

а

На правахлукописи

Афанасьева Анастасия Александровна

МЕТОД МНОГОКРИТЕРИАЛЬНОГО ЭКСПЕРТНОГО ОЦЕНИВАНИЯ ОБУЧАЮЩИХ ТЕЛЕМЕДИЦИНСКИХ СИСТЕМ

Специальность: 05.11.17 -Приборы, системы и изделия

медицинского назначения

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 8 КпЗ 2010

Санкт-Петербург - 2010

003490507

Работа выполнена в государственном образовательном учреждении дополнительного профессионального образования Санкт-Петербургская медицинская академия последипломного образования федерального агентства по здравоохранению и социальному развитию (ГОУ ДПО СПБМАПО РОСЗ ДРАВА)

Научный руководитель:

доктор технических наук, Дюк В. А.

Официальные оппоненты:

доктор технических наук, профессор Падерно П. И. кандидат физико-математических наук, доцент Тишков А. В.

Ведущая организация - Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича

фе&чх/Л ¡ус

Защита состоится «¿7.?» января 2010 года в у^Г часов на заседании совета по защите докторских и кандидатских диссертаций Д 212.238.09 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. проф. Попова, 5.

С диссертацией можно ознакомится в библиотеке университета.

Автореферат разослан декабря 2009 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций

^-

Болсунов К.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Современная медицина является быстро изменяющейся областью знаний. Стремительное развитие новых медицинских технологий, появление новых лекарственных препаратов и способов лечения приводит к возникновению так называемого эффекта «запаздывания знаний» у медицинских работников. Специалисты испытывают затруднения в получении и обработке больших массивов разрозненной медицинской информации. Сведения, содержащиеся в учебниках, руководствах и справочниках зачастую успевает устареть еще до их публикации.

Для России, с ее огромной территорией, данная проблема имеет особое значение. Развитие телемедицины в целом, и обучающей телемедицины в частности, позволит приблизить качественную медицинскую информацию к отдаленным регионам. Это повысит квалификацию врачей и ускорит формирование научных школ в регионах.

Существуют специализированные системы, обеспечивающие создание, передачу, хранение и отображение данных и знаний, в том числе для дистанционного обучения и повышения квалификации, которые могут быть использованы для обучения медицинских специалистов. Обучающие телемедицинские системы (ОТС) имеют свою специфику, связанную с особенностями области медицинского образования: возможность подключения аппаратуры, с помощью которой осуществляется сбор, преобразование и передача медицинской информации; специфические форматы передачи медицинских данных, протоколы обмена информацией; возможность использования специального медицинского программного обеспечения.

Индустрия создания программных продуктов в области дистанционного обучения является динамически развивающимся сектором на рынке информационных технологий. В настоящее время существует множество систем дистанционного обучения. Регулярно появляются новые системы, а разработчики систем, уже устоявшихся на рынке, периодически выпускают их обновленные версии. Известны методы оценки и выбора таких систем общего назначения.

Вместе с тем, традиционные методы выбора программного обеспечения, в т.ч. для дистанционного обучения, не предусматривают возможность оценки ряда свойств, критичных для медицинской области знаний, и поэтому недостаточно эффективны. По этой причине актуальной становится проблема обоснованного выбора обучающей телемедицинской системы.

Целью данной работы является развитие информационного обеспечения обучающих телемедицинских систем.

Для достижения этой цели необходимо решить следующие задачи:

1. Разработать классификацию характеристик и элементов обучающих телемедицинских систем на основе состава, структуры и основных свойств объекта исследования с учетом специфики медицинской области знаний.

2. Сформировать критерии выбора обучающей телемедицинской системы на основании экспертных заключений.

3. Разработать метод многокритериального экспертного оценивания обучающих телемедицинских систем.

4. Создать методику оценки релевантности систем дистанционного обучения.

Объектом исследования являются телемедицинские системы, предназначенные для обучения и повышения квалификации медицинских работников.

Предмет исследования - метод многокритериального экспертного оценивания, предназначенный для обоснованного выбора ОТС.

Методы исследования. Для решения поставленных в работе задач используются методы системного анализа, экспертных оценок и прикладной статистики.

Научная новизна:

1. Построена оригинальная иерархическая классификация характеристик и элементов ОТС, включающая в себя максимально полный набор характеристик и элементов необходимых для реализации медицинских образовательных программ. Это позволяет формализовать задачу выбора телемедицинской системы для обучения и повышения квалификации медицинских работников.

2. Впервые сформированы критерии выбора ОТС для оценки и сравнения степеней важности характеристик и элементов обучающих телемедицинских систем.

3. Разработан метод многокритериального экспертного оценивания обучающих телемедицинских систем, позволяющий сделать обоснованный выбор такой системы и отличающийся от существующих методов специфической направленностью на область медицинского образования, а также возможностью многокритериальной оценки характеристик и элементов ОТС при помощи техники парных сравнений и метода многомерного шкалирования, применяющихся для ранжирования труднодифференцируемых объектов.

4. Создана методика оценки релевантности систем дистанционного обучения, позволяющая определить те существующие на рынке системы, которые могут быть адаптированы для телемедицинского обучения.

Практическая ценность работы. Использование разработанного метода и методики позволяет реализовать обоснованный выбор телемедицинской системы, предназначенной для обучения и повышения квалификации медицинских работников. Эти метод и методика использованы при выборе ОТС для Санкт-Петербургской медицинской академии последипломного образования, а также для кафедры социальной гигиены, охраны прав потребителей и благополучия населения ФПК Санкт-Петербургской государственной медицинской академии им. Мечникова. Это позволило значительно сократить временные и экономические затраты при выборе ОТС.

Основные научные положения, выносимые на защиту:

1. Иерархическая классификация характеристик и элементов обучающих телемедицинских систем.

2. Критерии выбора обучающих телемедицинских систем.

3. Метод многокритериального экспертного оценивания обучающих телемедицинских систем.

4. Методика оценки релевантности существующих систем дистанционного обучения для определения систем, подлежащих адаптации для телемедицинского обучения.

Внедрение результатов работы. При помощи метода многокритериального экспертного оценивания ОТС была выбрана, внедрена и используется в учебном процессе двадцати двух кафедр ГОУ ДПО СПб МАПО, а также в учебном процессе кафедры социальной гигиены, охраны прав потребителей и благополучия населения ФПК в ГОУ ВПО СПб ГМА им. Мечникова обучающая телемедицинская система. Имеются акты внедрения.

Апробация работы. Основные результаты работы докладывались и обсуждались на XI Международной конференции «Региональная информатика 2008» (Санкт-Петербург, Россия, 2008), XV Всероссийской научно-методической конференции «Телематика 2008» (Санкт-Петербург, Россия, 2008), IV Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра» (Москва, Россия, 2007), Научно-практической конференции молодых ученых «Актуальные вопросы клинической и экспериментальной медицины» (Санкт-Петербург, Россия, 2007), XIV Всероссийской научно-методической конференции «Телематика 2007» (Санкт-Петербург, Россия, 2007), X Международной конференции «Региональная информатика 2006» (Санкт-Петербург, Россия, 2006).

Публикации. Основные положения диссертации изложены в 11 печатных работах, в том числе 1 работа в журнале, входящим в перечень ВАК («Программные продукты и системы»).

Структура и объем диссертационной работы. Диссертация объемом 128 машинописных листов состоит из перечня основных сокращений, принятых в работе, введения, четырех глав, заключения, списка литературы - из 121 наименования, трех приложений общим объемом 24 машинописных листа. Диссертация содержит 47 таблиц и 6 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, дается характеристика работы, приводится краткое содержание диссертации по главам.

В первой главе диссертации приводится обоснование необходимости разработки метода выбора телемедицинской системы для обучения и повышения квалификации медицинских работников.

Согласно современному определению, телемедицина - это совокупность внедряемых в медицинские информационные системы принципиально новых средств и методов обработки данных, объединенных в целостные технологические системы. Такие телемедицинские системы обеспечивают создание, передачу, хранение и отображение информации с целью проведения лечебно-диагностических мероприятий, а также обучения на расстоянии.

Одним из важных приложений телемедицинских технологий является дистанционное обучение. Для организации полноценного дистанционного обучения необходимо не только подготовить учебные и тестовые материалы в электронном виде, но и интегрировать их в единую систему, которая позволит реализовать оптимальный сценарий обучения с учетом специфики области медицинского образования и обеспечит обратную связь преподавателя со слушателями. Такие системы дистанционного обучения (СДО), адаптированные

для телемедицинского обучения, в дальнейшем будут называться обучающими телемедицинскими системами (ОТС).

ОТС включают в себя стандартные компоненты и технологии СДО и специализированные, необходимые для организации медицинского дистанционного обучения (возможность подключения аппаратуры, с помощью которой осуществляется сбор, преобразование и передача медицинской информации; специфические форматы передачи медицинских данных, протоколы обмена информацией; возможность использования специального медицинского программного обеспечения). Адаптация СДО для телемедицинского обучения заключается в обеспечении возможности интеграции таких специализированных технологий в систему.

Современные исследователи выделяют различные характеристики и элементы СДО. Характеристиками ОТС называются наборы ее отличительных свойств, а элементами - программные модули, реализующие технические возможности обучающих систем телемедицины. Однако данные характеристики и элементы ранее не были упорядочены и структурированы, что препятствует обоснованному выбору обучающей телемедицинской системы.

В настоящее время существует научный подход к проблеме выбора программных средств учебного назначения, к которым относится ОТС, по критерию оценки качества системы. Это метод оценки качества В.Н. Бабешко, направленный на решение трех задач: оценку качества при проектировании и разработке СДО; выбор системы дистанционного обучения на основе оценки качества и ее сертификацию.

Вместе с тем, метод В.Н. Бабешко не адекватен системной сложности области медицинского образования. Во-первых, в этом методе выбор СДО осуществляется исходя из обобщенного критерия качества на основе соотношения «цена-качество», в то время как при оценке и выборе ОТС основной интерес представляет проблема учета специфических пользовательских предпочтений для области медицинского образования. И, во-вторых, свертка многих критериев в один предполагает допустимость компенсации низкой оценки по одному критерию высокой оценкой по другому. При решении задачи обоснованного выбора ОТС с учетом пользовательских предпочтений свертка многих критериев в один не корректна ввиду неоднородности структуры характеристик и элементов обучающей телемедицинской системы.

Проведенный анализ показал, что в настоящий момент не существует подробной классификации характеристик и элементов систем дистанционного обучения, отражающей специфику области медицинского образования. Кроме того отсутствует удовлетворительное решение задачи обоснованного выбора в рамках медицинской образовательной области, системы дистанционного обучения с учетом пользовательских предпочтений.

Имеется потребность в разработке нового метода для многокритериального экспертного оценивания телемедицинских систем, предназначенных для обучения и повышения квалификации медицинских работников.

Во второй главе описана построенная иерархическая классификация характеристик и элементов обучающих телемедицинских систем, учитывающая

максимально полный набор характеристик и элементов, необходимых для реализации медицинских образовательных программ. Здесь же представлен разработанный метод многокритериального экспертного оценивания ОТС.

Для сравнительного анализа были выбраны две группы экспертов -специалистов в основной и дополнительной образовательной области. В качестве основной образовательной области рассматривалась область медицинского образования, в качестве дополнительной образовательной области - область психологического образования.

Критериями отбора экспертов в основную (дополнительную) группу для данного исследования являлись следующие:

- потенциальный эксперт является специалистом и преподавателем в медицинской (психологической) образовательной области;

- потенциальный эксперт владеет компьютерными технологиями, в т.ч. интернет-технологиями;

- потенциальный эксперт имеет представление о телемедицине, дистанционном обучении и СДО;

- потенциальный эксперт соответствует основным требованиям к составу экспертной группы: компетентность, заинтересованное отношение к участию в опросе, внимательность, объективность, однозначное понимание целей и задач проводимого опроса.

Метод многокритериального экспертного оценивания обучающих систем телемедицины включает в себя две составляющие: методику расчета степеней важности характеристик и элементов ОТС и методику оценки релевантности ОТС. На рис. 1 и рис. 2 представлена схема метода многокритериального экспертного оценивания ОТС.

В соответствии с разработанной методикой расчета степеней важности характеристик и элементов телемедицинской системы проводится очное групповое, а затем индивидуальное обсуждение характеристик и элементов обучающих телемедицинских систем с экспертами в области медицинского образования. Такие характеристики и элементы названы базовыми. Экспертами выделено сорок пять базовых характеристик и восемьдесят один базовый элемент.

Базовые характеристики и элементы сгруппированы экспертами в двенадцать упорядоченных родительских классов характеристик ОТС и двадцать упорядоченных родительских классов элементов ОТС. Построена иерархическая классификация характеристик и элементов обучающей телемедицинской системы.

Иерархическая классификация характеристик и элементов ОТС представлена на рис. 3.

Формирование степеней важности характеристик и элементов существующих СДО, отобранных на предыдущем этапе, с помощью метода экспертных оценок

Первый этап: определение цели экспертного опроса, состава и функций рабочей группы (РГ), периода работы экспертной комиссии (ЭК).

Второй этап:

Методика экспертной материалы для проведения опроса, в т.ч. анкета, аналогичным

оценки, экспертного соответствуют материалам второго этапа первого ЭО. Формирование экспертных групп (ЭГ), в состав которых входят специалисты, использующие исследуемые СДО. Для каждой СДО формируется одна ЭГ.

Третий этап: формирование степеней важности

характеристик и элементов исследуемых СДО,

аналогично третьему этапу первого ЭО. В первую очередь формируются критерии важности для систем, имеющих

русскоязычную документацию (РИСДО).

Четвеотый этап гов

подведение ито

Сравнение степеней важности существующих СДО с критериями ОТС

Сравнение сформированных степеней важности существующих СДО с критериями выбора ОТС.

Анализ экономических характеристик СДО

Обоснованный выбор ОТС

13 s

о OJ

S et

►S

T3 X

s л

et о

я §

о

•а

X

•s

»

я

H ft 43

s

о H

s я

fcl m 2 <t as

H

о ra

О H

о

В третьей главе рассматривается задача обработки результатов экспертного опроса методом многомерного шкалирования, формируются критерии выбора ОТС на основании математической обработки экспертных заключений основной и дополнительной групп экспертов. Также в этой главе описывается разработанная методика оценки релевантности ОТС.

Согласно предложенной методике расчета степеней важности характеристик и элементов ОТС после составления иерархической классификации, представленной на рис. 3, проводится заочный индивидуальный опрос для получения экспертных оценок основной и дополнительной групп экспертов по сформированной анкете. Пункты анкеты базируются на данной иерархической классификации и сформулированы в контексте парного сравнения классов характеристик и элементов ОТС.

По результатам экспертного опроса основной и дополнительной групп экспертов составляются матрицы Б парных различий между N объектами (характеристиками или элементами) каждого класса:

8(3,1 3С4># 8,(5)

иерархической классификации, за исключением класса экономических характеристик 83(3).

Далее матрицы Б подвергаются преобразованию по методике И.В. Королева. Данная методика применяется для согласования результатов экспертных оценок, представленных в виде матриц парных сравнений. В качестве среднего, наиболее близкого к совокупности мнений экспертов в работах В.Н. Бабешко и А.И. Орлова, предлагается использовать среднее геометрическое элементов матриц мер различия <Б>.

Для обработки согласованных и преобразованных матриц <Б> используется метод многомерного шкалирования У.С. Торгерсона (в программной реализации И. Гайдышева). Определение различий пар объектов, а также метод многомерного шкалирования применяются в случае наличия трудноразличимых объектов.

В результате расчета получены: матрицы шкальных значений (координат объектов парного сравнения в пространстве виртуальных главных компонент), собственные значения данных матриц и их процентное содержание.

При определении минимальной базисной размерности С2 учитывается содержательная интерпретация конечного результата (А.Ю. Терехина). Для матриц шкальных значений классов Б® (характеристики) и Б''4' (элементы) выбрана минимальная размерность 0=1. Для матриц шкальных значений остальных классов 0=2.

Для формирования критериев выбора ОТС по характеристикам системы расстояние в пространстве виртуальных главных компонент, на котором расположена каждая характеристика от начала коордииат рассчитывается по формуле:

с1(5Р),0) = ^((8Р))1)2 +((5Р)2)2 +((8®),)2 Д = 1,2 ... п,р= 1,2 (1)

где (Б®)) - координата Б/2' объекта по первой главной компоненте;

($1(2))2 - координата Б/2' объекта по второй главной компоненте;

($р<3)1 - координата родительского класса Бр'3' объекта по первой главной

компоненте.

Для формирования критериев выбора ОТС по элементам системы расстояние в пространстве виртуальных главных компонент рассчитывается по следующей формуле:

d(S|(2),0) = a/((S;(2))1)2 + ((S;<2))2)2 +((Sp(4>)1)2 ,i = 1,2 ... m, p = 1,2 (2)

где (S'¡(2,)| - координата S'¡(2) объекта по первой главной компоненте;

(S'¡(2,)2 - координата S'¡(2) объекта по второй главной компоненте;

(S'p<4')i - координата родительского класса S'p(4) объекта по первой главной

компоненте.

Такую меру уместно использовать в данном случае, т.к. все объекты S¡ установлены путем опроса экспертов и однородны внутри своих классов.

Критериями выбора ОТС по характеристикам (элементам) назовем векторы Р (Р1), значения элементов которых нормированы по формулам:

d(S<2),0)*100

(P)i=—i---

d (S(2),0)

max 4 i

(3)

(P')i=-

d(S'.(2),0)*100 í'(2) ,

(4)

d (Б.^.О)

шах у 1

где <^тах(5;(2),0), (1тах(8',(2,>0) - максимальные расстояния от 0 до точек Б^2', 8',(2) соответственно.

Элементы векторов Р (Р'), нормированные по формулам (3), (4), определяют значение степени важности для экспертов каждой характеристики и каждого элемента ОТС для основной (дополнительной) образовательной области.

Названия критериев выбора ОТС представлены в левом столбце табл. 1 и табл. 2. В других столбцах указанных таблиц приведены значения степеней важности характеристик и элементов ОТС для областей медицинского (основная группа) и психологического (дополнительная группа) образования.

Табл. 1. Критерии выбора ОТС (Основная и дополнительная экспертные группы).

Характеристики ОТС, в® Ст. важности для осн. группы, (P)iэт Ст. важности для доп. группы, (Р)1дои

Б/2' расширяемость 100 81

8з(2) техническая поддержка 82 85

8з® совместимость 71 82

Э/21 интегрируемость 74 100

85(2) безопасность 92 96

Зв2> педагогическая гибкость 58 66

в,®адаптируемость 20 11

Эз® удобство использования 58 36

89® мотивированность 25 22

Табл. 2. Критерии выбора ОТС (Основная и дополнительная экспертные группы).

Элементы ОТС, в''21 Ст. важности для осн. группы, (Р')|" Ст. важности для доп. группы, (Р'),ло"

Б1!12' интегрированные синхронные коммуникационные элементы 29 0

Б:'2' интегрированные асинхронные коммуникационные элементы 11 38

З'з(2) внешние синхронные коммуникационные элементы 50 37

5'4(2) внешние асинхронные коммуникационные элементы 45 22

ЯУ2' элементы для динамического изменения внутренних учебных материалов 89 97

Б'б'2' элементы для использования мультимедийных внутренних учебных материалов 93 88

^ элементы для многократного использования внутренних учебных материалов 100 80

Б'«'2' мастера/ шаблоны для создания внутренних учебных материалов 98 100

8'9(2' разнообразие элементов для создания внутренних учебных материалов 86 78

Б'ю элементы для динамического изменения внешних учебных материалов 96 96

8'п(2> элементы для использования мультимедийных внешних учебных материалов 95 91

5',2(2> элементы для многократного использования внешних учебных материалов ТГ оо 77

5']з(2) элементы просмотра данных о функционировании слушателей в системе 96 86

Б'м'2' средства оценки заданий, выполненных внутри системеы 69 47

8'15(2) средства оценки заданий, выполненных вне системы 65 95

Б^б12' элементы для предоставления слушателям возможности самооценки 98 61

Б'п'2' средства автоматического упорядочивания оценок, интегрированной оценки 67 78

Э']«' ' разнообразие типов административных элементов в системе 40 58

8',9(2) средства для редактирования и добавления элементов и материалов в систему посредством веб-интерефейса 71 56

в и® модульность 68 37

Коэффициент корреляции между степенями важности основной и дополнительной группами экспертов: Р(р)1ЗТ(р)1Д0П = 0,81. Это говорит о достоверной связи наборов значений в двух экспертных группах. Однако в данном исследовании важно определить, насколько достоверно, несмотря на сильную связь между признаками, полученный коэффициент корреляции отличен от того

случая, когда между рядами значений присутствует полностью детерминированная линейная связь (Т.е. насколько достоверно р(р)1ЭТ(р/°п < !)• Для выяснения этого факта используется расчет доверительных интервалов коэффициента корреляции. В данном случае, при помощи пакета Statistica, для 95% доверительного интервала были получены следующие нижняя и верхняя границы коэффициента корреляции: 0,62 и 0,9. Тем самым рассматриваемые ряды оценок достоверно различаются, несмотря на их сильную корреляционную связь.

Рассчитанные степени важности характеристик и элементов ОТС для основной и дополнительной образовательных областей имеют различия, что подтверждает избирательность разработанной методики расчета степеней важности характеристик и элементов ОТС.

По предлагаемой в данной работе методике оценки релевантности ОТС отбираются системы дистанционного обучения, удовлетворяющие критерию «известность», а также следующим первичным критериям:

- соответствие параметров СДО технической обеспеченности медицинской организации;

- русификация интерфейса системы;

- распространенность;

- обновляемость;

- наличие документации по системе дистанционного обучения в открытом доступе;

- наличие демонстрационного сервера или тестового входа в систему;

- возможность связи с разработчиками (для проприетарных СДО) или с сообществом (для систем, разрабатываемых в соответствии с принципом open source (системы с открытым программным кодом).

СДО, отобранные по критерию «известность» и удовлетворяющие первичным критериям, в дальнейшем называются оцениваемые системы.

Из оцениваемых систем дистанционного обучения выделяются системы, имеющие русскоязычную документацию (РСДО). Используя методику расчета степеней важности характеристик и элементов системы, определяются значения степеней важности характеристик и элементов оцениваемых СДО. Данные степени важности покомпонентно сравниваются с критериями выбора ОТС. Наиболее подходящей системой дистанционного обучения, адаптированной для обучения и повышения квалификации медицинских работников является та, значение степени важности каждой характеристики (элемента) которой больше (либо равно) значению соответствующего критерия.

РГст>Р11!рДля1=1,...,9; (5)

РУ:ист>РУф для i = 1, ...,20. (6)

Для окончательного выбора обучающей телемедицинской системы учитываются экономические характеристики - стоимость приобретения Wotc = Sio(2), стоимость внедрения WBH4(p = Sn(2' и стоимость владения WBJI = Si2(2>.

Общая стоимость ОТС: Wo6[ll = W0TC + WBHe„p + WM (7)

Наиболее предпочтительной является та ОТС, для которой Wo6uI минимальна.

Согласно базовым характеристикам, стоимость внедрения зависит от собственно стоимости внедрения системы дистанционного обучения и стоимости

первичного обучения работе с ОТС. Данные стоимости определяются разработчиком системы дистанционного обучения. Стоимость владения зависит от стоимости администрирования ОТС и стоимости технической поддержки системы. Такие стоимости определяются организацией, внедряющей ОТС.

Допустим, что стоимость владения и стоимость внедрения для каждой медицинской организации, внедряющей определенную обучающую телемедицинскую систему, является постоянной величиной, не зависящей от ОТС. Таким образом, сравниваются только стоимости приобретения систем и выбирается та система, стоимость которой минимальна.

Если предпочтительная ОТС не найдена, то определяются степени важности характеристик и элементов для СДО с англоязычной документацией и процедура сравнения и выбора ОТС повторяется.

В четвертой главе описаны реализация и апробация метода многокритериального экспертного оценивания обучающих систем телемедицины на базе Санкт-Петербургской медицинской академии последипломного образования (ГОУ ДПО СПбМАПО) и Санкт-Петербургской медицинской академии им. Мечникова (ГОУ ВПО СПбГМА им. Мечникова).

В соответствии с критерием «известность» были отобраны двадцать российских и зарубежных СДО. Дня проверки соответствия данных систем первичным критериям была изучена техническая обеспеченность ГОУ ДПО СПбМАПО и ГОУ ВПО СПбГМА им. Мечникова: базовое программное обеспечение сервера, штат технических специалистов. Первичным критериям данных медицинских организаций соответствовали одиннадцать систем дистанционного обучения.

Только пять из одиннадцати оцениваемых СДО имели документацию на русском языке, из них РСДО «Moodle» и «Claroline» разрабатываются и распространяются в соответствии с принципом open source (системы с открытым программным кодом), а РСДО «Гекадем» предоставляется бесплатно для государственных образовательных учреждений. Таким образом, стоимость приобретения трех данных систем близка к нулю (Wotc ~ 0). РСДО «ОРОКС» и «eLearning Server» являются коммерческими программными продуктами и имеют отличную от нуля стоимость приобретения.

Значения степеней важности характеристик и элементов оцениваемых РСДО и критерии выбора ОТС на основе характеристик и элементов системы представлены в табл. 3 и табл. 4.

Табл. 3. Значения степеней важности характеристик СДО. Сводная таблица

Sj(2) S3(2> S4® S5(i) S6W) S7(i> s„№ S9

Moodle 100 84 79 74 93 68 24 77 27

ОРОКС 56 68 100 43 59 46 55 87 10

eLearning 100 96 87 90 100 65 37 91 67

Гекадем 95 72 66 100 85 25 71 60 60

Claroline 100 57 57 63 64 52 19 73 16

Критерии 100 82 71 74 92 58 20 58 25

Табл. 4. Значения степеней важности элементов СДО. Сводная таблица.

У,* Рг* в'«"» в1,* о, «) »6 Ут"» в',® <;. (2) в 10 с. (2) » И с. (2) О 12 (1> ? " (2) 3 14 с> 0) » 15 С« (2) » 16 с, а» » 17 С. (2) Ь 18 с. й> г» 19 в) а го

Моос11е 44 41 53 47 90 95 100 98 100 100 97 98 96 72 74 99 68 55 80 68

ОРОКС 32 61 23 63 29 35 56 31 55 73 62 66 66 86 65 100 77 82 51 76

е1латт% 57 100 50 90 42 700 99 86 96 98 89 98 73 86 100 85 87 80 69

Гекадем 69 100 71 64 54 17 95 76 36 16 21 31 39 54 39 34 85 65 83 44

ОагоНпе 17 50 67 56 71 72 73 71 67 82 73 66 95 92 89 94 100 79 89 68

Критерии 29 и 50 45 95 100 98 86 96 95 84 96 69 65 98 67 40 71 68

По результатам покомпонентного сравнения предпочтительными оказались две системы: «еЬеагш^» и «МоосПе». Далее были наложены ограничения, связанные с экономическими характеристиками: ^мскхИе = 0;

^еЬеат^ > 0,

^моо<11е_внедр — ^^еЬеагшп£_Ешсдр 1 СОП51, ^Моос11с_вл = ^еЬсагпт^кл = СОГ^,

Таким образом, была выбрана обучающая телемедицинская система -РСДО «МоосПе».

Данная система дистанционного обучения была внедрена в ГОУ ДПО СПбМАПО и ГОУ ВПО СПбГМА им. Мечникова.

Использование ОТС «МоосПе» в учебной работе двадцати двух кафедр ГОУ ДПО СПбМАПО и кафедры социальной гигиены, охраны прав потребителей и благополучия населения ФПК ГОУ ВПО СПбГМА им. Мечникова повысило интерес слушателей и преподавателей к дистанционному обучению. Медицинские специалисты данных кафедр отмечают расширение роли дистанционного обучения в образовательных программах и связывают это с обоснованным выбором СДО, что подтверждается актами внедрения.

Результаты внедрения подтвердили возможность практического использования разработанных метода многокритериального экспертного оценивания программного обеспечения для обучающих телемедицинских систем и методики расчета степеней важности характеристик и элементов системы, а также методики оценки релевантности ОТС.

Разработаны рекомендации по выбору ОТС для медицинских образовательных учреждений.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Построена иерархическая классификация характеристик и элементов обучающей телемедицинской системы, включающая в себя максимально полный набор характеристик и элементов, необходимых для реализации медицинских образовательных программ.

2. Сформированы критерии выбора обучающей телемедицинской системы.

3. Разработан метод многокритериального экспертного оценивания обучающих телемедицинских систем. Данный метод обладает высокой адаптируемостью, поскольку учитывает как системы дистанционного обучения, недавно появившиеся на рынке, так и обновленные версии уже известных систем. Метод имеет специфическую направленность на область медицинского образования.

4. Разработана методика оценки релевантности ОТС, позволяющая формализовать процесс выбора обучающей телемедицинской системы.

5. Разработаны рекомендации по выбору ОТС для медицинских образовательных учреждений.

6. Метод экспертного оценивания был применен для выбора ОТС в двух образовательных медицинских учреждениях Санкт-Петербурга.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации, входящие в перечень ВАК:

1. Афанасьева, A.A. Разработка метода принятия решения о выборе системы дистанционного обучения для медицинского образования / A.A. Афанасьева // Программные продукты и системы. - 2008 . - №3. - С. 88-89.

Публикации в других изданиях:

2. Афанасьева, A.A. Рекомендации по выбору обучающей телемедицинской системы для медицинских образовательных учреждений: Методическое пособие / A.A. Афанасьева. - СПб.: JIEMA, 2009. - 30 с.

3. Афанасьева, A.A. Формирование профиля характеристик и конечных элементов системы поддержки дистанционного обучения для медицинского образования / A.A. Афанасьева // Научный журнал КубГАУ [Электронный ресурс]. Краснодар: КубГАУ, 2008. №09 (43). Режим доступа: http://ej.kubagro.ru/2008/09/pdf/04.pdf

4. Афанасьева, A.A. Методика определения профиля характеристик и конечных элементов ИОДО / A.A. Афанасьева, В.А. Дюк // Материалы XI Санкт-Петербургской международной конференции «Региональная информатика» -2008. - СПб, 2008. - С. 221-222.

5. Афанасьева, A.A. Экспертные методы принятия решений о выборе системы дистанционного обучения для последипломного медицинского образования / A.A. Афанасьева, A.C. Афанасьев // Труды XV Всероссийской научно-методической конференции «Телематика'2008». - СПб, 2008. - С. 256.

6. Афанасьева, A.A. Организация цикла «Дистанционные образовательные технологии в интернет-системе Moodle» для сотрудников кафедр Санкт-Петербургской медицинской академии последипломного образования / A.A. Афанасьева // Образовательная среда сегодня и завтра, материалы IV Всероссийской научно-практической конференции (Москва, ВВЦ, 3.10 -6.10.2007). - М., 2007. - С. 27-28.

7. Афанасьева, A.A. Внедрение интернет-образования в последипломное обучение медицинским специальностям / A.A. Афанасьева // Труды XIV Всероссийской научно-методической конференции «Телематика'2007». -СПб, 2007. - С. 525.

8. Афанасьева, A.A. Дистанционное обучение в Академии / A.A. Афанасьева, A.C. Афанасьев // Вестник МАПО. - 2007. - №10. - С. 4.

9. Афанасьева, A.A. Возможности использования системы «МООДУС» в качестве программного комплекса дистанционного обучения в медицинских образовательных учреждениях / A.A. Афанасьева // сб. ст. «Информатика и управление в медицинских системах. Юбилейный сборник научных трудов». -СПб, 2006.-С. 121-124.

10. Афанасьева, A.A. Интернет-образование в медицине. Медицинский программный комплекс на базе open source программного обеспечения / A.A. Афанасьева // Материалы X Санкт-Петербургской международной конференции «Региональная информатика» - 2006. - СПб, 2006. - С. 226-227.

П.Афанасьева, A.A. Выбор программного комплекса для медицинского дистанционного обучения / A.A. Афанасьева // сб. ст. «Автоматизация, информатизация, инновация в транспортных системах». - СПб, 2006. - С. 169173.

Подписано в печать 16.12.2009 г. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1,1. Тираж 100 экз. Заказ № 1456.

Отпечатано в ООО «Издательство "ЛЕМА"»

199004, Россия, Санкт-Петербург, В.О., Средний пр., д.24, тел./факс: 323-67-74 e-mail: izd_lema@mail.ru http://www.lemaprint.ru

Основные сокращения, принятые в работе.

Введение.

Глава 1. Обзор современных аспектов дистанционного обучения, специфика телемедицинского обучения и анализ современных научных подходов к выбору обучающей телемедицинской системы.

1.1. Дистанционное обучение: основные понятия и определения.

1.2. Телемедицина. Обзор современного состояния проблемы дистанционного обучения в области медицинского образования.

1.3. Общие сведения об обучающих телемедицинских системах.

1.4. Анализ современных научных подходов к обоснованному выбору обучающей телемедицинской системы.

Глава 2. Разработка метода многокритериального экспертного оценивания обучающих телемедицинских систем.

2.1. Описание метода многокритериального экспертного оценивания обучающих телемедицинских систем.

2.2. Анализ методов экспертных'оценок.

2.3. Методика расчета степеней важности характеристик и элементов системы.

2.4. Построение иерархической классификации характеристик и элементов обучающей телемедицинской системы.

Глава 3. Обоснованный выбор обучающей телемедицинской системы.

3.1. Обработка результатов экспертного опроса методом многомерного шкалирования.

3.2. Расчет степеней важности характеристик и элементов системы.

3.3. Методика оценки релевантности ОТО.

3.4. Формирование степеней важности характеристик и элементов существующих СДО.

3.5. Сравнение степеней важности характеристик и элементов оцениваемых ОТС с критериями выбора ОТС.

Глава 4. Применение разработанного метода многокритериального экспертного оценивания для решения практических задач.

4.1 Применение метода экспертного оценивания ОТС в СПбМАПО и вСПбГМА.

4.2 Рекомендации по выбору ОТС для медицинских образовательных учреждений.

Актуальность темы диссертации. Современная медицина является быстро изменяющейся областью знаний. Стремительное развитие новых медицинских технологий, появление новых лекарственных препаратов и способов лечения приводит к возникновению так называемого эффекта «запаздывания знаний» у медицинских работников. Специалисты испытывают затруднения в получении и обработке больших массивов разрозненной медицинской информации. Сведения, содержащиеся в учебниках, руководствах и справочниках зачастую успевает устареть еще до их публикации.

Для России, с ее огромной территорией, данная проблема имеет особое значение. Развитие телемедицины в целом, и обучающей телемедицины в частности, позволит приблизить качественную медицинскую информацию к отдаленным регионам. Это повысит квалификацию- врачей и; ускорит формирование научных школ в регионах.

Существуют специализированные системы, обеспечивающие создание, передачу, хранение и отображение данных и знаний, в том числе для дистанционного обучения и повышения квалификации, которые могут быть использованы для обучения медицинских специалистов. Обучающие телемедицинские системы (ОТС) имеют свою специфику, связанную с особенностями области медицинского образования: возможность подключения аппаратуры, с помощью которой осуществляется сбор, преобразование и передача медицинской информации; специфические форматы передачи медицинских данных, протоколы обмена информацией; возможность использования специального медицинского программного обеспечения.

Индустрия создания программных продуктов в области дистанционного обучения является динамически развивающимся сектором на рынке информационных технологий. В настоящее время существует множество систем дистанционного обучения. Регулярно появляются новые системы, а разработчики систем, уже устоявшихся на рынке, периодически выпускают их обновленные версии. Известны методы оценки и выбора таких систем общего назначения.

Вместе с тем, традиционные методы выбора программного обеспечения, в т.ч. для дистанционного обучения, не предусматривают возможность оценки ряда свойств, критичных для медицинской области знаний, и поэтому недостаточно эффективны. По этой причине актуальной становится проблема обоснованного выбора обучающей телемедицинской системы.

Целью данной работы является развитие информационного обеспечения обучающих телемедицинских систем.

Для достижения этой цели необходимо решить следующие задачи:

Разработать классификацию характеристик и элементов обучающих телемедицинских систем на основе состава, структуры и основных свойств объекта исследования с учетом специфики медицинской области знаний.

2. Сформировать критерии выбора обучающей телемедицинской системы на основании экспертных заключений.

3. Разработать метод многокритериального экспертного оценивания обучающих телемедицинских систем.

4. Создать методику оценки релевантности систем дистанционного обучения.

Объектом исследования являются телемедицинские системы, предназначенные для, обучения и повышения квалификации медицинских работников.

Предмет исследования - метод многокритериального экспертного оценивания, предназначенный для обоснованного выбора ОТС.

Методы исследования. Для решения поставленных в работе задач используются методы системного анализа, экспертных оценок и прикладной статистики.

Научная новизна:

1. Построена оригинальная иерархическая классификация характеристик и элементов ОТС, включающая в себя максимально полный набор характеристик и элементов необходимых для реализации медицинских образовательных программ. Это позволяет формализовать задачу выбора телемедицинской системы для обучения и повышения квалификации медицинских работников.

2. Впервые сформированы критерии выбора ОТС для оценки и сравнения степеней важности характеристик и элементов обучающих телемедицинских систем.

3. Разработан метод многокритериального экспертного оценивания обучающих телемедицинских систем, позволяющий сделать обоснованный выбор такой системы и отличающийся от существующих методов специфической направленностью на область медицинского образования, а также возможностью многокритериальной оценки характеристик и элементов ОТС при помощи техники парных сравнений и метода многомерного

I ■ шкалирования, применяющихся для ранжирования

I труднодифференцируемых объектов. I

I 4. Создана^ методика оценки релевантности систем дистанционного обучения, позволяющая определить те существующие на рынке системы, которые могут быть адаптированы для телемедицинского обучения.

Практическая ценность работы. Использование разработанного метода и методики позволяет реализовать обоснованный выбор телемедицинской системы, предназначенной для обучения и повышения квалификации медицинских работников. Эти метод и методика использованы при выборе ОТС для Санкт-Петербургской медицинской академии последипломного образования, а также для кафедры социальной гигиены, охраны прав потребителей и благополучия населения ФПК Санкт-Петербургской государственной медицинской академии им. Мечникова. Это позволило значительно сократить временные и экономические затраты при выборе ОТС.

Основные научные положения, выносимые на защиту:

1. Иерархическая классификация характеристик и элементов обучающих телемедицинских систем.

2. Критерии выбора обучающих телемедицинских систем.

3. Метод многокритериального экспертного оценивания» обучающих телемедицинских систем.

4. Методика оценки релевантности существующих систем дистанционного обучения для определения систем, подлежащих адаптации для телемедицинского обучения.

Внедрение результатов работы. При помощи метода многокритериального экспертного оценивания ОТС была выбрана; внедрена и используется в учебном процессе двадцати двух кафедр ГОУ ДПО СПб* МАЛО, а также в учебном процессе кафедры социальной гигиены, охраны прав потребителей и благополучия населения ФПК в ГОУ ВПО СПб ГМА им. Мечникова обучающая телемедицинская система. Имеются акты внедрения.

Апробация работы. Основные результаты работы докладывались и обсуждались на XI Международной конференции «Региональная информатика 2008» (Санкт-Петербург, Россия, 2008), XV Всероссийской научно-методической конференции «Телематика 2008» (Санкт-Петербург, Россия, 2008), IV Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра» (Москва, Россия, 2007), Научно-практической конференции молодых ученых «Актуальные вопросы клинической и экспериментальной медицины» (Санкт-Петербург, Россия, 2007), XIV Всероссийской научно-методической конференции «Телематика 2007» (Санкт-Петербург, Россия, 2007), X Международной конференции «Региональная информатика 2006» (Санкт-Петербург, Россия, 2006).

Публикации. Основные положения диссертации изложены в 11 печатных работах, в том числе 1 работа в журнале, входящим в перечень ВАК («Программные продукты и системы»).

Структура и объем диссертационной работы. Диссертация объемом 128 машинописных листов состоит из перечня основных сокращений, принятых в работе, введения, четырех глав, заключения, списка литературы из 121 наименования, трех приложений общим объемом 24 машинописных листа. Диссертация содержит 47 таблиц и 6 рисунков.

Первая глава посвящена обзору основных понятий и определений дистанционного обучения и телемедицины, анализу современного состояния дистанционного обучения в области медицинского образования в России. Обосновывается необходимость разработки метода выбора телемедицинской системы для обучения и повышения квалификации медицинских работников.

Во второй главе описывается метод многокритериального экспертного оценивания ОТС, исследуются ее характеристики и элементы, строится классификация характеристик и элементов ОТС, а также предлагается методика расчета степеней важности характеристик и элементов системы.

Третья глава посвящена обработке результатов экспертного опроса методом многомерного шкалирования; расчету степеней важности характеристик и элементов системы для основной и дополнительной образовательных областей и формированию критериев выбора ОТС; разработке методики оценки релевантности ОТС.

В четвертой главе рассматривается применение разработанного метода и методик для решения практических задач по обоснованному выбору обучающей телемедицинской системы в двух учебных медицинских учреждениях Санкт-Петербурга. Также даются рекомендации по выбору ОТС для медицинских образовательных учреждений.

Выводы по четвертой главе

1. Метод многокритериального экспертного оценивания обучающих телемедицинских систем использован в Санкт-Петербургской медицинской академии последипломного образования и в Санкт-Петербургской медицинской академии им. Мечникова.

2. По результатам работы данного метода была выбрана ОТС «Моосйе», которая полностью соответствует критериям выбора ОТС на основе характеристик и элементов системы.

3. ОТС «МоосИе» внедрена на двадцати двух кафедрах ГОУ ДПО СПбМАПО и на одну кафедру ГОУ ВПО СПбГМА им. Мечникова. Внедрение этой системы, по мнению преподавателей данных кафедр, повысило интерес слушателей и преподавателей к дистанционному обучению и увеличило значимость дистанционного обучения в образовательных программах.

90

Заключение

1. Построена иерархическая классификация характеристик и элементов обучающей телемедицинской системы, включающая в себя максимально полный набор характеристик и элементов, необходимых для реализации медицинских образовательных программ.

2. Сформированы критерии выбора обучающей телемедицинской системы.

3. Разработан метод многокритериального экспертного оценивания обучающих телемедицинских систем. Метод имеет специфическую направленность на область медицинского образования. Данный метод обладает высокой адаптируемостью, поскольку учитывает как системы, недавно появившиеся на рынке дистанционного обучения, так и обновленные версии уже известных систем. Метод многокритериального экспертного оценивания ОТС основан на сравнении критериев выбора ОТС, составленных с учетом мнений экспертов, со степенями важности характеристик и элементов существующих систем. Суть метода4 состоит в обеспечении возможности учета пользовательских предпочтений для медицинской образовательной области.

4. Разработана методика оценки релевантности ОТС, позволяющая формализовать процесс обоснованного выбора ОТС. Степени важности оцениваемых систем дистанционного обучения сравниваются с критериями выбора ОТС по каждому компоненту. Наиболее подходящей системой телемедицины для обучения и повышения? квалификации медицинских работников является та, значение степени важности каждой характеристики (элемента) которой больше (либо равно) значению соответствующего критерия. Кроме того, стоимость, приобретения обучающей телемедицинской системы должна быть минимальна.

5. Разработаны рекомендации по выбору ОТС для медицинских образовательных учреждений.

6. Метод экспертного оценивания был применен для выбора ОТС - С ДО «МоосИе», внедренной на двадцати трех кафедрах в двух образовательных медицинских учреждениях Санкт-Петербурга. Внедрение этой оболочки, по мнению преподавателей данных кафедр, повысило интерес слушателей и преподавателей к дистанционному обучению и увеличило значимость дистанционного обучения в образовательных программах.

1. Андреев, A.A. Введение в интернет-образование / A.A. Андреев. М. : ЛОГОС, 2003. - 76. - ISBN 5-94010-245-Х.

2. Андреев, A.A. Дидактические основы дистанционного обучения Электронный ресурс. / A.A. Андреев. Московский государственный университет экономики, статистики и информатики. - Режим доступа : http://www.iet.mesi.ru/br/ogl-b.htm, свободный.

3. Афанасьева, A.A. Рекомендации по выбору обучающей телемедицинской системы для медицинских образовательных учреждений: Методическое пособие / A.A. Афанасьева. СПб. : ЛЕМА, 2009. - 30. - ISBN 978-598709-188-3.

4. Афанасьева, A.A. Методика определения профиля характеристик и конечных элементов С ДО / A.A. Афанасьева, В. А. Дюк // Материалы XI Санкт-Петербургской международной конференции «Региональная информатика» 2008. - СПб., 2008. - С. 221-222.

5. Афанасьева, A.A. Разработка метода принятия, решения о выборе системы дистанционного обучения для медицинского образования / A.A. Афанасьева // Программные продукты и системы. 2008 . - №3. - С. 8889.

6. Афанасьева, A.A. Внедрение интернет-образования в последипломное обучение медицинским специальностям / A.A. Афанасьева // Труды XIV Всероссийской научно-методической конференции «Телематика'2007». -СПб., 2007.-С. 525.

7. П.Афанасьева, A.A. Дистанционное обучение в Академии / A.A. Афанасьева, A.C. Афанасьев // Вестник МАЛО. 2007. - №10 (70). - С. 4.

8. Афанасьева, A.A. Выбор программного комплекса для медицинского дистанционного обучения / A.A. Афанасьева // сб. ст. «Автоматизация, информатизация, инновация в транспортных системах». СПБ., 2006. -С. 169-173.

9. Бабешко, В.Н. Оценка качества / В.Н. Бабешко, М.И. Нежурина. М., 2004. - 178 с. - ISBN 5-94768-037-8

10. Бешелев, С.Д. Математико-статистические методы экспертных оценок / С.Д. Бешелев, Ф.Г. Гуревич. -М. : Статистика, 1980. 263 с.

11. Блажис, А.К. Телемедицина / А.К. Блажис, В.А. Дюк. СПб : «СпецЛит», 2000. - 154 с.

12. Бовт, В.В. Опыт использования системы дистанционного обучения «Прометей» для организации корпоративных тренингов в МЭСИ / В.В. Бовт, Е.В. Тихомирова // Открытое образование. 2003. — N 4. - С. 51-54.

13. Богданов, A.B. Создание системы дистанционного профессионального образования: от планирования до программной реализации / A.B. Богданов // Вопросы статистики. 2001. -№3. - С.56-57.

14. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм и др.. — М.: Мир, 1981.-208 с.

15. Вострокнутов, И.Е. Теория и технология оценки качества программных средств образовательного назначения : автореф. . дис. докт. пед. наук 13.00.02 / И.Е. Вострокнутов. М., 2002. - 45 с.

16. Гайдышев, И. Анализ и обработка данных: специальный справочник / И. Гайдышев. СПб : Питер, 2001. - 752 с. - ISBN 5-318-00220-Х.

17. Гаркуша, В. Как выбрать «правильную» систему дистанционного обучения / В. Гаркуша // Финансовая газета. Региональный выпуск. -2004. № 46. - С. 17-24.

18. Гусева, А.И. Оценка качества методического, математического и программного обеспечения распределенных обучающих систем : автореф. . дис. докт. тех. наук 05.13.01 / А.И. Гусева. -М., 2003. -45 с.

19. Дейвисон, М. Многомерное шкалирование / М. Дейвисон. М. : Финансы и статистика, 1988. — 254 с.

20. Демкин, В. Нормативная база дистанционного образования / В. Демкин // Дистанционное и виртуальное обучение. 2003. - №5. - С. 11-12.

21. Дистанционное обучение. Информационный портал Электронный ресурс. Электрон, дан. - Режим доступа : http://www.distance-leaming.ru/, свободный. - Загл. с экрана.

22. Дистанционное обучение: Учебное пособие. / Под ред. Е.С. Полат. М. : Владос, 1998. -192 с.

23. Дистанционное обучение с использованием новых компьютерных технологий Электронный ресурс. / Санкт-Петербургская медицинская академия последипломного образования. Электрон, дан. - Режим доступа : http://study.maps.spb.ru, свободный.

24. Дмитриенко, В. Дистанционное образование кому это надо? / В. Дмитриенко // Компьютер пресс. - 1999. - № 9. - С. 20 - 22.

25. Дронов, C.B. Многомерный статистический анализ: Учебное пособие / C.B. Дронов. Барнаул : издательство алтайского государственного университета, 2003. - 246 с.

26. Дюк, В.A. Data Mining: учебный курс / В.А. Дюк, А.П. Самойленко. -СПб : «Питер», 2001. 368 с.

27. Дюк, В.А. Информационные технологии в медико-биологических исследованиях / В.А. Дюк, В.Л. Эмануэль. СПб. : Питер, 2003. - 528 с. -ISBN: 5-94723-501-3.

28. Дюк, В.А. Компьютерная психодиагностика / В.А. Дюк. СПб : «Братство», 1994. - 364 с.

29. Дюк, В.А. Обработка данных на ПК в примерах / В.А. Дюк СПб : «Питер», 1997.-240 с.

30. Е-обучение. Официальные документы электронный ресурс. / Информационно-методический центр. Электрон, дан. - Режим доступа : http://www.agtu.ru/ofitsialbnyedokumenty.html, свободный. - Загл. с экрана.

31. Ефремов, А.П. К вопросу о качестве дистанционного обучения / А.П. Ефремов // Дистанционное и виртуальное обучение. 2003. - №2. - С. 1315.

32. Зайченко, Т.П. Инвариантная организационно-дидактическая система дистанционного обучения. Монография. / Т.П. Зайченко. — СПб : изд-во «Астерион», 2004. 188 с. - ISBN 5-94856-110-0.

33. Информационно-образовательная среда ИОС «ДО-он-лайн» Электронный ресурс. / Образовательный портал центра дистанционного обучения. Электрон. дан. - Режим доступа : littp://dlc.miem.edu.ru/newsite.nsi7docs/worksl.html, свободный: - Загл. с экрана.

34. Казаков, В.Н. Дистанционное обучение в медицине / В.Н. Казаков, В.Г. Климовицкий, A.B. Владзимирский. Донецк : ООО «Норд», 2005. - 80 с.

35. Калягин, А.Н. Организация дистанционного обучения студентов по специальности «Менеджмент в здравоохранении» в медицинском вузе» / А.Н. Калягин // Врач-аспирант. 2006. - № 3 (12). - С. 270.

36. Карандашев В.Н. Методика преподавания психологии / СПб. : Питер, 2008. 249 с. - ISBN 9785947233711

37. Кини, P.JI. Принятие решений при многих критериях: предпочтения и замещения / Р.JI. Кини, X. Райфа. -М. : Радио и связь, 1981. 560 с.

38. Концепция информатизации высшего образования Российской Федерации. -М.: Пресс-сервис, 1994. 100 с.

39. Концепция развития сети телекоммуникаций в системе высшего образования Российской Федерации. М.: Государственный комитет по высшему образованию, 1994. 120 с.

40. Королев, И.В. Исследования и разработка средств оценки качества программных продуктов учебного назначения: автореф. . дис. канд. тех. наук 05.13.11 / И.В. Королев. -М., 2004. 18 с.

41. Кречетников, К.Г. Методология проектирования, оценки качества и применения средств информационных технологий обучения. Монография / К.Г. Кречетников. М. : Изд-во гос. коорд. центра инф. тех., 2001. -244 с.

42. Ларичев, О.И. Качественные методы принятия решений / О.И. Ларичев, Е.М. Мошкович. М.: Наука, - 1996. - 207 с.

43. Ларичев, О.И. Системы поддержки принятия решений. Современное состояние и перспективы их развития / О.И. Ларичев, A.B. Петровский // Итоги науки и техники. Сер. Техническая кибернетика. Т.21. — М. : ВИНИТИ, 1987. - с. 131-164.

44. Липаев, В.В. Качество программных средств. Методические рекомендации / В.В. Липаев. — М. : Янус-К, 2002. 402 с.

45. Литвак, Б.Г. Экспертная информация: методы получения и анализа / Б.Г. Литвак. М. : Радио и связь, 1982. - 184 с.

46. Льюс, Р.Д. Игры и решения. Введение и критический обзор / Р.Д. Льюс, X. Райфа. М.: Изд-во иностранной литературы, 1961. 642 с.

47. Методы поддержки принятия решений. М. : Едиториал УРСС, 2001. -304 с. 5-8360-0297-5.

48. Микитенко, Д.А., Калягин А.Н. Обучающие информационные технологии в дистанционном медицинском образовании / Д.А. Микитенко, А.Н. Калягин // Украинский журнал телемедицины и медицинской телематики. 2005. - Т.З. - № 2. - С.184-189.

49. Министерство образования и науки Российской Федерации. Федеральное агентство образования. — Электрон, дан. — Режим доступа : http://www.ed.gov.ru/, свободный. Загл. с экрана.

50. Нежурина, М.И. Принципы организации и разработка специализированной информационно-образовательной среды для дистанционного обучения : автореф. . дис. канд. тех. наук 05.13.11 /М.И. Нежурина. -М, 1998. 16 с.

51. Норенков, И.П., Зимин А.М. Информационные технологии в образовании. / И.П. Норенков, А.М. Зимин. -М. : Издательство МГТУ им. Н.Э. Баумана, 2004. 352 с.

52. Обучающие машины и комплексы: Справочник / под общей ред. А .Я. Савельева. Киев : Вшца шк. Головное из-во, 1986. - 303 с.

53. Овсянников, В.И., Густырь A.B. Введение в дистанционное образование. Учебное пособие для системы повышения квалификации и профессиональной переподготовки специалистов / В.И. Овсянников, A.B. Густырь. М. : Магистр, 200 L. - 161 с.

54. Об образовании : федер. закон. М. : Инфра-М, 2006. - 54 с. -(Федеральный закон ; вып. 28).

55. Орлов, А.И. Экспертные оценки. Учебное пособие. / А.И. Орлов. М., 2002.-31 с.

56. Основы открытого образования / A.A. Андреев и др.. Отв. ред. В.И. Солдаткин. Т 1,2. Российский государственный институт открытого образования. - М : НИИЦ РАО, 2002. - 676 с. - TSBN 5-8122-0374-1.

57. Полат, Е.С. Организация дистанционного обучения / Е.С. Полат // Информатика и образование. 2005. - № 4. — С. 25-33.

58. Преподавание в сети Интернет. Учебное пособие. / Отв. ред. В.И. Солдаткин. М:: Высшая школа, 2003. - 792 с. - ISBN 5-06-004715-6.

59. Прикладная статистика. Классификация и снижение размерности / Отв. ред. проф. С.А. Айвазян. — М.: Финансы и статистика, 1989. — 606 с.

60. Прикладная статистика. Основы моделирования и первичная обработка данных / Под ред. С.А.Айвазяна. М. : Финансы и статистика, 1993. -471с.

61. Растригин, JI.A. Адаптивное обучение с моделью обучаемого / JI.A. Растригин, М.Х. Эренпггейн. Рига : Зинатне, 1988. - 160 с.

62. Региональная информационная система телемедицины Ханты-Мансийского автономного округа Югры Электронный ресурс. -Электрон, дан. - Режим доступа : http://medcms.imit.nl, свободный.

63. Ретинская, И.В. Отечественные системы для создания компьютерных учебных курсов / И.В. Ретинская , М.В. Шугина // Мир ПК. 1993. - №7. -С. 55-60.

64. Роберт, И.В. Экспертно-аналитическая оценка качества программных средств учебного назначения / И.В. Роберт // Педагогическая информатика. 1993. -№1. - С. 54-62

65. Саба, Ф. Дистанционное обучение основы и фундаментальные концепции / Ф. Саба // Дистанционное и виртуальное обучение. - 2003. -№4. - С.40-42.

66. Саати, Т. Принятие решений. Метод анализа иерархии / Т. Сааги. М. : Радио и связь, 1993. 278 с.

67. Саатчян, Г. Системы дистанционного обучения: что предлагает рынок / Г. Саатчян // Финансовая газета. Региональный выпуск. 2005. - № 12. - С. 13-18.

68. СДО «Доцент» Электронный ресурс. / компания «Униар». Электрон, дан. - Режим доступа : http://proxy.imiar.ru/www/dt-docent.html, свободный. - Загл. с экрана.

69. СДО ОРОКС Электронный ресурс./ Московский областной центр новых информационных технологий. Электрон, дан. - Режим доступа : http://www.mocnit.iniee.ru/mocnit/oroks.html, свободный. - Загл: с экрана.

70. СДО Прометей Электронный ресурс. / компания «Виртуальные технологии в образовании». Электрон, дан. - Режим доступа : http://www.prometeus.ru, свободный. - Загл. с экрана.

71. Сектор информационных систем дистанционного обучения Междисциплинарного центра СпбГУ Электронный ресурс. Электрон, дан. - Режим доступа: http://dl.nw.ru/, свободный. - Загл. с экрана.

72. Сенкевич, Ю.И. Теоретические основы разработки автоматизированных инструментальных средств для телемедицинских систем полярных зон.: автореф. . дис. докт. тех. наук 05.13.01 / Ю.И. Сенкевич СПб., 2008. -36 с.

73. Сервер поддержки дистанционного обучения el-earning Server Электронный ресурс. / HYPERmethod IBS. Электрон, дан. - Режимдоступа : http://www.hypemiethod.ru/static.php?id=3010, свободный. Загл. с экрана.

74. Система дистанционного обучения i.Logos / Иркутский государственный технический университет. Электрон, дан. - Режим доступа : http://ilogos.ru, свободный. - Загл. с экрана.

75. Система дистанционного обучения СДТ REDCLASS Электронный ресурс. / REDCENTER- авторизированный учебный центр в области корпоративного обучения персонала. Электрон, дан. - Режим доступа : http://www.redcenter.ru/?sid=439, свободный. - Загл. с экрана.

76. Система дистанционного обучения Web Tutor Электронный ресурс. / Web Soft. Электрон, дан. - Режим доступа : http://www.websoft.ru, свободный. - Загл. с экрана.

77. Система дифференцированного интернет-обучения ГЕКАДЕМ Электронный ресурс. / Иркутский государственный медицинский университет. — Электрон. дан. Режим доступа : http://hecadem.ismu.baikal.ru, свободный. - Загл. с экрана.

78. Современные информационные и образовательные технологии в системе медицинского образования. Дистанционное обучение / А.Н. Стрижаков и др.. М.: Медицина, 2007. - 256 с. ISBN 5-225-04020-9

79. Соловов, A.B. Электронное обучение: проблематика, дидактика, технология / A.B. Соловов. Самара : Новая техника, 2006. - 464 с. ISBN 978-5-88940-086-8.

80. Справочник по прикладной статистике / Под ред. Э. Ллойда, У. Ледермана. М. : Финансы и статистика, 1990. - 528 с.

81. Терехина, А.Ю. Метрическое многомерное шкалирование / А.Ю. Терехина. М., 1977. 76 с.

82. Управление контентом интерактивного курса в системе дистанционного обучения иностранному языку Электронный ресурс. / Д.Н. Балтруков [и др.] // XI Всероссийская научно-методическая конференция

83. Телематика'2004». СПб, 2004. - Режим доступа: http://tm.ifmo.ru/tm2004/db/doc/getthes.php?id=303, свободный.

84. Холопов, M.B. Дистанционное обучение в медицине Электронный ресурс. / М.В. Холопов. Московская медицинская академия им. И.М. Сеченова. : 2007. - Электрон, статья. - Режим доступа : http://www.mma.ru/article/id29905, свободный.

85. Хуторской, А. На урок к дистанционному учителю. О всероссийском конкурсе «Дистанционный учитель года» / А. Хуторской // Мир Internet. -2000,-№8.-С. 26-29.

86. Черноруцкий, И.Г. Методы принятия решений / И.Г. Черноруцкий. СПб : VHB, 2005. - 5-94157-481-9.

87. Шуваева, В.В. Дистанционные технологии обучения в системе дополнительного профессионального образования В.В. Шуваева // Управление персоналом. 2005. - № 3. - С. 32-36.

88. Экспертная оценка качества* педагогических программных средств вычислительной техники: Методические рекомендации / сост. к.п.н. В.И. Сопин, к.т.н. И.А. Липанова, С.М. Артемьева. Л., 1990. - 47 с.

89. Экспертные оценки в социологических исследованиях / Отв. ред. С.Б. Крымский. Киев : Наукова думка, 1990. - 319 с.

90. Юрков, A.B. Обзор отечественных систем дистанционного образования / A.B. Юрков // Компьютерные инструменты в образовании. 2003. -№1. С. 8-15.

91. Юрков, A.B. Обзор зарубежных систем дистанционного образования / A.B. Юрков // Компьютерные инструменты в образовании. 2002. - №6. С. 7-12.

92. Ashby, W.R. An Introduction in>Cybernetics / W.R. Ashby. London, 1957. -295 p.

93. Carnevale, D. Who Owns On-Line Courses? Colleges and Professors Start to Sort It Out. / D. Carnevale, J. Young // The Chronicle of higher education. 2000. - December 17. - P. A45 - A46.

94. Cook, A. David E-learning is there anything special about the "e"? / David A. Cook, Furman S. McDonald // Perspectives in Biology and Medicine. -2008. volume 5, number 1. P. 5 - 21.

95. Jeffries, M. Research in Distance Education / M. Jeffries. INETS, 1998.

96. Kerka, S. Communications Technologies in Adult, Career, and Vocational Education / S. Kerka. Eric Digest. - №. 81,1998.

97. Leibowitz, W.R. Law professors Told to Expect Competition from Virtual Learning / W.R. Leibowitz // The Chronicle of Higher Education. 2000. -January 21. - P. A45.

98. LMS «Atutor» Электронный ресурс. / Atutor learning content management system. - Электрон, дан. - Режим доступа : http://www.atutor.ca/, свободный. - Загл. с экрана.

99. LMS «Blackboard» Электронный ресурс.'/ Blackboard. Электрон, дан.- Режим доступа : http://www.blackboard.com/us/index.bbb, свободный. -Загл: с экрана.

100. LMS «Claroline» Электронный ресурс. / Claroline.net. Электрон, дан.- Режим доступа : http://www.claroline.net/, свободный. — Загл. с экрана.

101. LMS «LAMS» Электронный ресурс. / LAMS International. Электрон, дан. - Режим доступа : http://www.lamsinternational.com/, свободный. -Загл. с экрана.

102. LMS «Microsoft Class Server» Электронный ресурс. / Class Server. -Электрон: дан. — Режим доступа :http://wvm.microsoft.com/Rus/Education/ClassServer/Default.rnspx, свободный. Загл. с экрана.

103. LMS «Moodle» Электронный ресурс. / Moodle. Электрон, дан. -Режим доступа : http://moodle.org/, свободный. - Загл. с экрана.

104. LMS «OLAT» Электронный ресурс. / OL AT The open source LMS. -Электрон. дан. - Режим доступа http://www.olat.org/website/en/html/index.html, свободный. — Загл. с экрана.

105. LMS «Avanta» Электронный ресурс. / Интегрированная обучающая среда. Электрон, дан. - Режим доступа : http://avanta.wsu.ru/ свободный. - Загл. с экрана.

106. LMS «Oracle iLearning» Электронный ресурс. / Oracle iLearning. -Электрон, дан. Режим доступа : http://ilearning.oracle.com, свободный. -Загл. с экрана.

107. LMS «Sakai» Электронный ресурс. / Sakai. Электрон, дан. - Режим доступа : http://sakaiproject.org/portal, свободный. - Загл. с экрана.

108. Rice IV, W.H. Moodle. E-learning Course Development / W.H. Rice IV. -Birmingham-Mumbai, 2006. 236 p. - ISBN 1-904811-29-9.

109. Rowntree, Derek Exploring open and distance learning / D. Rowntree. -London, 1992. 299 p. - ISBN 0-7494-0813-8.1. На правах рукописи