автореферат диссертации по документальной информации, 05.25.05, диссертация на тему:Автоматизация визуализации информации в обучающих мультимедиа системах

На правах рукописи

Моисеева Маргарита Витальевна

РГБ ОД

? 7 / гз

АВТОМАТИЗАЦИЯ ВИЗУАЛИЗАЦИИ ИНФОРМАЦИИЬ и-г L ОБУЧАЮЩИХ МУЛЬТИМЕДИА СИСТЕМАХ

05.25.05 - Информационные системы и процессы

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва, 2000

Работа выполнена в Российском государственном гуманитарном университете

Научный руководитель: доктор технических наук, профессор

Романенко А.Г.

Официальные оппоненты: доктор филологических наук, профессор

Гиляревский Р.С.

Ведущая организация: Всероссийский научно-исследовательский институ межотраслевой информации (ВИМИ)

Защита диссертации состоится « ¿6 » апреля 2000 г. в 1часов на заседани диссертационного совета Д.064.49.03 в Российском государственно: гуманитарном университете по адресу: 125267, Москва, Миусская пл., д.6.

С диссертацией можно ознакомиться в библиотеке Российског государственного гуманитарного университета.

Автореферат разослан 4У гЛ1£1/177?&_2000г.

Ученый секретарь

кандидат технических наук Павлов Л.П.

Диссертационного совета

—Меркулов В.Н.

I -М.1Г- пи п

)БЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

1Ктуальность.Современный мир не мыслит себя без компьютера, компьютер ез мультимедиа технологий (ММТ - технологии, позволяющие пользователю аботать с несколькими различными типами представления информации текстом, звуком, графикой) в реальном масштабе времени.), а ММТ без изуализации (процесса представления информации в графическом виде). 1менно визуализация является сейчас новым и перспективным направлением в азвитии компьютерных технологий. Системы виртуальной реальности, бучающие ММ системы, компьютерная томография, тренировочные имуляторы... - все это использует визуализацию как центральное ядро. В аком контексте применения мультимедиа систем возникает такая актуальная [роблема как автоматическое установление связей между различными пособами представления информации (что особенно актуально при [еобходимости визуализации большого объема информации), в результате: ущественно повышается интеллектуальность таких ОММС; пользователю [редоставляется возможность общаться с компьютером-на уровне постановки адачи на любом из привычных для него языков (естественном, образном, вуковом и т.д.) без выполнения большого объема работ, характерных для овременных ОММС и т.д. В этом направлении развития ММТ центральное 1есто занимают системы типа «текст-рисунок-звук», обеспечивающие заимодействие различных типов языков:

де I а - аудиотекст, 1 в - видеотекст 1 с - символьный текст.

Кроме того, к концу 20 века человечество накопило огромное количество (нформации, в том числе в виде картин, рисунков, фотографий и т.д., которые вмещены в различных архивах, запасниках, фондах, коллекциях, музеях и т.д. |бразуя графические базы данных. Когда графическая база данных какой-[ибудь организации содержит несколько десятков или сотен тысяч ¡зображений возникает проблема поиска необходимой информации. Особенно >стро стоит вопрос поиска изображения, если пользователю неизвестно ни очное название, ни автор работы, а требуется найти картину, фотографию, шсунок и т.д., зная лишь ее приблизительное содержание. Системы типа :текст-рисунок» могут помочь в решении проблемы поиска в нетекстовых ¡азах данных, когда речь идет не о поиске текста по ключевым словам, а о ыборе нужной «картинки», слайда, фотографии и т.д. по ее стественноязыковому описанию, по каким-то «ассоциативным юспоминаниям» о содержании «картинки» и т.д. Можно сказать, что сфера грименения систем типа «текст-рисунок-звук» очень широка и, возможно, годностью еще не исчерпана.

Проблема образования стара как мир, не нов и принцип наглядное! обучения, который тесно связан с понятием визуализации. Эффективное визуализации обучения всеми признана и поддержана. Однако пора поставить вопрос пагубности методологически не организованной визуализаци информации, что особенно актуально, когда речь идет об образовании детей, влиянии образовательных программ на еще не устоявшуюся психику наше! будущего — детей. Непрофессиональное, грубое вмешательство визуализации образование может не только не помочь ученику, но и навредить ему. Поэтог» представляется актуальным

-- V/ разработать основные принципы проектирования электронно] учебника, который будет принципиально отличаться от своего бумажно] собрата, максимально используя все преимущества компьютерно] образования; и принципы графического моделирования обучающего материал Задачи: в задачу работы входит разработка: 1) методов и средств установлен! связей между основными (ограниченными по семантике, синтактике прагматике) типами представления информации (языками), используемых обучающих мультимедиа системах (ММС): текст и графика; в результате че! существенно повышается их интеллектуальность; 2) основных методов принципов визуализации информации в обучающих системах; 3) основнь принципов проектирования электронного учебника, принципиалы отличающегося от своего бумажного аналога.

Целью данной работы является создание: 1) интеллектуальной системы «ТРЗ наглядно демонстрирующей возможность практического применения основнь положений разработанной методики, в которой связь между видео естественно языковыми ситуациями осуществляется на 3-х основнь информационных уровнях: структурном, смысловом, целевом; устанавливать! эта связь будет автоматически, тогда как в традиционных системах это дела< человек; 2) CD-ROM «Основы интеллектуальных технологий» к« демонстрация использования процесса визуализации и разработанного в хо; диссертационных исследований ситуационного метода компьютерно! обучении; 3)CD-ROM «Популярная стоматология» как пример применею основных представленных принципов визуализации обучающего материала. Научная новизна исследования и его результатов заключается в следующем: I) современные системы и методики рассматривают трансляцию «текс рисунок» как «смысл текста-рисунок(действие)» (хотя намечается переход рассмотрению этой проблемы как «текст-действительность»), а не как перевс с одного языка на другой, перевод с языка символьного текста на язь графики, поэтому представляется необходимо разработать методю автоматического установления связей между этими 2 языками представлен* информации в обучающих мультимедиа системах, в результате чег существенно повышается их интеллектуальность. Предложенная в даннс работе новая трактовка визуализации (перевод с одного языка на друга делает разработанную в ходе исследования систему более универсальной, че существующие;

2) на современном уровне развития ОММС компьютер не осуществляет визуализации ЕЯ текстов самостоятельно. За него это заранее делает разработчик программы, поэтому предлагаемая в данной работе методика автоматической визуализации ЕЯ текстов в ОММС представляется новой;

3) создание основных методов графического проектирования обучающего материала, которые на данном этапе развития обучающих ММС либо не разработаны, либо неизвестны;

4) разработка: ситуационного метода компьютерного обучения, который в отличие от предшествующих методов обучения прост и доступен, учитывает индивидуальные особенности ученика, максимально адаптирован для автоматической генерации компьютером процесса обучения с учетом индивидуальных особенностей ученика; и соответствующей данному методу архитектуры обучающей системы, т.к. большинство современных компьютерных учебников является точной копией своих «бумажных» собратьев: страница текста + картинка + иногда полминуты музыки. Но плюс ко всему такие творения еще и портят здоровье ученика, вынужденного достаточно долго просиживать за компьютером, напряженно всматриваясь в некачественное изображение и мерцающий текст на экране монитора. Трактическая ценность: 1) разработка принципов и методов построения )бучающего материала и его визуализации существенно повышает >ффективность процесса обучения (т.е. учебный материал лучше запоминается, дельше остается в памяти, в последствие вспоминается легче и с наименьшим соличеством ошибок и т.д.) 2) разработка методов автоматической шзуализации обучающей информации существенно повышает штеллектуальность обучающий мультимедиа систем (ОММС); предоставляет тользователю возможность общаться с компьютером на уровне постановки ¡адачи на любом из привычных для него языков (естественном, образном, (вуковом и т.д.) без выполнения большого объема работ, характерных для ювременных ОММС; позволяет автоматизировать, усовершенствовать и >птимизировать процесс обработки и поиска информации в графических базах ханных; 3) создание и внедрение коммерческих CD-ROM, реализующих принципиально новые методы (ситуационный метод) и принципы (принципы сонструирования графического обучающего материала) компьютерного )бучения, позаоляют сделать процесс освоения изложенного в них материала максимально интересным, увлекательным и эффективным.

Апробация результатов: основные положения диссертационного ^следования докладывались и обсуждались на международной научно-фактической конференции «Университеты в формировании специалиста XXI зека», (Пермь, 24-28 мая 1999 г); на семинарах кафедры автоматизированных информационных технологий и систем. Адекватность разработанных методик и тринципов подтверждена в ходе внедрения разработанных систем: в збразовательный процесс кафедры информационных ресурсов РГГУ, кафедры управляющих интеллектуальных систем МИФИ; а также в работу Московского тучного центра по культуре и информационным технологиям (МНЦКИТ). По

материалам диссертации опубликовано 3 печатных работы. Готовится к печа

статья Моисеева М.В. Автоматизация визуализации информации в контекс

обучающих мультимедиа систем // НТИ, сер.1, вып 5, 2000.

Объем и структура работы: диссертация состоит из введения, 4 гл;

заключения, библиографии и приложения, содержащего фрагменты текс

программы, актов внедрения результатов работы, интерфейсов разработаны]

программ.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во Введении обоснована актуальность темы, научная новизна, практическ ценность; кратко изложен генезис проблем визуализации и проектирован систем типа «текст-рисунок».

Глава 1. Визуализация информации в обучающих системах. В данной глг дается обзор работ, посвещенных проблеме визуализации информации обучающих компьютерных системах. На основе чего делаются следуюш выводы:

во-первых, необходимо разработать основные методы и принцм визуализации информации в обучающих системах, которые на данный моме не известны;

во-вторых, большинство предлагаемых современных методик создан ОММС предлагают проектировать электронные учебники, которые мало, ч отличаются от традиционных бумажных аналогов; практически все методи проектирования обучающих систем не определяют что и как нуж представить, речь идет в основном об архитектуре системы, в таких систеч* не предусмотрена возможность коллективного пользования ОММС, мг внимания уделяется индивидуализации процесса обучения, котор заключается как правило в наличии определенного числа тестов; необходи разработать основные принципы проектирования электронного учебни который будет принципиально отличаться от своего бумажного собра максимально используя все преимущества компьютерного образования;

в-третьих, современные системы и методики рассматривают транслящ «текст-рисунок» как «смысл текста-рисунок(действие)» (хотя намечаем переход к рассмотрению этой проблемы как «текст-действительность»), а как перевод с одного языка на другой, перевод с языка символьного текста язык графики; необходимо разработать методику автоматическс установления связей между 2 основными языками представления информаци: обучающих мультимедиа системах, в результате чего существенно повышас их интеллектуальность.

Глава 2. Методика графического построения (визуализации) обучающего материала и организации обучающих мультимедиа систем (ОММС).

В данной главе представлены методики: 1) визуализации информации компьютерных обучающих системах; 2) проектирования электроннс учебника, основу которого составляет предлагаемый ситуационный мет компьютерного обучения.

1) проанализировав все требования к современным ОММС, можно предложить ледующие основные принципы проектирования графической части ОММС: .Профессионализм и разделение труда: в команду создателей учебных курсов (олжны входить профессионалы, а при разработке детских ОММС — детских [сихологов (для исключения факторов, которые, возможно, несознательно югут негативно задеть психику ребенка).

^.Детерминированность: подразумевает разделение потенциальных юльзователей программы на возрастные группы (дошкольники, младшие цколышки, школьники, взрослые) для организации отдельного подхода к (бучению каждой группы. Это требование диктуется: разным уровнем юсприятия, разной чувствительностью (впечатлительностью) к одним и тем же фактам и т.д.

I.Органичное взаимодействие: а) «непринудительная» иллюстрация, т.е. юзможность у пользователя выбора смотреть или нет визуализацию >бъяснения; поскольку неудачная иллюстрация может еще больше запутать »бучаемого; б)необходимо предусмотреть возможность задания вопросов :истеме по предоставленному графическому обучаемому материалу: по [етализации графической сцены, по масштабированию, структуре, составлению ;елой сцены по частям и т.д.; в) графически выраженная реакция системы на ;ействия обучаемого: в виде определенных графических знаков (анимационных сартинок), выражающих одобрение/неодобрение, похвалу, предупреждения и '.д.; этот пункт должен придать системе некую «индивидуальность», (человечность».

к«Неполное» изображение: пользователь не должен на все 100% пользоваться гужими мозгами, необходимо давать возможность подключать собственную фантазию пользователя. Особенно это должно касаться детского обучения. >. Анимация, мультипликация, компьютерная графика: необходимо полностью юпользовать все специфические возможности компьютера. Ведь помимо >бычных чертежей и рисунков в некоторых случаях более оправдано 1спользование в процессе графического представления ОМ анимационной сартинкой, когда одна часть накладывается на другую, постепенно (частями) ;оздавая сложную картинку. Например, основные составляющие кадры ишмационной картинки могут быть такими:

Ф ф

1.

2.

3.

4.

5.

6. Минимальный вред для здоровья: неправильно подобранные цвета, резке контрастные тона, неоправданно резкие, «кричащие» краски увеличивают нагрузку на глаза и как следствие на уменьшается работоспособность, внимательность, появляются головные боли и т.д.

7. Индивидуальность: должна пониматься не только как способность оценит! знания обучаемого, преподать пользователю в зависимости от уровш подготовленности ту или иную порцию ОМ; индивидуальность в смысле графического конструирования учебного материала подразумевает способност! системы выяснить, какие механизмы обучения наиболее эффективны для тоге или иного пользователя.

8. Научная обоснованность: все использованные в обучающей программ( материалы должны иметь четкую научную основу и обладать достоверно? информацией.

(2) Ситуационный метод компьютерного обучения, положенный в основ) интеллектуальных интерактивных обучающих программ, помогает индивидуализировать процесс обучения; существенно повысить эффективное^ обучения (т.е. полученные знания дольше остаются в памяти, впоследствии ош воспроизводятся легче и с минимальным количеством ошибок и т.д.) и т.д. Суп этого метода сводится к следующему: 1.данная предметная область (ПО представляется наборам обучающих ситуаций (ОС):

ПО=£$; существует совокупность Мн={8ь Б;,..., Б,,} 2. каждая ОС описывает определенное состояние ПО и определяет уровен] знаний ученика о ПО. ОС характеризуется: 1 Определенной порцие! обучающего материала; 2) условиями входа в данную ОС; 3)условиями выход: из ОС; 3. процесс обучения как способ передачи от учителя ученику порцш знаний заключается в разработке и реализации компьютером индивидуально! для каждого ученика стратегии обучения (Соб), которая определяете; следующей формулой: Соб=8„+8|С +0+П+К

. Для этого компьютеру необходимо определить: а) Б,, — ситуацию начальную т.е. тот уровень заний ученика о ПО, с которым он приступает к изучении данного курса; б) ситуация конечная, т.е. тот уровень знаний, которьв должен обладать ученик после освоения данного обучающего курса; в) путь и 8„ в Б* ; для этого компьютер опирается на: 1 Ограничения, которые » позволяют перейти из одной ситуации в другую; 2)критерии, которьи позволяют перейти из одной ситуации в другую; 3) правила перехода межд; ситуациями. Опираясь на эти данные (пп. 1), 2), 3)), компьютер из всеп существующего набора ситуаций (в совокупности составляющих данную ПО выбирает те ОС, в которых должен будет побывать ученик - Д'Мн, 1 последовательность перехода из одной ОС в другую, пока цель не буде достигнута (т.е. пока ученик не придет в Б*). Таким образом, модель обучени: (МО) выражается формулой: МО=Соб+ДМн, т.е.

М0=(8н+8к+0+П+К)+Д Мн Ситуативная схема обучения (схема взаимодействия обучающих ситуаций выглядит следующим образом:

5н - Ситуация начальная: учащийся хочет пройти курс обучения; вк — Ситуация конечная: цель достигнута: контрольный тест пройден без ошибок, чащийся овладел всеми знаниями, предусмотренными данной обучающей истемой^'н! — учащийся считает, что он не знает ничего по теме учебника или о той или иной причине хочет начать обучение "с нуля";

?'н1 ... - последовательная подача порций материала №1-1

с контрольными вопросами после каждой порции материала, правильный •твет - продолжение, неправильный - возврат на начало данной порции); 5т — учащийся отвечает на контрольные вопросы (контрольный тест); '2п - сформировано мнение о том, что учащийся не знает или плохо освоил, оставляя список вопросов, на которые не был дан правильный ответ, Л« ... ► - последовательная подача порций материала по списку, оставленному в ситуации З^н (с контрольными вопросами после каждой орции материала, правильный ответ - продолжение, неправильный - возврат :а начало данной порции).

Схематически можно предложить следующую архитектуру современной 'бучающей мультимедиа системы.

В случае коллективного пользования системой

Глава 3.Методика визуализации информации в контексте ОММС.

В данной главе подробно представлена методика автоматического перевода одного способа представления информации (символьный естественно языковой текст) в другой (рисунок) как перевод с символьного языка на язык графики. Общая схема алгоритма перевода одного вида информации в другой: ВХОДНОЙ ТЕКСТ (на естественном языке) ЯЗЫК-ПОСРЕДНИК

ВЫХОДНОЙ ТЕКСТ (на языке геометрических образов). Процесс визуализации можно условно разделить на 3 этапа:

1. анализ входного предложения: в качестве примера возьмем предложение большой красный шар, лежащий на маленьком квадратном столе, покатился ь упал на ковер на полу.

Анализ предложения начинается с анализа его структуры, которые проводится несколькими этапами: 1) каждому слову согласно словари приписывается определенный набор признаков. Например, красный ■ прилагательное, именительный падеж, мужской род, единственное число, цвет Здесь же происходит нумерация глаголов, причастий и деепричастий го порядку их написания (вхождения в предложение), начиная с номера 1; 2 создается структурная схема предложения. Здесь принимаются определение предложения, подлежащего, сказуемого и второстепенных члено]

предложения. Обозначив подлежащее _, сказуемое =====

причастие/деепричастие м I I )■ , второстепенные члены предложения ххххх можно построить следующую структурную схему входного предложения::

хххх хххх _, 1)++++ xx хххх хххх хххх, 2)--и 3) хххх ххх:

хххх хххх.

2. перевод входного предложения на язык-посредник (ЯП). В качестве ЯП бы. выбран язык семантических сетей, т.к. именно семантическая сеть моделируе естественное понимание языка. В общих чертах алгоритм перевода тако£ Устанавливаются связи:

1. подлежащее (подлежащие) - сказуемое (сказуемые) <-1-ое существительно (существительные)>. Здесь 1-ое существительное - это существительно« идущее от сказуемого; оно определяется по предлогу непосредственно поел сказуемого (если он есть) и по словарю. В нашем примере:

2) 1}<зкат^1ться 3) Упасть на

-► о

шар ковер

2. подлежащее (1-ое существительное) - существительное /существительное -существительное. В первую очередь реализуется связь подлежащее(1-с существительное) -существительное, а затем существительно* существительное.

В нашем примере:

укатиться

3) упасть на на (место)

-*г

о-нэ-

шар ковер пол

. существительное - прилагательное: устанавливается по совпадению числа, ода, падежа прилагательного и существительного. Если в одной группе меются 2 существительных с одинаковыми родом, числом и падежом, то читать, что к существительному относятся те прилагательные, которые аходятся от начала предложения до этого существительного или от редыдущего существительного до данного. Название такой связи - значение рилагательного и определяется оно по словарю. В нашем примере: ,—2)покатиться 3)упасть на место (на)

^—►о--

гЦр ковер пол

размер N. цвет

0 большой 0 красный

. существительное-причастный/деепричастный оборот по схеме, описанной мше. Получится:

2) ¡{к Чтился

^ 1) лежащий на I ) 3) упал н^ место (^а)

¿тол .шар ° ковер ° пол

эазмип форма \ р«цмер цвет

> маленькийО квадратныйО большей красный

построение изображения. Рассматривается как перевод с естественного 1ыка на язык графики. Структура графического языка выглядит следующим 5разом:

Базовые понятия (БГГ); ПРИМЕР: О V . Грамматика:

Морфология (процедуря построения БП); ПРИМЕР: Procedure RisStoI(px,py,raz.zw:integer); Var PP:artay[1..5] ofPT; Begin

SetColor(zw); PP[l].x=px;

> Семантика (способы придания объектам определенных характеристик вет, форма, размер и т.д.])

Ф И

> Прагматика (аксиомы и процедуры определения месторасположения объектов в сцене (на экране), соотнесение их друг с другом и с действительностью)

Пример: определение крайних точек объекта

У1

У2

О О

XI

Х2

X

Для того чтобы построить целостное изображение из составных частей, необходимо иметь некоторое представление о пространственной организации картинки. Если в естественном языке для указания о расположения и перемещения предметов относительно друг друга служат предлоги, наречия, их конструкции, глаголы направленного действия и т.д., то в данном методе для описания взаимосвязей между объектами и их размещении в определенных областях экрана служат определенные правила. Ниже представлены примеры описания различных групп правил. А) Пример правил определения пространственных отношений: множество точек экрана делится на несколько (число определяется исходя из конкретных требований пользователя) областей —подмножеств данного множества. Например, центр, правый верхний угол, правый нижний угол, левый верхний угол, левый нижний угол. Таким образом, пример правила определения пространственных отношений будет выглядеть следующим образом: если множество точек объекта А является подмножеством множества точек, определенного понятием «центр», то объект А находится в центре экрана. Значит, если пользователь введет фразу типа «В центре экрана находится компьютер», то объект «компьютер» будет расположен в области экрана, обозначенной как «центр». Б) Крайние точки. Крайняя правая точка объекта: если значение координаты точки а по оси х, принадлежащая множеству точек объекта А, больше значения координаты любой другой точки по оси х, принадлежащей множеству А, то а - это крайняя правая точка объекта А. Аналогично задаются крайняя левая точка объекта, крайняя верхняя точка объекта и т.д. В) Примеры правил определения отношений между объектами. Если значение по оси д: крайней правой точки объекта А меньше значения по х крайней левой точки объекта Б, то объект А находится левее объекта Б. Аналогично задаются правила определения понятий «правее», «левее», «над» и т.д.

Количество правил зависит от необходимости, диктуемой решаемо] задачей.

Построение изображения осуществляется по схеме, заложенной в [строенную семантическую сеть. Таким образом, вначале рисуется образы даежащего с относящимися к нему существительными (если таковые есть) и учетом значений прилагательных. Затем в зависимости от нумерации глагол с рвым существительным и относящимися к этому существительному тятиями (и понятиями, относящимися к этим понятиям и т.д.) или 1ичастный/деепричастный оборот. В нашем примере алгоритм будет таким: 1) [.1 - большой красный шар; 2) пп.4 - пп.З - рисуется маленький квадратный ол так, чтобы крайняя нижняя точка шара принадлежала подмножеству чек, обозначающих поверхность крышки стола; 3) пп.З - шар покатился по •верхности стол до границы этой поверхности (в данном случае не оговорено окую сторону катится шар, значит, направление выбирается произвольно); 4) [.3 - рисуется ковер и шар падает на него; 5) пп.2 - ковер лежит на полу, т.е. | правилам определения отношений между объектами понятие «на (место)» лжно определить, каким образом пол рисуется относительно ковра. Объекты и отношения, которые нельзя визуализировать просто пропускаются. ;есь важно отметить, что анализ предложения как и синтез изображения доводится на 3 основных информационных уровнях: синтаксическом, мантическом и прагматическом.

Глава 4. Программные продукты. В данной главе представлены 3 юекта: 1)система «ТР» как пример практической реализации основных ложений описанной во 2 главе методики. Схематично общая архитектура стемы представляется следующим образом:

Для пп. «Рисунок»

Блок АНАЛИЗАТОР осуществляет структурный, смысловой, целевой анализ входного предложения. ПРОЕКТИРОВЩИК СЕТИ проектирует (и при необходимости размещает на экране) семантическую сеть, т.е. осуществляет синтез предложения на языке-посреднике семантических сетей. ВИЗУАЛИЗАТОР переводит построенное проектировщиком сети предложение на язык геометрических образов (изображение на экране). ФБД (фактуальная/декларативная база данных) - хранит в себе: словарь слов естественного языка с минимальным набором сведений о них; правила преобразования данных, правила перехода между ситуациями. ПБЗ (процедурная база знаний) состоит из: базы правил (приказы, команды, которые способны изменить состояние предметной области - ПО), решателя (в его функцию входит построение из списка правил нужного алгоритма). ГБД (графическая база данных) содержит правила построения графических объектов.

Первое, что видит пользователь при запуске программы - это меню состоящее из 5 пунктов: ПОМОЩЬ, СЕТЬ, РИСУНОК, БАЗА, ВЫХОД. Пункт меню «Помощь» выдает общие сведения о системе «ТРЗ»; а «База» показывает, какие слова содержит база данных, т.е. какими словами может оперировать пользователь в ПО. «Интеллектуальные системы». Блок «Сеть»: цель - в ответ на введенный пользователем текст (предложение русского языка с указанными ниже ограничениями) вывести на экран предложение, переведенное на язык семантических сетей. Предложение считывается пословно и для каждого слова организовывается запись по следующей формуле: Sb=Sco+So ? DI : D2, где Sb — входное слово, Seo - словарная основа, So - окончание, D1 = "заполняется массив-описание входного слова Sb со всеми сведениями о нем (род, число падеж и т.д.)", D2= "выдается сообщение о том, что система не "понимает" входное слово (Sb)". Если равенство верно, то выполняется действие 1 (D1), иначе- действие 2 (D2).

Таким образом, вначале рисуется образы подлежащего с относящимися к нему существительными (если таковые есть) и с учетом значений прилагательных. Затем в зависимости от нумерации глагол с первым существительным и относящимися к этому существительному понятиями (и понятиями, относящимися к этим понятиям и т.д.) или причастный/деепричастный оборот. В нашем примере алгоритм будет таким: 1) пп.1 — большой красный шар; 2) пп.4 - пп.З - рисуется маленький квадратный стол так, чтобы крайняя нижняя точка шара принадлежала подмножеству точек, обозначающих поверхность крышки стола; 3) пп.З - шар покатился по поверхности стол до границы этой поверхности (в данном случае не оговорено, в какую сторону катится шар, значит, направление выбирается произвольно); 4) пп.З - рисуется ковер и шар падает на него; 5) пп.2 - ковер лежит на полу, т.е. по правилам определения отношений между объектами понятие «на (место)» должно определить, каким образом пол рисуется относительно ковра. Объекты или отношения, которые нельзя визуализировать просто пропускаются.

Схема работы системы представлена на рисунке 1.

сунок 2

2) CD-ROM «Основы интеллектуальных технологий» как прим' реализации ситуационного метода обучения. Обучающий матери; представлен на экране в виде текста, размещенного на страницах раскрыт« книги.

Рис. Расположение обучающего материала

Функциональные клавиши голубого цвета с надписью «виз» размещен возле каждого предложения, которое система может автоматически Рис. Была нажата клавиша напротив слова «монитор»

изуализировать. При нажатии на клавишу на экране монитора представляется рафический смысл предложения в виде статической или динамической анимационной) сцены. После прохождения пользователем определенной юрции материала (в данном случае главы), ученику предоставляется юзможность проверить, насколько хорошо он освоил обучающий материал, вопросы контрольных тестов представляется на экране по одному и имеют вид:

После того как пользователь определился с ответом (щелчек мыши на :вадрате напротив номера ответа вызывает появление галочки в этом квадрате, ак отмечается выбранный вариант ответа) и нажал на красную клавишу с [адписью «Ответ готов», появляется следующий вопрос.

1ачальная обучающая ситуация в данной системе: предполагается, что юльзователь не знает ничего и начинает обучение с начала. Впрочем, ему [редоставлен вариант самостоятельного изучения курса: имеется возможность [3 «Содержания» попасть в любой раздел курса. Раздел «Статистика» юказывает насколько хорошо (в %) ученик освоил обучающий материал. .1 CD-ROM «популярная стоматология для больших и маленьких» Программа условно разделена на 2 части: стоматология для маленьких и томатология для больших. Разумеется, стиль изложения обучающего [атериала для больших и для маленьких совершенно разный, как и способ [редставления информации, и уровень закладываемых знаний. 5 свете изложенной в главе 2 методики организации визуализации знаний в )ММС наибольший интерес представляет детская часть программы, которая по воей сути является набором взаимосвязанных фрагментов анимации, звука и идео. Главный герой детской программы - симпатичный Зубик, который в гровой форме знакомит малыша со своим строением, рассказывает о равильном питании и т.д. Главный герой попытается убедить малыша в еобходимости и «безопасности» посещения стоматолога. Эта часть программы мотрится как набор небольших анимационных картинок, что очень нравится ,етям. Программа составлена так, что ею могут пользоваться даже те детишки, оторые еще не научились читать, ведь читать практически ничего не надо, убик свою речь произносит.

Заключение содержит основные выводы диссертационного исследования. Е

ходе работы:

1) выведены 8 основных принципов конструирования обучающего материала;

2) разработан, реализован и внедрен ситуационный метод компьютерногс обучения;

3) разработана, реализована и внедрена архитектура обучающей мультимедиа системы;

4) разработан, реализован и внедрен алгоритм автоматической визуализацт информации;

5) разработан адаптированный к процессу автоматической визуализации графический язык;

6) созданы и внедрены в процесс обучения программные продукты: а)систем£ «ТРЗ», как иллюстрация основных положений разработанного методе автоматической визуализации информации в обучающем процессе; б) CD-ROM «Основы интеллектуальных технологий» и CD-ROM «Популярна* стоматология» как демонстрация практического применения разработанны> автором диссертации: принципов и методов конструирования графическое части обучающих систем; ситуационного метода компьютерного обучения общей архитектуры обучающей ММ системы.

Список опубликованных работ:

1. Современное состояние и перспективы развития мультимедиа в образование //Школьные технологии. М.,1998. №4. с.210-215.

2. Теория и практика создания современных обучающих мультимедиа систем // Школьные технологии. М..1999. №1-2. с.281-285.

3. Ситуационный метод компьютерного обучения в подготовке студента

// «Университеты в формировании специалиста XXI века»: Пермь, 24-28 ма*

1999. Тезисы докладов Международной научно-практической конференции

Пермь, 1999. Т. I.e. 189

Введение.

Глава 1. Визуализация информации в обучающих системах

1.1. Обзор существующих разработок.

1.2. Методология визуализации информации и автоматизация визуализации информации в обучающих системах как новые и перспективные проблемы в области искусственного интеллекта.

Глава 2. Методика графического построения (визуализации) обучающего материала и организации обучающих мультимедиа систем (ОММС)

2.1. Основные принципы визуализации обучающего материала.

2.2. Ситуационный метод компьютерного обучения

2.2.1. Общая архитектура ОММС.

2.2.2. Этапы проектирования ОММС.

2.2.3. Стратегия обучения.

Глава 3. Методика автоматической визуализации информации в контексте обучающих систем

3.1. Общий алгоритм.

3.2. Анализ входного предложения.

3.3. Метод построения языка-посредника.

3.4. Метод построения изображения.

3.5. Ограничения.

3.6. Рекомендации к применению.

Глава 4. Программные продукты

4.1. Система «ТРЗ» как иллюстрация основных положений методики.

4.2. CD-ROM «Основы интеллектуальных технологий».

4.3. CD-ROM «Популярная стоматология для больших и маленьких».

Современный мир не мыслит себя без компьютера. ЭВМ проникла практически во все сферы нашей жизни: магазины, библиотеки, издательства, офисы, банки . - кажется проще сказать, куда компьютер еще не заглянул. Компьютерные технологии стали одной из наиболее быстро развивающихся областей науки и техники. Если еще несколько лет назад слова «мультимедиа» и «мультимедиа технологии» для большинства людей были китайской грамотой, то сегодня они знакомы практически всем. В наш век техники и электроники, век наплыва информации человек возложил на компьютер весьма большие надежды и не только как на груду металла, способную хранить и выдавать информацию, но и как на помощника в решении различных интеллектуальных задач (обучение, моделирование ситуаций, управление различными процессами, системы виртуальной реальности и т.д.). Логично предположить, что человек, наделенный слухом, зрением и голосом, не удовлетворится безмолвным, «слепым» помощником и будет требовать от компьютера (на которого возложено столько надежд) умения «понимать» и синтезировать речь, символьный текст, графику и т.д. В рамках искусственного интеллекта зарождаются мультимедиа технологии (ММТ)- технологии, позволяющие пользователю работать с несколькими различными типами представления информации (текстом, звуком, графикой) в реальном масштабе времени. Желание наделить компьютер «слухом», голосом, «зрением» и т.п. возникает не только из потребности уподобить компьютер себе, сделать 6 общение с машиной более привычным и дружественным. Существует еще и прагматическая сторона этого вопроса (желание облегчить себе жизнь): во-первых, куда проще и быстрее вводить информацию, просто произнося ее в привычном для себя темпе, а не традиционным способом (путем ввода с помощью клавиатуры); кроме того, традиционный способ ввода текстовой информации требует постоянного сидения в определенной позе перед экраном компьютера (особенно в случаях ввода больших объемов текстов), в то время как при вводе информации голосом можно свободно перемещаться, освободить руки для какой-то механической работы и т.д.; во-вторых, человек гораздо лучше, эффективнее воспринимает и запоминает информацию, если она представляется органичным синтезом текста, звука, графики и т.д. Графика и звук являются очень мощными источниками воздействия на человека, его психику, сознание и память. Не случайно существует множество методик обучения человека различными опорными схемами, графиками, таблицами; и, наверное, в жизни каждого человека бывают моменты, когда, услышав определенные музыку, мелодию, звуки, в памяти невольно всплывают связанные с ними факты, события, образы. Это заметил еще знаменитый швейцарский педагог Иоганн Генрих Песталоцци (1764-1827), который писал: «Друг, когда я в настоящее время оглядываюсь назад и спрашиваю: что же, собственно говоря, я сделал для обучения человечества? - то нахожу следующее: я прочно установил высший и основной 7 принцип обучения, признав наглядность абсолютной основой всякого познания».

Сфер применения принципа «наглядности» в общем, и визуализации в частности, достаточно много: медицина (компьютерная томография и т.д.); физика (например, моделирование принципиально ненаблюдаемых явлений типа расширения вселенной); нефтяная промышленность (например, автоматизированное создание электронных карт разработок) и т.д. Однако сферой, где применять визуализацию, что называется «сам Бог велел», является образование и повышение квалификации с использованием компьютерной технологии (СВТ - Computer Based Training). Именно в этих областях в настоящее время мультимедиа переживает необычайно сильный бум. При различных методах исследования и оценки рынка специалисты сходятся в главном выводе: ожидается необычайно высокий рост рынка ММ, и перенос на европейский рынок тенденции к внедрению СВТ[9]. Компьютерные образовательные программы для учителя - это надежный ассистент и помощник, призванный облегчить, обогатить процесс обучения. Как нельзя переоценить значение книг, хрестоматий, учебных кинофильмов, наглядных пособий в процессе обучения, так нельзя и переоценить значение СВТ. Они включают в себя не только возможности учебников, наглядных пособий и т.д. Они вовлекают учащегося в интересную и познавательную игру, а именно это позволяет человеку лучше всего понять и запомнить обучающий материал, активно применяют анимацию, видео, аудио. 8

Кроме того, применение СВТ поможет ученику освоить материал именно в том темпе, который для него наиболее приемлем. Не каждый обучаемый (если речь идет об обучении в группе) сможет попросить учителя что-то повторить, что-то дополнительно объяснить или пояснить, да и преподаватель не всегда может себе позволить «тратить время» на каждого отдельного ученика. А ведь в группах все такие разные: кто-то схватывает все «на лету» и подробное «разжевывание» нескольких примеров ему кажется пустой и скучной тратой времени; кому-то же нужно повторить материал несколько раз и привести множество самых разных примеров, а потом еще и закрепить их большим количеством практики; одному одно кажется непонятным и ему необходимо на этой теме остановиться поподробнее, другому же это пояснять не надо, а углубить следует другую тему и т.д. Одним словом, компьютерная обучающая программа предоставляет возможность индивидуализировать процесс обучения, подстраиваясь под возможности конкретного обучаемого. Компьютерные обучающие системы находят широкое применение в обучающем процессе уже сейчас. Так, например, фирмы Opel, Byer применяют для обучения своих сотрудников СВТ и считают, что экономят на этом огромные суммы денег (по сообщению компании DEC, к примеру, эта сумма составляет 40 ООО ООО $ ежегодно) и время (что, как известно, тоже деньги). Эксперты по маркетингу сделали вывод, что в памяти человека остается 1А часть услышанного материала; 1/3 часть увиденного; ХА часть услышанного и увиденного одновременно; 3Л части материала, если ко всему прочему 9 ученик вовлечен в активные действия в процессе обучения, например, при помощи интерактивных обучающих программ типа приложений к ММ[9]. Применение интерактивных обучающих программ в образовательном процессе позволяет: 1) повысить эффективность обучения, т. е. обучающий материал запоминается быстрее, впоследствии легче восстанавливается из памяти и с меньшими ошибками и т.д.;

2) индивидуализировать процесс обучения, путем тестирования знаний каждого отдельно взятого ученика и определения именно для него своей методики обучения;

3) позволяет сделать процесс обучения необычайно интересным и увлекательным;

4) облегчает обучающему проверку знаний обучаемого;

5) позволяет ученику самостоятельно изучить определенную учителем порцию материала (это полезно студентам-заочникам; ученикам, пропустившим занятия по уважительной причине и т.д.);

6) снижает время освоения материала и т.д.

Когда учиться интересно и увлекательно, когда ученик не пассивный созерцатель, а активный участник процесса обучения, обучающий материал запоминается как бы сам по себе, без особых усилий. Учеба становится увлекательным занятием, а не нудной необходимостью.

За последнее время создано огромное количество увлекательных, красочных компьютерных обучающих систем, игр и т.д., но ни одно

10 компьютерное учебное пособие не может обойтись без графического представления информации. Именно графика (особенно в сочетании со звуком)- различные рисунки, картинки, геометрические образы, анимация, иллюстрации - делает сухой текст мультимедийного учебника живым, ярким, хорошо запоминающимся и существенно отличающимся от своего бумажного собрата. Более того, порой удачный рисунок объясняет суть сложного явления гораздо понятнее, чем словесный текст. В этом свете становится важной проблема автоматического перевода текстового представления информации в графическое - процесс визуализации, которым занимаются системы типа «Текст-Рисунок» (ТР). Возможность применения подобных систем в процессе обучения (особенно детей) достаточно велика. Вот лишь несколько примеров.

Пример 1. Предположим, имеется неким образом введенный в компьютер (с помощью клавиатуры, со сканера и т.д.) символьный текст на естественном языке - некий обучающий материал. Обработав текст, система ТР определенными порциями (например, предложениями) выдает на экран не только «сухой» текст, но и соответствующую иллюстрацию.

Пример 2. Ученик задает обучающей системе вопрос, а в ответ получает не только «голый» текст, но еще и иллюстрацию, которая может помочь обучающемуся лучше понять смысл ответа, но и прочнее закрепиться в памяти.

Пример 3. У обучающей системы имеется большая графическая база данных (картины, слайды, фотографии, чертежи и т.д.). Учащийся не помнит, как называется та или иная иллюстрация, фотография и т.п., но помнит, что

11 примерно на «картинке» изображено. Система типа ТР выбирает нужную «картинку», слайд, фотографию и т.д. из графической базы данных системы по введенному пользователем естественно языковому описанию изображения, по каким-то «ассоциативным воспоминаниям» о содержании «картинки». В таком контексте применения систем типа ТР возникает проблема автоматического установления связей между различными способами представления информации в обучающих мультимедиа системах (ОММС), в результате чего: существенно повышается интеллектуальность таких ОММС; пользователю предоставляется возможность общаться с компьютером на уровне постановки задачи на любом из привычных для него языков (естественном, образном, звуковом и т.д.) без выполнения большого объема работ, характерных для современных ОММС и т.д. В этом направлении развития ММТ центральное место занимают системы типа «текст-рисунок-звук», обеспечивающие взаимодействие различных типов языков:

Где Та аудио текст, Тв видеотекст, Тс символьный текст.

В силу ряда причин на данном этапе развития ММТ нет системы, которая осуществляла бы перевод с одного любого типа языка на любой другой. На

12 практике разрабатываются и внедряются различные части системы «Текст-Рисунок-Звук», а именно:

- системы "текст-звук " (на вход подобной системы подается некий текст, а на выход система выдает его звуковой смысл. Например, система может озвучить или прочитать введенный пользователем рассказ);

- системы "рисунок-звук " (на вход подается рисунок, а на выход система выдает его звуковой смысл. Например, система может проиграть мелодию, нарисованную на нотном стане и каким-либо образом (например, сканером) введенную в компьютер);

- системы "звук-рисунок" (подобные системы строят изображение по, например, произнесенным словам.);

- системы "звук-текст " (на вход системам подается человеческая речь, а на выходе они выдают символьный текст, отражающий смысл произнесенных слов. Например, переводчик с английского языка сидит за рабочим столом с книгой, которую нужно перевести, словарем и др. вспомогательной литературой и просто вслух произносит переведенные предложения, а компьютер сам автоматически организует символьную запись надиктованного перевода, который затем можно подкорректировать и распечатать в виде текста. Такие системы позволяют значительно ускорить процесс ввода данных в компьютер);

13

- системы "текст-рисунок" ( на вход системы подается некоторый текст на естественном языке, а на выход система выдает его графический смысл. Например, есть большая база данных каких-либо рисунков; пользователю необходимо найти рисунок, названия которого он не знает. Пользователь просто описывает рисунок на естественном языке; система по естественноязыковому описанию создает рисунок и ищет в базе данных нечто похожее, а затем выдает пользователю найденные варианты);

- системы "рисунок-текст " (на вход системы подается рисунок, на выходе система выдает ее естественно-языковое описание. Таким образом можно автоматически описать большое количество рисунков, картин, фотографий и т.п. для огранизации графической базы данных). Возможно, в будущем появятся системы "звук-.-звук", которые будут выполнять некоторые операции, получив команду голосом в виде слитной разговорной речи, и отчет о результатах работы тоже будет выдаваться в виде слитной речи. Например, пользователь пишет отчет, доклад и т.д. и, не отрываясь от работы спрашивает "Сколько тонн продукции произвело наше предприятие в 1997 году?" и система дает голосовой ответ. Возможно, войдет в обиход голосовое управление, общение с компьютером. Будущее покажет. Работы в этом направлении начали вестись еще в 70-ые годы, когда была создана первая система такого типа - "Рита". Эта система могла визуализировать самые простые по конструкции высказывания типа "круг правее квадрата". Конец 80-ых - начало 90-ых годов стал для систем "Текст

14

Рисунок" в Российской науке пиковым периодом. Тогда над проблемой визуализации текстов работал ряд ученых, наиболее известными из которых стали Поспелов Д. А., Литвинцева Л.В., Ильин Г.М., Игнатова В.Н. Образовалось 2 мощных центра по разработке подобных систем: в С-Петербурге (тогда - Ленинграде) на базе Ленинградского Государственного Университета и в Москве - лаборатория Д.А.Поспелова. Кризис общественно-политической и экономической жизни России 90-х годов естественным образом отразился и на науке. Говоря словами классика, "иных уж нет, а те далече". Большинство ученых, работавших в этой области переметнулись в не менее интересную, но более модную область исследований - виртуальную реальность. В настоящий момент в России работы в области систем "Текст-Рисунок-Звук" ведется мало, хотя на Западе такие разработки имеют большую популярность, считаются актуальными и перспективными в области интеллектуализации компьютерных технологий.

15

Заключение

В ходе работы были:

1) выведены 10 основных принципов конструирования обучающего материала;

2) разработан, реализован и внедрен ситуационный метод компьютерного обучения;

3) разработана, реализована и внедрена архитектура обучающей мультимедиа системы;

4) разработан, реализован и внедрен алгоритм автоматической визуализации информации;

5) разработан адаптированный к процессу автоматической визуализации графический язык;

6) созданы и внедрены в процесс обучения программные продукты: а) система «ТРЗ», как иллюстрация основных положений разработанного метода автоматической визуализации информации в обучающем процессе; б) CD-ROM «Основы интеллектуальных технологий» и CD-ROM «Популярная стоматология» как демонстрация практического применения разработанных автором диссертации: принципов и методов конструирования графической части обучающих систем; ситуационного метода компьютерного обучения; общей архитектуры обучающей ММ системы.

В настоящее время интерес к процессу визуализации весьма велик и непрерывно растет. Ведь она открывает невиданные доселе горизонты.

Визуализированные данные позволяют аналитикам наиболее полно и четко

84 охватить большие массивы данных. Насколько ярче, красочнее интереснее становятся обучающие программы, украшенные графикой, анимацией. Визуализироанная информация запоминается зачастую быстрее и легче впоследствии восстанавливается из памяти. Бывают случаи, когда именно удачный рисунок поз воляет понять суть явления лучше просранных словестных описаний. Визуализация может помочь воссоздать те явления, провести такие эксперименты, которые практически немыслимы в лабораторных условиях. Все плюсы использования визуализации можно перечислять еще долго. Не случайно сейчас начинают говорить о смене эпохи текстов эпохой изображений. Однако стоит серьезно подумать, а нужна ли такая глобальная смена эпох? Какие опасности несет в себе "всеобщая визуализация"? Хочется еще раз подчеркнуть, что стихийное, неумелое и повсеместное использование визуализации может подавить такую важную функцию мозга как способность создавать собственные образы в собственном воображении. Ведь человеку не нужно творить, фантазировать, все образы уже созданы за него и без него. Особую осторожность нужно соблюдать в отношении детей, чтобы не подавить, не загубить, не подменить в них творческую личность, способность свободно фантазировать, визуализировать тексты в своем сознании так, как «видится» ему. По большому счету даже возможности любой программы, позволяющей конструировать и казалось бы свободно творить, на самом деле ограничены возможностями и фантазией

85 разработчиков. Изображение все-таки должно идти не вместо текста, а вместе с текстом, параллельно с ним, в помощь ему.

На современном этапе развития ОММС считается, что в перспективе знания программистов будут направлены на установление обучающих программ в HTML (Hypertext Markup Language) - языке программирования World Wide Web (WWW). Он может практически все, что должен уметь язык программирования обучающих программ и выходит на первый план потому, что это действительно дешевая и ориентированная на будущее альтернатива инструментальных систем. WWW имеет все, в чем нуждается обучающая программа: графическая часть Интернета позволяет переплетать картинки, видео, звук и т.д. и это полное интерактивное средство с обратным каналом связи. Программы, написанные в HTML , точно говоря weltweit kompatibel, так как применимы в Internet [27].

Кроме того, предполагается, что в обиход должны войти такие понятия, как полимедиа-книги (в них используется комбинация нескольких различных носителей, типа CD-ROM, магнитный диск, бумага и т.д.); гипермедиа-книги (в отличие от ММ - книг они имеют нелинейную организацию содержащейся информации, когда пользователь, оставив основной материал, может запросить уточнение терминов, комментарии по тексту и т.д.); кибернетические книги (они содержат средства математического моделирования и позволяют пользователю всесторонне изучать явления и объекты на моделях).

86

1. Апресян Ю.Д., Богуславский И.М. и др. Лингвистический процессор для сложных информационных систем.//М., 1991

2. Будущее искусственного интеллекта. /Ред. Левитин К.Е., Поспелов Д.А. М.Наука, 1991

3. Борзенко А. Компьютеры для мультимедиа

4. Компьютер-пресс. М., 1996. №5

5. Борзенко А. Что нас ждет: компьютеры, мультимедиа, телекоммуникации//Компьютер-пресс. М., 1996. №1

6. Вашик К., Кудрявцев В.Б., Строгалов A.C. Проект IDEA. //Германия, 1995

7. Зенкин A.A. Когнитивная компьютерная графика /М: Наука, 1991

8. Ильин Г.М., Игнатова В.Н. Система «рисунок-текст» //Программные продукты и системы. М., 1992. №2.

9. Касаткин Л.Л., Клобуков Е.В., Лекант П.А. Краткий справочник по современному русскому языку // М:Высшая школа, 1995

10. Кирмайер М. Мультимедиа /Пер. с нем. С-Пб, 199487

11. Литвинцева Л.В. Концептуальная модель системы визуализации трехмерных динамических сцен

12. Программные продукты и системы. 1992. №2

13. Молочко Д.В. Книга и компьютер: сосуществование вместо соревнования.//Мир ПК. М., 1995. №7-8

14. Мультимедиа./Ред. Петренко А.И. //С-Пб., 1994

15. Русский язык в его функционировании. Уровни языка //М:Наука, 1996

16. Поспелов Д.А. Когнитивная графика окно в новый мир //Программные продукты и системы. 1992. №2.

17. Системы и средства информатики //Ежегодник ИЛИ РАН. М:Наука, 1993. Вып.5.

18. Представление и использование знаний. /Ред. Уэно Х.,Исизука //М:Мир,1989

19. Приобретение знаний./Ред. Осуга С., Саэки Ю. //М:Мир, 1989

20. Федоров А. Компьютер-учитель //Компьютер-пресс. М., 1996. №4.

21. Гомоюнов К.К. Совершенствование преподавания технических дисциплин. Методологические аспекты анализа учебных текстов. //Л.: Изд.ЛГУ, 199989