автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Управление качеством учебных материалов на основе анализа трудности понимания учебных текстов

004614212

На правах рукописи

ФИЛИППОВА Анастасия Владимировна

УПРАВЛЕНИЕ КАЧЕСТВОМ УЧЕБНЫХ МАТЕРИАЛОВ НА ОСНОВЕ АНАЛИЗА ТРУДНОСТИ ПОНИМАНИЯ УЧЕБНЫХ ТЕКСТОВ

05.13.10 - Управление в социальных и экономических системах

2 5 НОЯ 2010

Автореферат диссертации на соискание ученой степени кандидата технических наук

Уфа-2010

004614212

Работа выполнена на кафедре автоматизированных систем управления ГОУ ВПО «Уфимский государственный авиационный технический

университет»

Научный руководитель д-р техн. наук, проф.

КРИОНИ Николай Константинович

Официальные оппоненты д-р техн. наук, проф.

ИСМАГИЛОВА Лариса Алексеевна,

зав. каф. экономики предпринимательства ГОУ ВПО «Уфимский государственный авиационный технический университет», директор ИНЭК

д-р физ.-мат. наук, проф. АСАДУЛЛИН Рамиль Мидхатович,

зав. каф. программирования и вычислительной математики ГОУ ВПО «Башкирский государственный педагогический университет им. М. Акмуллы»

Ведущая организация Уфимский государственный нефтяной

технический университет

Защита диссертации состоится « 3 » декабря 2010 г. в 10:00 часов на заседании диссертационного совета Д-212.288.03 при Уфимском государственном авиационном техническом университете по адресу: 450000, Уфа-центр, ул. К. Маркса, 12

С диссертацией можно ознакомиться в научной библиотеке университета Автореферат разослан « 1 » ноября 2010 г.

Ученый секретарь диссертационного совета д-р техн. наук, проф. В.В. Миронов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. С развитием информационных технологий роль учебных текстов в образовательном процессе, в том числе за счет доступа к ним по сета Интернет, значительно возросла. Такое положение не смогло не вызвать тенденцию к сокращению доли аудиторных занятий более чем на 20%. А это, в свою очередь, обусловило и значение самостоятельной работы студентов, которая по своей сути является не просто важной формой образовательного процесса, а лежит в основе перехода от парадигмы обучения к парадигме образования.

Значительная часть самостоятельной работы студентов, по подсчетам специалистов, связана с изучением различного рода учебных текстов -монографий, учебников, методических пособий и т.д. Именно учебный текст и является одним из основных средств коммуникации между студентом и преподавателем. Форма представления текста оказывает существенное влияние на качество процесса образования. В этой связи остро встает проблема оптимизации содержания учебных изданий с позиций доступности изложения и проблемы понимания, так как, с одной стороны, трудность осмысления материала увеличивается при усложнении текста, а с другой - слишком простой текст в образовательном процессе предполагает замедление интеллектуального развития обучающихся.

Имеется целый ряд работ отечественных авторов, посвященных теории оценки трудности понимания и сложности русскоязычных текстов. А.М. Сохор исследовал информативность учебного текста на основе структурных формул.

A.И. Новиков оценивал сложность, используя денотатный граф. Я.А. Микк, установил четыре группы компонентов текста: информативность, сложность предложений, ясность структуры текста и абстрактность изложения. Согласно Я.А. Микку, каждый из отмеченных компонентов влияет на способность восприятия студентами учебного текста. Сложность учебных текстов Е.С. Пушкина оценивала по терминологическому тезаурусу. Исследования А.М. Новикова, Д.А. Новикова, В.П. Беспалько, В.И. Загвязинского, И.И. Мазур и др. посвящены методологии составления учебников и управлению качеством.

Практические работы по оценке характеристик текстов представлены И.В. Оборневой, М.Г. Мальковским, Е.И. Большаковой, Н.Э. Васильевым,

B.И. Шалак и др. Так, И.В. Оборнева разработала для Microsoft Word модуль оценки сложности учебных текстов по дойне предложений (количеству слов) на основе скорректированных формул Флэша. М.Г. Мальковский, Е.И. Большакова, Н.Э. Васильев предложили систему научно-литературного редактирования КОНУТ, включающую модуль по оценке сложности научных текстов, связывая его с «длинными» предложениями. В. И. Шалак разработал программный продукт ВААЛ, который оценивает влияние текста (рекламных

текстов, газетных статей и журналов) на психику человека. Модуль анализа текстов компании ЯСО предназначен для классификации текстов, автоматического реферирования, морфологического и синтаксического анализа художественных текстов. Оценке качества информации на основе качества подготовленности материальной базы университета посвящены работы В.В. Мартынова, Л.Р. Черняховской, Н. К. Криони и др. Теоретические исследования отечественных ученых не имеют практического воплощения, а разработанные программные средства не предназначены для оценки трудности понимания учебных текстов.

Таким образом, проблема управления качеством учебных материалов на основе оценки параметров сложности текста, влияющих на трудность его понимания, а также необходимость разработки автоматизированной системы оценки трудности понимания учебного текста обусловливают актуальность настоящей диссертации.

Целью исследования является разработка методов, моделей и алгоритмов управления качеством учебных материалов на основе контент-анализа и оценка их эффективности.

Объектом исследования является качество учебных материалов.

Предметом исследования являются методы управления качеством учебных материалов. Для реализации цели настоящего исследования были поставлены следующие задачи:

1) Разработать концептуальную модель управления качеством учебных материалов, позволяющую адаптировать учебный текст к имеющемуся контингету обучающихся.

2) Разработать методику контент-анализа для диагностики параметров учебного текста, влияющих на трудность его понимания.

3) Разработать алгоритм и программное обеспечение для автоматизированного анализа трудности понимания учебного текста.

4) Провести вычислительный эксперимент для проверки эффективности разработанных алгоритмов.

Методы исследования. Поставленные в работе задачи решались с использованием методов психолингвистического эксперимента, статистического анализа и обработки экспериментальных данных, компьютерной обработки данных, педагогических измерений, регрессионного анализа и экспертных оценок.

Положения, выносимые на защиту:

1. Концептуальная модель управления качеством учебных материалов.

2. Методика контент-анализа для диапюстики трудности понимания учебного текста.

3. Алгоритм и программное обеспечение управления качеством учебных материалов на основе автоматизированного анализа трудности понимания учебного текста.

4. Результаты экспериментальных вычислений.

Научная новизна:

1. Научная новизна разработанной концептуальной модели управления качеством учебных материалов заключается в том, что в ней учитываются уровень подготовленности и способности обучающихся путем опытной проверки с привлечением целевой группы студентов.

2. Научная новизна предложенной методики контент-анализа и ее отличие от существующих состоит в том, что в ней:

a. На основе анализа формализована процедура выделения структурно-понятийных компонент для диагностики трудности понимания учебных текстов, которая базируется на комбинации методов морфологического, морфемного, синтаксического и лингвистического анализов и включает: информативность (анализ слов-скреп и лингвистических конструкций построения определений); абстрактность изложения (анализ морфем слова); сложность структуры учебного текста (синтаксический анализ предложений); сложность лингвистических конструкций (морфологический и синтаксический анализ слов и предложений).

b. Для оценки трудности понимания предложено использовать интегральную количественную оценку, полученную в результате обработки предложенных диагностических признаков методами экспертного оценивания, шкалирования, регрессионного анализа.

3.Научная новизна разработанного алгоритма заключается в том, что он учитывает различные параметры сложности текста и отличается от существующих алгоритмов тем, что в одном алгоритме объединены синтаксические, лингвистические и морфологические процедуры анализа текста.

Практическая значимость работы заключается:

1. Автоматизированная система анализа трудности понимания учебного текста, разработанная на основе концептуальной модели управления качеством учебных материалов, предоставила возможность сформировать новый подход к управлению качеством учебных материалов, что позволило уравновесить содержание учебных изданий с позиций требований, предъявляемых к обучаемому в процессе обучения, и подготовленности учащегося к этому процессу.

2. Формализованная процедура методики контент-анализа трудности понимания учебного текста разрешает проводить диагностику учебного текста по туманитарным и социально-экономическим дисциплинам.

3. Разработанное программное обеспечение объединяет в одном продукте комплекс средств для автоматизированной диагностики трудности понимания учебного текста по технологии контент-анализа.

4. Разработанное программное обеспечение для оценки трудности понимания учебного текста способствует оптимизации качества учебного текста, разрабатываемого автором, в среднем на 5 — 10% и повышает уровень понимания учебного текста учащимися на 37,5%.

Результаты диссертационной работы внедрены при разработке учебного материала дисциплин гуманитарного и социально-экономического цикла в Башкирском государственном педагогическом университете им. М. Акмуллы. Получено свидетельство №2008614145 (РФ) об официальной регистрации программы для ЭВМ «Оценка сложности параметров текста».

Апробация работы

Результаты и положения исследовательской работы докладывались и обсуждались на следующих научно-технических и научно-практических конференциях: VI Всероссийская научно-практическая конференция «Современные технологии в российской системе образования», Пенза, 2007; XIV Всероссийская научно-методическая конференция «Телематика» 2007; международный симпозиум «Компьютерные науки и информационные технологии», Анталия, Турция, 2008; международная научно-практическая конференция «Новые информационные технологии в образовании», Екатеринбург, 2009.

Результаты диссертационной работы непосредственно отражены в 9 публикациях, в том числе 2 в изданиях из списка ВАК.

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка литературы и приложений. Работа изложена на 135 страницах машинописного текста, содержит 15 рисунков и 15 таблиц. Библиографический список включает 118 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность проблемы, излагаются цель и задачи исследования, раскрываются научная новизна и практическая значимость полученных результатов.

В первой главе проведен анализ подходов к проблеме оценки трудности понимания учебных текстов и существующих программных разработок в этой области. Рассмотрен поход к управлению качеством учебников и учебных пособий в вузе на основе анализа трудности понимания учебного текста.

Под качественным учебным материалом понимается учебное издание, отвечающее требованиям ГОСТа. Согласно ГОСТу, учебное издание должно содержать систематизированную информацию научного характера, быть представлено в удобной форме для изучения, быть рассчитанным на

определенную группу обучающихся. Поскольку формальное описание не позволяет дать четких рекомендаций, касающихся разработки качественного учебного издания, в работе рассматривается проблема формализации характеристик текста в рамках управления качеством учебного процесса вуза.

Качество учебного материала, прежде всего, определяется удобной формой представления информации, что предполагает понимание учебного текста целевой аудиторией. Для повышения качества учебных материалов необходимо расширить границы редакционно-издательского обслуживания, включающего в настоящий момент процедуры рецензирования и редакторского анализа. Концептуальная модель управления качеством учебных материалов представлена на рисунке 1. Одно из направлений повышения качества учебного материала заключается в проведении анализа трудности понимания учебного текста и его адаптации к целевой группе студентов. Учебные материалы в процессе обучения играют роль коммуникационного канала, передающего информацию от преподавателя к студенту. Эта информация, с одной стороны, должна удовлетворять требованиям, предъявляемым к студенту в процессе обучения, а с другой - учитывать подготовленность обучающегося к этому процессу.

Эти два фактора отражают доступность изложения и проблему понимания. Несоответствие между этими факторами вызывает трудность понимания. Для повышения качества вузовских учебников требуется привести в соответствие содержание учебных изданий не только с позиций требования доступности изложения, но и проблемы их понимания, то есть научиться измерять и корректировать трудность понимания учебного текста.

В работе предлагается это делать, используя параметры сложности текста. Логика предложенного подхода, приведенная на рисунке 2, послужила основой для разработки автоматизированной системы анализа трудности понимания учебного текста. Особенность разработанной системы состоит в том, что в ней, в соответствии с требованиями стандартов по качеству, учитываются уровень подготовленности и способности обучающихся путем опытной проверки с привлечением целевой группы студентов. Модель системы представлена на рисунке 3.

Во второй главе представлена методология контент-анализа для диагностики трудности понимания учебных текстов, выделены структурно-понятийные компоненты и их количественные характеристики, описан подход к определению структурной зависимости трудности понимания учебного текста от его сложности, предложена методика контент-анализа.

Традиционный контент-анализ, проводимый посредством количественного измерения явным образом упоминающихся содержательных компонентов, позволяет понять, какую именно информацию должен донести

Общие требования СМК, управление документацией СМК, управление записями СМК, 1. План издания учебной литературы. 2.План издания методических рекомендаций. З.Положение о РИО, положение о библиотеке 4.ГОСТ ИСО 9001 2008, ГОСТ 7.1-2003, ГОСТ 7.4-95, ГОСТ 7.9-95 и т.д.

----^--о--

/

/

/

\

\

— /

Автор

\

Деятельность руководство по управлению качеством образования:

1 Стратегическое планирование и управление качеством 2 Планирование и развитие системы качества ВУЗа 3 Распределение ответственности и полномочий 4 Лицензирование, аттестация и аккредитация 5 Анализ системы качества ВУЗа со стороны руководства

\

Менеджмент ресурсов: 1 Финансовые ресурсы 2 Материальные ресурсы 3 Информационные ресурсы 4 Интеллектуальные ресурсы 5 Инфраструктура 6 Производственная среда 7 Кадровые ресурсы

Типовые процессы ВУЗа

Юсновные процессы управления: 1.1 Маркетинговые исследования 1.2 Разработка учебных планов и программ дисциплин, УМК 1.3 Прием студентов 1.4 Процесс обучения, реализация программ 1.5 Постдипломное дополнительное образование 1.6 Научно-исследовательская деятельность 2 Вспомогательные процессы управления 2.1 Редакционно-иэдательское обслуживание. 2.2 Библиотечное обслуживание 2.3 Создание образовательной среды 2.4 Социальное обеспечение студентов 2.5 Довузовская подготовка 2.6 Обеспечение 6ЖД

Г ~ т./

Вход.

Учебный

материал

Процесс: Редакционно-издательское обслуживание

1 .проверка соответствия ГОСТ, стандартам, учебным программам дисц. 2.проверка сгил-х и орф-х правил, З.оценка качества учебного материала на основе анализа трудности понимания учебного текста

Выход.

качественный

учебный

материал

\

Рекомендации улучшить текст

\

/

/

/

Деятельность ВУЗа по измерению, анализу и улучшению

1 Мониторинг, измерение и анализ процессов 2 Внутренний аудит и управление несоответствиями 3 Улучшение процессов посредством поставленных целей, корректирующие и предупреждающие действия 4 привлечение экспертов для анализа и улучшения продукции

Рисунок 1 - Концептуальная модель управления качеством учебных материалов

коммуникатор до читателя. Коммуникатор - это учебный или научный текст, листовка, рекламное объявление и т.д. В настоящем исследовании контент-анализ позволяет через формальные структурно-понятийные компоненты оценить, способен ли коммуникатор донести до читателя ту информацию, которая в нем заложена.

Автоматизация процесса оценки трудности понимания учебных текстов

Формальное описание процесса оценки трудности понимания

3£ 1«

Объективные факторы - слакность учебного текста: 1.информативность, 2.сложность лингвистических конструга^, 3-спожностъ структуры учебного текста, 4.абстрактность изложения, 5.полнота изложения информации в тексте

8.

3 х ш

£

Индикатор качества

доступность изложения 1

Трудность понимания:, учебного текста

Условия разработки

Требования к обучающемуся в процессе общения

автор

<3

Разрыв в уровнях влечет

>

Индикатор качества

Я-

понимание информации, изложенной в учебном тексте

Условия восприятия:

Подготовленность к процессу обучения

Учебный материал -учебный текст

Источник информации

Субъективная характеристика: 1 .Глубина и четкость изложения. 2.0тсутствие излишней информации и | второстепенного материала. З.Ориентация на целевую аудиторию I и тд.

обучаемый

Потребитель .. ,..„ .информации

Субъективная характеристика: 1 .Способность воспринимать. 2.Мотивация к обучению. З.Знание обучаемого и т.д.

Рисунок 2 - Логика подхода к автоматизации процесса анализа трудности понимания учебного текста

В процессе исследования выдвинута гипотеза, что на трудность понимания влияют следующие структурно-понятийные компоненты: информативность, абстрактность изложения, сложность лингвистических конструкций, сложность структуры текста, полнота изложения информации. Анализ каждой из них позволил выделить характеризующие её признаки, которые допускают количественное измерение, что отражено на рисунке 4,

¡.Информативность текста в проводимом исследовании оценивается количеством введенных в нем новых понятий, существующих в явном и скрытом виде. В скрытом виде определение может быть выявлено по пунктуационным признакам и синтаксическим конструкциям, подсчитывая которые можно установить количество неявно введенных в тексте определений.

2.Абстрактность изложения определяется долей слов в тексте, обозначающих абстрактные смысловые объекты, то есть такие, которые не доступны непосредственному чувственному восприятию. Для оценки

абстрактности изложения предлагается оценивать абстрактные имена существительные, выделяющиеся, как правило, своими специфичными суффиксами.

Расчет значений иагностиру- Таблица данных

ющих признаков трудности для построения

понимания учебных текстов Обработка модели полученных

каждого структурно-понятийного компонента

Параметры Построение оценочной модели модели

Эксперты

Автор текста _•,

¡¡Г

Фрагмента текста для дисциплины, по которой не построена оценочная модель

-тгулучшейию текста Студенты

Рисунок 3 - Модель автоматизированной системы управления качеством учебных изданий на основе анализа трудности понимания текста

3.Для оценки сложности лингвистических конструкций принимаются: средняя длина предложения, измеряемого в словах, количество сложносочиненных предложений, количество сложноподчиненных предложений, количество предложений, осложненных причастными оборотами и деепричастными оборотами. В работе проведен анализ морфемных признаков, выраженных соответствующими союзами, по которым определяется количественная характеристика сложности лингвистических конструкций.

4.Для оценки сложности структуры учебного текста: количество предложений с обратным порядком слов в предложении (инверсией), количество безличных предложений. Для определения предложения с инверсией предлагается проводить синтаксический анализ его структурной модели. Анализ морфемных признаков, выраженных местоимениями в первом, втором и третьем лице, позволяет определить количество безличных предложений в тексте.

5.В качестве анализа полноты изложения текста в работе предлагается рассматривать соответствие ключевых слов, выделенных в тексте, ключевым словам, содержащимся в названии параграфа. Диагностирующим признаком данного параметра будет выступать показатель наличия или отсутствия ключевых слов в названии параграфа.

Оценка трудности понимания учебного текста

I

Информативность, /л/

Обобщенные структурно-понятийные компонента

Сложность лингвистических конструкций, ЭНд

Сложность структуры учебного текста,

Абстрактность изложения, /\bsfr

Полнота изложения информации в тексте, ITвxt

систем

з диагностирующих признаков

структурно-понятийных компоне нт влияющих на труди эсть понимания учебнс

го текста

Введение новых понятий через определение

1 .кол-во слов-скреп (есть, это) 2. кол-во синтаксических конструкций (сущ.-сущ.)

Средняя длина предложения в словах

Сложносочиненные предложения

Безличные предложения, инверсия

Сложноподчиненные предложения

Предложения, осложненные причастными оборотами

Предложения, осложненные деепричастными оборотами

1.среднее кол-во слов в предложении. 2.кол-во предложений с соч. союзами (и. а, но...) З.кол-во предл. с подч. союзами (что, чтобы, когда) 4.кол-во предл. с причастиями (ущ, ющ), 5.кол-во предл. с деепричастиями (а.я)

Абстрактные существительные

1. кол-во предложений с порядком слов, содержащим конструкцию гл.-сущ.-прил.

2.кол-во предложений не содержащих местоимения (мы, оно, он и т.д.)

кол-во существительных, содержащих абстрактные суффиксы:

1)-ств(о), -еств(о), и т.д. (учительство)

2)-аци(я) и т.д. (организация)

3)-ость и т.д.

Соответствие ключевых слов в оглавлении параграфа и ключевых слов темы параграфа

Наличие ключевых слов, выделенных в тексте, в названии параграфа или их отсутствие

Рисунок 4 - Кодификатор системы диагностирующих признаков

Для формализации процесса построения оценки трудности понимания текста вводятся следующие обозначения.

SPK = {Inf, SLig, SStr, Absír, IText} - множество структурно-понятийных компонент верхнего уровня (кодификатор верхнего уровня) для i - ой дисциплины, где Inf - информативность, Slig - сложность лингвистических конструкций, SStr - сложность структуры учебного текста, Abstr -абстрактность изложения, IText - полнота изложения информации в тексте.

Inf = {Opredlavn + Opred_Neiavn}, где Opredlavn - процент новых понятий введенных в тексте через определения в явной форме, OpredjNeiavn -процент новых понятий введенных в тексте через определения в неявной форме.

Slig = {Sred_dlina_predl, Ss_predl, Spodjyredl, Predi_prich_obr, Predi deeprich obr}, где Sred_dlina_slova - процент предложений, которые имеют среднюю длину предложения в словах, Ss_predl - процент сложносочиненных предложений, Spodjpredl - процент сложноподчиненных предложений, Predi_prich_obr - процент предложений, осложненных причастными оборотами, Predi_deeprich_obr - процент предложений, осложненных деепричастными оборотами.

SStr = {Predi_obr_slov, Beziich_predl}, где Predi_obr_slov - процент предложений с обратным порядком слов в предложении, Beziich_predl -процент безличных предложений.

Abstr = {Abstr_such}, где Abstr_such - процент абстрактных существительных. IText = {Sovpad_kluch_cl} , где Sovpad_kluch_cl - совпадение ключевых слов, выделенных в тексте параграфа с ключевыми словами в названии параграфа, выраженное в бинарной форме.

Пусть TrudP = Ifrudp^¡,и = 1,fa,m = 1,fa, где trudp„m- оценка трудности понимания и-го обучающегося для т-го текста, kt - количество текстов, As-количество обучающихся. PRtrud = \\prtrud^ \к=\,кр, где prirudhn - значение k-VQ признака для /я-го текста, ^»-количество диагностирующих признаков структурно-понятийных компонент. Тогда для оценки трудности понимания учебного текста требуется:

1)Определить форму зависимости трудности понимания от значений диагностических признаков TrudP = /(PRTrud).

2) Интервальные оценки трудности понимания текста для интерпретации полученных результатов и разработки рекомендаций по их улучшению.

В третьей главе описаны функциональные возможности, структура программного обеспечения, алгоритмы отдельных процедур анализа (рисунок 5). Разработанный алгоритм и на основе его реализованное программное обеспечение выполняет: автоматическое выделение ключевых слов;

автоматический поиск параметров трудности понимания учебных текстов и их подсчет; построение математической модели на основе статистических данных, обработку экспертных оценок, ручное редактирование текста, с учетом найденных параметров, сохранение результатов в отдельных файлах, работу с документами в форматах doc, txt, rtf. Программа предполагает переработку и дальнейший анализ текста, написанного на естественном языке. Для работы с естественным языком используется морфологический словарь. Морфологический словарь для русского языка содержит все словоформы русского языка, базируется на грамматическом словаре А. А. Зализняка 1987 года и включает на данный момент 161 тысячу слов. Анализ наличия структурно-понятийных компонент в учебном тексте и их поиск производится на основе данных о словоформе каждого отдельного слова, которые выделяются из морфологического словаря и заносятся в многомерные массивы данных. Для выделения ключевых слов в тексте создается буфер-массив, куда записываются все слова текста, за исключением стоп-слов, которые содержатся в отдельном массиве. Программа позволяет выделить ключевые слова с учётом стоп-слов и без учёта стоп-слов. Определение ключевых слов основывается на первом законе Зипфа, в котором, в зависимости от частоты встречаемости слова, назначаются ранги. В программе доработан исходный алгоритм и реализована функция по выявлению двухсловных ключевых понятий.

В качестве метода представления и сбора данных о слове был выбран метод индекса, метод предметного указателя, когда для каждого термина записывается набор страниц, где этот термин находиться.

В четвертой главе проводится практическая реализация предложенного подхода и разработанного программного обеспечения для оценки трудности понимания учебного текста по философии. В эксперименте участвовало 73 студента 2-3 курсов естественно-научного факультета, Института и экономики и управления. Оценивалась трудность понимания философских учебных текстов следующих авторов: В. Н. Лавриненко, Б. В. Маркова, В. К. Гейзенберга, П. С. Гуревича, Р.Ф. Абдеева, П.В. Алексеева, А.Р. Абдуллиной, В.В. Миронова, Г.В. Петрова, Ф.С. Файзуллина, А. Ф. Иванова, В. А. Гречановой. В качестве показателя оценки трудности понимания текста был выбран процент студентов, которые правильно ответили более чем на 65% вопросов и заданий по тексту. Результаты опроса, приведенные в таблице 1, показывают, что на самый трудный текст было дано 30% правильных ответов, на самый легкий - 90%. Величина доверительного интервала составляет 3%, при р=95% /=1,96, о* = 10,3, получаем объем представительной выборки, которая равна 49. Для того, чтобы можно было интерпретировать оценки трудности понимания учебного текста и принять решение о дальнейшем усовершенствовании учебного текста экспертам (студентам) было предложено

1. Начало

1-1.П

>-

Н,5

>

Поиск слова в норф.оловаре, выборка данных слова, осепка[1,Л:=хара1сгерисгики слова

1.Анализ синтаксических конструкций и слов-скреп. 2.Аналиэ сложности лингвистических конструкций. З.Анализ безличных предложений, 4.Анализ наличия абстрактных существительных, б.Анализ соответствия ключевых слов теме параграфа.

С

с

1. Конец

2. Начало

3

Массив слов ЬиАегЩ, 1=1.л

1.Поиск слова в обработанном массиве Ь\ШегД, 2.3аполнение массива сЬа51о1а[к,П:=исходная форма слова и частота вхождения слова

1.Присваивание рангов словам, 2.Анапиз и выделение ключевых слов, ¿.Анализ однословных и двухсловных ключевых слов и фраз, 4.Вывод ключевых слов и фраз

Рисунок 5 - Схема алгоритма анализа трудности понимания учебного текста

С

2. Конец

3

оценить трудность учебного текста по шкале:0-легкий, 1-средний по трудности, 2-трудный, 3-очснъ трудный. Экспертные оценки были обработаны методом средних арифметических рангов. Коэффициент согласованности мнений экспертов составил 0,92, что показал совпадение мнений экспертов. По результатам обработки данных получены следующие значения оценок трудности понимания учебных текстов: 86-100 - легкий, 70-85 -средний по трудности, 55-69 - трудный, 154 - очень трудный. В таблице 2 приведены исходные данные для построения интегрального показателя трудности понимания учебного текста. В модуле «Построение модели» была получена регрессионная модель: У= 129,52-0,86^ - 0,69^-0,35^ +0,30Х4 - 0,\5XS, где Y - трудность текста, X/ - процент абстрактных слов в тексте, Х2 ~ процент сложносочиненных предложений, Хз - процент сложноподчиненных предложений, Х4 - процент обезличенных предложений, Х5 - процент предложений с обратным порядком слов в предложении.

Таблица 2 — Количественные значения диагностирующих признаков учебных текстов по философии

Таблица 1 - Результаты оценки трудности текста по методу

№ фрагмента % учащихся правильно ответивших на 65%

текстов вопросов

1 72

2 70

3 55

4 60

5 95

6 64

7 71

8 30

9 77

10 89

11 73

12 74

Фрагменты текстов 1 ! оценка трудности кол-во определений кол-во слов в предл Кол-во предл ослож дееприч Кол-во предл ослож прич Кол-во абстр сущ | Кол-во сл_соч предл Колв-во сл_под предл Кол-во безлич предл. обр порядок слов Кл.сл. совпадают с названием параграфа 1 - да, 0 -нет

1 72 20 15 И 18 260 42 27 16 16 1

2 70 22 14 6 10 181 43 22 18 23 1

3 55 4 21 2 25 282 42 11 12 8 0

4 60 16 17 5 12 158 34 28 17 2 1

5 95 18 11 11 5 162 41 39 20 27 1

6 64 10 20 7 16 291 37 17 12 28 0

7 71 22 24 5 14 298 24 32 8 41 0

8 30 10 24 8 25 326 24 30 6 8 0

9 77 15 14 7 16 254 38 32 10 2 I

10 89 22 13 9 16 236 41 33 15 23 1

И 73 12 14 7 22 326 51 19 17 13 1

12 74 16 18 6 19 275 37 32 3 1 1

Проведя исследование, оценив значимость уравнения и его параметров, проанализировав остатки, был сделан вывод, что построенное уравнение регрессии статистически значимо, значимы все параметры уравнения и уравнение в целом. Построенная модель достаточно адекватно описывает

исходные данные и может быть использована для дальнейшего исследования.

Уравнение регрессии позволяет сделать наблюдения, что при увеличении процента абстрактных слов на 1%, оценка трудности текста будет уменьшаться на 8,8 единиц, а значит, общий показатель будет снижаться и сам текст будет сложен для понимания, так как высокая абстрактность затрудняет понимание текста. При увеличении процента сложносочиненных и сложноподчиненных предложений на 1%, показатель трудности будет уменьшаться на 6,9 и 3,5 единицы соответственно, текст будет сложен, так как длинные сложные предложения требуют времени на осмысление связей между членами предложения. При увеличении процента безличных предложений на 1%, оценка трудности будет увеличиваться на 3,0 единиц, значит, текст будет более легок для понимания, так как наличие безличных предложений уменьшает двусмысленность и логическую непонятность предложения. При уменьшении процента предложений с обратным порядком слов на 1%, оценка трудности текста будет уменьшаться на 1,5 единиц, значит, текст будет более труден для понимания, трудность связана с установлением дополнительных логических связей в тексте и между предложениями. Таким образом, можно сделать вывод, что на трудность понимания учебного текста влияют многие компоненты сложности, обозначенные в начале исследования.

Пример обработки фрагмента текста с использованием разработанного программного продукта. Исходный текст: «Итак, основоположение о первоначальном синтетическом единстве апперцепции есть первое чистое рассудочное познание, на нем основывается все дальнейшее применение рассудка; оно вместе с тем совершенно не зависит ни от каких условий чувственного созерцания. Так, пространство, чистая форма внешнего чувственного созерцания, вовсе еще не есть знание; оно a priori доставляет только многообразное в созерцании для возможного знания ... А для того, чтобы познать что-то в пространстве, например линию, я должен провести ее, стало быть, синтетически осуществить определенную связь данного многообразного, так что единство этого действия есть вместе с тем единство сознания (в понятии линии)...». Чтобы текст имел средний уровень трудности необходимо количество предложений осложненных деепричастными оборотами сократить на 1,5%, количество абстрактных слов уменьшить на 5%, увеличить количество безличных предложений. Скорректированный фрагмент текста: «Первым рассудочным познанием является утверждение о первоначальном синтетическом единстве осознанного восприятия (термин апперцепция). На этом утверждении основывается все дальнейшее применение рассудка. В то же время положение о единстве осознанного восприятия не зависит от условий чувственного созерцания. Пространство — это чистая форма чувственного внешнего созерцания. Пространство, a priori

(a priori — заранее установленный факт, или заранее известно) создает многообразие в созерцании для возможного знания, но не является знанием ... Для того чтобы познать что-то в пространстве, например, линию, необходимо провести ее. Провести линию в пространстве означает соединить единство действия и сознания..». С целью проверки эффективности улучшения понимания учебного текста был проведен эксперимент со студентами по проверке трудности понимания учебного текста. В ходе эксперимента студентам предлагался исходный текст и скорректированный текст. Результаты эксперимента показали, что скорректированный текст действительно облегчает понимания текста, и улучшает понимание текста среди студентов на 37,5%.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Разработана концептуальная модель управления качеством учебных материалов на основе анализа трудности понимания учебного текста, что позволяет уравновесить содержание учебных изданий с позиций требований, предъявляемых к студенту, и его подготовленности к процессу обучения, тем самым повысить качество обучения и качество учебного материала.

2. Разработана методика контент-анализа для диагностики трудности понимания учебных текстов, отличающаяся тем, что рассматривает систему диагностирующих признаков для оценки трудности понимания учебного текста, в основе которой лежит комбинация методов морфологического, морфемного, синтаксического и лингвистического анализа следующих параметров: информативность (анализ слов-скреп и лингвистических конструкций построения определений); абстрактность изложения (анализ морфем слова); сложность структуры учебного текста (синтаксический анализ предложений); сложность лингвистических конструкций (морфологический и синтаксический анализ слов и предложений). Разработанная методика позволяет применить предложенный методологический аппарат для анализа текстов дисциплин гуманитарного и социально-экономического содержания.

3. Разработан алгоритм и программное обеспечение для автоматизированного анализа трудности понимания учебного текста, реализующее новый подход к управлению качеством учебных материалов на основе оценки трудности понимания учебного текста. Разработанное ПО позволяет улучшить качество учебного текста в среднем на 5-10%, использование ПО дает возможность сократить время анализа учебных текстов на 60%, сэкономить финансовые ресурсы вуза при принятии решения об гадании учебников.

4. Проведенный вычислительный эксперимент для проверки эффективности разработанных алгоритмов показал, что разработанное ПО на 91,5% правильно выявляет параметры сложности учебного текста, влияющие на трудность его понимания. Разработана методика использования автоматизированной системы

анализа учебного текста. Разработаны рекомендации по улучшению учебного текста, которые доказали правильность и эффективность работы разработанного ПО. Результаты вычислительного эксперимента показали, что применение разработанного программного обеспечения позволяет повысить уровень понимания учебного текста учащимися на 37,5%.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ В рецензируемых журналах из списка ВАК

1. Автоматизированная система анализа сложности учебных текстов /Н.К. Криони, А. Д. Никин, А. В. Филиппова // Вестник УГАТУ : науч. Журнал Уфимского гос. авиац. техн. ун-та. 2008. Т. 11, № 1 (28). С. 101-107.

2. Оценка качества учебных материалов на основе анализа трудности понимания учебного текста / Н.К. Криони, Л.Ф. Розанова, A.B. Филиппова // Педагогический журнал Башкортостана : науч.-практ. изд. Ассоц. "Башк. пед. гос. унив. комплекс". 2010. №5(30). С. 18-26.

В других изданиях

3. Автоматизированный поиск ключевых слов в учебных текстах как фактор повышения качества учебного процесса / Н.К. Криони, А.Д. Никин, А.В.Фшшппова // Технология и организация обучения : науч. издание. Уфа: УГАТУ, 2007. С. 165-168.

4. Информационная система анализа учебного текста / А.Д. Никин, ШСКриони, A.B. Филиппова // Телематика'2007: тр. XIV Всерос. науч.-метод. конф. - СПб.: СПбГИТМО, 2007. С. 463-465.

5. Современные технологии в российской системе образования / Н.К. Криони, А. Д. Никин, А. В. Филиппова // Сб. ст. VI Всерос. науч.-практ. конф. - Пенза : РИО ПГСХА, 2007. С. 220-222.

6. Один подход к анализу трудности понимания учебных текстов / НХКриони, А.Д. Никин, А.В .Филиппова // Компьютерные науки и информационные технологии 2008: тр. X Междунар. науч. конф. - Уфа: УГАТУ, 2008. С. 159-160. (статья на англ. яз.)

7. Свид. об офиц. per. программы для ЭВМ № 2008614145 (РФ). Оценка сложности параметров текста / Н. К. Криони, А. Д. Никин, А. В. Филиппова Зарег. 29.08.2008.

8. Автоматизированная система анализа параметров сложности учебного текста / Н.К.Криони, А. Д. Никин, А. В. Филиппова // Технология и организация обучения : науч. издание. Уфа: УГАТУ, 2008. С. 155-161.

9. Автоматизированный анализ сложности учебного текста / НЛСКриони, А. Д. Никин, А. В. // Новые информационные технологии в образовании: тр. Междунар. науч.-прак. конф. Екатеринбург: Рос. гос. проф.-пед. ун-т. Екатеринбург, 2009, С. 80-82. „

Диссертант ¡Jíc^u*/^ A.B. Филиппова

ФИЛИППОВА Анастасия Владимировна

УПРАВЛЕНИЕ КАЧЕСТВОМ УЧЕБНЫХ МАТЕРИАЛОВ НА ОСНОВЕ АНАЛИЗА ТРУДНОСТИ ПОНИМАНИЯ УЧЕБНЫХ ТЕКСТОВ

Специальность 05.13.10 - Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано к печати 29.10.2010 г. Формат 60x84 1/16. Бумага офсетная. Печать плоская. Гарнитура Times New Roman Cyr. Усл. печ. л. 1,0. Усл. кр,- отт. 1,0. Уч.- изд. л. 0,9. Тираж 100 экз. Заказ № 429.

ГОУ ВПО Уфимский государственный авиационный технический университет Центр оперативной полиграфии 450000, Уфа-центр, ул. К. Маркса,12

Введение.

Глава 1 Современное состояние проблемы управления качеством учебных материалов.

1.1 Анализ подходов к оценке качества учебных материалов.

1.2 Анализ средств автоматизации для анализа качества учебных текстов.

1.3 Разработка концептуальной модели управления качеством учебных материалов на основе анализа трудности понимания учебных текстов.

Цели и задачи исследования.

Выводы по главе 1.

Глава 2 Разработка методики контент-анализа для диагностики параметров, влияющих на трудность понимания учебного текста.

2.1 Методология контент-анализа для анализа качества учебных материалов на основе оценки трудности понимания учебных текстов.

2.2 Формализованное описание процедуры контент-анализа диагностики параметров текста на основе построения многоуровневого кодификатора.

2.3 Разработка формальных количественных характеристик для измерения параметров учебного текста.

2.4 Метод измерения трудности понимания учебного текста на основе методики контент-анализа.

Выводы по главе 2.

Глава 3 Разработка алгоритма и программного обеспечения для анализа трудности понимания учебного текста.

3.1 Алгоритм программы «Анализ сложности текста».

3.2 Описание алгоритмов процедур оценки количественных характеристик параметров учебного текста.

3.3 Программная реализация обработки информации.

Выводы по главе 3.

Глава 4 Вычислительный эксперимент оценки трудности понимания учебного текста.

4.1 Проведение вычислительного эксперимента на примере текста учебного пособия по философии.

4.2 Методика использования программного обеспечения «Анализ сложности текста».

4.3 Практическое применение программного обеспечения для анализа учебных текстов.

Выводы по главе 4.

С развитием информационных технологий роль учебных текстов в образовательном процессе, в том числе за счет доступа к ним по сети Интернет, значительно возросла. Такое положение не смогло не вызвать тенденцию к сокращению доли аудиторных занятий более чем на 20%. А это, в свою очередь, обусловило и значение самостоятельной работы студентов, которая по своей сути является не просто важной формой образовательного процесса, а лежит в основе перехода от парадигмы обучения к парадигме образования.

Значительная часть самостоятельной работы студентов, по подсчетам специалистов, связана с изучением различного рода учебных текстов -монографий, учебников, методических пособий и т.д. Именно учебный текст и является одним из основных средств коммуникации между студентом и преподавателем. Форма представления текста оказывает существенное влияние на качество процесса образования. В этой связи остро встает проблема оптимизации содержания учебных изданий с позиций доступности изложения и проблемы понимания, так как, с одной стороны, трудность осмысления материала увеличивается при усложнении текста, а с другой - слишком простой текст в образовательном процессе предполагает замедление интеллектуального развития обучающихся.

Имеется целый ряд работ отечественных авторов, посвященных теории оценки трудности понимания и сложности русскоязычных текстов.

A.M. Сохор [92] исследовал информативность учебного текста на основе структурных формул. А.И. Новиков [73] оценивал сложность, используя денотатный граф. Я.А. Микк [68], установил четыре группы компонентов текста: информативность, сложность предложений, ясность структуры текста и абстрактность изложения Согласно Я.А. Микку, каждый из отмеченных компонентов влияет на способность восприятия студентами учебного текста. Сложность учебных текстов Е.С. Пушкина [83] оценивала по терминологическому тезаурусу. Исследования A.M. Новикова, Д.А. Новикова

72], В.П. Беспалько [9], В.И. Загвязинского [43], И.И. Мазур [62] и др. посвящены методологии составления учебников, учебных программ, методы управления качеством.

Практические работы по оценке характеристик текстов представлены И. В. Оборневой [74], М. Г. Мальковским, Е.И.Большаковой, Н. Э. Васильевым [14], В. И. Шалак [48] и др. Так, И. В. Оборнева разработала для Microsoft Word модуль оценки сложности учебных текстов по длине предложений (количеству слов) на основе скорректированных формул Флэша. М. Г. Мальковский, Е. И. Большакова, Н. Э. Васильев [14] предложили систему научно-литературного редактирования КОНУТ, включающую модуль по оценке сложности научных текстов, связывая его с «длинными» предложениями. В. И. Шалак разработал программный продукт BAAJI, который оценивает влияние текста (рекламных текстов, газетных статей и журналов) на психику человека. Модуль анализа текстов компании RCO предназначен для классификации текстов, автоматического реферирования, морфологического и синтаксического анализа художественных текстов. Оценке качества информации на основе качества подготовленности материальной базы университета посвящены работы В. В. Мартынова [65], JI.P. Черняховской [102], Н. К. Криони [50] и др. Теоретические исследования отечественных ученых не имеют практического воплощения, а разработанные программные средства не предназначены для оценки трудности понимания учебных текстов.

Таким образом, проблема управления качеством учебных материалов на основе оценки параметров сложности текста, влияющих на трудность его понимания, а также необходимость разработки автоматизированной системы оценки трудности понимания учебного текста обусловливают актуальность настоящей диссертации.

Целью исследования является разработка методов, моделей, алгоритмов управления качеством учебных материалов на основе контент-анализа и оценка их эффективности.

Объектом исследования является качество учебных материалов.

Предметом исследования являются методы управления качеством учебных материалов.

Для реализации цели настоящего исследования были поставлены следующие задачи:

1) Разработать концептуальную модель управления качеством учебных материалов, позволяющую адаптировать учебный текст к имеющемуся контингенту обучающихся.

2) Разработать методику контент-анализа для диагностики параметров учебного текста, влияющих на трудность его понимания.

3) Разработать алгоритм и программное обеспечение для автоматизированного анализа трудности понимания учебного текста.

4) Провести вычислительный эксперимент для проверки эффективности разработанных алгоритмов.

Методы исследования. Поставленные в работе задачи решались с использованием методов психолингвистического эксперимента, статистического анализа и обработки экспериментальных данных, компьютерной обработки данных, педагогических измерений, регрессионного анализа и экспертных оценок.

Положения, выносимые на защиту:

1. Концептуальная модель управления качеством учебных материалов.

2. Методика контент-анализа для диагностики трудности понимания учебного текста.

3. Алгоритм и программное обеспечение управления качеством учебных материалов на основе автоматизированного анализа трудности понимания учебного текста.

4. Результаты экспериментальных вычислений.

Научная новизна работы заключается в следующем:

1. Научная новизна разработанной концептуальной модели управления качеством учебных материалов заключается в том, что в ней учитываются уровень подготовленности и способности обучающихся путем опытной проверки с привлечением целевой группы студентов.

2. Научная новизна предложенной методики контент-анализа и ее отличие от существующих состоит в том, что в ней: a. На основе анализа формализована процедура выделения структурно-понятийных компонент для диагностики трудности понимания учебных текстов, которая базируется на комбинации методов морфологического, морфемного, синтаксического и лингвистического анализа, и включает: информативность (анализ слов-скреп и лингвистических конструкций построения определений); абстрактность изложения (анализ морфем слова); сложность структуры учебного текста (синтаксический анализ предложений); сложность лингвистических конструкций (морфологический и синтаксический анализ слов и предложений). b. Для оценки трудности понимания предлагается использовать интегральную количественную оценку, полученную в результате обработки предложенных диагностических признаков методами экспертного оценивания, шкалирования, регрессионного анализа.

3. Научная новизна разработанного алгоритма заключается в том, что он учитывает различные параметры сложности текста и отличается от существующих алгоритмов тем, что в одном алгоритме объединены синтаксические, лингвистические и морфологические процедуры анализа текста.

Практическая значимость работы заключается:

1. Автоматизированная система анализа трудности понимания текста, разработанная на основе концептуальной модели управления качеством учебных материалов, предоставила возможность сформировать новый подход к управлению качеством учебных материалов, что позволило уравновесить содержание учебных изданий с позиций требований, предъявляемых к обучаемому в процессе обучения, и подготовленности учащегося к этому процессу.

2. Формализованная процедура контент-анализа трудности понимания учебного текста разрешает проводить диагностику учебного текста по гуманитарным и социально-экономическим дисциплинам.

3. Разработанное программное обеспечение объединяет в одном продукте комплекс средств для автоматизированной диагностики трудности понимания учебного текста по технологии контент-анализа.

4. Разработанное программное обеспечение для оценки трудности понимания учебного текста способствует оптимизации качества учебного текста, разрабатываемого автором, в среднем на 5 — 10% и повышает уровень понимания учебного текста учащимися на 37,5%.

Результаты диссертационной работы внедрены при разработке учебного материала дисциплин гуманитарного и социально-экономического цикла в Башкирском государственном педагогическом университете им. М.Акмуллы. Получено свидетельство №2008614145 (РФ) об официальной регистрации программы для ЭВМ «Оценка сложности параметров текста».

Апробация работы

Результаты и положения исследовательской работы докладывались и обсуждались на следующих научно-технических и научно-практических конференциях: VI Всероссийская научно-практическая конференция «Современные технологии в российской системе образования», Пенза, 2007; XIV Всероссийская научно-методическая конференция «Телематика» 2007; международный симпозиум «Компьютерные науки и информационные технологии», Анталия, Турция, 2008; международная научно-практическая конференция «Новые информационные технологии в образовании», Екатеринбург, 2009.

Результаты диссертационной работы непосредственно отражены в 9 публикациях, в том числе 2 статьи в изданиях из списка ВАК.

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка литературы и приложений. Работа изложена на 137 страницах машинописного текста, содержит 15 рисунков и 15 таблиц. Библиографический список включает 118 наименований.

Выводы по главе 4

Для проведения экспериментального исследования по оценке трудности понимания учебных текстов выполнены действия: 1. Оценка трудности понимания фрагментов учебного текста студентами. 2. Подсчет численных значений структурно-понятийных компонент в программе «Анализ сложности текста». 3. Построение модели интегрального показателя. 4. Интерпретация значений интегрального показателя. 5. Анализ полученных результатов.

Экспериментальное исследование трудности понимания учебного текста проведено на репрезентативной выборке учащихся, что подтверждается приведенными расчетами.

В ходе исследования установлено, что согласованность мнений экспертов высокая, значения оценок трудности учебных текстов могут быть использованы для оценки трудности понимания учебных текстов по дисциплине «Философия».

В результате проведенного анализа была получена модель интегрального показателя оценки трудности понимания учебного текста. Полученная модель статистически значима и может быть использована для анализа учебных текстов.

Для преподавателей, редакторов, экспертов и исследователей разработаны методические рекомендации по применению программного продукта при проведении оценки учебных текстов.

В ходе исследования была подтверждена гипотеза, что на трудность понимания учебного текста влияет широкое использование абстрактных слов, сложносочиненных и сложноподчиненных предложений, невысокий уровень употребления обезличенных предложений также затрудняет понимание. Трудным для восприятия оказывается высокий процент содержания предложений с обратным порядком слов. По результатам эксперимента, длинные предложения, перегруженные причастными и деепричастными оборотами, содержащие большое количество терминов и абстрактных слов, сложны для понимания студентами вторых и третьих курсов. Учебные тексты, отмеченные студентами как «легкие» и «средней трудности», содержали ключевые слова, которые были отражены и в названии заголовка параграфа.

Заключение

В проведенном диссертационном исследовании рассмотрены основные методы и подходы управления качеством учебных материалов на основе оценки трудности понимания учебных текстов, решены поставленные задачи:

1. Разработана концептуальная модель управления качеством учебных материалов на основе анализа трудности понимания учебного текста, что позволяет уравновесить содержание учебных изданий с позиций требований, предъявляемых к студенту, и его подготовленности к процессу обучения, тем самым повысить качество обучения и качество учебного материала.

2. Разработана методика контент-анализа для диагностики трудности понимания учебных текстов, отличающаяся тем, что рассматривает систему диагностирующих признаков для оценки трудности понимания учебного текста, в основе которой лежит комбинация методов морфологического, морфемного, синтаксического и лингвистического анализа следующих параметров: информативность (анализ слов-скреп и лингвистических конструкций построения определений); абстрактность изложения (анализ морфем слова); сложность структуры учебного текста (синтаксический анализ предложений); сложность лингвистических конструкций (морфологический и синтаксический ' анализ слов и предложений). Разработанная методика позволяет применить предложенный методологический аппарат для анализа текстов дисциплин гуманитарного и социально-экономического содержания.

3. Разработан алгоритм и программное обеспечение для автоматизированного анализа трудности понимания учебного текста, реализующее новый подход к управлению качеством учебных материалов на основе оценки трудности понимания учебного текста. Разработанное ПО позволяет улучшить качество учебного текста в среднем на 5-10%, использование ПО дает возможность сократить время анализа учебных текстов на 60%, сэкономить финансовые ресурсы вуза при принятии решения об издании учебников.

Проведенный вычислительный эксперимент для проверки эффективности разработанных алгоритмов показал, что разработанное ПО на 91,5% правильно выявляет параметры сложности учебного текста, влияющие на трудность его понимания. Разработана методика использования автоматизированной системы анализа учебного текста. Разработаны рекомендации по улучшению учебного текста, которые доказали правильность и эффективность работы разработанного ПО. Результаты вычислительного эксперимента показали, что применение разработанного программного обеспечения позволяет повысить уровень понимания учебного текста учащимися на 37,5%.

1. Абдеев Р.Ф. Философия информационной цивилизации Текст. / Абдеев Р.Ф. М.: ВЛАДОС, 1994. - 130 с.

2. Абдуллина А. Р. Хрестоматия по философии Текст. [Электронный ресурс] / Абдуллина А. Р. // Библиотека Литературный Центр URL: http://www.twirpx.com — 10.01.2009

3. Аванесов B.C. Теория и методика педагогических измерений Электронный ресурс. / Аванесов B.C. // URL: http://www.testolog.narod.ru -10.01.2008

4. Алешина И.В. Правила составления текстов Электронный ресурс. / Алешина И.В// URL: http://www.anticrisis.toptrening.ru/articles/998/- 10.01.2009

5. Алексеев П.В. Философия Текст. : Учебник 3-е изд., перераб. и доп. / Алексеев П.В., Панин A.B. - М.: Проспект, 2003 - 116с.

6. Архарова Д.И. Речевые действия, необходимые для понимания основной информации, заложенной в учебный текст Электронный ресурс. / Алешина И.В // URL: http://www.rusreadorg.ru/issues/c2006/01arharova.htm -12.02.2007

7. Асмус В.Ф. Античная философия Электронный ресурс. / Асмус В.Ф. // URL: http://www.gumer.info/bogoslovBuks/Philos/Asmus/index.php 10.01.2009

8. Бабайцева В.В. Русский язык: Теория Текст.: Учебник / Бабайцева В.В., Чеснокова Л.Д. М.: Просвещение, 1994 г. - 125с.

9. Беспалько В.П. Теория учебника: дидактический аспект Текст.: Беспалько В.П. М.: Педагогика, 1988.- 160с.

10. Белянин В. П. Основы психолингвистической диагностики. (Модели мира в литературе) Текст. / Белянин В. П. М.:Тривола.2000. - 248 с.

11. Бехтерева Н.П. Магия мозга и лабиринты жизни Текст. / Бехтерева Н.П. С-Пб.: Нотабене, 1999. - 342с.

12. Большая советская энциклопедия Электронный ресурс. / Большая советская энциклопедия // URL: http://www.rubricon.com — 12.04.2007

13. Брудный A.A. Психологическая герменевтика Электронный ресурс. / Брудный A.A. URL: http://www.yugzone.ru/download1200books/obshayal.htm - 14.05.2007

14. Валгина Н.С. Современный русский язык Электронный ресурс. / Валгина Н.С. URL: http://www.hi-edu.ru/e-books - 12.12.2007

15. Валгина Н.С. Теория текста Текст.: Учебное пособие / Валгина Н.С. -М.: МГУП «Мир книги», 1998. 210 с.

16. Введение в курс философии Текст.: Учебное пособие // Под ред. акад. Файзуллина Ф. С. Уфа: УГАТУ, 1996. - 146 с.

17. Викторова О.С. Анализ сложности определений курса "Введение в анализ" как объективный фактор затруднений студентов Электронный ресур. / Викторова О.С. URL: http://www.pspu.ac.ru/sciconfpechvictorova.shtml -19.05.2007

18. Виноградов B.B. Русский язык (грамматическое учение о слове) Текст. / Виноградов В.В. М.: Государственное учебно-педагогическое издательство министерства просвещения РСФСР, 1947 г. - 455с.

19. Войтик Н.В. Актуализация педагогического потенциала учебного текста Текст.: автореф.дис. канд.пед.наук: 13.00.02 Тюмень, 2004 — 18 с.

20. Выготский J1. С. Психология и педагогика внимания. Текст. / Выготский Л. С. // Психология внимания. М.: ЧеРо, 2001.- 858 с.

21. Гаффорова Е.Б. Менеджмент качества как основа создания интегрированных систем управления ВУЗом. Электронный ресурс. / Гаффорова Е.Б., Балабан В.А. URL: http://www.quality21.ru/article.php?mode;=display&id=36 - 15.05.2007

22. Галеева H.J1. Система компетенций как инструмент управления качеством образования Электронный ресурс. / Галеева H.JI. // Интернет-журнал «Эйдос» URL: http://www.eidos.ru/joumal/2007/0930-7.htm - 15.05.2007

23. Гамезо М.В. Психолого-педагогические проблемы создания и использования учебника //Психология и педагогическая практика URL: http://www.voppsy.ru/issues/1983/835/835066.htm

24. Гвоздев А.Н. Современный русский литературный язык. 41 Текст. / Гвоздев А.Н. М.: Государственное учебно-педагогическое издательство министерства просвещения РСФСР, 1958 г. - 3 15с.

25. Гейзенберг. В.Физика и философия Электронный ресурс. / Гейзенберг. В. URL: http://www.i-u.ru - 15.09.2007

26. Гиренко J1.C. Плотность научного текста: комплексный подход к ее изучению Текст.: автореф.дис. канд.филолог.наук: 10.02.01, Пермь, 2006 г. -18с.

27. ГОСТ 7.60-2003 Издания. Основные виды, термины и определения. Введен с 01.07.2004 Электронный ресурс. : URL: http://www.complexdoc.ru-11.12.2008

28. ГОСТ Р ИСО 9000:2001 Системы менеджмента качества. Основные положения и словарь. Электронный ресурс. : URL: http://www.complexdoc.ru -11.12.2008

29. ГОСТ Р ИСО 9001:2001 Системы менеджмента качества. Требования. Электронный ресурс. : URL: http://www.complexdoc.ru 11.12.2008

30. ГОСТ Р ИСО 9004:2001 Системы менеджмента качества. Рекомендации по улучшению деятельности. Электронный ресурс. : URL: http://www.complexdoc.ru- 11.12.2008

31. Гринько B.C. Философия в России: парадигмы, проблемы, решения Электронный ресурс. / Гринько B.C. 2004 г. - 120 с. - URL: http://www.twirpx.com - 04.04.2008

32. Гроссберг С. Внимательный мозг Текст. [Электронный ресурс] / Гроссберг С. // Открытые системы, №4, 1997 г. URL: http://www.scorcher.ru/neuro/science/attention/meml9.htm - 15.03.2007

33. Григорьев В.А. Оценка качества интеллектуальных систем, оперирующих неформальными понятиями Текст. [Электронный ресурс] / Григорьев В.А. // Наука и образование, 2004г. URL: http://technomag.edu.ru/doc/45749.html - 15.12.2007

34. Гурье Л.И. Проектирование педагогических систем. Текст.: Учеб. Пособие Казань: Казан, гос. технол. ун-т., 2004. - 212с.

35. Гуревич П.С. Философия культуры Электронный ресурс. / Гуревич П.С. URL:http://www.i-u.ru -12.05.2008

36. Доблаев Л.П. Смысловая структура учебного текста и проблемы его понимания Текст. / Доблаев Л.П. М., :Педагогика, 1982 - 156 с.

37. Журавлев А.П. Звук и смысл. Текст. / Журавлев А.П. М.: Просвещение, 1981 г. - 160 с

38. Загвязинский В.И. Теория обучения: Современная интерпретация Текст. / Загвязинский В.И. М.: Издат. центр «Академия», 2001 г. 192 с.

39. Ионова C.B. Эмотивность текста как лингвистическая проблема. Текст. : Дисс. канд. филол. наук: 10.02.19. Волгоград, 1998 - 197 с.

40. Кальной И. И. Философия Текст. / Учебник 3-е изд., — СПб.: Лань, 2003г.— 167 с.

41. Королько В.Г. Основы паблик рилейшнз Электронный ресурс.: Электронная библиотека Воеводина -URL: http://enbv.narod.ru/text/Econom/korolko/str/53.html 20.11.2007

42. Контект-анализ. Программа YAAL. Электронный ресурс.: Официальный сайт программы VAAL. Шалак В.И. URL: http://vaal.ru/cont/content.php - 23.11.2007

43. Председатель Правительства Российской Федерации Москва 3 сентября 2005 г. N 1340-р Концепция Федеральной целевой программы развития образования на 2006 2010 годы Электронный ресурс. - URL: http://ed.gov.ru/files/materials/1 799/RPR 1340.doc

44. Криони H.K. Формирование системы менеджмента качества образовательных услуг университетского округа Текст. / Криони Н.К.,

45. Криони О.В., Костюкова Т.П., Мартынов В.В. // Вестник УГАТУ Т. 7(№2). -2006 г. с. 78 - 84.

46. Криони Н.К. Автоматизированная система анализа сложности учебных текстов Текст. / Криони Н.К., Никин А.Д., Филиппова A.B. // сборник Вестник УГАТУ Т11,№1 (28), 2008г. с. 101-107

47. Криони Н.К. Автоматизированный анализ сложности учебного текста Текст. / Криони Н.К., Никин А.Д., Филиппова A.B. //труды международной научно-практической конференции «Новые информационные технологии в образовании» Екатеринбург 2009 г. - с. 120-121

48. Кубрякова Е.С. О тексте и критериях его определения. Текст./ Кубрякова Е.С. //Текст. Структура и семантика. Т. 1. М., 2001 г. - С. 72-81

49. Кузнецова H.A. Дидактические проблемы понимания учебного текста старшеклассниками Текст.: Дис.канд.пед.наук: 13.00.01. Барнаул 1998г. -157с.

50. Кукушкина О.В. Определение авторства текста с использованием буквенной и грамматической информации Текст. / Кукушкина О.В., Поликарпов A.A., Хмелев A.A. //Проблемы передачи информации, т.37, вып.2 (апрель-июнь), 2001г. с.96-108

51. Лавошникова Э. К. О «подводных камнях» в компьютерных системах проверки правописания Текст. / Лавошникова Э. К. // Вестник Московского университета. Серия 9. Филология. № 6, 2002г. с. 19-24

52. Лавров O.A. Дистанционное обучение: учебный текст Текст. [Электронный ресурс] / Лавров O.A. URL:http://vio.fio.ru/vio18/cdsite/Articles/artll 0.htm 14.05.2008

53. Лингвоанализатор Хмелева. Электронный ресурс.: официальный сайт программы Хмелева Д.В. URL: http://www.rusf.ru/books/analysis/ - 10.06.2007

54. Лурия А.Р. Маленькая книжка о большой памяти. Психология памяти Текст. / Лурия А.Р. // Психология памяти под ред. Ю. Б. ГиппенрейтерВ. Я. Романов] М.:ЧеРо, 2002г. - 812с.

55. Мазур И.И., Шапиро В.Д. и др. Управление проектами: Справочное пособие. М.: Высшая школа, 2001.

56. Мамонтов A.C. Проблемы восприятия и понимания текста (Психолингвистический анализ семантики номинативных единиц текста) : Текст.: Дисс. . канд. филол. наук.: 10.02.19 М. 1984г. - 156 с.

57. Манаев О.Т. Контент-анализ Электронный ресурс.: Библиотека Пси-фактор. Научная психология, методология, исследование. URL: http://psvfactor.org/lib/kontcnt.hti-n - 10.01.2008

58. Мильчин А. Э. Издательский словарь-справочник. Текст. : Изд. 3-е, испр. и доп., электронное М.: OJIMA-Пресс, 2006г. - 258с.

59. Микк Я.А. Оптимизация сложности учебного текста: В помощь авторам и редакторам. Текст. / Микк Я.А. — М.: Просвещение, 1981 — 119 с.

60. Найссер У. Внимание и проблема емкости. Текст./ Найссер У. // Психология внимания[Под редакцией Ю. Б. Гиппенрейтер щ В. Я. Романова] / М.: ЧеРо, 2001,- 858 с.

61. Новиков A.M., Новиков Д.А. Методология текст. / Новиков A.M., Новиков Д.А. М.: Синтег, 2007. - 668 с.

62. Новиков А.И. Семантика текста и ее формализация Текст. [Электронный ресурс] / Новиков А.И. М.: Наука, 1983. - 97 с. -URL:http://www.auditorium.ru/boolcs/1477/- 11.10.2007

63. Оборнева И.В. Автоматизированная оценка сложности учебных текстов на основе статистических параметров, Текст.: Дис. канд. педагог, наук, 13.00.02 Москва, 2006г. 165 с

64. Общее языкознание: Формы существования, функции, история языка. Текст. Учебник под ред. Серебренникова Б.А. М.:Наука, 1970г.- 440 с.

65. Орлов А.И. Менеджмент. Текст. : Учебник М.: Знание, 1999 г.-123с.

66. Основы онтологии: Текст. : Учеб. пособие Под ред. Ф.Ф. Вяккерева, В.Г. Иванова, Б.И. Липского, Б.В. Маркова СПб.: СПбГУ, 1997г. - 280 с.

67. О программе TextAnalyst Электронный ресурс.: официальный сайт программы URL: http://www.megaputer.ru/textanalyst.php- 12.12.2008

68. Патент на программу. Свид. об офиц. per. программы для ЭВМ №2008614145 (РФ). Оценка сложности параметров текста. Криони Н.К., Никин А.Д., Филиппова A.B. Патент. : Зарегистрировано в Реестре программ для ЭВМ 29.08.08.

69. Пономарев C.B. Вербальные коммуникации в системе паблик рилейшнз, Текст.: Дисс.канд.филол.наук: 10.01.10 Москва, 2001г. 202 с.

70. Попов А. Поиск в Интернете внутри и снаружи Текст. [Электронный ресурс] / Попов А. //Журнал "Интернет" - URL:http://www.dist-cons.ru/modules/searchinf/z/al 4/inter.net.ru/7/l 8.html- 22.10.2007

71. Председатель Правительства Российской Федерации Москва 3 сентября 2005 г. N 1340-р Концепция Федеральной целевой программы развития образования на 2006 2010 годы. Электронный ресурс. - URL: http://ed.gov.ru/files/materials/1799/RPR1340.doc - 12.04.2008

72. Пушкина Е.С. Теоретико-экспериментальное исследование структурно-семантических параметров текста, Текст.: Автореф.дис. канд.филолог.наук: 10.02.19 : Кемерово, 2004г. 155 с.

73. Райе К. Классификация текстов и методы перевода Текст. [Электронный ресурс] / Райе К. URL:http://www.philology.ru/linguisticsl/reiss-78.htm -22.10.2007

74. Ранговый дисперсионный анализ Фридмана и конкордация Электронный ресурс. URL: http://www.statsoft.rU/home/portal/applications/Multivariatadvisor/Nonparametrics/F ridman.htm- 02.12.2008

75. Редченкова Г.Д., Учительская экспертиза учебника Текст. [Электронный ресурс] / Редченкова Г. Д.,

76. URL:http://www.iro.yar.ru:810 l/resource/distant/informatics/schooll 2/analizyche bn.html 16.07.2007

77. Розенталь Д.Э. Русский язык. Для школьников старших классов и поступающих в вузы Текст.: Учебник М.: Дрофа, 1996 г. — 128с.

78. Рубинштейн С. Л. Память. Текст./ Психология памяти . под ред. Ю. Б. ГиппенрейтерВ. Я. Романов М.:ЧеРо, 2002г. - 812с.

79. Слобин Д. Психолингвистика. Текст. / Слобип Д., Грин Дж. // Перевод с английского Е. И. Негневицкой.Под общей редакцией и с предисловием доктора филологических наук А. А. Леонтьева. М.: Прогресс, 1976г. - 336 с.

80. Сокирко А. Морфологический словарь Электронный ресурс. URL: http://aot.ru/technology.html - 10.09.2007

81. Сохор A.M. Логическая структура учебного материала Текст./ Сохор A.M. -М.: Педагогика, 1974г. 192 с.

82. Теория систем и системный анализ в управлении организациями: справочник Текст.: Учебник под ред.В.Н. Волковой A.A. Емильянова. -М.'Финансы и статистика, 2006г. 325 с.

83. Титчепер Э. Б. Экспериментальные исследования внимания. Текст./ Титчепер Э. Б. // Психология внимания Под редакцией Ю. Б. Гиппенрейтер щ В. Я. Романова. М.: ЧеРо, 2001г.- 858 с.

84. Толпа. Д.В. О роли языка в учебной деятельности студентов Электронный ресурс. URL:http://www.library.sibstu.kls.ru/paradigma/l/14.htm1009.2007

85. Федосова Елена Георгиевна. Качество учебника для вуза как объект управления в редакционпо-издательской деятельности. Текст. : Дис. . канд. филол. наук : 05.25.03 М., 2004г. - 215 с.

86. Федюченко Л.Г. Терминологическое поле в когнитивной структуре учебного научного текста: Текст.: Дис. . канд. филол. наук : 10.02.21 -Тюмень, 2004г. 202 с.

87. Философия. Текст.: Учебник Под ред. проф. В.Н. Лавриненко] 2-е изд., испр. и доп. — М.: Юристъ. 2004г. 520с.

88. Философия. Текст. [Электронный ресурс]/ Учебник для вузов. Под общ. ред. В. В. Миронова URL:http://www.gumer.info/bogoslovBuks/Philos/Mironov/intro.php 16.08.2008

89. Черняховская, Л.Р. Онтологический подход к разработке системы поддержки принятия решений Текст. / Л.Р. Черняховская, В.Н. Кружков, Ф.А. Дикова // Информационные ресурсы России. — 2009 .— № 1. 2009. - С. 25-28.

90. ЮЗ.Чугреев В. Л. Модель структурного представления текстовой информации и метод ее тематического анализа на основе частотно-контекстной классификации: Текст.: Дис.канд.тех.наук: 05.13.01, СПб, 2003г. 157с.

91. Carol Tenopir. Use and Users of Electronic Library Resources: An Overview and Analysis of Recent Research Studies Электронный ресурс. -URL:http://www.clir.org/pubs/reports/pub 120/sec3.html 28.12.2007

92. David P. Reading in the Twentieth СепШгуЭлектронный ресурс. URL: http://www.ciera.org/libraiy/archive/2001 -08/200108.htm- 28.12.2007

93. Everything you ever wanted know about readability tests but were afraid to ask. Электронный ресурс. URL: http://www.gopdg.com/plainlanguage/readability.html- 28.02.2008

94. Juicy Studio. Readability Test Электронный ресурс. URL:http://juicystudio.com/sei*vices/readability.php?url=#readintro- 21.03.2008

95. Jonhson C.K. and R.K. Jonhson, "Readability" Электронный ресурс. -URL: http://www.timetabler.com/reading.html 28.12.2007

96. Harry McLaughlin SMOG Chek For Readability3fleicTpoHHbm ресурс. / URL: http://www.harrymclaughlin.com/SMOG.htm 25.01.2008

97. Lisa Zyga. Linux Evolution Reveals Origins of Curious Mathematical Phenomenon Электронный ресурс. URL: http://www.physorg.com/newsl47353055.html- 30.01.2008

98. ML-MediaLingua Электронный ресурс. URL:http://www.medialingua.ru- 30.01.2008

99. Nemah N. Hermosa Exploring Readability Электронный ресурс. URL: http://nnhermosa.net/hunts/hunt2.html-20.03.2008

100. Readability formulas including Р1е5сЬЭлектронный ресурс. URL: http://csep.psyc.memphis.edu/cohmetrix/readabilityresearch.htm -15.02.2008

101. Scott P., Peter W. The Role of Self-Regulated Learning in Contextual Teaching: Principles and Practices for Teacher Preparation Электронный ресурс. -URL: http://www.ciera.org/library/archive/2001 -04/0104parwin.htm-20.03.2008

102. Wentian Li. Zipfs Law Everywhere Электронный ресурс. URL: http://www.nslij-genetics.org/wli/pub/glottometrics02.doc-25.04.2008

103. WordTabulator Электронный ресурс. / Официальный сайт программы URL: http://www.rvb.ru/soft/wt/wt.htm-20.03.2008