автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Система интеллектуального анализа данных для прогнозирования успешности учебной деятельности

На правах рукописи

ПАВЛЮК АЛЕКСАНДР АЛЕКСАНДРОВИЧ

СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ДЛЯ ПРОГНОЗИРОВАНИЯ УСПЕШНОСТИ УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ

05.13.01 — Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Красноярск - 2004

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева», г. Красноярск

Научный руководитель: доктор технических наук, профессор

Семенкина Ольга Эрнестовна

Официальные оппоненты: доктор технических наук, профессор

Слюсарчук Валентин Федорович

Кандидат технических наук Вашко Татьяна Александровна

Ведущая организация: Московский государственный институт

электроники и математики

Защита состоится 16 декабря 2004 г. в 14:00 на заседании диссертационного совета Д 212.249.02 при Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева по адресу: 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31.

С диссертацией можно ознакомиться в библиотеке Сибирского государственного аэрокосмического университета.

Автореферат разослан 15 ноября 2004 г.

Ученый секретарь диссертационного совета

И.В. Ковалев

Общая характеристика работы

В условиях возросших требований к уровню профессиональной компетентности особую значимость приобретает повышение эффективности обучения и подготовки учащихся. Профессионализм зависит не только от качества подготовки, но и от индивидуальных возможностей учащихся и специалистов, наличия у них необходимых профессионально важных характеристик личности.

Успешность учебной деятельности обучаемых в высших учебных заведениях важна, так как она предопределяет успешность последующей профессиональной деятельности. На сегодняшний день отсутствуют единые тестовые методики отбора и сопровождения обучаемых, не разработаны соответствующие унифицированные компьютерные программы.

Требуется новая методика системного анализа, позволяющая выносить решение об эффективности будущей учебной деятельности, удовлетворяющая следующим требованиям:

• должна быть основана на современном математическом аппарате, позволяющем эффективно обрабатывать накопленную в процессе учебной деятельности информацию;

• должна обеспечивать совместимость с существующими системами накопления и обработки информации, принятыми в высших учебных заведениях;

• может быть использована как часть более сложной системы поддержки принятия решений, используемой в управлении учебно-образовательным процессом.

Получение прогноза успешности учебной деятельности обучаемых в высших учебных заведениях позволит оптимизировать систему этапного формирования кадров, более целенаправленно проводить профессионально-психологический отбор и сопровождение обучаемых.

Отсутствие современной унифицированной методики прогнозирования успешности обучения свидетельствует об актуальности и научно-практической значимости работы.

Целью диссертационной работы является разработка методики системного анализа психодиагностических данных, эффективно решающей задачу прогнозирования успешности учебной деятельности.

Для достижения указанной цели необходимо решить следующие задачи:

- провести анализ моделей систем обработки информации;

- выбрать модель, обеспечивающую эффективное решение задачи прогнозирования успешности учебной деятельности по результатам психодиагностического тестирования;

- провести исследование выбранной модели;

- программно реализовать и проверить на реальных данных модель прогнозирования;

- разработать и реализовать методику чения.

Методы исследования. Результаты проведенных и представленных в диссертации исследований получены с использованием методов интеллектуального анализа данных, системного анализа, нейроинформатики, теории вероятностей, статистики, психодиагностики.

Научная новизна диссертационной работы состоит в следующем:

1. Разработана новая методика прогнозирования успешности учебной деятельности, основанная на методах интеллектуального анализа данных.

2. Предложен модифицированный алгоритм генетического программирования, отличающийся от известных методом выбора точки скрещивания.

3. Впервые предложен алгоритм, позволяющий заполнять пробелы в данных профессионально-психологического обследования и верифицировать имеющиеся данные.

Практическая ценность работы состоит в разработке методики прогнозирования успешности учебной деятельности по результатам психодиагностического тестирования, обеспечивающей возможность использования её широким кругом учебных заведений в целях повышения эффективности обучения и подготовки обучаемых.

Реализация результатов работы. Созданная в рамках диссертационной работы программная реализация методики прогнозирования успешности учебной деятельности успешно внедрена в учебный процесс Сибирского юридического института МВД России (г. Красноярск) и рекомендована к внедрению во все образовательные учреждения МВД России.

Разработанный программный продукт зарегистрирован Российским агентством по патентам и товарным знакам (№ гос. peг. 2004610685).

Основные защищаемые положения:

1. Построенная модель прогнозирования позволяет предсказать основные аспекты успешности учебной деятельности.

2. Модифицированный метод генетического программирования позволяет прогнозировать дисциплинарные нарушения, возникающие в процессе учебной деятельности.

3. Разработанный в работе алгоритм заполнения попусков позволяет эффективно решать задачи восстановления данных профессионально-психологического обследования.

Публикации. По теме диссертации опубликовано десять работ, список которых приведен в конце автореферата.

Апробация работы. Основные положения диссертационной работы докладывались и получили одобрение на заседаниях кафедры САИО СибГАУ имени ак. М.Ф.Решетнева, на Всероссийской научной конференции с международным участием «Решетневские чтения» (г. Красноярск, 2003 г., 2004 г.), на межвузовской конференции «Информатика и информационные технологии» (г. Красноярск, 2003 г.), на Всероссийской научной конференции «Наука. Техника. Инновация» (г. Новосибирск, 2003 г.), на международной конференции «Информатизация и информационная безопасность правоохранительных органов» (г. Москва, 2004 г.), на международной многопрофильной конференции «Актуальные проблемы современной науки» (г. Самара, 2004 г.), на междуна-

родной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (г. Тамбов, 2004 г.)

В введении обосновывается актуальность работы, определяется класс рассматриваемых задач. Ставятся цели и задачи исследования, приводятся основные положения работы, проведен обзор используемой в диссертационной работе литературы.

Диссертационная работа посвящена вопросу разработки методики прогнозирования успешности учебной деятельности обучаемых в высших учебных заведениях. Целью является разработка эффективной методики прогнозирования, основанной на методах интеллектуального анализа данных, которая может быть использована в прогнозирующих системах поддержки принятия решений.

В первой главе проведен обзор существующих систем интеллектуального анализа данных, приведена классификация на основании используемых ими методов и алгоритмов, указаны преимущества и недостатки каждого подхода.

Определены основные требования к искомой системе интеллектуального анализа данных:

• Обеспечить работу с данными больших объемов, разнородными по качественному составу,

• Обеспечить работу с зашумленными данными,

• Не предъявлять к исследователю требований по знанию математического аппарата, лежащего в основе анализа.

Произведен обоснованный выбор системы анализа данных в пользу ней-росетей и алгоритмов генетического программирования, как максимально удовлетворяющих предъявленным к аналитическим системам требованиям.

Проведен обзор существующих моделей нейронных сетей. Для решения задачи прогнозирования успешности учебной деятельности выбрана сеть с обратным распространением ошибки. Рассмотрены структура и функционирование отдельного нейрона и нейронной сети в целом, общая схема обучения сети. Рассмотрены основные составляющие алгоритма генетического программирования, указаны достоинства и недостатки каждой из них. Установлено, что эффективность работы алгоритма зависит от методов создания промежуточной популяции, основным недостатком которых является допущение разрастания дерева-представления оценочной функции, что увеличивает время работы алгоритма.

Во второй главе решается задача прогнозирования значения среднего балла за период обучения.

В качестве входных параметров для прогнозирования было предложено использовать данные профессионально-психологического обследования обучаемых на момент поступления и в процессе обучения.

Набор психодиагностических тестов отличается универсальностью и включает в себя следующие методики: «Анкета», «Методика исследования особенностей мышления (МИОМ)», «Индивидуально-типологический опросник (ИТО)», «Многоуровневый личностный опросник (МЛО-адаптивность)»

С помощью методики «Анкета» определялись следующие параметры:

- «Установка на профессию» - расценивалась как зрелость или незрелость профессионального выбора у кандидата;

- «Представление о выбранной профессии» - классифицировались как верные или неверные;

- «Представление о собственных возможностях» - определялись как завышенные, нормальные, заниженные;

- «Мотивы выбора профессии» - представлялись общественно значимыми или незначимыми;

- «Ориентация на профессию» - определялась как устойчивая или неустойчивая;

- «Соответствие личных качеств нормам морали» - классифицировались как соответствующие нормам морали или не соответствующие;

- «Смысложизненная ориентация» - определялась как социально-творческая, демократическая, теологическая, нигилистическая и потребительская.

Методика исследования особенностей мышления (МИОМ) позволяет оценить общий уровень развития познавательных процессов и отдельные компоненты: логические способности формулирования суждений, критичность мышления, способности к формированию понятий, уровень практического математического мышления, способности к индуктивному мышлению. МИОМ является универсальной методикой, которую можно применять в любых образовательных учреждениях и практических органах.

Для углубленного изучения личности применялся «Индивидуально-типологический опросник (ИТО)» Л.Н. Собчик. Данная методика позволяет всесторонне охарактеризовать личность. В результате обследования определялись четыре основные тенденции (интроверсия - экстраверсия, тревожность -агрессивность) и четыре промежуточные (ригидность - лабильность, сензитив-ность - спонтанность). Шкалы достоверности ("Ложь" и "Аггравация") позволяют оценить степень достоверности полученных данных. Интерпретация индивидуально-личностных особенностей проводилась в пределах нормы, в рамках акцентуированной личности, в разных вариантах состояния дезадаптации.

Для изучения адаптационных способностей использовался «Многоуровневый личностный опросник (МЛО-адаптивность)», предназначенный для углубленного изучения личностных качеств и позволяющий определить адаптационный потенциал личности. Многоуровневый личностный опросник (МЛО-адаптивность) состоит из 4 шкал: «достоверность»; «поведенческая регуляция»; «коммуникативный потенциал»; «моральная нормативность».

Данный диагностический комплекс унифицирован и может использоваться во всех образовательных учреждениях и организациях.

Данные, необходимые для обучения нейронной сети, были получены в результате проведения психологического тестирования среди обучаемых Си-бЮИ в течении 8 лет. Данные с пропущенными параметрами в обучающую выборку не включались.

Обучающая выборка представлена в виде списка из 673 записей по 22 параметра в каждой записи (21 входной параметр и один выходной). В качестве выходного параметра использовалась оценка за тот семестр, в котором необходимо сделать прогноз.

За точность обучения сети было принято следующее значение:

N - количество записей в обучающей выборке, 1=1 ..Ы, Хг, - реальное значение ¿-го параметра, Хр, — полученное значение ¡-го параметра.

Для получения данных об эффективности обучения сети, обучающая выборка разбивалась на 2 части. На одной части выборки проходило обучение сети, на другой части обученная сеть тестировалась. Разбиение проходило в разных соотношениях с целью получения данных, показывающих отношение собственной и тестовой точности обучения сети в зависимости от размера обучающей выборки. Обучающая и тестовая выборки формировались из выбранных случайным образом записей, принадлежащих к общей выборке. Варианты разбиения: 100 и 573, 150 и 523, 200 и 473, 250 и 423, 300 и 373, 350 и 323,400 и 273,450 и 223,500 и 173, 550 и 123, 600 и 73.

В каждом варианте разбиения обучение сети проводилось 30 раз. Критерием остановки служило количество эпох равное 7000. Значения собственной и тестовой точности рассчитывались по прошествии количества эпох кратного 100. Таким образом, в результате одного случая обучения сети было получено по 70 значений собственной и тестовой точности. Итоговым результатом на каждом этапе считался усредненный результат по всем обучениям. Пример поведения сети показан на рис. 1.

Рис. 1. Собственная и тестовая точности обучения сети при разбиении 600-73

Данные эксперименты проводились с целью проверки возможности обучения сети по результатам психодиагностического тестирования и получения

данных о динамике изменения собственной и тестовой точности для последующей обработки.

Таким образом, получили выборку из 770 записей по 3 параметра в каждой записи: размер выборки, количество эпох, тестовая точность.

В случае прогнозирования по реальным данным неизвестно, сколько эпох должно пройти до получения максимально возможной точности прогноза, поэтому было решено использовать нейронную сеть обратного распространения для поиска ответа на этот вопрос.

В качестве обучающей выборки для сети использовались результаты описанных экспериментов. В обучающую выборку не вошли результаты экспериментов, полученные при разбиении 600-73. Эти результаты использовались для тестирования обученной сети.

Необходимо было предсказать динамику изменения тестовой точности в зависимости от размера обучающей выборки и количества эпох, т.е. сеть должна иметь 2 входа и 1 выход.

Для получения данных об эффективности обучения сети, обучающая выборка разбивалась на 2 части. На одной части выборки проходило обучение сети, на другой части обученная сеть тестировалась. Разбиение проходило в соотношении 700 - 70. Обучающая и тестовая выборки формировались из выбранных случайным образом записей, принадлежащих к общей выборке. Было проведено 50 экспериментов по обучению сети. Максимальное значение тестовой точности в процессе обучения составило 95,6%.

Проверка работоспособности сети проводилась на реальных данных: было предложено предсказание пика тестовой точности при обучении сети на выборке из 600 записей. Реальные данные в этом случае были следующие: пик тестовой точности в 90.62% достигался после прохождения 1400 эпох. Прогноз показал, что тестовая точность достигается после прохождения 1500 эпох и равна 89.45% . Реальная тестовая точность после прохождения 1500 эпох равна 90.47%. Таким образом точность прогноза составила 98,8%, что свидетельствует об эффективности обучения сети, предсказывающей тестовую точность, (см. рис. 2)

Выборка 600 записе

Й —Реальная тестовая точность —ш— Прогнозируемая тестовая точность

П'

во

»0 7»

0 НО 1000 1 500 2000 2500 »000 3500 4000 4500 $000 5300 6000 6500 7000

Рис. 2. Реальная и предсказанная тестовые томности при размере выборки в 600 записей

Проведенные эксперименты показали эффективность использования нейронной сети обратного распространения в задаче прогнозирования успешности учебной деятельности. На имеющейся выборке была получена тестовая точность в 90.62%, что в пересчете дает 0.49 балла, т.е. при округлении до балла ошибки исключаются.

В третьей главе рассматривалась задача прогнозирования дисциплинарных нарушений в процессе учебной деятельности, которая особо актуальна в специализированных учебных заведениях МВД РФ, Минобороны и т.п.

В качестве инструмента прогноза использовалась нейронная сеть обратного распространения.

Трудность заключается в том, что, в отличие от среднего балла, дисциплинарные нарушения имеют около 15% обучаемых. В случае включения в выборку всех записей с отсутствием дисциплинарных взысканий, получим сеть, обученную находить значение, указывающее на отсутствие дисциплинарных взысканий. Поэтому в выборку было включено 32 выбранных случайным образом записи без дисциплинарного взыскания.

Обучающая выборка в данной задаче состояла из 150 записей по 22 параметра в каждой (21 входной и 1 выходной): 118 записей с различными дисциплинарными нарушениями и 32 записи без таковых.

Для получения данных об эффективности обучения сети, обучающая выборка разбивалась на 2 части. На одной части выборки проходило обучение сети, на другой части обученная сеть тестировалась. Обучающая и тестовая выборки формировались из выбранных случайным образом записей, принадлежащих к общей выборке. Вариант разбиения: 120 и 30.

Обучение сети проводилось 30 раз. Критерием остановки служило количество эпох равное 4000. Значения собственной и тестовой точности рассчитывались по прошествии количества эпох кратным 100. Таким образом, в результате одного случая обучения сети было получено по 40 значений собственной и тестовой точности. Итоговым результатом на каждом этапе считался усредненный результат по всем обучениям. Точность прогноза составила 85.8%

Полученная точность оказалась недостаточной, поэтому было принято решение при небольшом размере обучающей выборки использовать алгоритм генетического программирования.

Среди трех возможных представлений оценочной функции в генетическом программировании было выбрано представление деревом (см. рис. 3).

В таком преставлении каждый узел дерева принадлежит соответствующему уровню.

Возможные значения выходного параметра (виды взысканий за дисциплинарные нарушения):

1. отчисление

2. лишение нагрудного знака

3. снижение в специальном звании

4. понижение в должности

5. предупреждение о неполном служебном соответствии

6. строгий выговор

7. выговор

8. замечание

9. отсутствие дисциплинарных нарушений Критериями остановки алгоритма служат:

1. Незначительное изменение показателя эффективности функции с ростом эпох.

2. Достижение требуемого значения показателя эффективности.

3. Прохождение требуемого количества эпох.

Исходя из специфики обучающих данных, был предложен вид дерева для оценочной функции: первые два уровня в процессе эволюции оставались неизменными, узлы других уровней генерировались случайным образом из определенного набора функций и менялись согласно алгоритму. Количество уровней определялось в процессе инициализации первоначальной популяции. Используемый алгоритм генетического программирования:

1. Случайным образом генерируется 60 деревьев оценочной функции. Под-считывается ошибка по формуле:

где: Т - показатель эффективности, 1=1..Ы, N - количество записей в обучающей выборке, ТГ| - реальное значение показателя дисциплинарных взысканий 1-й записи, Тр, - полученное значение показателя дисциплинарных взысканий 1-й записи.

Исходя из значения ошибки, для каждого дерева рассчитывается вероятность его выбора для порождения потомка.

2. В соответствии с распределением вероятностей отбираются три родителя.

3. Проводится двухточечное скрещивание, в результате которого получается 6 новых функций. Эти функции добавляются в набор.

4. Из набора исключаются 6 функций с максимальной ошибкой.

5. По дочитывается ошибка функций по формуле (2). Исходя из значения ошибки, для каждого дерева рассчитывается вероятность его выбора.

6. Если выполняется критерий остановки, то завершить работу алгоритма, иначе переход шаг 2.

Чем больше был размер дерева-представления, тем больше времени затрачивалось на вычисление значения оценочной функции, что отрицательно влияло на скорость работы алгоритма в целом, поэтому было необходимо

исключить возможность роста дерева. Было предложено использовать на шаге 3 новый оператор скрещивания, целью которого являлось обеспечить взаимодействие только узлов с одинаковых уровней, тем самым исключить возможность чрезмерного разрастания дерева-представления (рис.4 и рис.5).

Было проведено 100 запусков алгоритма генетического программирования с новой моделью создания промежуточной популяции и 100 запусков со стандартной моделью. Время нахождения решения алгоритмом генетического программирования при использовании новой модели создания промежуточной популяции сократилось в среднем на 19%. Точность прогноза при использовании новой модели не изменилась.

В результате всех проведенных запусков алгоритма была получена средняя точность прогноза дисциплинарных нарушений в 89.2%, что можно признать удовлетворительным для предварительного прогноза.

В четвертой главе рассматривается задача восстановления потерянной информации в исходных данных. В процессе накопления информации в учебных заведениях возможны ситуации, когда целостность данных окажется нарушенной (поломка оборудования, ошибочное занесение данных и т.д.). В этом случае актуальность поставленной задачи очевидна.

Предложен следующий алгоритм восстановления потерянных данных:

1. Записи, количество потерянных данных в которых в каждом тесте не превышает 25%, переносятся в список восстановления. Каждой записи присваивается порядковый номер.

2. Проводится проверка, обучалась ли сеть находить потерянные данные в требуемых позициях, с целью исключения повторного обучения.

3. Проводится обучение нейронной сети на обучающей выборке, состоящей из данных без пропусков.

4. Обученная нейронная сеть генерирует пропущенные данные, которые затем заносятся на соответствующие позиции.

На шаге 3 реализована циклическая процедура, в каждом цикле которой сеть обучается находить данные, пропущенные в записи, номер которой соответствует номеру цикла, на соответствующих позициях. Т.о. сеть находит данные, являющиеся результатами психодиагностического тестирования.

Рис.4. Стандартный оператор скрещивания

Рис.5. Новый оператор скрещивания

Для анализа эффективности нахождения сетью потерянных данных, были проведены следующие эксперименты:

1. Проверена работа сети по нахождению двух условно потерянных параметров.

2. Проверена работа сети по нахождению трех условно потерянных параметров.

Варианты разбиения обучающей выборки: 100 и 573, 150 и 523, 200 и 473,250 и 423, 300 и 373, 350 и 323, 400 и 273,450 и 223, 500 и 173, 550 и 123, 600 и 73.

В каждом варианте разбиения обучение сети проводилось 30 раз. Критерием остановки служило количество эпох равное 7000. Значения собственной и тестовой точности рассчитывались по прошествии количества эпох кратным 100. Таким образом, в результате одного случая обучения сети было получено по 70 значений собственной и тестовой точности. Итоговым результатом на каждом этапе считался усредненный результат по всем обучениям. Обучающая и тестовая выборки формировались из выбранных случайным образом записей, принадлежащих к общей выборке.

Целью экспериментов являлось получение данных о динамике изменения собственной и тестовой точности.

Некоторые данные, полученных в результате проведения экспериментов, приведены в таб.1 и таб.2.

размер обучающей выборки

размер обучающей выборки

600 400 500 600

80,21 | 500 76,34 77,89 77,73

82,18 о 1000 79,55 79,23 79,02 84,01 Ё 1500 79,35 80,11 79,88 84,34 £ 2000 76,26 78,21 80,41 82,57 | 2500 73,28 74,9 77,99 Таб. 2. Тестовая точность в задаче нахождения трех условно потерянных параметров

Динамика изменения пика тестовой точности при нахождении двух и трех условно потерянных параметров показана на рис.6 и рис.7.

500 1000 1500 2000 2500

400

81,01 83,67 81,16 78,64 77,59

500

80,59 82,77 84,12 82,03 79,19

Таб. 1. Тестовая точность в задаче нахождения двух условно потерянных параметров

Рис. 6. Тестовая точность при нахождении двух Рис. 7. Тестовая точность при нахождении трех условно потерянных параметров условно потерянных параметров

Таким образом, получили выборку из 770 записей по 3 параметра в каждой записи: размер выборки, количество эпох, тестовая точность.

В случае прогнозирования по реальным данным неизвестно, сколько эпох должно пройти до получения максимально возможной точности, поэтому было решено использовать нейронную сеть обратного распространения для поиска решения.

В качестве обучающей выборки для сети использовались результаты описанных экспериментов. В выборку не вошли результаты экспериментов, полученных при разбиении 600-73. Эти результаты использовались для тестирования обученной сети. Необходимо было предсказать динамику изменения тестовой точности в зависимости от размера обучающей выборки и количества эпох, т.е. сеть должна иметь 2 входа и 1 выход. Для получения данных об эффективности обучения сети, обучающая выборка разбивалась на 2 части. На одной части выборки проходило обучение сети, на другой части обученная сеть тестировалась. Разбиение проходило в соотношении 700-70. Обучающая и тестовая выборки формировались из выбранных случайным образом записей, принадлежащих к общей выборке.

Было проведено 50 экспериментов по обучению сети.

Максимальное значение тестовой точности в процессе обучения составила:

1. Для задачи нахождения двух условно потерянных параметров 96.3%.

2. Для задачи нахождения трех условно потерянных параметров 95.5%.

Была проведена проверка сети на реальных данных. Было предложено

предсказать пик тестовой точности в случае нахождения трех условно потерянных параметров на выборке из 600 записей. Реальные данные в этом случае были следующие: пик тестовой точности в 80.59% достигался после прохождения 1900 эпох. Прогноз показал, что тестовая точность достигается после прохождения 2000 эпох и равна 81.68% . Реальная тестовая точность - после прохождения 2000 эпох равна 80.41%. Таким образом, точность прогноза составила 98,4%, что свидетельствует об эффективности обучения сети, предсказывающей тестовую точность.

Основываясь на полученных данных, можно сделать вывод, что для восстановления двух параметров с тестовой точностью 93% нужна выборка примерно из 7000 записей, обученная в течение 9000 эпох, а для восстановления трех записей с тестовой точностью 93% нужна выборка примерно из 10000 записей, обученная в течение 13000 эпох.

В пятой главе предлагается методика прогнозирования успешности учебной деятельности учащихся и описывается программный комплекс, реализующий эту методику.

Методика прогнозирования успешности учебной деятельности имеет следующий вид:

1. Полученные с помощью психодиагностического комплекса данные проверяются на целостность.

2. В записях, количество пропущенных параметров в которых не препятствует восстановлению, проводится восстановление данных с помощью нейронной сети, обученной ранее по данным за предыдущие периоды.

3. Восстановленные записи добавляются в выборку для последующего использования.

4. С помощью ранее обученной нейросети прогнозируются значения средних баллов за период обучения.

5. С помощью ранее настроенного алгоритма генетического программирования прогнозируются возможные дисциплинарные нарушения.

6. Полученные прогнозы передаются в приемную комиссию для принятия решения.

Далее в главе описывается программный комплекс, включающий разработанные в диссертации алгоритмы и реализующий предложенную методику прогнозирования успешности обучения.

Минимум настроек, интуитивно-понятное меню и простота интерфейса позволили сделать комплекс доступным для широкого круга пользователей.

Рис. 8. Главное^жно программы

Минимальные системные требования : Windows 95, P100, 16Mb. Рекомендуемые системные требования : Windows 98+, РП300+, 64МЬ+. В комплекс входят две программы-утилиты, предназначенные для обеспечения совместимости с существующей базой Сибирского юридического института (рис. 9 и рис. 10).

программы «Рго£П(и_иШ» Рис.10. Окно программы «Рго§пог_!

В заключении диссертации приведены основные результаты, полученные в ходе выполнения работы, и сформулированы выводы.

Основные результаты и выводы:

Выполнена постановка задачи прогнозирования успешности учебной деятельности, предполагающая использование аппарата нейронных сетей и алгоритмов генетического программирования.

Разработана методика прогнозирования успешности учебной деятельности. В рамках методики разработан новый алгоритм восстановления пропущенных данных обучаемых, обеспечивающий оптимальный процент точности восстановления на небольших выборках.

1.

4. В рамках методики разработан новый метод создания промежуточной популяции, исключающий рост дерева-представления, тем самым обеспечивающий увеличение скорости нахождения оптимальной функции оценки в сравнении со стандартными методами создания промежуточной популяции.

5. Разработана программная система обработки данных, включающая в себя программные средства предобработки данных, моделирования работы нейронной сети и получения из обученной сети данных, на основании которых можно судить об успешности обучения.

6. Произведен ряд экспериментов, в ходе которых подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом. Так, была достигнута приемлемая точность на реальных данных, что является практически значимым результатом.

Таким образом, в данной диссертационной работе получено решение задачи прогнозирования успешности учебной деятельности по результатам психодиагностического тестирования, имеющей существенное значение в процессе управления учебной деятельностью и дальнейшем сопровождении обучаемых.

Публикации по теме диссертации

1. Горбач Н.А. Интеллектуальный анализ данных в прогнозировании успешности учебной деятельности обучаемых ВУЗов / Горбач Н.А., Павлюк АА // Информатизация и информационная безопасность правоохранительных органов.- М., 2004.- с.21-26.

2. Ильин Е.С. Выявление в явном виде зависимости успеваемости учеников от их психологического портрета / Ильин Е.С, Павлюк А.А. // Решетневские чтения: тез. докл. VIII всероссийской науч. конф.с междунар. участием.- Красноярск: СибГАУ, 2004.- с.56-57.

3. Павлюк А.А. Постановка задачи прогнозирования успешности учебной деятельности обучаемых ВУЗов. // Решетневские чтения: тез. докл. VIII всероссийской науч. конф. с междунар. участием.- Красноярск: СибГАУ, 2004.- с. 6768.

4. Павлюк А.А. Анализ современных концепций и технологий профессионально-психологического отбора и сопровождения обучаемых специалистов // Информатика и информационные технологии: межвуз. сб. научн. тр. - Красноярск: ИПЦ КГТУ, 2003. - с. 202-204.

5. Павлюк А.А. Извлечение знаний с помощью нейросетей // Информатика и информационные технологии: межвуз. сб. научн. тр. - Красноярск: ИПЦ КГТУ, 2003. - с. 200-202.

6. Павлюк А.А. Нейронные сети обратного распространения в задаче прогнозирования успешности учебной деятельности учащихся вузов. // Актуальные проблемы информатики и информационных технологий. - Тамбов: ТГУ, 2004.- с. 94-95.

7. Павлюк А.А. Применение кибернетических методов интеллектуального анализа данных в задаче прогнозирования успешности учебной деятельности

№2656 О

учащихся образовательных учреждений МВД России// Актуальные проблемы современной науки.- Самара: СГТУ, 2004.- с 54-55.

8. Павлюк А.А. Различные подходы к построению систем искусственного интеллекта //Наука. Техника. Инновации.- Новосибирск: НГУ, 2003. - с.67.

9. Павлюк А.А. Прогноз успешности учебной деятельности обучаемых вузов / Павлюк АА., Горбач Н.А. // Российское агентство по патентам и товарным знакам: св-во об офиц. регистр, прог. для ЭВМ / № гос. per. 50200400996. -М., 2004.

10. Терсков В.А. Прогнозирование успешности учебной и служебной деятельности учащихся образовательных учреждений МВД России / Терсков В.А., Ефимов С.Н., Горбач НА, Павлюк А.А.//Красноярск: СибЮИ МВД России, 2004. - 66 с.

Павлюк Александр Александрович

СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ДЛЯ ПРОГНОЗИРОВАНИЯ УСПЕШНОСТИ УЧЕБНОЙ

ДЕЯТЕЛЬНОСТИ Автореферат

Подписано к печати 11 2004 -- Формат 60x84/16

Уч изд л 10 Тираж! 00 экз Заказ №

Отпечатано в СибГАУ 660014, г Красноярск, пр им газ «Красноярский рабочий» 31

ВВЕДЕНИЕ

ГЛАВА I. Теоретические и методологические основы создания нейросетевых систем интеллектуального анализа данных

§1.1. Методы интеллектуального анализа данных

§ 1.2. Модели нейронных сетей

§1.3. Структура нейронной сети

§ 1.4. Функционирование нейрона

§1.5. Функционирование нейронной сети

§ 1.6. Алгоритм обратного распространения

§ 1.7. Алгоритм генетического программирования

Выводы

ГЛАВА II. Прогнозирование значения среднего балла обучения в произвольном семестре

§2.1. Постановка задачи

§2.2. Инициализация и обучение нейросети

Выводы

ГЛАВА III. Прогнозирование дисциплинарных нарушений в процессе учебной деятельности

§3.1. Решение задачи с помощью нейронной сети

§ 3.2. Решение задачи с помощью генетического программирования

Выводы

ГЛАВА IV. Восстановление потерянной информации в исходных данных обучаемых

§4.1. Постановка задачи

§ 4.2. Алгоритм восстановления потерянных данных

Выводы

ГЛАВА V. Программный комплекс "Прогноз успешности обучения"

§5.1. Методика прогнозирования успешности учебной деятельности

§ 5.2. Программный комплекс

§5.3. Формат файлов vib и dan

Выводы

В условиях возросших требований к уровню профессиональной компетентности особую значимость приобретает повышение эффективности обучения и подготовки учащихся. Профессионализм зависит не только от качества подготовки, но и от индивидуальных возможностей учащихся и специалистов, наличия у них необходимых профессионально важных характеристик личности.

Успешность учебной деятельности обучаемых в высших учебных заведениях важна, так как она предопределяет успешность последующей профессиональной деятельности. На сегодняшний день отсутствуют единые тестовые методики отбора и сопровождения обучаемых, не разработаны соответствующие унифицированные компьютерные программы.

Требуется новая методика системного анализа, позволяющая выносить решение об эффективности будущей учебной деятельности, удовлетворяющая следующим требованиям: должна быть основана на современном математическом аппарате, позволяющем эффективно обрабатывать накопленную в процессе учебной деятельности информацию; должна обеспечивать совместимость с существующими системами накопления и обработки информации, принятыми в высших учебных заведениях; может быть использована как часть более сложной системы поддержки принятия решений, используемой в управлении учебно-образовательным процессом.

Получение прогноза успешности учебной деятельности обучаемых в высших учебных заведениях позволит оптимизировать систему этапного формирования кадров, более целенаправленно проводить профессионально-психологический отбор и сопровождение обучаемых.

Отсутствие современной унифицированной методики прогнозирования успешности обучения свидетельствует об актуальности и научно-практической значимости работы.

Целью диссертационной работы является разработка методики системного анализа психодиагностических данных, эффективно решающей задачу прогнозирования успешности учебной деятельности.

Для достижения указанной цели необходимо решить следующие задачи:

- провести анализ моделей систем обработки информации;

- выбрать модель, обеспечивающую эффективное решение задачи прогнозирования успешности учебной деятельности по результатам психодиагностического тестирования;

- провести исследование выбранной модели;

- программно реализовать и проверить на реальных данных модель прогнозирования;

- разработать и реализовать методику прогнозирования успешности обучения.

Научная новизна диссертационной работы состоит в следующем:

1. Разработана новая методика прогнозирования успешности учебной деятельности, основанная на методах интеллектуального анализа данных.

2. Предложен модифицированный алгоритм генетического программирования, отличающийся от известных методом выбора точки скрещивания.

3. Впервые предложен алгоритм, позволяющий заполнять пробелы в данных профессионально-психологического обследования и верифицировать имеющиеся данные.

Практическая ценность работы состоит в разработке методики прогнозирования успешности учебной деятельности по результатам психодиагностического тестирования, обеспечивающей возможность использования её широким кругом учебных заведений в целях повышения эффективности обучения и подготовки обучаемых.

Реализация результатов работы. Созданная в рамках диссертационной работы программная реализация методики прогнозирования успешности учебной деятельности успешно внедрена в учебный процесс Сибирского юридического института МВД России (г. Красноярск) и рекомендована к внедрению во все образовательные учреждения МВД России.

Разработанный программный продукт зарегистрирован Российским агентством по патентам и товарным знакам (№ гос. per. 2004610685). Основные защищаемые положения:

1. Построенная модель прогнозирования позволяет предсказать основные аспекты успешности учебной деятельности.

2. Модифицированный метод генетического программирования позволяет прогнозировать дисциплинарные нарушения, возникающие в процессе учебной деятельности.

3. Разработанный в работе алгоритм заполнения попусков позволяет эффективно решать задачи восстановления данных профессионально-психологического обследования.

Основное содержание работы:

В первой главе проведен обзор существующих систем интеллектуального анализа данных, приведена классификация на основании используемых ими методов и алгоритмов, указаны преимущества и недостатки каждого подхода. Определены основные требования к искомой системе интеллектуального анализа данных.

Произведен обоснованный выбор системы анализа данных в пользу нейросетей и алгоритмов генетического программирования, как максимально удовлетворяющих предъявленным к аналитическим системам требованиям.

Проведен обзор существующих моделей нейронных сетей. Для решения задачи прогнозирования успешности учебной деятельности выбрана сеть с обратным распространением ошибки. Рассмотрены структура и функционирование отдельного нейрона и нейронной сети в целом, общая схема обучения сети. Рассмотрены основные составляющие алгоритма генетического программирования, указаны достоинства и недостатки каждой из них.

Во второй главе решается задача прогнозирования значения среднего балла за период обучения.

В третьей главе рассматривалась задача прогнозирования дисциплинарных нарушений в процессе учебной деятельности, которая особо актуальна в специализированных учебных заведениях МВД РФ, Минобороны и т.п.

В четвертой главе рассматривается задача восстановления потерянной информации в исходных данных.

В пятой главе предлагается методика прогнозирования успешности учебной деятельности учащихся и описывается программный комплекс, реализующий эту методику.

В заключении диссертации приведены основные результаты, полученные в ходе выполнения работы, и сформулированы выводы.

Рассмотрим используемую в работе литературу:

Рассвет эры компьютеров повлек за собой стремительное развитие интеллектуальных методов анализа информации. Теоретические основы были заложены в начале 40-х годов в работе Маккалоха и Питтса [38, 116].

Дальнейшее развитие нейрокибернетика получила в работах Розенбла-та [69, 124, 125], предложившего модель персептрона [41].

Параллельно с этим развитие получили другие методы обработки информации, в основе которых также лежала биологическая модель. В 1966 году JI. Фогель, А. Оуэне, М. Уолш предложили схему эволюции логических автоматов, решающих задачи прогноза [81]. В 1975 г. вышла основополагающая книга Дж. Холланда [103], в которой был предложен генетический алгоритм [9, 72, 117].

Примерно в это же время группа немецких ученых (И. Рехенберг, Г.-П. Швефель и др.) начала разработку так называемой эволюционной стратегии

123, 127]. Эти работы заложили основы прикладного эволюционного моделирования или эволюционных алгоритмов.

В нашей стране исследования по прикладному эволюционному моделированию, близкие к работам Л. Фогеля, были развиты в работах И.Л. Бу-катовой [7].

Очередной виток в развитии нейронных сетей связан с работами работами Амари [91], Андерсона [92], Карпентера [96], Кохена [97] и, в особенности, Хопфилда [79, 93, 104, 105, 106], а также под влиянием успехов оптических технологий [1, 39, 94].

Модель Хопфилда получила свое развитие в работах Д. Хинтона и Р. Земела и была названа машиной Больцмана [74, 87 - 90].

В 1974 Поль Дж. Вербос [23] предложил алгоритм сети с обратным распространением [31,52, 78,95,98, 107, 111 - 113, 121, 126, 129, 130].

В начале 80-х годов сформировалась отдельная наука - нейроинформа-тика [13, 100, 102, 128]. Регулярно проводятся конференции по данной тематике [44- 51,53].

В 1992 году Джон Р. Коза предложил алгоритм генетического программирования [109, 110].

В начале 90-х множество методов обработки и анализа данных сформировали новое направление - Data Mining [25, 26, 33, 85, 108, 120, 122].

Основные алгоритмы обучения нейронных сетей изложены в [2, 3, 9, 10, 11, 16,30, 34, 76, 78, 80, 99, 114, 118, 119].

Методика и результаты программной реализации нейронных сетей описаны в [12, 15, 32, 75, 77, 80, 101].

Широкое применение нейронные сети нашли в задачах распознавания изображений [6, 27, 36, 40, 55, 84, 86] и речи [115].

Нейронные сети позволяют получать новые знания из баз данных [5, 13,54,56,57, 60,67, 82, 83].

Широкое применение нейронные сети получили в медицине [24, 42,

Имеют место попытки использования нейросетей в сфере образования [19, 22, 59,61,62].

Методика психологического тестирования представлена в [8, 17, 18, 43, 64, 65, 68, 73, 77].

На основании проведенного анализа литературы можно сделать следующие выводы:

1. Несмотря относительную новизну нейросетевых технологий, широко описаны структура и алгоритмы функционирования. Регулярно проводятся различные конференции по данной тематике.

2. Программные продукты на основе нейросетевых технологий получают все более широкое распространение. В основном это программы распознавания изображений и анализа финансовой информации.

3. У отечественных авторов не нашла отражения тема генетического программирования. В подавляющем большинстве этот метод описан зарубежными авторами.

4. В сфере образования нейросетевые технологии не нашли широкого применения.

Автор выражает глубочайшую признательность доктору медицинских наук Горбач Наталье Андреевне за предоставленные статистические данные и ценные консультации.

Гпава I. Теоретические и методологические основы создания нейро-сетевых систем интеллектуального анализа данных

Основные результаты и выводы:

1. Выполнена постановка задачи прогнозирования успешности учебной деятельности, предполагающая использование аппарата нейронных сетей и алгоритмов генетического программирования.

2. Разработана методика прогнозирования успешности учебной деятельности.

3. В рамках методики разработан новый алгоритм восстановления пропущенных данных обучаемых, обеспечивающий оптимальный процент точности восстановления на небольших выборках.

4. В рамках методики разработан новый метод создания промежуточной популяции, исключающий рост дерева-представления, тем самым обеспечивающий увеличение скорости нахождения оптимальной функции оценки в сравнении со стандартными методами создания промежуточной популяции.

5. Разработана программная система обработки данных, включающая в себя программные средства предобработки данных, моделирования работы нейронной сети и получения из обученной сети данных, на основании которых можно судить об успешности обучения.

6. Произведен ряд экспериментов, в ходе которых подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом. Так, была достигнута приемлемая точность на реальных данных, что является практически значимым результатом.

Таким образом, в данной диссертационной работе получено решение задачи прогнозирования успешности учебной деятельности по результатам психодиагностического тестирования, имеющей существенное значение в процессе управления учебной деятельностью и дальнейшем сопровождении обучаемых.

Заключение

1. Абу-Мустафа Я.С. Оптические нейронно-сетевые компьютеры / Абу-МустафаЯ.С., Псалтис Д. //В мире науки, 1987.- с. 42-50.

2. Аведьян Э.Д. Алгоритмы обучения нейронных сетей // Ин-т проблем управления. М., 1997.-16 с.

3. Авеньян Э.Д. Алгоритмы настройки многослойных нейронных сетей.//Автоматика и телемеханика, 1995.-е. 106-118.

4. Анастази А. Психологическое тестирование / Анастази А., Урбина С //СПб., 2001.- с. 488.

5. Барцев С.И. Адаптивные сети обработки информации / Барцев С.И., Охонин В.А.// Красноярск: Институт физики СО АН СССР, 1986. с. 56.

6. Боровков И.К. Разработка структур и исследование функциональных свойств нейроподобных сетей с локальными связями для решения задач анализа изображений // Таганрог: радиотехн. ин-т им. В.Д.Калмыкова, 1992.-е. 16.

7. Букатова И.Л. Эволюционное моделирование и его приложения // М.: Наука, 1979.- с. 211.

8. Бурлачук Л.Ф. Психодиагностика / Бурлачук Л.Ф., Морозов С.М. // СПб.: Питер Ком, 1999.- с. 328.

9. Вороновский Г.К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Вороновский Г.К., Махоти-ло К.В., Петрашев С.Н., Сергеев С.А. // Харьков: Основа, 1997. с. 112.

10. Горбань А.Н. Нейронные сети на персональном компьютере / Горбань А.Н., Россиев Д.А.// Новосибирск: Наука, 1996. с. 276.

11. Горбань А.Н. Обучение нейронных сетей. // М.: СП «Параграф», 1990.-с. 159.

12. Горбань А.Н. Применение самообучающихся нейросетевых программ / Горбань А.Н., Гилев С.Е., Коченов Д.А., Россиев Д.А., Миркес Е.М., Жуков Л.А. // Красноярск: СибГТУ, 1997.- с. 56.

13. Горбань А.Н. Логически прозрачные нейронные сети для производствазнаний из данных / Горбань А.Н., Миркес Е.М. // Красноярск, 1997. -с. 12.

14. Горбань А.Н. Нейроинформатика и ее приложения // Открытые системы №04-05, 1998

15. Горбань А.Н. Применение самообучающихся нейросетевых программ / Горбань А.Н., Россиев Д.А., Коченов Д.А. // Учебно-методическое пособие.- Красноярск: СТИ, 1994. с. 24.

16. Горбань А.Н. Новая игрушка человечества / Горбань А.Н., Фриденберг В.И. // Мир ПК № 9, 1993. с. 36.

17. Горбач Н.А. Инновационные технологии отбора и сопровождения обучаемых и специалистов // Красноярск: Сиб. юридический ин-т МВД России, 2001.- с. 134.

18. Горбач Н.А. Методологические подходы к созданию информационных систем психологического обеспечения образования // Философия образования для XXI века.- 2001.- с. 196-200.

19. Горбач Н.А. Методология проектирования и управления базой данных профессионально-психологического отбора и сопровождения обучаемых и специалистов // Информатизация правоохранительных систем: сб. тр. IX междунар. научн. конф.- М., 2000.- с. 328-333.

20. Горбач Н.А. Разработка базы данных профессионально-психологического обследования абитуриентов образовательных учреждений МВД России / Горбач Н.А., Гуляева М.В. //: Науч.-метод. пособие.- Красноярск: Сиб. юридический ин-т МВД России, 1999.- с. 55.

21. Горбач Н.А. Интеллектуальный анализ данных в прогнозировании успешности учебной деятельности обучаемых ВУЗов / Горбач Н.А., Павлюк А.А. // Информатизация и информационная безопасность правоохранительных органов.- М., 2004. с. 21-26.

22. Джеффри Е. Хинтон. Как обучаются нейронные сети // В мире науки, 1992.-с. 103-107.

23. Дюк В.А. Компьютерная психодиагностика //СПб: Изд-во "Братство", 1994.- с. 264.

24. Змитрович А. И. Интеллектуальные информационные системы // Минск: Тетрасистемс, 1997, с. 268.

25. Киселев М. Средства добычи знаний в бизнесе и финансах / Киселев М., Соломатин Е. // Открытые системы, 1997.- с. 41-44.

26. Кольцов П.П. Нейрообработка визуализированной информации / Кольцов П.П., Прохоров В.В. // Рос. акад. наук. НИИ системных исследований. М.: Наука, 1997. - с. 74.

27. Концепция информатизации сферы образования Российской Федерации//М., 1998.

28. Корбут А.А. Дискретное программирование / Корбут А.А., Финкель-штейн Ю.Ю. //М.:Наука, 1969.- с. 318.

29. Короткий С. Нейронные сети: основные положения // М., 1997. с. 46.

30. Короткий С. Нейронные сети: алгоритм обратного распространения //М, 1997.-с. 67.

31. Кречетов Н. Продукты для интеллектуального анализа данных // Рынок программных средств, № 14-15, 1997.- с. 32-39.

32. Крисилов В.А. Применение нейронных сетей в задачах интеллектуального анализа информации / Крисилов В.А., Олешко Д.Н., Трутнев А.В. // Одесский политехнический университет, 1999.- с. 134.

33. Кричевский M.J1. Введение в искусственные нейронные сети // учеб. пособие. СПб.: Изд. центр. Мор. техн. ун-та, 1999. - с. 139.

34. Круглов В.В. Искусственные нейронные сети: Теория и практика /

35. Круглов В.В., Борисов В.В. // М.: Горячая линия -Телеком, 2001. -с.381.

36. Куссуль В.М. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении / Куссуль В.М., Байдык Т.Н. //Автоматика, 1990. с. 56-61.

37. Лоскутов А.Ю. Введение в синергетику / Лоскутов А.Ю., Михайлов А.С. // М.: Наука. Гл. ред. физ.-мат. лит., 1990. с. 272.

38. Маккалох Дж. Логические исчисления идей, относящихся к нервной деятельности / Маккалох Дж., Питтс У. // Автоматы.- М.: ИЛ, 1956.- с. 78.

39. Маныкин Э.А. Нейронные сети и их оптические реализации / Маныкин Э.А., Сурина И.И. // Гос. ком. по использ. атом, энергии СССР. -М., 1988.- с. 46.

40. Масалович А.И. От нейрона к нейрокомпьютеру // Журнал доктора Добба, 1992. с. 20-23.

41. Минский М. Персептроны / Минский М., Пейперт С. // М.: МИР, 1971.-с. 161.

42. Муха Ю.П. Применение нейронных сетей в медицинском приборостроении / Муха Ю.П., Скворцов М.П., Авдеюк О.А. // Вол-гогр.гос.техн.ун-т. Волгоград: ВолгГТУ, 2000. - с. 78.

43. Невирко Д.Д. Методика изучения профессионально-психологических качеств молодежи / Невирко Д.Д., Горбач Н.А. // Красноярск: Сиб. юридический ин-т МВД России, 1999.- с. 45.

44. Нейроинформатика / А.Н Горбань, В.А. Дунин-Барковский, А.Н. Кир-дин и др.; Отв. ред. Е.А Новиков; Рос. акад. наук. Сиб. отд-ние. Ин-т вычисл. моделирования. Новосибирск: Наука, Сиб. предприятие, 1998. - 295 с.

45. Нейроинформатика и ее приложения. Материалы 3 Всероссийского семинара 6-8 октября 1995. Красноярск: изд. КГТУ, 1995. 229с.

46. Нейроинформатика и ее приложения: III Всерос. семинар, 6-8 окт. 1995 г.: Тез. докл. / Ин-т биофизики Рос. акад. наук, Краснояр. гос. ун-т. -Красноярск: КГТУ, 1995. 93 с.

47. Нейроинформатика и ее приложения: Материалы VIII Всерос. семинара, 6-8 окт. 2000 г., Красноярск / Краснояр. гос. ун-т и др.; Под общ. ред. А.Н. Горбаня. Красноярск: ИПЦ КГТА 2000.-204 с.

48. Нейроинформатика и ее приложения: Тезисы докладов 4 Всероссийского семинара, 5-7 октября 1996г./Подред. А.Н.Горбаня. Красноярск: КГТУ, 1996.- 122с.

49. Нейроинформатика и ее приложения: Тезисы докладов 5 Всероссийского семинара, 3-5 октября 1997г./Подред. А.Н.Горбаня. Красноярск: КГТУ, 1997,- 139с.

50. Нейронные сети: определения, концепции, применение / ЦНИИ управ., экономики и информат. Минатом энергопрома СССР; А.Н.Скурихин. -М., 1991 - 53 с.

51. Нейронформатика и ее приложения: IV Всерос. семинар, 2-5 окт. 1998 г.: Тез. докл. Красноярск, 1998. - 207 с.

52. Нуйдель И.В. Разработка алгоритмов обработки изображений в однородных распределенных нейроноподобных системах: Автореф. дис. на соиск. учен. степ. канд. физ.-мат. наук: 05.13.16 / Ин-т прикл. физики Рос. акад. наук. Нижн. Новгород, 1998. - 19 с.

53. Обработка информации нейронными сетями / Ред. Веденов А.А. // М.: 1990.- с. 111.

54. Обработка информации нейросетями / Ред. Веденов А.А. // М.: 1991.- с. 145.

55. Основные виды деятельности и психологическая пригодность к службе в системе органов внутренних дел / Под ред. Бовина Б.Г., Мягких Н.И., Сафронова А.Д. и др. // М.: Академия МВД России, 1997. с. 278.

56. Павлюк А.А. Анализ современных концепций и технологий профессионально-психологического отбора и сопровождения обучаемых специалистов // Информатика и информационные технологии: межвуз. сб. научн. тр. Красноярск: ИПЦ КГТУ, 2003. - с. 202-204.

57. Павлюк А.А. Извлечение знаний с помощью нейросетей // Информатика и информационные технологии: межвуз. сб. научн. тр. Красноярск: ИПЦ КГТУ, 2003. - с. 200-202.

58. Павлюк А.А. Нейронные сети обратного распространения в задаче прогнозирования успешности учебной деятельности учащихся вузов // Актуальные проблемы информатики и информационных технологий, Тамбов: ТГУ, 2004.- с. 94-95.