автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Методика проектирования программных средств для интеллектуального анализа данных и принятия решений

На правах рукописи

Петров Станислав Алексеевич

Методика проектирования программных средств для интеллектуального анализа данных и принятия решений

Специальность 05.13.11 - «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

Москва 2007

003068329

Диссертация выполнена на кафедре "Автоматизированные системы обработки информации и управления" (ИТ-7) Московский Государственный Университет Приборостроения и Информатики (МГУПИ).

Защита диссертации состоится «30» мая 2007 года в 12 часов на заседании диссертационного Совета № Д212.119.02 Московского Государственного Университета Приборостроения и Информатики по адресу: 107076, Москва, ул. Стромынка, 20.

С диссертацией можно ознакомиться в библиотеке МГУПИ.

Автореферат разослан «11» апреля 2007 г.

Научный руководитель: д.т.н., проф. Савельев А.Я. Научный консультант: к.т.н., проф. Аишнянц P.A.

Официальные оппоненты: д.т.н., проф. Валентинов В В.

к.т.н., доцент Брейман А Д.

Ведущая организация:

Институт системного анализа РАН

Учёный секретарь диссертационного Совета

Зеленко Г.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы.

Построение модели предметной области имеет своей целью решение практически важных задач: управления, поддержки принятия решений и т.д. Конкретизация целевой задачи неизбежно приводит к необходимости различной глубины формализации предметной области, т.е. приближению в модели к адекватному отображению реальных отношений, их свойств, состояний и проявлений. Эта проблема значительно осложняется, когда речь идет о предметной области, плохо или мало поддающейся формализации. Кроме того, следует учесть несовпадение вербальных сообщений эксперта предметной области с его профессиональной интеллектуальной активностью.

К классу предметных областей, трудно формализуемых, следует отнести образование, представляющее стратегический ресурс любой страны и поэтому требующее постоянного мониторинга, принятая решений с целью эффективного управления. В дальнейшем будем именовать предметную область образования объектом исследования. Для него в настоящее время отсутствуют надёжные методы анализа данных оперативного мониторинга. Класс таких объектов характеризуется:

1. Невозможностью организации активного эксперимента с целью создания математической модели;

2. Большим числом параметров (как внутренних, так и внешних - межотраслевых, социальных и пр.), влияющих на качество образовательного процесса;

3. «Дрейфом» во времени отдельных параметров, переводящих объект в класс динамических нестационарных, поэтому усложняющих выбор стратегий управления;

4. Отсутствием обоснований для выбора парам;тров в кмествс значимых;

5. Отсутствием точных данных о взаимосвязях между параметрами и их влиянии на качество наблюдаемых процессов.

В таких условиях построение модели с использованием аналитических методов невозможно. Поэтому мы приходим к необходимости применения подходов, базирующихся на знаниях о предметной области. Адекватность модели теперь будет зависеть от привлечения новых знаний, их аксиоматического, формального описания, логических отношений и т.д., образующих теорию. Очевидно, этому этапу должен предшествовать этап извлечения, приобретения знаний.

Таким образом, формируется триада: приобретение знаний (data mining), представление знаний и обрабогка знаний. Настоящая диссертациошт работа посвящена разработке средств, реализующих два этапа: извлечение знаний и построение некоторой модели пред-

метной области (объекта) и создание прикладной системы, сочетающей средства автоматизации построения статистических моделей и некоторые черты экспертностн, способствующей принятию решений на основе анализа моделей.

Лишь сравнительно недавно интеллектуальный анализ данных с целью извлечения знаний (Data Mining) стал мультидисциплинарным научным направлением, возникшим и развивающимся на базе достижений прикладной статистики, методов искусственного интеллекта, теории баз данных (Holsheimer м., Siebes А.Р 1996)'. Традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа данных, перестала удовлетворять требованиям содержательности результатов обработки в условиях неограниченных объемов информации, сложнейших скрытых причинно-следственных отношений между отдельными содержательными ее компонентами. Методы математической статистики оказались полезными, в основном, для проверки заранее сформулированных гипотез и первичного анализа, составляющего основу оперативной аналитической обработки данных (Online Analitica] Processing - OLAP).

В качестве примеров успешного применения методов интеллектуального анализа к проблемам из различных предметных областей служат работы: прогнозирования фьючерсных котировок (Богданов К.С, 200I)2, оперативного мониторинга атомных станций' (Ерома A.A., 2004)3, в телекоммуникационных сетях (Manila Н.,2002)4.

В связи с этим актуальной является задача разработки программной системы многоаспектного анализа и обработки данных с целью построения модели прогноза оценки состояния образовательного потенциала России. Полученные результаты прогноза необходимы для принятия управленческих и организационных решений. Эта тема затрагивает также проблемы программы модернизации системы образования, утвержденной правительством РФ на период 2007-2010 годы.

Цели и задачи исследования.

Целью работы является совершенствование методов аиализа и программных инструментальных средств, расширяющих интеллектуальные возможности систем поддержки принятия решений в сложных плохо формализуемых системах.

1 Holsheimer М., Siebes А.Р. Data Mining: the search for knowledge in databases. //Report CS-R9406, Computer Sci-

ence. Department of Algorithmic and Architecture, CWI, 1996.

* Богданов К С. Интеллектуальная система программирования лля представления знаний и принятия решений. Диссертация на соискание ученой степени кандидата наук., М 2001

" Ерома А.А. Средства интеллектуального анализа структуры связей по данным мониторинга сложных технологических объектов Диссертация на соискание ученой степени кандидата наук., -М 2004. ' Manila Н. Local and Global Methods in Data Mining: Basic Techniques and Open problems. ,7 ICALP 2002. 29-th Int. Colloquium on Automata? Languages and Programming. Malaga, Spain, July 2002

Для достижения указанной цели в работе решаются следующие задачи:

1. Создание прогностических моделей оценки состояния образовательного потенциала России как на федеральном, так и на региональном уровнях.

2. На основе полученных моделей разработать теоретические положения для конструирования правил логического вывода.

3. Создание программного комплекса автоматизации формирования прогностических оценок и принятия решений.

4. Разработка методов и программных средств создания базы знаний и средств ее управления.

Научная новизна исследования

1. Применение для прогнозирования независимых от статистических характеристик методов настройки нейронных сетей, является более предпочтительным и обосновывают новизну в анализе данных

2. На основе экспертных знаний предложена методика построения правил вывода принимаемых решений.

3. Система принятия решений основана на нечетких методах. Построенные на базе нечеткой логике системы принятия решений дают обоаюванные и практически применимые советующие решения.

4. В целях построения базы знаний и интеграции ее с пассивной базой данных предложен метод, на основе которого решается проблема классификации данных и формирования правил вывода.

Методы исследований, примененные в диссертационной работе, опираются на теоретические и методологические основы статистики, теории машинного обучения, теории баз данных и методы интеллектуального анализа данных.

Практическая значимость результатов исследования и их внедрение в практику Практическая значимость работы заключается в создании программного инструментального средства, предназначенного для принятия решений и базирующегося на предложенных алгоритмах логического вывода на основе системы правил, сформированных в условиях не полностью определенной информации.

Программное инструментальное средство применено для решения задач прогноза процессов, определяющих состояние системы образования, формирования правил на основе нечетких рассуждений и вывода советующих решений с заданной степенью достоверности.

Полученные результаты являются инструментом для принятия решений федеральными и региональными органами управления образованием.

Программная система внедрена в практику оперативного управления и планирования в Центре по формированию и конкурсному размещению государственного задания на подготовку специалистов с высшим профессиональным образованием при Московском Государственном Университете Приборостроения и Информатики и в Научно-Исследоваггельском Институте Высшего Образования при выполнении проекта.

Апробация работы

Основные результаты диссертационной работы докладывались на конференциях:

1. VI Всероссийская научно-техническая конференция с докладом по теме диссертационного исследования.

2. VII Всероссийская научно-техническая конференции с докладом по теме диссертационного исследования.

3. В учебном процессе на кафедре «ИТ-7» Московского Государственного Университета Приборостроения и Информатике.

Публика «ни

По теме диссертации опубликовано 6 научных работ.

Объём н структура диссертации.

Диссертационная работа изложена на 108 страницах машинописного текста, состоит из введения, четырех глав, заключения, библиографического указателя, включающего 57 источников, иллюстрирована 18 рисунками и 10 таблицами.

СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы, поставлены цели и задачи В первой главе приведен обзор и сравнение существующих методов в области интеллектуального анализа данных для задач принятия решений в условиях неопределенности. Вид знаний, которые мы ожидаем получить в результате анализа, определяет как возможные формы представления знаний, так и методы интеллектуального анализа, которые могут быть использованы для извлечения знаний соответствующего вида из данных. С прикладной точки зрения, большой интерес представляют знания о закономерностях внутренней структуры объекта мониторинга, извлекаемые статистическими методами, обработка массива данных с целью получения чисто статистических характеристик является традиционной, однако это не привносит новые знания. В этой связи актуальна задача анализа и выявления новых знаний в

форме установления возможных функциональных закономерностей, в том числе временных, классификации по некоторым признакам (критериям) имеющейся информации, выделение таксонов и т.д. Даже частичное решение этих задач способствует пополнению базы знаний интересующей предметной области, ее модификации, совершенствованию в соответствии с выявленными новыми фактами технологических вопросов.

В конце первой главы сформулирована постановка задачи исследования:

1. Создание прогностических моделей оценки состояния образовательного потенциала России как на федеральном, так и на региональном уровнях.

2. На основе полученных моделей разработать теоретические положения для конструирования правил логического вывода.

3. Создание программного комплекса автоматизации формирования прогностических оценок и принятая решений.

4. Разработка методов и программных средств создания базы знаний и средств ее управления.

5. На основе корреляционного и регрессионного анализа определить статистически значимые факторы для построения статистически обоснованных моделей.

6. Оценить для последующего прогноза трендовую составляющую модели.

7. Определить структуру правил вывода и механизмы вывода в истоме прогноза.

8. Разработать методику интеграции БД и БЗ в программной системе прогноза. Вторая глава посвящена прогнозированию развития и мониторингу состояния высшего образования. Два понятия, сформулированные в целях исследования второй главы, требуют уточнения с целью дальнейших точных постановок задач.

1. Мониторинг - наблюдение поведения объекта и сравнение с его ожидаемым поведением.

2. Прогнозирование - проектирование возможных последствий данной ситуации.

Оба определения не претендуют на полноту, однако в достаточной степени предопределяют структуру и направление исследований. Так, мониторинг предполагает фиксацию некоторого множества факторов, влияющих на состояние процесса. Множество факторов представляет собой п-мерный вектор входных воздействий. Состояние процесса характеризуется некоторой целевой функцией от наблюдаемого вектора входа, в качестве которой может выступать определенная экспертом скалярная переменная или вектор Степень влияния факторов на динамику наблюдаемого процесса оказывается различной, поэтому мониторинг включаете себя и анализ характера отношений между факторами, их казуальность или ее отсутствие, формирование в смысле некоторого критерия достаточног о подмножества значимых факторов. Значимость определяется степенью влияния на нелевую функцию наблюдае-

мого процесса. Важный вывод, который следует из этапа мониторинга: в результате анализа должна быть определена структура входного вектора

Этап прогнозирования предполагает создание математических моделей процесса. Вариациям компонентов (факторов) входного вектора, сформировашюго на этапе мониторинга, ставится в соответствие прогнозируемая переменная В зависимости от выбора переменной, семантика которой определяет цели моделирования, создается совокупность моделей, анализ которых дают исчерпывающее представление о состоянии исследуемого объекта. Формализмы, используемые на этапах мониторинга и прогнозирования, включают в себя не только известные методы математической статистики - корреляционного и регрессионного анализа, исследование статистических последовательностей, но и теорию искусственных нейронных сетей, с помощью которой может быть построена настраиваемая модель.

Статистические методы, основанные на корреляционном и регрессионном анализе, позволили выделить наиболее значимые факторы, определить структуру вектора «наблюдений», исключить из рассмотрения незначимые факторы или сильные бинарные отношения, представляющие функциональные отношения Построенная регрессионная модель предполагает выполнение условий применимости метода: предположения о распределениях, достаточности выборки и т.д.

Прогнозирование потребности в специалистах производится на основе анализа показателей и индикаторов состояния и перспектив развития экономики, ожидаемых приоритетов и структурных сдвигов. В работе показало, наиболее релевантными факторами, влияющими на целевую функцию - потребность в специалистах в ¡-м году (уО:, являются:

• валового внутреннего продукта (х,):;

• индекс валового национального продукта (хг);;

• индекс производительности труда (хз)|;

• индекс фондовооруженности труда (хД;

• индекс капитальных вложений (Х5),.

Корреляционный анализ ретроспективной базы данных, содержащей конкретизации приведенных выше факторов позволяет редуцировать вектор факторов, так как между некоторыми факторами оказалась достаточно тесная корреляционная связь: коэффициенты парной корреляции между .х/ и .V_>. .V/ и х3.. В результате, вектор факторов может содержать две компоненты х, нхз.. Посгроешгс ре1рессиониых уравнений позволяет решить проблему прогноза дополнительной потребности в специалистах на среднесрочную перспективу.

Существенным фактором, влияющим на целевую функцию, является состояние демографической ситуации. В связи с этим исследование рождаемости, частности ее прогноз имеет перво-

степенное значение. Отработка методик прогноза на факторе ((рождаемость» и определение штго-ритмов для его формирован™ в программном комплексе позволяет распространить эту методику для определения прогнозов других ключевых факторов. В работе исследованы три различные методики формирования прогноза рождаемости: статистический (регрессионный анализ, метод скользящего среднего) и коннексионистский - на основе настройки нейронной сети.

Анализ больших массивов ретроспективной информации с целью выявления закономерностей, позволяет приблизить решение проблемы управления (принятия решений). При построении регрессионных моделей мы обходили вниманием вопрос о представлении исходной информации как временной случайной последовательности. В то же время по графику временного ряда можно сделать выводы о: наличии тренда и его характере; наличие циклических компонент, степень плавности изменений последовательных значений ряда после устранения тренда. По этому показателю можно судить о характере и величине корреляции между соседними элементами ряда.

Мы сосредоточим внимание на выделении тренда из случайной последовательности. Именно его и примем за прогностическую модель. Пусть интервал сглаживания р-2т+1 и XI - результат усреднения элементов ряда, т - лаг. процедура построения прогноза, состоящая в усреднении всех прошлых значений наблюдаемого процесса с геометрическими или экспоненциально убывающими весами, чтобы наибольшие веса имели самые последние наблюдения

*„♦. = (1- 0К + =хя- в(х„ "*„),/< И, е е (0,1)

Выполнение процедуры скользящего среднего для прогноза рождаемости дает результат, хорошо согласующийся с полученными ранее из корреляционного анализа.

Фактически данные за прошлые годы большого массива могут быть использованы в качестве обучающей выборки для настройки системы прогнозирования, построенной на основе нейронной сети. Этот подход является наиболее перспективам, поскольку не накладывает ограничений на свойства обучающей выборки Настройки весовых коэффициентов сети осуществляется на основе алгоритма обратного распространения ошибки.

Количество скрытых слоев и количество нейронов в каждом слое может быть определено из следующих эмпирических соотношений

тН , - „ , К

-< £н. < т(— + 1)(и + т + \) + т, I = ——.

1 + N т п + т

где п - размерность входной выборки, т - размерность выходного сигнала, N - число элементов обучающей выборки.

Для принятой в нашей задаче конфигурации 4 - 1 приближенное значение ¿=4. Теперь очевидна структура обучающей нейронной сети (Рис. 1).

Рис. 1. Структура обучающей нейронной сети.

Настройка синагггкческих весов в двухслойной сети осуществляется на основе множества обучающих примеров. Настройка синаптических весов осуществляется на основании алгоритма обратного распространения ошибки.

В качестве реализаций обучающих образцов принято 18 примеров. Именно эти восемнадцать образцов - по четыре данных в образце и с желаемым выходным значением - поступают на вход сети для ее настройки. Настройка завершается за 100 эпох с достаточно малой ошибкой настройки, равной 0,04. После настройки сети, на ее вход подаем верифицирующий пример, в котором нет значения в пятом столбце. Адаптацда с ошибкой 0,005 дает неизвестное значение для этого примера. Таким образом, итеративно вычисляются прогнозные значения. Ниже приводится график дл прсгнозируемых значений (Рис. 2).

В третьей главе знания, выявленные в предыдущей главе в форме причинно-следственных отношений между множеством факторов, определяющих качество образовательного процесса, позволяют перейди к представлению этих знаний и их использованию в процессе формирования экспертных решений. При формировании правил в виде продукций принято предположение о неопределенности, нечеткости ситуации, в рамках которой предстоит построить обоснованный логический вывод. Поэтому нечеткие продукционные правила оперируют лингвистическими переменными, значениями которых является множество

термов, имеющих размытую семантику. Однако эта размытость расширяет спектр принимаемых решений.

млн.ч ел.

Нейронная сеть Статистика

Рис. 2. Прогноз рождаемости на 2010 год

(0-й год соответствует 1980 году, 30-й - 2010 году)

Наконец, собственно логический вывод, определяющий характер рекомендуемого к принятию решения в зависимости от конкретизации ситуации. Процедура нечеткого логического вывода базируется на алгоритме Мамдани.

Меру неопределенности при нечетком подходе представляет степень принадлежности подмножеству некоторого генерального множества высказываний, представленных в форме логических композиций нечетких лингвистических переменных, значениями которых являются нечеткие переменные.

Процессы демографического спада в Российской Федерации в период до 2015 года ведут к необходимости принятия ряда мер по сохранению потенциала системы образования. Меры эти должны быть дифференцированы по отношению к различным уровням образования и регионам Российской Федерации. В соответствии с исследованиями НИИВО меры, влияющие на поддержание образовательного потенциала, представлены шестью факторами образующими универсум (множество) предпосылок Х={л'ь хг, л:з, х4, л'5, -Г6|,где Х{ - расшире-

пие масштабов доподготовки; х2 - увеличение контингента студентов из зарубежных стран, в особенности из государств - участников СНГ; X} - объединение вузов в комплексы университетского типа; Х| - повышение квалификации и переподготовку работающих и высвобождаемых работников; х$ - переподготовка контингента со средним специальным образованием; Х(, ~ привлечение в систему профессионального образования контингента работающей молодежи, ранее делавшей попытки поступить в образовательные учреждения. Множество У={>'|, у2, уз} рассматривается как универсум заключений, характеризующих качество образования. Здесь у-, - образовательный потенциал, у2 - повышение качества образования, уг -современное материально-техническое обеспечение.

Конкретизацию нечетких характеристик проведем на примере фактора х\ — рост масштабов доподготовки - для краткости - «рост м.д».Лингвистическая переменная: (3=«рост м. д.» Область определения ^=[0-2,5]; Т - базовое терм-множество {«неудовлетворительный», «удовлетворительный», «хороший»}. Для каждого компонента терм-множества Т, представляющего нечеткую переменную а, (/= 1,2,3), следует построить нечеткое множество А -,. Компонентами этсго множества являются возможные значения нечеткой переменной а,.

Функция принадлежности определяется по матрице парных сравнений М=|| |, элементы которой представляют собой некоторые оценки интенсивности принадлежности элементов х,£Л~ нечеткому множеству А по сравнению с элементами х^Х. Если отношения точны, то получается соотношение Мг=пг, где л - собственное число матрицы М, по которому

можно восстановить

вектор г с учетом условия ^ ^ = 1.

В общем случае эмпирический вектор г=(льг2,...,г„) доложен удовлетворять уравнению Иг=}.,„ахг, где )-,„„х - наибольшее собственное значение матрицы М:

В диссертации приводится алгоритм вычисления элементов матрицы, на основании которого можно построить функции принадлежности для нечетких переменных, характеризуемых различными значениями (Рис. 3).

> "хороший!

— в— "удовлетворительный"

- -а- - "неудовлетворительный

Рис. 3. Рост масштаба доподготовки.

Аналогичным образом строятся функции принадлежности для остальных факторов. Важно отмстить, что процедура построения нечетких множеств, характеризующих вполне четкое понятие, есть этап фаззификашн.

Реализация нечеткого вывода основана на нечетких продукционных правилах, в нечеткой логике, вывод базируется на множестве возможных фактов, появление которых определяется функцией принадлежности. Так, обобщенное правило modus ponens (Fazzy Modus Ponens - FMP) для нечетких систем имеет следующий вид:

Л',Л=>В В'

Множества А' и А необязательно совпадают. Если Л' и А близки друг другу, то можно их сопоставить и полутать вывод Л': B'=A'°R=A'°(A^>B).

,0) = ■ (х)лЦ* (х,у) = JJ(n^. (х)^,*))/^).

Вывод В' определяется из свертки max-min нечеткого множества Л' и отношения R: Механизм логического вывода включает четыре этапа: введение нечеткости (фаззи-фикация), нечеткий вывод, композшщя и приведение к четкости (дефаззификация) Рис. .

х - четкая

Рис. 4. Общая схема приведения к четкости.

Рассматривая систему нечетких правил как систему управления, в которой у - управляемая переменная, а множество входов {.г,} рассматриваются как управляющие, можно вывести те «управляющие» значение, которые могут способствовать принятию решений. Такая интерпретация правомочна в связи вопросом, каковы значения для поддержания некоторого заданного уровня целевой переменной. При этом возможности нечеткого подхода к разрешению вывода на множестве нечетких правил остается в силе. С другой стороны, эта интерпретация приводит к необходимости изменить положение переменных в нечетких правилах: условная часть будет содержать нечеткие высказывания относительно переменной у и ее ло-

гического отношения с другими переменными, а в правой части правил некоторая комбинация переменных in множества {.г,}. Система ранжирована по значениям терма лингвистической переменной у. Каждому из приведенных правил припишем некоторое значение F, -экспертную оценку достоверности соответствуют;«) правила. Ранее построенные функции принадлежности (Рис. 5): 1. терм-множествам лингвистических переменных поставлены в соответствие множество значений {NB, Z, РВ}, которые имеют следующий смысл, соответственно Negative Big, Zero, Positive Big. 2. области определения нечетких переменных приведем к относительной шкале [-5,5] за счет соответствующего масштабирования. 3. функции принадлежности каждой нечеткой переменной разделим на соответствующее для этой переменной максимальное значение. Таким образом максимальнле значения приводятся к 1.

Рис. 5. Относительная шкала принадлежности

Теперь система нечетких правил принимает вид:

ПРАВИЛО_1: ЕСЛИ у ЫВ ТО л, есть РВ (Г=0.6).

ПРАВИЛ02: ЕСЛИу ЫВ ТО есть РВ И д:, есть РВ (Г= 0.7)

ПРАВИЛО З: ЕСЛИу I ТО д, есть РВ(/=М).7)

ПРАВИЛО_4: ЕСЛИу 2 ТО есть 7. И х, есть РВ (^=0.9)

ПРАВИЛ05: ЕСЛИу есть РВ ТО д-8 есть РВ (/=1.0)

ПРАВИЛ0 6 ЕСЛИ у РВ ТО Х\ есть РВ И _г8 есть РВ (/--1.0)

ПРАВИЛО_7: ЕСЛИ у РВ И х7 есть РВ ТО х4 есть РВ Их6 есть РВ (Г=0.9)

ПРАВИЛ08: ЕСЛИ.г, есть N13 ТО х4 сот, ЫВ (/-"-0.8)

ПРАВИЛ0 9: ЕСЛИ доесть N8 ТОх7есть ЫВ (Г=0.8)

ПРАВИЛО_Ю: ЕСЛИ д:,есть X И дг6 есть РВ ТОд:8есть Ъ ^=0.6)

ПРАВИЛ0_11: ЕСЛИ есть РВ ТО х, есть РВ (^=0.7)

ПРАВИЛ012: ЕСЛИ хп есть ЫВ ТО д6 есть ЫВ (^=0.8)

ПРАВИЛО_ 13: ЕС ЛИ х-, есть ЫВ ТО хй есть ЫВ (^=0.6)

К принятию решений может быть предъявлена триада вопросов: каковы значения управляющих факторов для поддержания целевой функции на среднем уровне (значение терма Т.), на высоком уровне (РВ), при каких значениях управляющих факторов значение це-

левой функции принимает значение ЫВ. Первому вопросу соответствуют правила 3 и 4, второму - 5 и 6 и третьему 1 и 2. Логический вывод в соответствии с алгоритмом Мамдани для первого вопроса имеет графический вид (Рис 6.).

Процедура дефаззификации сводится к вычислению координат центра масс заштрихованной фигуры.

В работе приводится несколько иной подход к решению задачи принятия решений. Она сводится к обоснованию аргументации принимаемого решения. Таким образом, вводятся причинно-следственные отношения между вектором предпосылок Х={х1гх2,...^б}, и вектором следствий {д'ь.Уг^'з}- Будем считать все компоненты нечеткого вектора У нечетко-значимы и конкретизируем его нечетким множеством В= {0.9[уь 0.8[у2, 0,71 >'з} ■ Причинная взаимосвязь между множеством предпосылок и множеством следствий представляется в виде бинарного нечеткого отношения матрицей Мр, наполнение которой задается экспертом, поскольку именно эксперт может оценить степень нечеткого влияния каждого фактора (предпосылки) на элгменты вектора следствий.

-пробило.з К*.)

1гб>)

Рис. 6. Функция принадлежности.

Задача состоит в том, чтобы определить возможные значения степеней принадлежности вектора предпосылок. Иными словами, необходимо найти такое нечеткое множество А={ц(л:1)[д:ь й(-*'2)|*2.---,Ц(-х'б)1л:б}> которое соответствовало бы нечеткому множеству В, которое представим в форме ¿=(0.5,0.9,0.7). Нечеткое множество А представим в виде вектора а=(а|,а2,.. .,о6), имея в виду под л, соответствующее значение степени принадлежности Компоненты вектора а должны удовлетворять условию

а®Мр=й,

где ® - знак тах-гшп-композиции.

В развернутом виде векторно-маггричное уравнение сводится к трем нечетким уравнениям: (о,лО.ЗМ д2л0.4Мязл0.9Ма|л0.3Ма5л0.4Ма6л0.6)=0.5, (*) (а,л0.7М ¿з?а 1.0)у(дзл0.8)\/(£74л0.5)ч^(£75л0.8)ч/(а:бл0.2)~0.9, (**) (о|л0.6Мв2л0.6Ма,л0.3Ма4л0.9)\<О5А0.7)^(в6л0.4)=0.7. (***)

Решение приведенной системы позволяет построить нечеткое множество факторов, соответствующее приятому нечеткому множеству следствий: А={0.3|.г], 0.9[лг2,0.5рс3,0.7^4,0.7^5,0.5^6}.

В четвертой главе Приведенные в предыдущих главах методы анализа и нечеткого логического вывода решений на объекте мониторинга нашли воплощение в программном комплексе. В соответствии с последовательностью исследований, проведенных в главах 2 и 3, программный комплекс подразделяется на две части: систему анализа данных и систему нечеткого логического вывода. В структуре комплекса отражена триада, составляющая основу искусственного интеллекта: приобретение, представление и применение знаний Структура комплекса приведена на рисунке 7.

Система анализа данных знаний

Рис. 7. Структура программного комплекса

ИнтефеПс пользователя

Система анализа данных включает в себя программные модули статистического анализа выборочных данных. В систему анализа данных включены модули (stat, cor, regí, reg2, sm), обеспечивающие удобную работу с базами данных, редактирование таблиц, интерполяцию пропущенных данных, графическую визуализацию данных. Модуль stat позволяет вычислять основные статистики, связанные с выборкой.

Процедура корреляционного анализа (cor) создает матрицу коэффициентов корреляции для некоторой совокупности переменных. Положительный коэффициент корреляции указывает, что переменные изменяются в одном направлении, отрицательный указывает, что переменные изменяются в противоположных направлениях. Вычисление коэффициентов корреляции осуществляется в режиме парной обработки. Полученная при этом матрица необязательно положительно определена.

Регрессионный анализ представлен процедурами простой регрессии (regí), осуществляющей подгонку методом МНК линейной модели с одной объясняющей переменной, и процедуры множественной регрессии (reg2), выполняющей подгонку методом МНК линейной модели для нескольких объясняющих переменных, определенных на этапе корреляционного анализа Качество подгонки модели определяется коэффициентом детерминации:

Программная часть, определенная как система нечеткого логического вывода включает в себя программные модули, обеспечивающие формирование и редактирование функций принадлежности, ввод и редактирование системы нечетких продукционных правил с возможностью приписывания каждому правилу коэффициент достоверности, значение истинности следствия определяется произведением функции принадлежности антецедентной части продукции на коэффициент достоверности. Процедура дефаззификации позволяет вычислить четкое значение выходного терма. Ряд служебных функций расширяют возможности комплекса.

ЗАКЛЮЧЕНИЕ

Основные результаты исследования проведённого в настоящей диссертации состоят в следующем:

1. В процессе выполнения диссертационного исследования проведен анализ методов прогнозирования развития трудноформализуемых систем. Показано, что применение корреляционного и регрессионного методов не позволяют в полной мере автоматизировать процесс принятия решений. Автором предложен современный метод интеллектуального анализа данных, который до сих пор не применялся для прогнозной оценки состояния образовательных систем при воздействии демографических факторов.

2. Для определения текущего состояния предметной области выявлена структура отношений между показателями развития ( факторы), от которых зависит состояние системы. Определены наиболее значимые факторы и на этой основе разработаны прогностические модели, которые позволяют применять существующие методы, что определяется уровнем доступной априорной информации об объекте исследования.

3. Для решения задач прогнозирования в ситуациях оперативного принятия решений предложено использовать метод обучающих нейронных сетей. Показано, что использование нейронных сетей представляет способ, наиболее «независимый» от знаний статистических характеристик распределений исследуемых факторов.

4. В условиях неопределённости изменения факторов, влияющих на целевую переменную, построен алгоритм нечёткого логического вывода на базе нечётких продукционных правил. Формирование экспертных решений реализовано на основе прямого и обратного методов нечёткого логического вывода.

5. Для построения базы знаний и интеграции её с пассивной базой исходных данных предложен метод, на основе которого решается проблема классификации данных и формирования правил вывода.

6. С помощью разработанных методик и алгоритмов создан программный комплекс интеллектуального анализа данных для прогнозных оценок и принятия решений в условиях неопределённости факторов.

7. Результаты диссертационного исследования были использованы в НИИ высшего образования для прогнозной оценки состояния высшего профессионального образования на период до 2010 года.

Получено свидетельство об отраслевой разработке №6018 от 04.04.06 г.

Программный комплекс зарегистрирован в Российском патентном ведомстве под номером

2006613006 от 24 августа 2006 г.

Получено два акта о внедрении от Научно-Исследовательского Института Высшего Образования и Центра по формированию и конкурсного размещения государственного задания на подготовку специалистов с высшим профессиональным образованием при Московском Государственном Университете Приборостроения и Информатики.

СПИСОК ОСНОВНЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Петров С.А. Сравнение методов интерполяции и выбор оптимального для нахождения приближенных значений рождаемости в России / Новые информационные технологии: сборник трудов VII Всероссийской научно-технической конференции. - Москва: МГАПИ, 2004. - С. 141-146.

2. Петров С.А., Юдин Д.Н. Исследование эффективности применения интерполяционных функций на статистических рядах рождаемости /Моск. Гос. Акад. Приборостр. и информатики - Москва, 2004. - 8с. - Деп. в НИИВО

3. Петров С.А., Юдин Д.Н. Методы принятия решений на основе прогнозов движения учащейся молодежи по уровням и ступеням системы образования /Моск. Гос. Акад. Приборостр. и информатики - Москва, 2004. - 6 с. - Деп. в НИИВО

4. Петров С.А., Юдин Д.Н. Результаты применения коррелляцнонно-регрессионного анализа зависимости выпуска из 9-х классов от рождаемости /Моск. Гос. Акад. Приборостр. и информатики - Москва, 2004. - 14 с. - Деп. в НИИВО

5. Петров С. А., Юдин Д .Н. Система автоматизации и прогнозирования движения ресурсов в образовании / Новые информационные технологии: сборник трудов VII Всероссийской научно-технической конференции - Москва: МГАПИ, 2004. - С. 138-141

6. Петров С.А., Рахманкулов В.З., Ашинянц М.Р. Нечеткий логический вывод в системе принятия решений / Москва, 2007. - Сборник трудов ИСА РАН 2007г.

ЛР№ 020418 от 08 октября 1997 г.

Подписано к печати 09.04.2007 г. Формат 60x84. 1/16. Объем 1,25 п.л. Тираж 100 экз. Заказ № 63.

Московский государственный университет приборостроения и информатики

107996, Москва, ул. Стромынка, 20

Введение.

Глава 1. Обзор и сравнение существующих методов интеллектуального анализа данных.

1.1. Методы выявления знаний.

1.2. Методы анализа данных.

1.2.1. Поиск ассоциативных правил.

1.2.2. Анализ последовательностей.

1.2.3. Индукция каузальных моделей.

1.2.4. Формальный концептуальный анализ.

1.3. Постановка задачи исследования.

Глава 2. Прогнозирование развития и мониторинг состояния высшего образования.

2.1. Объективные предпосылки создания прогностических моделей развития образования.

2.2. Принципы организации прогностических моделей.

2.3. Влияние демографических факторов.

2.4. Прогностические модели развития образования.

2.4.1. Регрессионные модели прогнозирования.

2.4.2. Модель на основе скользящего среднего.

2.4.3. Построение прогноза с помощью обучаемой нейронной сети.

2.5. Выводы ко второй главе.

Глава 3. Формирование правил логического вывода в системах принятия решений.

3.1. Факторы, влияющие на принятие решений.

3.2. Построение функций принадлежности.

3.3. Нечеткие правила продукций.

3.4. Прямой и обратный методы вывода в системах нечетких продукций.

3.5. Этапы нечеткого логического вывода.

3.6. Выводы к третьей главе.

Глава 4. Программный комплекс поддержки принятия решений.

4.1. Выводы к четвертой главе.

1. Актуальность проблемы.

Построение модели предметной области имеет своей целью решение практически важных задач: управления, поддержки принятия решений и т.д. Конкретизация целевой задачи неизбежно приводит к необходимости различной глубины формализации предметной области, т.е. приближению в модели к адекватному отображению реальных отношений, их свойств, состояний и проявлений. Эта проблема значительно осложняется, когда речь идет о предметной области, плохо или мало поддающейся формализации. Кроме того, следует учесть несовпадение вербальных сообщений эксперта предметной области с его профессиональной интеллектуальной активностью.

К классу предметных областей, трудно формализуемых, следует отнести образование, представляющее стратегический ресурс любой страны и поэтому требующее постоянного мониторинга, принятия решений с целью эффективного управления. В дальнейшем будем именовать предметную область образования объектом исследования. Для него в настоящее время отсутствуют надёжные методы анализа данных оперативного мониторинга. Класс таких объектов характеризуется:

1. Невозможностью организации активного эксперимента с целью создания математической модели;

2. Большим числом параметров (как внутренних, так и внешних - межотраслевых, социальных и пр.), влияющих на качество образовательного процесса;

3. «Дрейфом» во времени отдельных параметров, переводящих объект в класс динамических нестационарных, поэтому усложняющих выбор стратегий управления;

4. Отсутствием обоснований для выбора параметров в качестве значимых;

5. Отсутствием точных данных о взаимосвязях между параметрами и их влиянии на качество наблюдаемых процессов.

В таких условиях построение модели с использованием аналитических методов невозможно. Поэтому мы приходим к необходимости применения подходов, базирующихся на знаниях о предметной области. Адекватность модели теперь будет зависеть от привлечения новых знаний, их аксиоматического, формального описания, логических отношений и т.д., образующих теорию. Очевидно, этому этапу должен предшествовать этап извлечения, приобретения знаний.

Таким образом, формируется триада: приобретение знаний (data mining), представление знаний и обработка знаний. Настоящая диссертационная работа посвящена разработке средств, реализующих два этапа: извлечение знаний и построение некоторой модели предметной области (объекта) и создание прикладной системы, сочетающей средства автоматизации построения статистических моделей и некоторые черты экспертности, способствующей принятию решений на основе анализа моделей.

Лишь сравнительно недавно интеллектуальный анализ данных с целью извлечения знаний (Data Mining) стал мультидисциплинарным научным направлением, возникшим и развивающимся на базе достижений прикладной статистики, методов искусственного интеллекта, теории баз данных [1]. Традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа данных, перестала удовлетворять требованиям содержательности результатов обработки в условиях неограниченных объемов информации, сложнейших скрытых причинно-следственных отношений между отдельными содержательными ее компонентами. Методы математической статистики оказались полезными, в основном, для проверки заранее сформулированных гипотез и первичного анализа, составляющего основу оперативной аналитической обработки данных (Online Analitical Processing - OLAP) [3].

В качестве примеров успешного применения методов интеллектуального анализа к проблемам из различных предметных областей служат работы: прогнозирования фьючерсных котировок [4], оперативного мониторинга атомных станций [5], в телекоммуникационных сетях [2].

В связи с этим актуальной является задача разработки программной системы многоаспектного анализа и обработки данных с целью построения модели прогноза оценки состояния образовательного потенциала России. Полученные результаты прогноза необходимы для принятия управленческих и организационных решений. Эта тема затрагивает также проблемы программы модернизации системы образования, утвержденной правительством РФ на период 2007-2010 годы.

2. Цели и задачи исследования.

Целями настоящего исследования являются:

1. Создание прогностических моделей оценки состояния образовательного потенциала России как на федеральном, так и на региональном уровнях.

2. На основе полученных моделей разработать теоретические положения для конструирования правил логического вывода.

3. Создание программного комплекса автоматизации формирования прогностических оценок и принятия решений.

4. Разработка методов и программных средств создания базы знаний и средств ее управления.

Для достижения поставленных целей сформулированы следующие задачи:

1. На основе корреляционного и регрессионного анализа определить статистически значимые факторы для построения статистически обоснованных моделей.

2. Оценить для последующего прогноза трендовую составляющую модели.

3. Определить структуру правил вывода и механизмы вывода в системе прогноза.

4. Разработать методику интеграции БД и БЗ в программной системе прогноза.

3. Научная новизна.

1. Разработаны программно-методические средства интеллектуального анализа данных.

2. На основе экспертных знаний предложена методика построения правил вывода принимаемых решений

3. В целях построения базы знаний и интеграции ее с пассивной базой данных предложен метод, на основе которого решается проблема классификации данных и формирования правил вывода.

Методы исследований, примененные в диссертационной работе, опираются на теоретические и методологические основы статистики, теории машинного обучения, теории баз данных и методы интеллектуального анализа данных.

4. Практическая значимость результатов исследования и их внедрение в практику.

На основе исследований, предпринятых в рамках настоящей работы, реализован программный комплекс для прогнозирования развития образовательного потенциала России. Полученные результаты являются инструментом для принятия решений федеральными и региональными органами управления образованием.

Программная система внедрена в практику оперативного управления и планирования при выработке решений по выполнению госзаказа в Центре по формированию и конкурсному размещению государственного задания на подготовку специалистов с высшим профессиональным образованием при Московском Государственном Университете Приборостроения и Информатики и в Научно-Исследовательском Институте Высшего Образования при выполнении проекта.

5. Апробация работы.

Основные результаты диссертационной работы докладывались на конференциях и семинарах в Московском Государственном Университете Приборостроения и Информатики:

1. VI Всероссийская научно-техническая конференция с докладом по теме диссертационного исследования.

2. VII Всероссийская научно-техническая конференции с докладом по теме диссертационного исследования.

3. В учебном процессе на кафедре «ИТ-7» Московского Государственного Университета Приборостроения и Информатике.

6. Публикации.

По теме диссертации опубликовано 6 научных работ.

7. Объем и структура диссертации.

Диссертационная работа изложена на 108 страницах машинописного текста, состоит из введения, четырех глав, заключения, библиографического указателя, включающего 57 источников, иллюстрирована 18 рисунками и 10 таблицами.

Основные результаты исследования проведённого в настоящей диссертации состоят в следующем:

1. В процессе выполнения диссертационного исследования был проведен анализ методов прогнозирования развития трудноформализуемых систем к которым отнесена система подготовки высококвалифицированных специалистов (система профессионального образования). Применение методов корреляционного и регрессионного анализа для решения задач прогнозирования не позволяет в полной мере автоматизировать процесс принятия решений в этой сфере. Автором была исследована возможность применения современного метода интеллектуального анализа данных, который до сих пор не исследовался для оценки состояния образовательных систем.

2. Для определения текущего состояния системы образования была выявлена структура отношений между факторами, от которых зависит изменение состояния системы. Наиболее значимые факторы (показатели развития) были определены и показано, что пространство факторов может быть редуцировано в зависимости от жесткости бинарных отношений. Созданы прогностические модели основанные на различных подходах. Показано, что возможность применения каждого из рассматриваемых подходов определяется уровнем доступной априорной информации об объекте исследования. На этой основе разработаны программно-методические средства интеллектуального анализа данных.

3. Получены прогностические модели, основанные на различных подходах. Степень применимости каждого из этих подходов определяется уровнем априорной информации об объекте исследования.

4. Сделана попытка применить для решения задач прогнозирования методы обучающихся нейронных сетей. Показано, что прогнозирование на основе нейронной сети представляет собой наиболее «независимый» от знаний статистических характеристик распределений исследуемых факторов, и является более предпочтительным в ситуациях оперативного принятия решений.

5. В условиях неопределенности изменения факторов, влияющих на целевую переменную построен алгоритм нечеткого логического вывода на системе нечетких продукционных правил.

6. Формирование экспертных решений реализовано на основе прямого и обратного методов нечеткого логического вывода.

7. На базе разработанных методик и алгоритмов создан программный комплекс интеллектуального анализа данных, в том числе прогноза, по поддержке принятия решений в условиях неопределенности факторов, характеризующих объект исследования. Программный комплекс внедрен в НИИВО и зарегистрирован в Российском патентном ведомстве.

8. Результаты диссертационного исследования были применены в НИИ высшего образования для прогнозной оценки состояния системы высшего профессионального образования на период до 2010 года. Кроме того автор опубликовал основные положения диссертации в 6 опубликованных статьях, получено свидетельство об отраслевой разработке №6018 от 04.04.06 г., выступал на конференциях в МГУПИ с докладами. В приложении представлен один из вариантов прогнозной оценки системы высшего профессионального образования.

Заключение

1. Holsheimer М., Siebes А.Р. Data Mining: the search for knowledge in databases. //Report CS-R9406, Computer Science. Department of Algorithmic and Architecture, CWI, 1994.

2. Manila H. Local and Global Methods in Data Mining: Basic Techniques and Open problems. // ICALP 2002,29-th Int. Colloquium on Automata. Languages and Programming. Malaga, Spain, July 2002

3. Барсегян A.A., Куприянов M.C. и др. Методы и модели анализа данных: OLAP и Data Mining. -С-Пб.: БХВ, 2004.

4. Богданов К.С. Интеллектуальная система программирования для представления знаний и принятия решений. Диссертация на соискание ученой степени кандидата наук., -М.: 2001.

5. Ерома А.А. Средства интеллектуального анализа структуры связей по данным мониторинга сложных технологических объектов. Диссертация на соискание ученой степени кандидата наук., -М.: 2004.1. Глава 1.

6. Agrawal R., Imielinski Т., Swami A., "Mining association rules between sets of items in large databases", // In Proc. Of the ACM SIGMOD Int'l Conf. On Management of Data (ACM SIGMOD '93), Washington, USA, May 1993.

7. Agrawal R., Srikant R. "Mining Sequential Patterns", // In Proc. of the 11th Int'l Conference on Data Engineering, Taipei, Taiwan, March 1995.

8. Agrawal R., Srikant R., "Fast algorithms for mining association rules", // In Proc. of the 20th Int'l Conf. on Very Large Databases (VLDB '94), Santiago, Chile, June 1994.

9. Berry M., Linoff G/ Data Mining Techniques: for Marketing, Sales, Castomer Support. N.-J., J.Wiley & Sons, 1997.

10. Clare P., Niblett T. The CN2 Induction Algorithms. //Machin Learning Journal, №4, 1988.

11. Cohen P.R., Ballesteros L.A., Gregory D.E., Amant R.St., "Regression Can Build Predictive Causal Models", // Technical Report 94/15 / Department of Computer Science, University of Massachusetts, 1994.

12. Han J, Kamber M. Data mining: Concepts and Techniques. Morgan Kaufman Publishers, 2000.

13. Han J., Fu Y., "Discovery of Multiple-Level Association Rules from Large Databases", // In Proc. of the 21th Int'l Conf. on Very Large Databases (VLDB '95), Zurich, Swizerland, 1995.

14. Han J., Fu Y., "Dynamic Generation and Refinement of Concept Hierarchies for Knowledge Discovery in Databases" // In Proc. АААГ94 Workshop on Knowledge Discovery in Databases (KDD'94), p. 157-168, Seattle, WA, July 1994.

15. Herrmann C., Holldobler S., Strohmaier A., "Fuzzy Conceptual Knowledge Processing", // SAC 1996, p. 628-632,1996.

16. Holsheimer M., Siebes A.P.J.M. "Data Mining: the search for knowledge in databases", // Report CS/R9406, Computer Science/Department of Algorith-mics and Architecture, CWI, 1994.

17. Lane Т., Brodley C.E. "An Application of Machine Learning to Anomaly Detection", // In Proc. 20th NIST/NCSC National Information Systems Security Conference, 1997.

18. Manilla H., Toivonen H., Verkamo A.I., "Discovery of frequent episodes in event sequences", // Series of Publication C, Report C/1997/15, Department of Computer Science, University of Helsinki, Finland, 1997.

19. Mannila H., Toivonen H., "Discovering generalized episodes using minimal occurrences" // 2nd International Conf. On Knowledge Discovery and Data Mining, August 1996.

20. Mannila H., Toivonen H., Verkamo A.I., "Efficient Algorithms for Discovering Association Rules" // KDD Workshop 1994, pp. 181-192,1994.

21. Michalski R., Bratco I. Machin learning & Data Mining: Methods and Application. N.-J., J.Wiley & Sons, 1998.

22. Pearl J., Verma T.S., "A Theory of Inferred Causation", Statistics and Computing^, 1991.

23. Pearl J., Verma TS., "A Statistical Semantics for Causation", // Preprint // Cognitive Systems Laboratory, Computer Science Department, University of California, 1991.

24. Prediger S., "Logical Scaling in Formal Concept Analysis", // Preprint / Techn. Univ. Darmstadt, N1907,1998.

25. Srikant R., Agrawal R., "Mining Generalized Association Rules", // Proceedings of 21th International Conference on Very Large Data Bases, September 11-15,1995, Zurich, Switzerland, pp. 407-419,1995.

26. Srikant R., Agrawal R., "Mining Quantitative Association Rules in Large Relational Tables", Proceedings of the 1996 ACM SIGMOD International Conference on Management of Data, Montreal, Quebec, Canada, June 4-6, pp. 1-12, ACM Press, 1996.

27. Stumme G., R. Taouil, Y. Bastide, "Fast Computation of Concept lattices Using Data Mining Techniques", // KRDB 2000, p. 129-139.

28. Stumme, G., Wille, R., Wille, U., "Conceptual Knowledge Discovery in Databases Using Formal Concept Analysis Methods", // PKDD '98, LNAI1510, p. 450-458,1998.

29. Westphal Ch., Blacston T. Data Mmining Solution: Methods and Tools for Solving Real-World Problems. Wiley, John & Sons, Incorporated, 1998.

30. Wille R., "Conceptual Structures ofMulticontexts", // ICCS1996, p. 23-39.

31. Wille R., "Why can concept lattices support knowledge discovery in databases?", // Preprint / Techn. Univ. Darmstadt, N 2158:01,2001.

32. Ашинянц P.А. Логические методы анализа данных.//Труды Международной конференции AIS'02, CAD-2002. -М.:Наука, 2002.

33. Биркгоф Г. Теория решеток. -М.:Наука, 1984.

34. Люггер Дж.Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем. -М.: «Вильяме», 2003. -864с.

35. Осипов Г.С. Приобретение знаний интеллектуальными системами.— М.:Наука, 1997, с.112.42.0ссовский Ст. Нейронные сети для обработки информации. -М.: Финансы и статистика, 2002. -344с.

36. Петров С.А., Юдин Д.Н. Исследование эффективности применения интерполяционных функций на статистических рядах рождаемости /Моск. Гос. Акад. Приборостр. и информатики Москва, 2004. - 8с. - Деп. в НИИВО

37. Петров С.А., Юдин Д.Н. Методы принятия решений на основе прогнозов движения учащейся молодежи по уровням и ступеням системы образования /Моск. Гос. Акад. Приборостр. и информатики Москва, 2004. - 6 с. - Деп. в НИИВО

38. Петров С.А., Юдин Д.Н. Результаты применения коррелляционно-регрессионного анализа зависимости выпуска из 9-х классов от рождаемости /Моск. Гос. Акад. Приборостр. и информатики Москва, 2004. - 14 с.-Деп. в НИИВО

39. Петров С.А., Юдин Д.Н. Система автоматизации и прогнозирования движения ресурсов в образовании / Новые информационные технологии: сборник трудов VII Всероссийской научно-технической конференции -Москва: МГАПИ, 2004. С. 138-141.

40. Собер Дж. Линейный регрессионный анализ. -М. Мир, 1980. -380с.1. Глава 2.

41. Киселев А. В., Савельев А.Я., Сазонов Б.А. Образовательный потенциал России: состояние и развитие. -М.: МГУП, 2004.

42. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. -М.: Горячая линия-Телеком, 2002

43. Савельев А.Я., Зуев В.М. и др. Прогнозирование развития и мониторинг состояния высшего и среднего профессионального образования. -М.:НИИВО, 1999.

44. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики. -М.:Наука, 1965

45. Тюрин Ю.Н., Макаров А.А. Анализ данных на компьютере. -М.:Инфра-М,2003.1. Глава 3.

46. Saatiy T.L. Measuring fuzzyness of sets. //J. of Cybernetics, 1074, v.4, pp.5361

47. Аверкин А.Н.,Батыршин И.З. и др.Нечеткие множества в моделях искусственного интеллекта. /Под ред. Д.А.Поспелова-М.:Наука, 1986. -312с.

48. Ашинянц Р.А. Логические методы в искусственном интеллекте. -М.: МГАПИ, 2001.

49. Ярушкина Н.Г. Основы теории нечетких и гибридных систем. М.: Финансы и статистика, 2004. -320с.

50. Министерство образования и науки Российской Федерации Московский государственный университет приборостроения и информатики1. На правах рукописи

51. Петров Станислав Алексеевич