автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модель нейросети с особыми связями и её применение для построения рейтинга

На правах рукописи

Сяськов Сергей Викторович

МОДЕЛЬ НЕЙРОСЕТИ С ОСОБЫМИ СВЯЗЯМИ И ЕЕ ПРИМЕНЕНИЕ ДЛЯ ПОСТРОЕНИЯ РЕЙТИНГА

Специальность 05.13.01 - "Системный анализ, управление и обработка информации (промышленность)"

Автореферат диссертации на соискание ученой степени кандидата технических наук

Челябинск-2005

Работа выполнена в Южно-Уральском государственном университете.

Научный руководитель: кандидат технических наук, доцент

Кафтанников Игорь Леопольдович

Официальные оппоненты: доктор технических наук, профессор

Мельников Андрей Витальевич;

кандидат технических наук, доцент Мякушко Валерий Васильевич.

Ведущая организация: Уфимский государственный авиационный техни-

ческий университет.

Зашита состоится 28 декабря 2005 года в 14 часов на заседании диссертационного совета Д 212.298.03 при Южно-Уральском государственном университете по адресу: 454080, г. Челябинск, пр. им. В .И. Ленина, 76, зал №1 заседаний диссертационного совета (ауд. 1001).

С диссертацией можно ознакомиться в библиотеке Южно-Уральского государственного университета.

Автореферат разослан 25 ноября 2005 г.

Ученый секретарь диссертационного совета

Коровин А.М.

Ш6-Ч

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

2260075

В диссертации изложены основные научные результаты, полученные и опубликованные в 2003-2005 гг., связанные с разработкой нейросети для обработки количественной и качественной информации и ее применением для построения рейтинга. Данная модель расширяет ряд существующих моделей интеллектуальной обработки данных, обеспечивая возможность учета семантико-прагматичес-ких моделей документов.

Широко известны разработки российских и зарубежных исследователей в об--;асти искусственного интеллекта: А.Н. Аверкина, A.B. Гаврилова, А.И. Галушкина. Л. Заде, М. Месаровича, Г.С. Поспелова, Д.А. Поспелова, Р. Хехт-Нильсена. в области статистической оценки персонала С. Д. Ильенковой, Н.Д. Ильенковой, представителей уральской научной школы разработчиков современной математической теории управления нечеткими наукоемкими технологиями: О.В. Логиновс-кого, Т.Я. Ткаченко, башкортостанской научной школы моделирования нейрона-3. И. Васильева, A.B. Савельева и уральской научной школы информационного чоиска интегратнвного рейтинга человека: A.A. Полозова.

Актуальность исследования обусловлена тем, что оно позволяет повысить эффективность систем интеллектуальной обработки информации. Действительно, сейчас существенно повышается интеллектуальная составляющая труда, значительную роль играет правильное принятие решений. Кроме этого, революционные изменения в средствах социальных коммуникаций позволяют осуществлять обработку данных практически в мировом масштабе. Вследствие этого является актуальным поиск инновационных методов автоматизированной обработки, отвечающих требованиям надежности и обработки существенно возросшего объема разнородной информации при небольших затратах.

Объектом данного исследования являются модели обработки данных.

Предметом данного исследования является повышение производительности систем обработки информации с применением моделей на базе нейросетей с особыми межнейронными связями.

Цель и задачи исследования. Научная цель - улучшение нейросети за счет совершенствования модели межнейронных взаимодействий; прагматическая -разработка методики построения рейтинга в смешанном базисе на основе предлагаемой модели.

В процессе достижения данных целей была сформулирована и решена основная задача - разработка и реализация модели обработки в совокупности смешанных критериев с глубинным семантическим анализом документов, с учетом опыта и предпочтений экспертов на базе технологии нейросетей, а также частные задачи:

- разработка семантического, экспертного и сортирующего блоков для трехуровневой модели для обработки информации на базе нейросети с особыми меж-

нейронными связями;

- разработка программной реализации молели нейросети:

- разработка методики построения рейтинга на базе предлагаемой модели неиросети.

Методы исследования. Проведенные теоретические и прикладные исследования базируются на методах системного анализа, теории деревьев решений, мя! -ких вычислений и семиотики.

Научная новизна работы заключается в следующем:

- предложена модифицированная модель обработки информации в виде неиросети, в которой введены дополнительные связи, отражающие уточненные связи биологических нейронов, благодаря которым нейросеть обладает большим биоподобием и высокой производительностью по отношению к существующим ней-росетям;

- разработана модифицированная модель обработки информации в виде нейросети, которая позволяет программировать введенные дополнительные связи;

- предложена методика построения рейтинга объектов на базе разработанной модели нейросети, которая позволяет учитывать в совокупности смешанные критерии, результаты глубинного семантического анализа документов, опыт и предпочтения экспертов.

Теоретическое значение. Разработка модели, объединяющей достоинства методов мягких вычислений, восполняет систему теоретических знаний о гибридных технологиях.

Практическое значение. Предлагаемая модель может применяться для построения высокопроизводительных систем, структурирующих информацию, в т.ч. для построения рейтинга по кадровой документации, позволяя получать дополнительную информацию о документах, являющуюся основой для реализации:

- алгоритмов рекрутинга, осуществляющих семантический поиск не на уровне синтаксических конструкций, а с учетом глубинного смысла;

- алгоритмов менеджмента;

- алгоритмов отбора вариантов решений в системах поддержки принятия решений.

Полученные в работе результаты использованы в деятельности преподавателей Южно-Уральского государственного университета и в ряде других проектов.

Практическое использование результатов диссертационной работы подтверждено соответствующими актами о внедрении.

Апробация работы. Основные положения диссертации и результаты исследований излагались на 7 конференциях уровня не ниже Всероссийской и Международной, в частности на VI Всероссийской научно-технической конференции "Новые информационные технологии" (г. Москва, 23-24 апреля 2003 г.), Международной научно-технической конференции "Современные информационные технологии" (г. Пенза, 2003 г.), 2-й Всероссийской научно-практической конферен-

4

ции "Модернизация системы профессионального образования на основе регулируемого эволюционирования" (г. Челябинск, 2003 г.), IX Международной открытой научной конференции "Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях" (г. Воронеж, 2004 г.), XXV Всероссийской научно-методической конференции "Проблемы обеспечения качества университетского образования" (г, Кемерово, 3-4 февраля 2004 г.), V Всероссийской очно-заочной научно-практической конференции "Интеграция методической (научно-методической) работы и системы повышения квалификации кадров" (г. Челябинск, 2004 г.), VI Международной научно-методической конференции "Качество образования: менеджмент, достижения, проблемы" (г. Новосибирск, 2005 г.).

Публикации. Базовые положения диссертации отражены в 15 публикациях.

Структура и объем работы. Диссертационная работа включает введение, четыре главы, заключение, список литературы (86 наименований), а также приложение, изложенные на 172 страницах машинописного текста (140 страниц основного текста), содержит 70 рисунков, 6 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, ей научная новизна и практическая значимость, приведены цель, задачи исследования, краткое содержание диссертации по главам.

В первой главе даются определения понятия "рейтинг", характеристика современного состояния в областях обработки данных и построения рейтинга. В конце главы сформулированы цели и поставлены задачи исследования.

Рейтинг - это последовательность объектов и их отметок, упорядоченная по определенным правилам, учитывающим значения их отметок или параметров.

Анализ понятия "рейтинг" показал его многозначность, междисциплинар-ность. Действительно, методы формирования рейтинга выступают в качестве одного из предметов исследования не только в области менеджмента персонала, но и в психологии (рейтинг - результат выполнения особой оценочной функции психики), в экономике (рейтинг - денежный эквивалент, полезность, риск), в педагогике (рейтинг - результат сравнения знаний, умений и навыков студента с требованиями, заданными программой), в метрологии (рейтинг - результат сравнения с эталоном), в медицине (рейтинг - численная оценка "картины болезни"), в спорте (рейтинг - результат соревнований). Интересно, что понятие "рейтинг" приобретает все большую популярность в связи с переходом системы российского образования на рейтинговую систему контроля знаний. Но следует отметить, что использование понятия "рейтинг" как отметки является сужением его многозначности. В последние 5—10 лет особенно возрос интерес к проблеме построения рейтинга персонала.

Практически все известные методы построения рейтинга основаны на обработке количественных данных в условиях определенности. Часть из них позволяет создавать гиперкуб и строить многомерные рейтинги по различным его срезам. Основной недостаток при этом заключается в том, что не учитываются качественные данные о субъектах, которые могут быть представлены в виде характеристик, результатов тестирования, различных документов и т.п. Реализация части методов обработки данных в условиях неопределенности на нейросетях требует использования специальных нейронов или интерпретаторов.

Можно отметить следующие стадии эволюции рейтинговых систем: модификация алгоритма свертки оценок: от сложения к умножению, затем учет веса критериев и работа с группой экспертов; учет различных типов оценок (интервальных оценок и вероятностей, позже нечетких множеств, затем лингвистических переменных), задание оценок и весов с помощью бинарных отношений; введение и анализ иерархии критериев; составление и решение систем уравнений и неравенств; распараллеливание вычислений; возможность объяснения полученных результатов; адаптивность системы; автоматический поверхностный, а позже глубинный семантический поиск оценок и критериев; автоматическое построение системы правил формирования комплексной оценки.

Во второй главе показана возможность построения рейтинга с помощью ней-росети, предлагаются семантический, экспертный и сортирующий блоки для трехуровневой модели для обработки информации на базе нейросети с особыми межнейронными связями.

Можно построить достаточно много различных рейтингов. Действительно, эта возможность связана с тем, что различается множество вариантов ситуаций, в которых строится рейтинг:

- множество объектов с одной стороны может быть конечным, счетным или континуальным, а с другой - закрытым или открытым;

- оценка может осуществляться по одному или нескольким критериям;

- оценка может иметь количественный, качественный или смешанный характер, оценки могут быть обычными числами, вероятностями, интервальными или нечеткими множествами и др.;

- оценки или цели могут определяться группой экспертов, тогда степень согласованности оценок или целей может варьироваться от полного совпадения до их противоположности;

- процесс построения рейтинга может быть однократным или многократным, повторяющимся, включающим обратную связь с предыдущими рейтингами;

- рейтинг может строиться в условиях определенности или частичной или полной неопределенности;

- взаимосвязь между оценками и рейтингами может быть не известна, известна частично, известна полностью или известен вид распределения;

- могут быть ограничения на оценки объектов;

- система может позволять управление извне, быть самоуправляемой или с комбинированным управлением.

Различные сочетания перечисленных вариантов и приводят к многочисленным видам рейтинга, причем наибольшее разнообразие рейтингов получается вследствие разнообразия предметов оценивания. Например:

- сравнить то, что обучающее учреждение могло дать соискателю с тем чему он научился (в данной оценке отражен уровень обучения и способности соискателя к обучению);

- сравнить соискателя с другими;

- оценить, насколько эффективно соискатель может работать в новых условиях на новом месте работы (например, знаком ли он с новым оборудованием) и насколько хорошо он вживется в уже сформированный коллектив, а также как он выполняет свой план;

- оценить опыт работы соискателя, его достижения, характеристики поведения в различных ситуациях, результаты и процесс труда, результаты деятельности коллектива, где он раньше работал;

- оценить собственно соискателя;

- оценить то, кем соискатель может стать, работая на новой должности, исходя из его возможностей;

- оценить деловые и личностные качества соискателя как его потенциал;

- проанализировать анкету соискателя;

- проверить соответствие соискателя требованиям, указанным в вакансии.

Если на множестве объектов, имеющем взаимно однозначное отображение во

множество их кодов IV = {и'пи'12... и>1п, м^... н>2п,..., м>т]м>т2... м>тя} и показателей X = {х],х2,...,хп}, дано отношение нестрогого порядка (">"), то можно разместить объекты в виде, упорядоченном сначала по хп а затем по у>л,м>л,...,и'и, г = 1,тя. Поэтому можно построить рейтинг субъектов, заданных различными именами и характеризуемых оценками.

Было доказано, что для расчета нейросетью единственного результата необходимо и достаточно, чтобы для любого фиксированного фактора множества Ш

существовало взаимно однозначное отображение множества ¡У во множество Б^ показателей , являющихся образами соответствующих факторов 1Уа. Как следствие, для расчета единственного рейтинга необходимо и достаточно, чтобы для любой характеристики 1¥а вакансии IV существовало взаимно однозначное

отображение множества IV во множество В* показателей В*, являющихся образами соответствующих характеристик .

Исходя из предположения, что всегда множество характеристик вакансии И/ непустое и существуют такие характеристики 1Уа, которые являются нематериальными и их нельзя измерить, а можно лишь оценить количественно или качест-

7

венно, всегда множество показателей Bw непустое и существуют показатели В*, являющиеся субъективными или не имеющие общего эквивалента, и целесообразно использовать критериальный язык или язык бинарных отношений.

Постановка задачи построения рейтинга в нейросетевом базисе: на входе -описание субъектов на XML, на выходе - рейтинг. Поэтому рейтинговая система состоит из семантического (идентифицирующего текст на входе вместе с его признаками), экспертного (преобразующего по системе правил семантический код в баллы) и сортирующего (упорядочивающего баллы и коды субъектов) блоков

Рассмотрим семантический блок. На входе уже формализованные знания, подготавливаемые дополнительным блоком приобретения, извлечения и формирования экспертных знаний, в котором решаются задачи минимизации противоречивости данных, повышения их достоверности, заполнения в них пробелов, объединения их в случае группы экспертов, характеризуемых компетентностью и значимостью, перевода с других языков и, наконец, формирования смысловых образов субъектов на базе семантико-прагматических моделей документов. Можно увеличить информационную емкость сигнала при кодировании текста, так как было доказано, что для любого множества W слов Wa длины п существует взаимно однозначное отображение множества W во множество Bw показателей , являющихся образами соответствующих слов Wa. Как следствие, справедлива

формула кодирования слова b = ^Г"^ w^OO"-', где и; — г-й код запомненного символа, 1 < wt <99, так как анализ текстов показал, что реальное количество используемых символов для семантического анализа не более сотни (если -максимальное значение кода символа, то коды слов лежат в пределах от 0 до Г^ОО-'), и - количество символов в слове, код слова семантически не связан со словом

Опишем функцию для выявления равных х и w. Идентифицирующая функция - функция /0(х,w)= /(х-w)+/(w-x)-l, т.е. если х к w различны, то /„(x,w) = 0, иначе /0(х,w)= 1. В качестве примера ее применения синтезированы нейросети для реализации операций сложения, умножения, деления и представления булевых функций (2-х одноместных, 7-ми многоместных и произвольных булевых функций) и функций многих двоичных переменных.

В семантическом блоке используется формула (1), в которой можно уменьшить количество слагаемых. Действительно, доказано, что результат работы нейросети, выход которой вычисляется по формуле

т

y=Yjcifo(x>wt\ о)

где с, - i -й компонент рейтинга; х - обрабатываемое слово; w, - запомненное слово; т - количество правил, не зависит от того, обладают ли х и w, семантической нагрузкой. Поэтому использование меньшего по мощности множества ко-

8

дов без семантической нагрузки, чем множество кодов с семантической нагрузкой, не ухудшает результат.

Доказано, что результат работы нейросети, выход которой вычисляется по формуле (1), не зависит от того, используются действительные или целые веса связей. Поэтому коды букв могут быть целыми числами, а блоки более простыми.

Большая информационная насыщенность кодов была достигнута в результате сжатия текста путем кодирования слов, при этом необходимо, чтобы слова не являлись омонимами. Действительно, доказано, что чтобы результат вычислялся по формуле (1), необходимо, чтобы запомненные слова были взаимно различимыми.

Рассмотрим экспертный блок. Семантическая модель субъекта строится как система логических соотношений над множеством его описывающих понятий. Отрицание "НЕ" кодируется вместе с отрицаемым. Связка "ИЛИ" заменяется разбиением правил в месте связки. Связка "И" учитывается увеличением информационной емкости условий правил и их агрегированием в одно условие. Это возможно, так как доказано, что результат не зависит от монотонного преобразования условий правил, т.е. если /р^) - монотонно возрастающая функция, то из неравенства тГ/г(х,и'1)> ¡пГГ(х,м2) следует тГ<р{р(х,и^))> Мд>(Г(х,)) и об-

XX XX

ратно. Группу условий (*, = = м/2)м...и(хп = и»п) можно переписать в виде

(100°"' х, = 100я"1 и», )и (100"-2 *2 = 100я"2 н^ )и... и(ха = >?„)-

Выход 1,5-слойной нейросети, основанной на системе правил со связками

"ИЛИ" и "И" у = ¿Г' С.М/о(ЙТ' ^"'ЮО^'-М;1"' И^'ЮО"'1"1-^ +

•I

Г«,«/Ы .. .. „ич|.1

У-1 У-1

дч

, где сМ - балл, начисляе-

мый объекту в случае истинности условия в г -м правиле; х'1 - код у -й буквы г -го слова при 1< у<л|*', и код у-го признака при +1 < у < + /}*'; - код у -й буквы 1 -го запомненного слова при 1 < у < л^, и код у -го запомненного признака при иИ + 1* у < и,'*' + - длина / -го слова; - количество признаков в /-м правиле; т^ - количество правил; * - признак правил со связками "ИЛИ" (с учетом признаков отдельным слагаемым) и "И".

Было показано, что для формирования системы правил необходимо определить только операции идентификации. При этом можно использовать разработанный генетический алгоритм, упрощающий алгоритм построения рейтинга.

Рассмотрим сортирующий блок. Поскольку было доказано, что последовательность чисел х1,хг,...,хт отсортирована в невозрастающем порядке при

Е.И'Л*«*! -*,) = 0, ранг субъекта с отметкой х, равен А = "*.)•

Если = - сумма чисел из отсортированной последовательности,

5, = Х*-!*»'1" '' ~ СУ***™ всевозможных сочетаний сортируемых чисел, - к-к балл ¿-й перестановки, то выход 1,5-слойной сортирующей нейросети

Доказано, что минимальное количество слоев в сортирующей нейросети с фиксированными коэффициентами и знаковой функцией активации нейронов равно не более двух.

Все три блока можно реализовать на 1-слойной нейросети, использовав свойство переполнения разрядной сетки. Можно уменьшить количество правил. Действительно, доказано, что система правил "если-то", в которой временной ряд развития субъекта учитывается путем соответствующего расположения правил, эквивалентна системе правил вида (2) с меньшим количеством правил, в которой временной ряд развития субъекта учитывается путем соответствующего расположения условий. Как следствие, порядок расположения условий в правиле важен; в таких правилах введение новых кванторов и модификаторов, использование и расширение множества значений истинности, связок и т.п. не требует определения дополнительных операций, которые можно свести к одной операции идентификации.

Доказано, что чтобы результат вычислялся по формуле (3), необходимо, чтобы только одно из правил системы (2) являлось истинным, остальные являлись ложными. Можно построить систему правил, удовлетворяющую этому требованию, так как доказано, что существует система правил вида (2), где баллы учтены в одном выводе, эквивалентная системе правил, в которых баллы учтены в нескольких правилах.

Интересно, что помимо традиционных синапсов существуют аксо-аксональные синапсы (между аксонами) и дендро-дендритные синапсы (между дендритами), механизмы которых соответствуют полученным в разрабатываемой модели связям. Аксо-аксональные синапсы нельзя заменить дендро-дендритными. Действительно, доказано, что система правил вида (2), где баллы учтены в условии, не эквивалентна системе правил, где баллы учтены в выводе.

Наконец, доказано, что минимальное количество слоев в строящей рейтинг нейросети с фиксированными коэффициентами, знаковой функцией активации нейронов, дендро-дендритными и аксо-аксональными синапсами равно одному. Как следствие, количество нейронов в 1-слойной нейросети на базе системы правил (2) равно т, а заданный рейтинг можно воспроизвести точно за один такт работы нейросети независимо от количества характеристик и субъектов.

Уи Уи > Ч, = /

Модель (отображающей) нейросети для построения рейтинга задается системой правил вида (2) и формулами расчета выходов 1-слойной нейросети (3):

"если (х, = м>(1)и (х2 = *>п)и...и (х„ = wJto (г„ и Pll)и (rl2 и Лг)и...и (гв и (2)

, i = \,m, k = , гг\

r=i '-I V J

где - код j -й буквы текста, описывающего субъектов (отображение); н1; - кол j-W буквы текста /-го правила, запомненный нейросетыо; rlk - балл, начисляемый к -му субъекту (образ к -го элемента) в случае истинности условий i -го правила; рл - код (порядковый номер) к -го субъекта (код дополнительной информации о к-м элементе, например, степень доверия результату) в случае истинности условий / -го правила; qt - признак выполнения условий ; -го правила

Nz(x,l) - признак отсутствия переполнения, Nz(x,l)=J * , где I - некоторое

значение в случае переполнения, / const, / > 0; h - вес синапса, умножение на который вызывает переполнение; т - количество правил; п - длина текста; к -ранг субъекта (порядковый номер элемента); s - количество субъектов (элементов).

Структура нейросети: дендро-дендритные, затем нейроны и аксо-аксональные синапсы.

Разработанный алгоритм заключается в генерировании всевозможных гипотез и их параллельной проверке.

Предлагаемый способ представления информации отличается тем, что схема вывода не зависит от использования критериального языка или языка бинарных отношений.

Предлагаемая структура правил позволяет учитывать динамику описания субъектов (элементов отображения) во времени. Это обеспечивается запретом коммутативности условий. Например, первая часть правила описывает субъекты (элементы) в их прошлом, а вторая часть - в их настоящем.

Предлагаемый метод обучения нейросети отличается тем, что используется цифровая ошибка Nz(x,l), явно учтенная в структуре нейросети, что позволяет ее программировать.

Предлагаемый алгоритм нечеткого вывода отличается тем, что, при необходимости использования функций введения и исключения нечеткости, они учитываются в параметрах модели, поэтому не требуется введение дополнительных слоев.

Выбрана 1-слойная нейросеть, так как она минимизирует временные затраты.

Свойства предлагаемой нейросети:

- содержит один слой с количеством нейронов, равным количеству правил, передает низкий уровень целочисленного сигнала, при этом обладает высокой точностью и возможностями (и + 1)-слойной семантической нейросети, 5-слойной нейросети для логического вывода и 5-слойной сортирующей нейросети;

11

- обладает высокой производительностью - вычисления выполняются за один такт, - благодаря распараллеливанию операций, минимальному количеству слоев, использованию простой функции активации нейронов, счету только по активной части нейросети и замене процесса обучения нейросети ее программированием;

- обладает большим биоподобием благодаря применению особых синапсов;

- позволяет объяснить полученные результаты, емкость нейросети максимальна и выходной сигнал имеет произвольную величину;

- лежит в основе реализации новых алгоритмов обработки данных.

В третьей главе описаны введенные особые межнейронные связи, программная реализация предлагаемой модели нейросети и результаты экспериментального исследования с ней.

Пусть имеется следующая информация о студентах в нотации XML:

.«информационное хранилшце> <2003-04 учебный год> Сстудент 1>

<фамилия>Ижанов</фамилиж>

<в иачалвХмат-ка>5</мат-каХфиэика>5</4>изикаХ/в начале> <» концеХмат-ха>5</мат-1саХфиэика>5</фиэикаХ/в кокце> </студент 1> <студент 2>

<фамилия>Петров< / фамилия>

<в ыачалеХмат - ха>4</кат - хаХфиэика>4</фи;викаХ/в начале> <в концеХмат-ка>5</мат-каХфиэика>4</физиках/в конце> </студент 2> </2003-04 учебный год> </информационное хранилизцв>

Обозначим: МН1 - отметка по математике в начале семестра 1-го студента, ФК2 - отметка по физике в конце семестра 2-го студента и т.д. Правило определения рейтинга может быть следующим:

Если (МН1 = 5) и <*Н1 = 5) и (МК1 = 0) и <*К1 = 0) и (МН2 = 4) и (ФН2 = 4) и (МК2 = 1) и (ФК2 . 0) то (20 и 1) и (17 и 2)

Тогда Иванов занимает 1-е место с 20 баллами, а Петров - 2-е место с 17 баллами.

Заметим, что учет разностей оценок, а не их абсолютных значений, соответствует механизму работы биологических нейронов.

Разработана методика описания модели нейросети в нотации XML. Результаты сравнения предлагаемой нейросети с однородными нейросетями, двунаправленной ассоциативной памятью и On-line Analytical Processing (OLAP) на рисунке.

Um) V(m) T(m)

O.l-P(m)

1000

Предлагаемая нейросеть 100 на 10 нейронов по сравнению с другими нейросетями и OLAP: больше в L{m) раз связей, чем в однородной нейросети, больше в Vim ) раз емкость, чем в двунаправленной ассоциативной памяти, быстрее в Т(т) раз обучается, чем однородная нейросеть и быстрее в Р(т) раз работает, чем OLAP

т

В четвертой главе описаны примеры применения предлагаемой модели нейросети, а также методика построения рейтинга с учетом в совокупности смешанных критериев, результатов глубинного семантического анализа документов, опыта и предпочтений экспертов на базе предлагаемой модели нейросети.

Разрабатывается онтология области построения рейтинга персонала на промышленном предприятии и в высшем учебном заведении

Всего реализуется 28 известных методов оценивания и более 50 видов рейтинга с возможностью добавления новых, модификации их параметров и способов вывода на экран.

Разрабатываемая рейтинговая система для построения рейтинга студентов апробирована на материалах исследования, проведенного в 1999-2005 гг. в г. Челябинске. Объектом исследования выступили преподаватели и студенты ЮжноУральского государственного университета. Объем выборочной совокупности составил 539 студентов и 5 преподавателей.

Предлагаются отображающая, кусочно-постоянно и кусочно-линейно аппроксимирующая 1,5-слойные нейросети. Предлагаемый способ синтеза аппроксимирующих нейросетей отличается тем, что заранее известны параметры нейросети при использовании обычных нейронов и синапсов (входные сигналы и сигналы первого слоя не используются в качестве весов).

Выход нейросети для представления функций методом кусочно-постоянной аппроксимации у = ^^(с1 -с,_\)/(хгде с, - значение функции на интервале [и>,,н<,+1), с0 =0.

Модель нейросети для представления функций методом кусочно-линейной аппроксимации задается системой правил (4) и формулами расчета выходов 1,5-слойной нейросети (5):

"если(м'<¿х<и'(+,)то^'=а^х+6,п , / = 1 ,т, (4)

y-tt^ I

1=1 j= 0 i-O.

h /»S'j.

1№-'/Х</ - '/+2))+ /((*- ti+iXti+2 -0)]-

(5)

/=i j /-1 где м;, w(4., - координаты границ /-го участка; х - аргумент функции; t, - границы участков аппроксимации, f, = = н> - Д,, t2= t2l = w1+1 - А,, /3 = tJjk = -d]jk -Д2, U ~Ujk -¿2jk , dljk - координаты границ к-то участка при

переводе х в 2 с.с. на j'-й итерации, dijk = 2J + 2J*{ к, </2jJt = 2J+1 -\ + 2J+> к , Д,, Д2 - смещения (Д, = 0,1, Д2 = 0,2 ); д„Ь, - коэффициенты прямой / -го участка (вычисляются через w,, b0 = 0); и - количество разрядов х в 2 с.с.

Выход 1,5-слойной нейросети для определения значения /-го бита результата суммы m п -битовых слагаемых с, =-2""'"'_2'" _2"+'+'-/)+

+ /(2'-"+1-2"" +2'-"+' j-Е,)], частичная сумма ^Е^о2'""!^^1' признак

переполнения р - /(£„_,-1), / = 0,и-1. Полученная нейросетъ может быть использована для перевода чисел из 10 с.с. в 2 с.с. и отличается возможностью одновременной обработки нескольких слагаемых с выявлением переполнения.

Выход 2,5-слойной нейросети для определения значения / -го бита результата произведения m и-битовых чисел с, = ' [/(^-i ~

+ k^i _ 2-gM + j _ £2"-'-' > гае частичная сумма

/ \ / ч | и, п>т, --

[/Й + 1,Я<7И,

Выход 2,5-слойной нейросети для определения значения ? -го бита частного от деления х[|] на х[г] >> = + 7-£)//)■ Затем используются

слои для перевода из 10 с.с. в 2 с.с.

Многоместные булевы функции: конъюнкция с, = /(-1 + 2~т х^),

импликация с, = Е^/У"-*1-1 "Е^""'1) (х'[°1 = 1' се//(т/2) " шимень-шее целое, большее либо равное т/2), дизъюнкция с, = /(-1 + сУмма по

модулю /и с, = /(-1 + £ /(-1 + 2""' + Е,,,2~' *<Ы)> эквивалентность

стрелка Пирса: с, =/(-1>Я штрих Шеффера с, =/(l-2_,"+1произвольная булева функция

/(ЕГ. facr.-x,-*,]).

Предлагаемые модели нейросетей протестированы с помощью Vissim и Mathcad v.12, программная реализация выполнена с применением Mathcad v.12 и Mathcad Application Server, Visual FoxPro v.6, в связках Microsoft SQL Server 2000 и Visual Basic for Application (Microsoft Access 2003), Perl, Active Server Pages.

Разрабатывается система на базе предлагаемой методики построения рейтинга, состоящая из следующих модулей (возможности их применения определяются наименованиями): "Главная", "Регистрация", "Авторизация", "Пользователь", "Вакансия", "Резюме", "Доступ к резюме", "Организация", "Рекрутеры", "Портфолио", "Новости", "Рейтинг", "Калькулятор оценок", "Весы", "Эксперт", "Опросы", "Оплата", "Переписка", "Ресурсы", "Оценка", "Согласование мнений", "Корзина", "Тесты", "Карта", "Помощь", "Поиск", "Пользователи", "Баннеры", "Пополнение", "Статистика", "Кэш", "Защита", "Статическая страница", "Динамическая страница".

В приложении описываются известные методы обработки данных в условиях определенности, частичной и полной неопределенности, методы сортировки данных, которые были модифицированы для построения рейтинга с помощью нейросетей.

В нейросетевом базисе были представлены известные методы обработки данных в условиях определенности:

- метод комплексного критерия: дробный суперкритерий, аддитивный суперкритерий, метод близости к идеалу, метод гарантированного уровня, метод уступок, метод главной компоненты, метод последовательного достижения частных целей, правило стабильной оптимальности, случайное и неопределенное свертывание, мультипликативный суперкритерий, смешанный суперкритерий, линейно-квадратичный суперкритерий, аддитивный суперкритерий с учетом ограничений, логическое свертывание;

- корреляционно-регрессионный анализ;

- деревья решений;

- рейтинг по карте Кохонена;

- метод "спортивной игры";

- свертка на основе операции пересечения нечетких множеств: метод супероптимиста, метод пессимиста, отрицательные моменты не суммируются, метод пессимиста, отрицательные моменты суммируются;

- сравнение с эталоном на основе определения расстояния между нечеткими множествами: расстояние Хэмминга, евклидово или квадратичное расстояние, расстояние Камберра, расстояние Чебышева;

- сравнение с эталоном на основе определения меры сходства между нечеткими множествами: сходство по Заде, сходство по Лукасевичу, комбинированная мера сходства, сходство по площади, сходство по Дейку, сходство по Танимото;

- групповой рейтинг;

- рейтинг на базе бинарных отношений;

- рейтинг с использованием интервальных оценок,

и методы обработки данных в условиях неопределенности:

- рейтинг в условиях риска: критерий среднего ожидаемого выигрыша, правило Лапласа равновозможности, критерий максимального правдоподобия, критерий оптимиста, критерий пессимиста, критерий, соответствующий некоторому промежуточному положению между крайним пессимизмом и оптимизмом, критерий минимального сожаления, критерий среднего ожидаемого выигрыша и пессимиста;

- метод притязаний;

- использование нечеткого генетического программирования;

- рейтинг на основе прецедентов;

- рейтинг с оценкой последствий;

- рейтинг с использованием интервальных нечетких оценок;

- экспертные методы;

- методы свертки нечетких отношений: (шах-min)- и (max-prod)-cвертки;

- нечеткие выводы: алгоритм Mamdani, fuzzy relational model, алгоритм Tsukamoto, алгоритм Такаги-Сугено-Канга, алгоритм Sugeno, алгоритм Larsen, алгоритм Такаги-Сугено и методы дефуззификации (метод центра тяжести и метод выбора точного значения по максимальной степени принадлежности), а также учет оценок истинности и предпочтений;

- методы построения рейтинга на базе бинарных отношений: рейтинг с одним экспертом, рейтинг с группой экспертов, характеризуемых весовыми коэффициентами или нечетким отношением нестрогого предпочтения между ними;

- метод анализа иерархий.

В нейросетевом базисе были представлены известные методы сортировки:

- 3 метода сортировки подсчетом;

- 6 методов сортировки вставками;

- 5 методов обменной сортировки;

- сортировка посредством выбора, слиянием, распределяющая и битонная сортировка.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

Проведенные в диссертационной работе исследования образуют теоретическую и практическую основу для расширения ряда существующих алгоритмов обработки данных и позволяют сформулировать следующие выводы:

1. Анализ известных методов и их модификаций для построения рейтинга в условиях определенности и неопределенности (28 методов оценивания, 24 группы методов обработки данных) показал, что на данный момент не существует рейтинговых систем, достаточно интеллектуальных и быстрых для решения возлагаемых на них задач, и что в рамках подхода разработки интеллектуальных систем создаются системы, которые позволяют учитывать количественную и качественную информацию, смысл документа и цели его автора. Разработаны математические модели, программное обеспечение и предложены методики его применения, в частности семантический, экспертный и сортирующий блоки для трехуровневой модели для обработки информации на базе нейросети с особыми межнейронными связями, а на ее основе модель построения рейтинга, которая:

- содержит один слой с количеством нейронов, равным количеству правил, передает малые целочисленные значения, при этом обладает высокой точностью и возможностями (и + 1)-слойной семантической нейросети, 5-слойной нейросети для логического вывода и 5-слойной сортирующей нейросети;

- обладает высокой производительностью благодаря распараллеливанию операций, минимальному количеству слоев, использованию простой функции активации нейронов, счету по активной части сети и замене процесса обучения нейросети ее программированием (разработан соответствующий генетический алгоритм);

- обладает большим биоподобием благодаря применению особых синапсов;

- позволяет объяснить полученные результаты, емкость нейросети максимальна и выходной сигнал имеет произвольную величину;

- лежит в основе реализации новых алгоритмов интеллектуального построения рейтинга, отображения множеств и аппроксимации функций.

2. Предложены формулы расчета выходов нейросетей для операций сложения, умножения, деления и представления булевых функций и функций многих двоичных переменных, отображения, кусочно-постоянной и кусочно-линейной аппроксимации. Предлагаемые нейросети протестированы с помощью Vissim и Mathcad v.12, программная реализация выполнена с применением Mathcad v.12 и Mathcad Application Server, Visual FoxPro v.6, связках Microsoft SQL Server 2000 и Visual Basic for Application (Microsoft Access 2003), Perl, Active Server Pages.

3. Разработана методика построения рейтинга на базе предлагаемой модели, которая:

- позволяет обрабатывать качественные и количественные критерии;

- учитывает человеческий фактор благодаря возможности учета предпочтений и задания оценок достоверности данных, а также результаты глубинного семантического анализа документов;

- параллельно с вычислением итоговых баллов сортирует их.

А также создана и использована в нескольких проектах рейтинговая система, поддерживающая предлагаемую в работе методику. Все элементы методики продемонстрировали свою работоспособность.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Кафтанников И.Л., Сяськов С.В. Однослойная нейронная сеть для построения рейтинга // Системы управления, информационные и измерительные технологии, радиоэлектроника: Тем. сб. науч. тр. - Челябинск: Изд-во ЮУрГУ, 2005. -С.131-133.

2. Сяськов С.В. Возможность построения рейтинга в условиях неопределенности // Новые информационные технологии: Сб. трудов VI Всерос. науч.-техн. конф. (г. Москва, 23-24 апреля 2003 г.). В 2-х т. / Под общ. ред. А.П. Хныкина. -М.: Изд-во МГАПИ, 2003. - Т. 1. - С.80-84.

3. Сяськов С.В. Возможность построения рейтинга на базе нейро-нечеткой технологии в условиях неопределенности // Современные информационные технологии (Contemporary information technologies): Труды междунар. науч.-техн. конф. - Пенза: Изд-во ПТИ, 2003. - С.67-68.

4. Сяськов С.В. Возможность построения интеллектуальной рейтинговой системы // Современные информационные технологии (Contemporary information technologies): Труды междунар. науч.-техн. конф. - Пенза: Изд-во ПТИ, 2003. -С.68-69.

5. Сяськов С.В. Возможность построения рейтинга и соответствующей схемы на базе генетико-нечеткой технологии // Современные информационные технологии (Contemporary information technologies): Труды междунар. науч.-техн. конф. -Пенза: Изд-во ПТИ, 2003. - С.69-70.

6. Сяськов С.В. Модель сверхбыстрой сортировки на базе двухслойной нейронной сети для построения рейтинга // Современные информационные технологии (Contemporary information technologies): Труды междунар. науч.-техн. конф. -Пенза: Изд-во ПТИ, 2003. - С.70-71.

7. Сяськов С.В. Возможность построения рейтинга на базе нейро-генетической технологии // Современные информационные технологии (Contemporary information technologies): Труды междунар. науч.-техн. конф. - Пенза: Изд-во ПТИ, 2003. - С.72.

8. Сяськов С.В. Возможность построения рейтинга на базе neuro-fuz2y моделей // Модернизация системы профессионального образования на основе регули-

руемого эволюционирования: Материалы 2-й Всерос. науч.-практ. конф.: В 4 ч. / Южно-Уральск. гос. ун-т; Ин-т доп. проф. образ, пед. раб.; Отв. ред. Д.Ф. Ильясов. - Челябинск: Изд-во "Образование", 2003. - 4.2. - С.140-144.

9. Сяськов C.B. Возможность построения рейтинга и соответствующей комбинационной схемы на базе генетического алгоритма и нечеткой логики // Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях: Сб. трудов. Вып. 9 (по итогам IX Междунар. откр. науч. конф.) / Под ред. д.т.н., проф. ОЛ.Кравца. - Воронеж: Изд-во "Научная книга", 2004.-С.315.

10. Сяськов C.B. Возможность построения рейтинга на базе нейро-нечетких моделей в условиях неопределенности // Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях: Сб трудов. Вып. 9 (по итогам IX Междунар. откр. науч. конф.) / Под ред. д.т.н., проф О.Я.Кравца. - Воронеж: Изд-во "Научная книга", 2004. - С.316.

11. Сяськов C.B. Возможность построения рейтинга на базе гибридной модели в условиях неопределенности // Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях: Сб. трудов. Вып. 9 (по итогам IX Междунар. откр. науч. конф.) / Под ред. д.т.н., проф. О.Я.Кравца. - Воронеж: Изд-во "Научная книга", 2004. - С.317.

12. Сяськов C.B. Построение рейтинга на базе пeuro-fuzzy моделей в системе университетского образования // Проблемы обеспечения качества университетского образования: Материалы XXV Всерос. науч.-метод. конф. - Кемерово: Изд-во ЮНИТИ, 2004. - С.252-253.

13. Сяськов C.B. Построение рейтинга на базе neuro-fïizzy моделей в процессе повышения квалификации кадров // Интеграция методической (научно-методической) работы и системы повышения квалификации кадров: Материалы V Всерос. оч.-заоч. науч.-практ. конф.: В 4 ч. / Ин-т доп. проф. образ, пед. раб.; Отв. ред Д.Ф. Ильясов. - Челябинск: Изд-во "Образование", 2004. - 4.1. - С. 111-113.

14. Сяськов C.B. Рейтинговое оценивание с помощью нейронной сети // Качество образования: менеджмент, достижения, проблемы: Материалы VI Междунар науч.-метод. конф. / Под общ. ред. Н.В. Пустового. - Новосибирск: Изд-во НГТУ, 2005. - С.328-330.

15. Syaskov S.V. Possibility of using models on base different techniques for making the models of calculation of rating = Возможность использования моделей на базе различных технологий построения рейтинга // Современные информационные технологии (Contemporary information technologies): Труды междунар. науч.-техн. конф. - Пенза: Изд-во ПТИ, 2003. - С.73-74.

Сяськов Сергей Викторович

МОДЕЛЬ НЕЙРОСЕТИ С ОСОБЫМИ СВЯЗЯМИ И ЕЕ ПРИМЕНЕНИЕ ДЛЯ ПОСТРОЕНИЯ РЕЙТИНГА

Специальность 05.13.01 - "Системный анализ, управление и обработка информации (промышленность)"

Автореферат диссертации на соискание ученой степени кандидата технических наук

Издательство Южно-Уральского государственного университета

Подписано в печать 16.11.2005. Формат 60x84 1/16. Печать офсетная. Усл. печ. л. 1,16. Уч.-изд. л. 1. Тираж 100 экз. Заказ 387/399

УОП Издательства. 454080, г. Челябинск, пр.им. В.И. Ленина, 76.

í

» с,

(l

«

*

)

»I

V 1

№25 153

РНБ Русский фонд

2006-4 29250