автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка интеллектуальной информационной системы прогнозирования нестационарных временных рядов на основе нейросетевого логического базиса

На правах рукописи

КАРАЯНИДИ Яннис Геннадьевич

РАЗРАБОТКА ИНТЕЛЛЕКТУАЛЬНОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ НЕСТАЦИОНАРНЫХ ВРЕМЕННЫХ РЯДОВ НА ОСНОВЕ НЕЙРОСЕТЕВОГО ЛОГИЧЕСКОГО БАЗИСА

Специальность 05.13.01 «Системный анализ, управление и обработка информации (информационные и технические системы)»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Краснодар - 2006

Работа выполнена в Кубанском государственном технологическом

университете

Научный руководитель: кандидат технических наук, профессор

Частиков Аркадий Петрович Официальные оппоненты: доктор технических наук, профессор

Ведущая организация Кубанский государственный университет

Защита состоится "28" июня 2006 г. в 14:00 на заседании диссертационного совета Д 212.100.04 при Кубанском государственном технологическом университете по адресу 350072, г. Краснодар, ул. Московская, 2, конференц-зал.

С диссертацией можно ознакомиться в научной библиотеке Кубанского государственного технологического университета по адресу: 350072, г. Краснодар, ул. Московская, 2

Автореферат диссертации разослан "26" мая 2006 г.

Отзывы на автореферат, заверенные печатью учреждения, просим направлять по адресу: 350072, г. Краснодар, ул. Московская, 2, КубГТУ, ученому секретарю диссертационного совета Д 212.100.04, канд. техн. наук, доценту Власенко A.B.

Ученый секретарь

Косачев Вячеслав Степанович:

кандидат технических наук, доцент Бельченко Владимир Евгеньевич

диссертационного совета Д 212.100.04, канд.техн.наук, доцент

Власенко A.B.

/Ш&бА-

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы. Данная диссертационная работа посвящена разработке интеллектуальной информационной системы для прогнозирования временных рядов на основе нейросетевого логического базиса. Цель состоит в выявлении скрытых, нетривиальных и неформализованных закономерностей в наборах данных. Получение практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Это актуально в областях, где присутствуют большие информационные массивы неоднородных, меняющихся во времени данных высокой размерности. Только в последние несколько лет компьютерные технологии вышли на тот уровень, когда появилась реальная возможность говорить о разработке интеллектуальных информационных систем прогнозирования временных рядов, использующих в форме математического ядра нейросетевые алгоритмы. Рассматриваемая задача актуальна в различных областях, в частности, в представленной диссертационной работе приведены результаты решения задачи прогнозирования финансовой устойчивости промышленного предприятия. Характерной предметной областью, в которой необходимо решение задачи нахождения прогноза с учетом выявленных скрытых закономерностей в массивах данных, является финансовая политика промышленных предприятий. Прогнозирование финансовых временных рядов является актуальной научно-технической задачей, так как результаты деятельности предприятий и экономики напрямую зависят от решения подобной задачи. В целом рассматриваемая задача актуальна в областях, где требуется решение задачи прогнозирования на основе анализа данных за предшествующие моменты времени, с целью учета зависимости между

РОС. НАЦИОНАЛЬНАЯ БИБЛИОТЕКА С,-Петербург

ОЭ 200 <«к

значениями некоторого набора факторов и поведением исследуемого объекта или процесса, представленного временным рядом.

Цель работы. Целью настоящей диссертационной работы является разработка и апробация формализованной методики обучения и наотройки нейронной сети для предсказания будущего состояния нестационарного временного ряда, осуществление ее реализации на практике в виде интеллектуальной информационной системы, реализованной программным продуктом КеигоРго^ог (версии 1.0).

Задачи исследования:

- провести анализ существующих методов прогнозирования временных рядов;

- выявить класс задач, При которых нейронная сеть имеет преимущество перед традиционными методами;

- осуществить формальную постановку задачи прогнозирования, предполагающую нахождение одношагового прогноза, на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей;

- разработать методику для решения поставленной задачи;

- разработать интеллектуальную информационную систему, позволяющую реализовать нейросетевые алгоритмы, для создания нейросетевой модели;

- осуществить, на основе разработанной методики, программную реализацию интеллектуальной информационной системы для прогнозирования нестационарных временных рядов;

- провести апробацию разработанной методики на реальных данных. Провести ряд численных экспериментов с целью оценки эффективности, как различных этапов методики, так и методики в целом.

Методы исследования. Поставленные задачи решены с применением метода теории искусственных нейронных сетей, аппарата математической статистики, системного анализа, вычислительной математики, математического моделирования, искусственного интеллекта, нейроматематики, оптимизации и идентификации, финансового менеджмента.

Научная новизна. Теоретическая значимость выполненных в диссертационной работе исследований заключается в следующем:

1) осуществлена постановка задачи прогнозирования нестационарных временных рядов, на базе интеллектуальных систем;

2) предложена методика создания нейросетевых прогнозных моделей на базе интеллектуальных систем, не имеющая прямых аналогов;

3) разработанная методика краткосрочного прогнозирования основана на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачу прогнозирования на основе совместной обработки нескольких влияющих друг на друга временных рядов, не накладывая никаких ограничений на их характер;

4) в рамках методики предложены и разработаны:

- способы предварительной обработки данных для повышения экономичности нейросетевой модели;

- процедура определения параметров модели;

- определены параметры обучения (в том числе, разработана и исследована новая функция ошибки обучения);

- критерии оценки качества получаемой модели;

- алгоритм обучения с учетом специфики решаемой задачи

Правильная предварительная подготовка данных является ключевым

фактором успешного решения задачи [1], и в работе предложен новый

способ такой подготовки. Основная цель данного этапа — повышение информативности исходных данных. Для этого в рамках методики предложено ряд процедур:

— отказ от использования абсолютных значений временнбгх рядов и переход к относительным изменениям, взятым с лагом 1, что позволяет повысить чувствительность сети к ее входам;

— нормировка данных - линейная, либо на основе статистических характеристик ряда, позволяющая повысить информативность обучающих примеров;

— нелинейная нормировка с помощью функции активации нейронной сети, усиливающая эффект предыдущей нормировки

Новизна данного подхода заключается в изменяемом виде функции активации, что позволяет повысить эффективность нормировки путем лучшего приближения распределения данных к равномерному. Для возможности изменения вида функции активации в ее состав введен специальный коэффициент.

В работе предложен способ определения состава входных факторов, глубины ретроспективной выборки (то есть числа предыдущих значений, участвующих в нахождении прогноза) по каждому из них, а также иных параметров модели.

5) сформулирован принцип построения интеллектуальной информационной системы с нейросетевым блоком для прогнозирования нестационарных временных рядов;

6) разработана неформальная нейросетевая модель прогнозирования, на основе предложенной методики;

7) разработана структура интеллектуальной информационной системы с нейросетевым блоком для прогнозирования.

Практическая ценность. Прикладная ценность полученных результатов заключается в создании интеллектуальной информационной системы, основанной на разработанной методики применения аппарата нейронных сетей к решению задачи прогнозирования нестационарных временных рядов. Выработке рекомендаций по ее применению. Программная реализация интеллектуальной информационной системы в виде программного комплекса №игоРго{>по2 (версии 1.0).

Внедрение интеллектуальной информационной системы осуществляется путем адаптации (настройки параметров) применительно к конкретной предметной области. Она позволяет представить лицу, принимающему решение, доступную информацию из различных областей знаний в удобной форме, что способствует оперативности и обоснованности принимаемых решений.

Реализация научно-технических результатов работы. Результаты исследований внедрены в ниже перечисленных организациях: ООО «Элакс» (г. Новороссийск) - для прогнозирования финансовой устойчивости предприятия, «Союз программистов России» (г. Ростов-на-Дону) - для эффективного формирования и использования денежных ресурсов, проведения и оказания консалтинговых услуг, ООО «Уралтранспрод» (г. Екатеринбург) - для рационального управления собственными и заемными средствами, определения стратегии предприятия, управления денежными потоками.

Апробация результатов исследования. Результаты работы докладывались и обсуждались на: II Всероссийской научной конференции молодых ученых и студентов (г. Анапа, 2005 г.); VIII Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2002 г.); IX Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар,

2003 г.); X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2004 г.); XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2005 г.); XV Международной конференции-выставке «Информационные технологии в образовании (г. Москва, 2005 г.).

Публикации. По теме диссертации опубликовано 12 печатных работ. Из них: 8 статей, 4 тезиса докладов на вышеперечисленных конференциях.

Основные положения, выносимые на защиту.

- методика краткосрочного прогнозирования, основанная на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачи прогнозирования на основе совместной обработке нескольких, влияющих друг на друга, временных рядов, не накладывая никаких ограничений на их характер.

- способы предварительной обработки данных для повышения экономичности нейросетевой модели;

- процедура определения параметров модели;

- процедура определения параметров обучения (в том числе предложенная новая функция ошибки обучения);

- предложенные критерии оценки качества полученной модели;

- разработанный алгоритм обучения с учетом специфики решаемой задачи;

- предложенный способ определения состава входных факторов (глубины ретроспективной выборки);

- принципы построения и структура интеллектуальной информационной системы прогнозирования, реализованной с помощью разработанного программного комплекса КеигоРго§пог (версии 1.0).

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения и приложения.

Работа изложена на 148 страницах машинописного текста, содержит 47 рисунков, 23 таблицы. Список литературы включает 142 наименования отечественных и зарубежных авторов.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы исследования, определена научная проблема, поставлены цели и задачи исследования, дано математическое описание задачи прогнозирования, дан обзор содержания работы.

В первой главе выполнен углубленный анализ методов, использующихся для краткосрочного прогнозирования. Исследованы достоинства и недостатки традиционных методов. Показано, что, ввиду специфики задачи, применение методов математической статистики и технического анализа имеют ограничения. Выявлены специфические черты, присущие рассматриваемой задачи прогнозирования:

- рассматриваемые временные ряды являются нелинейными и нестационарными;

- вид нелинейности временного ряда априорно неизвестен и не описан аналитически;

- в результате решения задачи требуется нахождение не сглаженного значения краткосрочного прогноза.

Предложена формальная постановка задачи прогнозирования с использованием аппарата нейронных сетей. Математически это может

быть сформулировано следующим образом: требуется обучить нейронную сеть, формирующую выходной сигнал Y(t +1) на основе входного сигнала X, где У = g(x), который обеспечивал бы заданную точность прогноза. При этом входной сигнал содержит несколько факторов, представленных совокупностью своих значений, начиная с момента времени t = k до момента t:

Y = Xty^.vl,_t„. ,vl,,v2,_jt,...,v2,;v«,_l.....щ), (1)

где V:(i = 1...р) - факторы, значимо влияющие на изменение прогнозируемой величины; / - текущий момент времени; к - глубина ретроспективной выборки. В общем случае к различно для разных факторов.

Решение данной задачи предполагает проведение предварительной обработки данных, определение архитектуры и строения нейронной сети, вида функции ошибки, алгоритма и параметров ее обучения, а также, собственно обучения сети.

Проведен анализ применимости различных архитектур нейронных сетей к решению различных задач. Осуществлен выбор многоуровневого персептрона (Multi-Level Perceptron (MLP)). Исследована необходимость проведения предварительной нормировки данных, что является основной спецификой временных рядов. Описаны способы проведения нормировок, показана необходимость ее проведения для сети MLP.

Ввиду того, что существенным недостатком нейронной сети является отсутствие формализованной методики их настройки и обучения, большую актуальность и практическую значимость приобретает разработка и апробация подобной методики.

Во второй главе разработана, состоящая из четырех этапов, методика извлечения знаний и выявления скрытых закономерностей в

информационных массивах, применительно к решению задачи прогнозирования нестационарных временных рядов, основанная на нейронных сетях (рисунок 1).

1. Выбор состав* входных факторов ■ предварительная обработка

1.1 Определение на основе экспертной оценки избыточного набора факторов, значимо влияющих на объект прогноза 4 1.2 Импорт данных из балансового отчета 4 1.3 Стандартизация данных. Отказ от использовании абсолютных значений, изменение шкалы нормализации

2.1 Определение

глубины

исторической Н

выборки для

построения

прогноза

2. Определение параметров модели

2.2 Корректировка состава входных данных

3.1 Формирование

подмножеств

обучающих

примеров

(обучающие,

контрольные,

тестовые)

4.1 Получение выхода обученной сети на реальных данных

2.3 Определение структуры нейронной сети (число слоев нейрона)

2.4 Определение

шЛ параметров

обучения

ñ

3.2 Обучение

нейронной

сети

донной сети

3.3 Проверка на 3.4 Проверка на

контрольном тестовом

множестве (если множестве (если

точность птт. точность

I иедостигнута на ВВЦ недостигнута на

| этапе 2) этапе 2)

м

4. Получение прогноза

4.2 Преобразование выхода сети и получение абсолютного значения прогноза

4J Оценка необходимости переобучения нейронной села

Рисунок 1 - Этапы создания формализованной методики В рамках разработанной методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над данными линейных, а затем нелинейных преобразований с

изменяемым видом нелинейности. Линейные преобразования позволяют привести значения всех обрабатываемых временных рядов либо к единому диапазону (линейная нормировка), либо к единым статистическим характеристикам (нормировка с использованием статистических характеристик ряда). Нелинейная выполняется с использованием функции активации, осуществляется по формуле:

(2)

1 + е '

х, - элемент нормируемых данных после линейного преобразования;

х, - элемент данных после нелинейного преобразования;

/ — применяемая в составе нейронной сети функция активации (в данном примере - биполярная сигмоида, диапазон возможных значений

к — коэффициент введенный в состав функции /. Задает степень растяжения функции вдоль оси абсцисс

и позволяет привести данные к единому диапазону, совпадающему с областью определения функции активации. Кроме того, изменяемый, за счет введения специального коэффициента, вид функции активации позволяет повысить информативность данных путем их более равномерного распределения внутри диапазона.

Предложена процедура подбора оптимального состава входных факторов, обеспечивающая наибольшее увеличение предсказательной способности в совокупности с ранее добавленными факторами. При этом, предложен способ определения глубины ретроспективной выборки (т.е. числа одновременно анализируемых предыдущих значений ряда), основанный на анализе автокорреляционных функций рядов.

Предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего

изменения прогнозируемой величины. Разработанная функция ошибки у в общем случае (для j -го нейрона выходного слоя) имеет вид:

где c,d,h - константы; tj - желаемый выход нейрона j; у j - реальный выход нейрона j; sign j •(yj -tj)>0, если знаки и t, не совпадают и <0, если совпадают.

Рисунок 2 - Функция ошибки с=2,5; Ь=0,2; с!=0,5545

Разработана функция суммарной ошибки обучения, предложен, основанный на этой функции, критерий останова обучения. В качестве критерия останова предлагается применить пороговое значение разработанной функции суммарной ошибки:

2д<е, (4)

где Е, - суммарная ошибка ¿-го примера;

2 - порог

Суммарная ошибка ¡-го примера в общем случае складывается из ошибок каждого нейрона выходного слоя (при единственном выходном

нейроне берется его ошибка), деленных на константу С, входящую в

выражение для функции ошибки нейрона у:

(5)

Предложен модифицированный алгоритм обучения нейронной сети, использующий в работе разработанную функцию ошибки. Алгоритм основан на базовых принципах метода обучения с обратным распространением ошибки. На основании результатов выполненных <

преобразований было выведено дельта-правило, по которому осуществляется модификация коэффициентов и смещений в процессе *

обучения нейронной сети.

При разработке алгоритма выполнены следующие преобразования.

1. Ошибка предпоследнего слоя может быть выражена через ошибку последующего (выходного) слоя у с помощью формулы:

rl=ZJS^gnil-r)■rJ■F'^Sl)■a||

(6)

2. Производные ошибки по весовым коэффициентам и порогам нейронов для выходного слоя у и предшествующего 1 определяется

следующим образом:

~ = sign.il

(7)

дБ

(Ю

3. Производные ошибки по весовым коэффициентам и порогам нейронов для любых двух слоев (исключая выходной) / и к определяется:

дБ ду, дБ. ч

дти дБ, 8а)ь

дти дБ, деаи

(9)

дЕ ду, 35, „,/„ %

аГ"

Задание шага обучения <% (0 (1) Значение порога ошибки О Случайная инициализация весов

Подача на вход сети очередного обучающего примера и прямой ход

Вычисление ошибки (расположение слоев ¿>1>к) Выходной слой: У ) = ^ + е~~ ^ > где % ■ signj{¡gl -/у)

Последний скрытый слой: = 2 ' ^ ~ ^'У) '

J

Прочие скрытые слои: У к ~ ^ У > ' ^

Корректировка весовых коэффициентов (расположение слоев ]>>к) Последний скрытый слой: <о"°В =Щ}-а- - у ¡) • у} • • у,

Прочие скрытые слон: о>цОВ = <ои -а^у, • )' У к

Корректировка значений смещений (расположение слоев ¿>1) Выходной слой: Ь"Ш =Ь) +0С' ~ Гу ) ' Г ^ ' )

Прочие слои: Ь?0В =Ь,+а--у,- F'(S,), где НОВ - вновь созданный алгоритм

Все примеры обработаны и суммарная ошибка сети меньше

nnnoroitntt?

КОНЕЦ

Рисунок 3 - Блок-схема модифицированного алгоритма обучения нейронной сети MLP

На основе анализа нейросетевого программного обеспечения, позволяющего реализовать нейросетевые алгоритмы для создания нейросетевой модели, выбрана среда визуального моделирования MATLAB, содержащая пакет расширения Neural Network Toolbox, включающий библиотеку функций для создания и обучения нейросетей.

В третьей главе рассмотрены вопросы создания интеллектуальной информационной системы на базе нейросетевой прогнозной модели нестационарных временных рядов. Описана структура интеллектуальной информационной системы с нейросетевым блоком (рисунок 4).

Рисунок 4 - Информационная система с нейросетевым блоком

"ЫеигоРго£пог (версии 1.0)"

Разработанная в 3 главе диссертационной работы методика настройки и обучения нейронной сети, включающая модифицированный алгоритм обучения нейронной сети, использующий в своей работе предложенную функцию ошибки, доведен до программной реализации в виде интеллектуальной информационной системы, которая предназначена

для формирования нейросетевой прогнозной модели. Разработанный программный комплекс "КеигоРгс^пог (версии 1.0)", предназначенный для прогнозирования нестационарных временных рядов на основе аппарата нейронных сетей, включает:

- разработку и настройку нейронной сети, способной представить прогноз заданной точности на основе факторов, влияющих на прогнозируемую величину;

- предоставление пользователю нейронной сети программных средств, для получения прогноза на основе его данных

Логическая структура программного комплекса "ЫеигоРк^пог (версии 1.0)" имеет три функциональных блока.

1. Блок проектирования:

2. Пространство данных;

3. Блок составления прогноза

Компонентами программного комплекса являются:

- компонент подготовки данных;

- компонент проектирования сети;

- компонент составления прогноза

"ЫеигоРго{»по2 (версии 1.0)" имеет в своем составе 18 модулей. Разработанная интеллектуальная информационная система позволяет проводить прогнозирование различных показателей с целью обоснования комплекса мер по нейтрализации кризисных ситуаций, например, в экономической сфере, полученные сведения могут быть использованы для принятия решений (прогнозирование финансовой устойчивости):

- о свободном маневрировании денежными средствами, эффективном их использованием в процессе текущей деятельности;

- избежать риска банкротства;

- сохранить постоянное превышение доходов над расходами;

- рационально управлять собственными и заемными средствами, избегая неплатежеспособности;

- определить степень инвестиционной привлекательности предприятия

Разработанный программный комплекс "КеигоРго§пог (версии 1.0)" может быть применен в любых областях для прогнозирования величин, представленных нестационарными временными рядами, то есть разработанный программный комплекс не привязан к определенной предметной области.

Информация о

состоянии объекта

Источники информации

Час соц л ьбаоыи ы>0

Рисунок 5 — Структура интеллектуальной информационной системы с нейросетевым блоком "МеигоРп^пог (версии 1.0)"

В четвертой главе нейросетевая прогнозная модель, созданная на основе разработанной методики настройки и обучения нейронной сети, использующая в своей работе нестационарную функцию ошибки, доведенная до программной реализации в виде интеллектуальной информационной системы "NeuroPrognoz (версии 1.0)", апробирована при прогнозировании финансовой устойчивости промышленного предприятия «Новоросцемент». На ее основе представлена графическая интерпретация результатов работы.

Был проведен ряд численных экспериментов с целью оценки эффективности, как различных этапов разработанной методики, так и методики в целом.

Первый эксперимент. Проверялась обоснованность предложенной в рамках методики процедуры перехода от анализа абсолютных значений элементов временных рядов к анализу относительных изменений, взятым с лагом 1. В ходе эксперимента, для каждого случая было обучено по 20 сетей. При применении абсолютных значений, нейронную сеть не удалось обучить ни разу (в результате своей работы все варианты сетей выдавали const независимо от подаваемых входных данных). Таким образом, на рассматриваемых данных использование абсолютных значений финансовой устойчивости неприемлемо. При использовании относительных изменений все варианты сетей обучались. Формальное сравнение среднеквадратичной ошибки полученных для различных вариантов показывает, что использование относительных изменений даже без нормировки позволяет в 6-12 раз уменьшить ошибку предсказания. Данные по трем лучшим сетям каждого случая сведены в таблицу.

Таблица 1

Пр*детавл*ни* данных Строение е*ти MLP (число нейронов на уровнях) Ошибка (CKO) обучающего множества Ошибке (CKO) контрольного множества Ошибка (СКО) тестового множеств*

Абсолютны* значения 9-20-1 2.932 3.763 2.191

Абсолютны* значения 10-13-1 3.87в 4.68 Б 3.326

Абсолютны* значения 9-9-1 6.261 6.363 6.664

Относительные значения 10-13-1 0.602 1.442 1.066

Относительны* значения 10-1-1 0.711 0.893 0.991

Относительны* значения 4-20-1 0.631 0.990 1.0012

Во втором эксперименте была обоснована эффективность предложенной процедуры выбора глубины ретроспективной выборки на основе анализа графиков автокорреляционных функций. Было исследовано 50 нейронных сетей. Наименьшую ошибку имеют 10 нейросетей, имеющие глубину ретроспективной выборки определенные в соответствии с методикой. Третьим экспериментом была подтверждена эффективность предложенного в рамках методики способа нелинейной нормировки данных с изменяемым видом нелинейности. Визуально оценить качество нормировки можно на основе анализа гистограмм распределения данных (диапазон [-1;1]), - чем ближе распределение к равномерному, тем более информативны обучающие данные и, следовательно, выше качество нормировки.

ül i..i|lj

г4

Линейная нормировка

Нормировка на основе статистических характеристик ряда

Нелинейная нормировка с изменяемым видом нелинейности (к—2)

Рисунок 6 - Результаты нормировки различными способами

Сравнение четырех различных способов нормировки показало, что предложенный способ является лучшим и позволяет снизить ошибку обучения сети в 3-4 раза относительно данных, нормировка которых не проводилась. Четвертым и пятым экспериментами подтверждена эффективность методики в целом. В ходе эксперимента, имитирующего реальную работу нейросетевой модели в наименее благоприятных условиях функционирования предприятия, была достигнута точность 73-75 %, что является практически значимым результатом.

В заключении перечислены научные и практические результаты, полученные автором в ходе исследования.

В приложении представлены: листинг программного комплекса "ИеигоРгодпог (версии 1.0)", общие рекомендации по настройке нейросетевой прогнозной модели, руководство пользователя программного продукта "ИеигоРгодпог (версии 1.0)", генерирование программным комплексом "ЫеигоРго^ог (версии 1.0)" модифицированного алгоритма обучения с нестандартной функцией ошибки, акты внедрения интеллектуальной информационной системы.

Выводы и рекомендации. В диссертационной работе предложена, сформулирована, математически обоснована, успешно апробирована на практике и внедрена в производство в виде интеллектуальной информационной системы методика моделирования нейросетевой прогнозной модели нестационарных временных рядов. Основные теоретические и практические результаты работы заключаются в следующем.

1. Проведен анализ существующих методов прогнозирования временных рядов. На основе анализа достоинств и недостатков каждого метода, оценена область его применения при решении задач прогнозирования. В результате проведенной работы сделан вывод о

предпочтительности применения нейронных сетей для некоторого класса задач.

2. Выявлен класс задач, при решении которых нейронная сеть имеет преимущество перед традиционными статистическими методами. Данные задачи характеризуются следующими свойствами:

- нестационарность и нелинейность прогнозируемого процесса;

- необходимость нахождения несглаженных прогнозов;

- необходимость совместного использования для нахождения прогноза нескольких временных рядов, содержащих значения факторов, влияющих на объект прогноза;

- затруднена формализация зависимостей между входными факторами и значениями прогнозируемой величины

3. Предложена формальная постановка задачи прогнозирования, предполагающая нахождение одношагового прогноза на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработана, состоящая из 4-х этапов, методика решения поставленной задачи. В рамках методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними линейных, а затем нелинейных преобразований с изменяемым видом нелинейности, предложена процедура субоптимального состава входных факторов, а также способ определения глубины ретроспективной выборки на основе средств корреляционного анализа.

5. В рамках методики предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего изменения прогнозируемой величины, а также реализующий ее модифицированный алгоритм обучения сети. Разработана

функция суммарной ошибки обучения, предложен, основанный на данной функции, критерий останова обучения.

6. Разработана интеллектуальная информационная система, позволяющая реализовать нейросетевые алгоритмы, для создания нейросетевой модели, на основе разработанной методики. Разработан программный комплекс <^еигоРго§пог (версии 1.0)» включающий программные средства моделирования работы нейронной сети и ее обучения по новому алгоритму.

7. Произведена апробация методики на примере прогнозирования финансовой устойчивости промышленных предприятий. В ходе экспериментов подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Караяниди Я.Г. Интеллектуальные системы подготовки информации [Текст] // Труды II Всероссийской научной конференции молодых ученых и студентов, т. 2. Анапа, 1-5 октября, 2005

2. Караяниди Я.Г. Разработка методики исследования алгоритма обобщения в интеллектуальных системах [Текст] // Труды II Всероссийской научной конференции молодых ученых и студентов, т. 2. Анапа, 1-5 октября, 2005

3. Караяниди Я.Г. Формальная постановка задачи и сравнительный анализ методов прогнозирования [Текст] // Труды КубГТУ. Том XXV. Серия: Информатика и управление. Выпуск 3. Краснодар, 2005

4. Караяниди Я.Г. Информационные системы управления образованием [Текст] // Материалы XI Всероссийской научно-практической конференции

«Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. - 254 с.

5. Караяниди Я.Г. Теоретические основы управления качеством информационных систем [Текст] // Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. - 254 с.

6. Караяниди Я.Г. Отличительные особенности информационного комплекса [Текст] // Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. - 254 с.

7. Караяниди Я.Г. Возможности использования пакета MATLAB [Текст] // Материалы X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 23-26 сентября 2004, Краснодар. - 233 с.

8. Караяниди Я.Г. Применение нейронных сетей для прогнозирования экономических показателей [Текст] / Частиков А.П. // Материалы X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 23-26 сентября 2004, Краснодар. - 233 с.

9. Караяниди Я.Г. Настройка коэффициентов нейронной сети с использованием функционала целевой ошибки [Текст] / Частиков А.П. II Научная мысль Кавказа. Научный и общественно-теоретический журнал. Изд-во Северо-Кавказский научный центр высшей школы. Приложение. №15 (83) 2005, Ростов-на-Дону. - 232 с.

10. Караяниди Я.Г. Значение информационных технологий управления для современных российских предприятий [Текст] / Аблязов К.А. II Материалы VIII Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 19-21 сентября 2002, Краснодар. - 212 с.

11. Караяниди Я.Г. Интеллектуальные системы управления образованием [Текст] / Частиков А.П. // XV Международная конференция-выставка «Информационные технологии в образовании». Сборник трудов. Ч. IV. 610 ноября 2005, Москва. - 915 с.

12. Караяниди Я.Г. Модели и алгоритмы на основе сетей Хопфилда [Текст] / Частиков А.П. // Труды КубГТУ. Том XXV. Серия: Информатика и управление. Выпуск 3. Краснодар, 2005.

Сдано в печать 17.05.06 г. Печать трафаретная. Формат 60 X 84/16. Бумага офсетная. Усл. п. ч. 1,40. Заказ № 339. Тираж 100x24.

ОАО «Новороссийское пол играфобъединение». 353900, г. Новороссийск, ул. Свободы, 16.

i3

/

г

«У

f !

f 1 3 9 16

ВВЕДЕНИЕ.

1 АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ

РЕШЕНИЯ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ.

1.1 Статистические методы и технический анализ.

1.2 Нейронные сети.

1.3 Постановка задачи прогнозирования и сравнительный анализ методов ее решения.

1.4 Предварительная подготовка данных.

1.5 Выводы.

2 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ

ФОРМАЛИЗОВАННОЙ МЕТОДИКИ НАСТРОЙКИ И ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ ПРОГНОЗИРОВАНИЯ НЕСТАЦИОНАРНЫХ ВРЕМЕННЫХ

РЯДОВ.

2.1 Описание разработанной методики построения нейросетевой прогнозной модели.

2.1.1 Этапы создания формализованной методики.

2.1.2 Разработка метода нормировки данных.

2.1.3 Определение глубины ретроспективной выборки для обучающего примера.

2.1.4 Корректировка состава входных факторов.

2.1.5 Определение структуры нейронной сети.

2.1.6 Определение параметров обучения.

2.1.7 Формирование подмножества обучающих примеров.

2.1.8 Критерии оценки эффективности и ограничения разработанной методики.

2.2 Новая функция ошибки и модифицированный алгоритм обучения.

2.2.1 Функция ошибки нейрона.

2.2.2 Функция суммарной ошибки и критерий останова.

2.2.3 Модифицированный алгоритм обучения.

2.3 Анализ современных программных продуктов для создания нейросетевой модели.

2.4 Выводы.

3 РАЗРАБОТКА ИНТЕЛЕКТУАЛЬНОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ НА ОСНОВЕ

НЕЙРОСЕТЕВОЙ ПРОГНОЗНОЙ МОДЕЛИ NeuroPrognoz-1.

3.1 Информационные системы и их применение в задачах прогнозирования.

3.2 Структура информационной системы реализующей нейросетевую прогнозную модель NeuroPrognoz-1.

3.3 Функционирование информационной системы прогнозирования в рядах динамики.

3.4 Выводы.

4 ЭКПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ

МЕТОДИКИ ПОСТРОЕНИЯ НЕЙРОСЕТЕВОЙ ПРОГНОЗНОЙ МОДЕЛИ NeuroPrognoz-1.

4.1 Описание решаемой задачи прогнозирования.

4.2 Описание ряда проведенных экспериментов и их результаты.

4.3 Графическая иллюстрация динамики временных рядов факторов, значимо влияющих на прогнозируемую величину.

4.4 Выводы.

Данная диссертационная работа посвящена разработке интеллектуальной системы для прогнозирования временных рядов на основе нейросетевого логического базиса.

Цель состоит в выявлении скрытых, нетривиальных и неформализованных закономерностей в наборах данных. Получение практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Подобные задачи актуальны в областях, где присутствуют большие информационные массивы неоднородных, меняющихся во времени данных высокой размерности [6, 28, 63, 110, 133].

Существует пять типов закономерностей [138]: ассоциация, последовательность, прогнозирование, классификация, кластеризация. Ввиду широты проблематики, связанной с извлечением знаний из массивов данных, область исследований была сужена, и в диссертационной работе рассматриваются задачи прогнозирования.

Важной особенностью является то, что прогноз основывается не только на предшествующих значениях прогнозируемой величины, но также учитывает влияние различных дополнительных факторов, тоже представленных временными рядами. Таким образом, в данном случае прогнозирование осуществляется на основе совместной обработки нескольких временных рядов.

При этом задача имеет следующие особенности [5, 127, 130]:

- на прогнозируемую величину влияют несколько различных факторов (также являющиеся временными рядами). Нахождение и аналитическое описание данных зависимостей затруднено;

- рассматриваемые временные ряды являются нелинейными и нестационарными;

- вид нелинейности временного ряда априорно не известен и не описан аналитически;

- в результате решения задачи требуется нахождение не сглаженного краткосрочного прогноза

Математически рассматриваемая задача может быть описана следующим образом:

Пусть имеется объект прогноза У, представленный временным рядом своих значений в предшествующие моменты времени У,к, У,4+1,., У,, где t -текущий момент времени, k - глубина ретроспективной выборки. На поведение У влияет совокупность факторов (характеристик): Vv.,Vn, где п -количество факторов. Каждая i- я характеристика (/ = 1.л) также представлена совокупностью своих предыдущих значений F/'],F/!]+l,.,F,(<). Исходя из физического смысла задачи У принадлежит V, так как предыдущие значения У влияют на его будущее значение и, следовательно, должны входить в К. В общем случае, глубина ретроспективной выборки для различных F(,) может быть различной.

Требуется найти значение Y в будущий момент времени на основе известных предыдущих значений V. В зависимости от физического смысла задачи, можно одновременно прогнозировать несколько величин, т.е. значение Y в каждый момент времени может быть вектором.

Традиционно для решения подобных задач используются методы математической статистики, изложенные в работах [110, 117, 124]. Однако, описанные выше особенности ограничивают возможности применения статистических методов. Так, применение различных процедур сглаживания не отвечает поставленной задаче, так как при прогнозировании нас интересует не сглаженное значение, а именно отклонение от него в будущий момент времени. Кроме того, прогнозируемый временной ряд характерен тем, что он не является стационарным и не преобразуется к стационарному. Поэтому методы, разработанные для стационарных рядов, использованы быть не могут. Применение линейных регрессионных моделей ограничено ввиду явной нелинейности процесса, а нелинейных - из-за необходимости задания характера нелинейности.

Средства технического анализа является распространенным способом прогнозирования временных рядов. Основным их достоинством является простота использования и наглядность. Современный технический анализ включает в себя большое количество прикладных методов. Всего в настоящее время насчитывается более 160 различных индикаторов и методов [41]. Положительные черты технического анализа заключаются в свойственных ему гибкости и адаптационных способностях. Также сильной стороной технического анализа является возможность его применения на любом отрезке времени. В целом средства технического анализа позволяют получать неплохие результаты, однако его большими минусами были и остаются субъективизм экспертов (особенно в графическом анализе), обилие ложных сигналов, противоречивость различных индикаторов. Другим принципиальным недостатком является то, что технический анализ основывается на прогнозируемом ряде, не используя в явной форме информацию по другим факторам, влияющим на прогнозируемую величину. Таким образом, возможности аппарата технического анализа заведомо сужены по сравнению с методами, использующими для прогноза несколько различных факторов (например, нейронными сетями, применение которых обсуждается в данной работе).

По сравнению со средствами математической статистики и технического анализа, традиционно использовавшихся для прогнозирования, нейронные сети имеют ряд преимуществ [81, 82, 83,91, 92, 93].

Применение нейронных сетей не накладывает никаких ограничений на характер исследуемого ряда, поэтому нестационарность рассматриваемых процессов не представляет проблемы. Наиболее ценным свойством нейронных сетей является их способность успешно решать задачи, в которых затруднено или невозможно нахождение аналитических зависимостей между входными и выходными данными. Нейронные сети способны находить оптимальные для данной задачи индикаторы и строить по ним оптимальную для данного ряда стратегию предсказания. Кроме того, эта стратегия может быть адаптивна, меняясь вместе с ситуацией.

Для многослойных нейронных сетей строго математически доказано, что они могут представлять любую вещественную непрерывную функцию любого вещественного непрерывного векторного аргумента [38, 132]. То есть, многослойные сети могут быть использованы для решения любой задачи, которая может быть сведена к построению функций, в том числе и для прогнозирования.

Все вышеперечисленные факторы определяют возможность эффективного использования аппарата нейронных сетей в рассматриваемом классе задач.

Основным недостатком нейронных сетей является отсутствие формализованных алгоритмов настройки сети, а, как следствие, необходимость привлечения высококлассных специалистов, ввиду высокой сложности такой настройки, отсутствие гарантий успешного решения поставленной задачи. Кроме того, проведенный анализ показал, что существующие программные средства не имеют конкретной проблемной ориентации и не адаптивны к решению рассматриваемого класса задач [3, 50, 54,136].

Для выбора типа используемой в диссертационной работе нейронной сети выполнен анализ применимости конкретных видов нейронных сетей к решению различных классов задач. Результатом данного анализа явилось определение архитектур нейронных сетей, которые могут быть применены для решения задачи прогнозирования: это сети радиального базиса (RBF-сети) и сети типа «многослойный персептрон» (MLP), и их сравнение. Сеть MLP характеризуется более высокой сложностью обучения. В тоже время, существует некоторая неэффективность сети RBF, которая связана с тем, что при работе сети в каждом конкретном случае используется лишь часть нейронов. Следствием этого является экспоненциальный рост размерности сети RBF при увеличении размерности входных данных [1]. При решении одной и той же задачи, в большинстве случаев размер сети RBF будет превышать размер MLP. Кроме того, сеть RBF не обладает способностью к экстраполяции данных при увеличении ширины диапазона значений входных данных [6]. С учетом вышеизложенного, в данной диссертационной работе для построения моделей использовалась сеть типа «многослойный персептрон».

В рамках данной работы была описана интеллектуальная информационная система, разработана ее программная реализация, в виде программного комплекса NeuroPrognoz (версия 1.0), для решения задачи прогнозирования на основе нейросетевой прогнозной модели, по разработанной методике.

NeuroPrognoz (версия 1.0) - комплекс прогнозирования нестационарных временных рядов на основе аппарата нейронных сетей. Он написан на М-языке высокоуровневой системы программирования MATLAB и предназначен для решения задач краткосрочного (одношагового) прогнозирования (предсказание величины в следующий момент времени).

Логическая структура программного комплекса NeuroPrognoz (версия 1.0) имеет три функциональных блока:

- блок проектирования;

- пространство данных;

- блок составления прогноза

Компонентами программного комплекса являются:

1. Компонент подготовки данных, имеющий три модуля: а) startf.m; б) inputfirst.m; в) makeOtn.m;

2. Компонент проектирования сети, имеющий модули: а) startm.m; б) first.m; в) inputfirst.m; г) inputdatd.m; д) netptj.m; е) learn.m; ж) testing, m; з) normLm; и) normS.m; к) normN.m; л) trainm.m; м) gbpm.m; н) gsimm.m; о) mef.m; n) dmef.m;

3. Компонент составления прогноза, состоящий из следующих модулей: а) progn.m; б) normL.m; в) normS.m; г) normN.m

Листинг программного комплекса NeuroPrognoz (версия 1.0) представлен в Приложении А. В Приложении Г показан фрагмент генерирования программным комплексом NeuroPrognoz (версия 1.0) модифицированного алгоритма обучения сети с нестандартной функцией ошибки, разработанного в рамках методики и реализующего обучение и работу нейронной сети с учетом предложенной в данной работе новизны.

В ходе экспериментальных исследований была рассмотрена задача, предметной областью для которой являлась финансовая сфера, а именно прогнозирование финансовой устойчивости промышленных предприятий.

АКТУАЛЬНОСТЬ РАБОТЫ

Только в последние несколько лет компьютерные технологии вышли на тот уровень, когда появилась реальная возможность говорить о разработке интеллектуальных информационных систем прогнозирования временных рядов, использующих в форме математического ядра нейросетевые алгоритмы.

Рассматриваемая задача актуальна в различных областях, в частности, в представленной диссертационной работе приведены результаты решения задачи прогнозирования финансовой устойчивости промышленного предприятия. Характерной предметной областью, в которой необходимо решение задачи нахождения прогноза с учетом выявленных скрытых закономерностей в массивах данных, является финансовая политика промышленных предприятий. Прогнозирование финансовых временных рядов рассматривается в [52, 128, 136] и является актуальной научно-технической задачей, так как результаты деятельности предприятий и экономики напрямую зависят от решения подобной задачи.

В целом рассматриваемая задача актуальна в областях, где требуется решение задачи прогнозирования на основе анализа данных за предшествующие моменты времени, с целью учета зависимости между значениями некоторого набора факторов и поведением исследуемого объекта или процесса, представленного временным рядом.

ЦЕЛЬ РАБОТЫ

Целью настоящей диссертационной работы является разработка и апробация формализованной методики обучения и настройки нейронной сети для предсказания будущего состояния нестационарного временного ряда, осуществление ее реализации на практике в виде интеллектуальной информационной системы, реализованной программным продуктом NeuroPrognoz (версии 1.0).

ЗАДАЧИ ИССЛЕДОВАНИЯ

1. Провести анализ существующих методов прогнозирования временных рядов.

2. Выявить класс задач, при которых нейронная сеть имеет преимущество перед традиционными методами.

3. Осуществить формальную постановку задачи прогнозирования, предполагающую нахождение одношагового прогноза, на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработать методику для решения поставленной задачи.

5. Разработать интеллектуальную информационную систему, позволяющую реализовать нейросетевые алгоритмы, для создания нейросетевой модели.

6. Осуществить, на основе разработанной методики, программную реализацию интеллектуальной информационной системы для прогнозирования нестационарных временных рядов.

7. Провести апробацию разработанной методики на реальных данных. Провести ряд численных экспериментов с целью оценки эффективности, как различных этапов методики, так и методики в целом.

МЕТОДЫ ИССЛЕДОВАНИЯ

Поставленные задачи решены с применением метода теории искусственных нейронных сетей, аппарата математической статистики, системного анализа, вычислительной математики, математического моделирования, искусственного интеллекта, нейроматематики, оптимизации и идентификации, финансового менеджмента.

НАУЧНАЯ НОВИЗНА

Теоретическая значимость выполненных в диссертационной работе исследований заключается в следующем:

1) осуществлена постановка задачи прогнозирования нестационарных временных рядов, на базе интеллектуальных систем;

2) предложена методика создания нейросетевых прогнозных моделей на базе интеллектуальных систем, не имеющая прямых аналогов;

3) разработанная методика краткосрочного прогнозирования основана на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачу прогнозирования на основе совместной обработки нескольких влияющих друг на друга временных рядов, не накладывая никаких ограничений на их характер;

4) в рамках методики предложены и разработаны:

- способы предварительной обработки данных для повышения экономичности нейросетевой модели;

- процедура определения параметров модели;

- определены параметры обучения (в том числе, разработана и исследована новая функция ошибки обучения);

- критерии оценки качества получаемой модели;

- алгоритм обучения с учетом специфики решаемой задачи

Правильная предварительная подготовка данных является ключевым фактором успешного решения задачи [1], и в работе предложен новый способ такой подготовки. Основная цель данного этапа - повышение информативности исходных данных. Для этого в рамках методики предложено ряд процедур:

- отказ от использования абсолютных значений временных рядов и переход к относительным изменениям, взятым с лагом I, что позволяет повысить чувствительность сети к ее входам;

- нормировка данных - линейная, либо на основе статистических характеристик ряда, позволяющая повысить информативность обучающих примеров;

- нелинейная нормировка с помощью функции активации нейронной сети, усиливающая эффект предыдущей нормировки

Новизна данного подхода заключается в изменяемом виде функции активации, что позволяет повысить эффективность нормировки путем лучшего приближения распределения данных к равномерному. Для возможности изменения вида функции активации в ее состав введен специальный коэффициент.

В работе предложен способ определения состава входных факторов, глубины ретроспективной выборки (то есть числа предыдущих значений, участвующих в нахождении прогноза) по каждому из них, а также иных параметров модели.

5) сформулирован принцип построения интеллектуальной информационной системы с нейросетевым блоком для прогнозирования нестационарных временных рядов;

6) разработана неформальная нейросетевая модель прогнозирования, на основе предложенной методики;

7) разработана структура интеллектуальной информационной системы с нейросетевым блоком для прогнозирования

ПРАКТИЧЕСКАЯ ЦЕННОСТЬ

Прикладная ценность полученных результатов заключается в создании интеллектуальной информационной системы, основанной на разработанной методики применения аппарата нейронных сетей к решению задачи прогнозирования нестационарных временных рядов. Выработке рекомендаций по ее применению. Программная реализация интеллектуальной информационной системы в виде программного комплекса NeuroPrognoz (версии 1.0).

Внедрение интеллектуальной информационной системы осуществляется путем адаптации (настройки параметров) применительно к конкретной предметной области. Она позволяет представить лицу, принимающему решение, доступную информацию из различных областей знаний в удобной форме, что способствует оперативности и обоснованности принимаемых решений.

РЕАЛИЗАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ

В настоящее время разработанная методика создания нейросетевой модели прогнозирования нестационарных временных рядов реализована в виде программного комплекса NeuroPrognoz (версии 1.0) (см. Приложение А), созданного на основе нейросетевого пакета прикладных программ Neural Network Toolbox в среде высокого уровня программирования MATLAB. Команды с большим объемом вычислений написаны на языке С, многие представлены в терминах С-программ. Результаты исследований внедрены в ниже перечисленных организациях:

1. Общество с ограниченной ответственностью «Элакс» (г. Новороссийск) - для прогнозирования финансовой устойчивости предприятия.

2. «Союз программистов России» (г. Ростов-на-Дону) - для эффективного формирования и использования денежных ресурсов, проведения и оказания консалтинговых услуг.

3. Общество с ограниченной ответственностью «Уралтранспрод» (г. Екатеринбург) - для рационального управления собственными и заемными средствами, определения стратегии предприятия, управления денежными потоками.

Акты, подтверждающие внедрение результатов диссертационной работы, приведены в Приложении Д.

АПРОБАЦИЯ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ

Результаты работы докладывались и обсуждались на: - И Всероссийской научной конференции молодых ученых и студентов (г. Анапа, 2005 г.);

- VIII Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2002 г.);

- IX Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2003 г.);

- X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2004 г.);

- XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2005 г.);

- XV Международной конференции-выставке «Информационные технологии в образовании (г. Москва, 2005 г.);

ПУБЛИКАЦИИ

По теме диссертации опубликовано 12 печатных работ. Из них: 8 статей, 4 тезиса докладов на вышеперечисленных конференциях.

ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Методика краткосрочного прогнозирования, основанная на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачи прогнозирования на основе совместной обработке нескольких, влияющих друг на друга, временных рядов, не накладывая никаких ограничений на их характер.

2. Способы предварительной обработки данных для повышения экономичности нейросетевой модели;

3. Процедура определения параметров модели;

4. Процедура определения параметров обучения (в том числе предложенная новая функция ошибки обучения);

5. Предложенные критерии оценки качества полученной модели;

6. Разработанный алгоритм обучения с учетом специфики решаемой задачи;

7. Предложенный способ определения состава входных факторов (глубины ретроспективной выборки);

8. Принципы построения и структура интеллектуальной информационной системы прогнозирования, реализованной с помощью разработанного программного комплекса NeuroPrognoz (версии 1.0).

СТРУКТУРА И ОБЪЕМ РАБОТЫ

Диссертационная работа состоит из введения, четырех глав, заключения и приложения.

4.4 ВЫВОДЫ

1. Проведена апробация разработанной методики на реальных данных. Для этого была рассмотрена задача, предметной областью которой является экономика. Был проведен ряд численных экспериментов с целью оценки эффективности, как различных этапов разработанной методики, так и методики в целом.

2. Обоснована необходимость предложенного в рамках методики перехода от анализа абсолютных значений элементов временных рядов к анализу их относительных изменений, то есть разница между соседними элементами ряда. Так использование относительных изменений позволило в 6-12 раз снизить ошибку обучения сети, полученную на обучающем множестве.

3. Обоснована эффективность предложенной процедуры выбора глубины ретроспективной выборки на основе анализа графиков автокорреляционных функций. В ходе экспериментов были исследованы два различных ряда, в каждом случае было исследовано более 50 нейронных сетей с различными значениями глубины ретроспективной выборки. Для обоих рядов первые 10 сетей с наименьшей ошибкой имели значение глубины ретроспективной выборки, близкое к определенному в соответствии с методикой.

4. Проведенные эксперименты подтвердили эффективность предложенного в рамках методики способа нелинейной нормировки данных с изменяемым видом нелинейности. Сравнение 4-х различных способов нормировки показало, что предложенный способ является лучшим и позволяет снизить ошибку обучения сети в 3-4 раза относительно данных, нормировка которых не проводилась.

5. Подтверждена эффективность методики в целом. В ходе эксперимента имитирующего реальную работу нейросетевой модели в наименее благоприятных условиях функционирования предприятия была достигнута точность 73-75%, что является практически значимым результатом.

ЗАКЛЮЧЕНИЕ

В заключении приводятся основные выводы по представляемой диссертационной работе.

1. Проведен анализ существующих методов прогнозирования временных рядов. На основе анализа достоинств и недостатков каждого метода, оценена область его применения при решении задач прогнозирования. В результате проведенной работы сделан вывод о предпочтительности применения нейронных сетей для некоторого класса задач.

2. Выявлен класс задач, при решении которых нейронная сеть имеет преимущество перед традиционными статистическими методами. Данные задачи характеризуются следующими свойствами:

- нестационарность и нелинейность прогнозируемого процесса;

- необходимость нахождения несглаженных прогнозов;

- необходимость совместного использования для нахождения прогноза нескольких временных рядов, содержащих значения факторов, влияющих на объект прогноза;

- затруднена формализация зависимостей между входными факторами и значениями прогнозируемой величины

3. Предложена формальная постановка задачи прогнозирования, предполагающая нахождение одношагового прогноза на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработана, состоящая из 4-х этапов, методика решения поставленной задачи. В рамках методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними линейных, а затем нелинейных преобразований с изменяемым видом нелинейности, предложена процедура субоптималыюго состава входных факторов, а также способ определения глубины ретроспективной выборки на основе средств корреляционного анализа.

5. В рамках методики предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего изменения прогнозируемой величины, а также реализующий ее модифицированный алгоритм обучения сети. Разработана функция суммарной ошибки обучения, предложен, основанный на данной функции, критерий останова обучения.

6. Разработана интеллектуальная информационная система, позволяющая реализовать нейросетевые алгоритмы, для создания нейросетевой модели, на основе разработанной методики. Разработан программный комплекс NeuroPrognoz-1 включающий программные средства моделирования работы нейронной сети и ее обучения по новому алгоритму.

7. Произведена апробация методики на примере прогнозирования финансовой устойчивости промышленных предприятий. В ходе экспериментов подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом.

1. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974. - 240 с.

2. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.-755 с.

3. Бычков А.В. Нейросетевое управление рентабельностью предприятия: Автореферат дис. канд. техн. наук. Краснодар, 2001

4. Бусленко В.И. Автоматизация имитационного моделирования сложных систем. М., 1977.427 с.

5. Боровиков В.П. Иванченко Г.И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере. Учеб. Пособие. -М.: Финансы и статистика. 1999. 384 е.: ил.

6. Бокс Дж., Джеккинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, 1974. 406 с.

7. Баймухамбетова С.С., Джумамбаева К.С. Минимизация кредитного риска на основе анализа кредитоспособности заемщика. Вестник КазГУ. Серия эк-я. Алматы, 1998, №11

8. Боровков А.А. Математическая статистика. -М.: Наука, 1984.-219 с

9. Браверманн Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука. Гл. Ред. Физ.-мат. лит., 1983. - 467 с.

10. Банди Б. Методы оптимизации. Вводный курс. М.: Радио и связь, 1988. - 128 с.

11. Басканова Т.Ф., Ланкин Ю.П. Нейросетевые алгоритмы самостоятельной адаптации. Всероссийская научно-техническая конференция// Нейроинформатика-99. Научная сессия МИФИ-99. Сборник научных трудов, в 3 ч. М.: МИФИ, 1999. - ч. 2. - 230 с.

12. Блум Ф., Лейдерсон А., Хофстедстер Л. Мозг, разум и поведение. -М.: Мир. 1988.-317 с.

13. Венцель Е.С. Теория вероятностей. М.: Наука. 1969. - 576 с.

14. Горбань А.Н., Росснев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская изд. фирма РАН, 1996.-276 с.

15. Горбань А.Н. Обучение нейронных сетей. М.: СПб ПараГраф, 1990.- 159 с.

16. Гультяев А.К. MATLAB 5.3. Имитационное моделирование в среде Windows. СПб.: Корона, 2001. - 400 с.

17. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методы. Учебник. М.: Финансы и статистика, 1998. - 352 с.

18. Дэниел К. Применение статистики в промышленном эксперименте. -М.: Мир, 1979.-299 с.

19. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа. -М.: Финансы и статистика, 1986

20. Замков О.О., Толстопятенко А.В., Черемных Ю.Н. Математические методы в экономике. Учебник МГУ им. Ломоносова М.: издательство «ДИС», 1998.-368 с.

21. Информатика: Учеб./ Под ред. Н.В. Макаровой. М.: Финансы и статистика, 1997. - 768 с.

22. Караяниди Я.Г. Интеллектуальные системы подготовки информации. Труды II Всероссийской научной конференции молодых ученых и студентов, т. 2. Анапа, 1-5 октября, 2005

23. Караяниди Я.Г. Разработка методики исследования алгоритма обобщения в интеллектуальных системах. Труды II Всероссийской научной конференции молодых ученых и студентов, т. 2. Анапа, 1-5 октября, 2005

24. Караяниди Я.Г. Формальная постановка задачи и сравнительный анализ методов прогнозирования. Труды КубГТУ. Том XXV. Серия: Информатика и управление. Выпуск 3. Краснодар, 2005

25. Караяниди Я.Г. Информационные системы управления образованием. Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. 254 с.

26. Караяниди Я.Г. Теоретические основы управления качеством информационных систем. Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 2225 сентября 2005, Краснодар. 254 с.

27. Караяниди Я.Г. Отличительные особенности информационного комплекса. Материалы XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 22-25 сентября 2005, Краснодар. 254 с.

28. Караяниди Я.Г. Возможности использования пакета MATLAB. Материалы X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 23-26 сентября 2004, Краснодар. 233 с.

29. Караяниди Я.Г., Частиков А.П. Применение нейронных сетей для прогнозирования экономических показателей. Материалы X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» 23-26 сентября 2004, Краснодар. 233 с.

30. Караяниди Я.Г., Частиков А.П. Интеллектуальные системы управления образованием. XV Международная конференция-выставка «Информационные технологии в образовании». Сборник трудов. Ч. IV. 6-10 ноября 2005, Москва. 915 с.

31. Караяниди Я.Г., Частиков А.П. Модели и алгоритмы на основе сетей Хопфилда. Труды КубГТУ. Том XXV. Серия: Информатика и управление. Выпуск 3. Краснодар, 2005

32. Кендел М. Временные ряды. М.: Финансы и статистика, 1981.199 с.

33. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения//Докл. АН СССР, Т. 114. 1957. С. 953-956

34. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных//Докл. АН СССР. Т. 108. 1956. С.2

35. Кузин JI.T. Основы кибернетики: в 2-х т. Т. 2. Основы кибернетических моделей: Учеб. пособие для вузов. М.: Энергия, 1979

36. Махотило К.В. Разработка методик эволюционного синтеза нейросетевых компонентов систем управления. Автореферат дис. канд. техн. наук. Харьков: ХГПУ, 1998. 189 с.

37. Манзон Б. Matlab 5.1 симфония алгоритмов. PC Week/ RE, №14.1. С. 61

38. Мартынов Н.Н., Иванов А.П. Matlab 5.x. Вычисление, визуализация, программирование. -М.: Кудиц-образ, 2000

39. Максимей И.В. Математическое моделирование больших систем: Учеб. пособие. Мн.: Высш. шк., 1985.119 с.

40. Медведев B.C., Потемкин В.Г. Нейронные сети MATLAB 6. Кн. 4/ Под общ. ред. В.Г. Потемкина. М.: Диалог-МИФИ. 2002. - 469 с.

41. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия Телеком, 2003. 205 с.

42. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и техника, 2003. 384 с.

43. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. - 344 с.

44. Перегудов Ф.И. и др. Основы системного подхода Томск: ТГУ, 1976. 127 с.

45. Перуш М. Математические модели ассоциативных нейронных сетей. СПб.: Изд-во КАРО, 2000. 64 с.

46. Рао С.Р. Линейные статистические методы и их применение. М.: Наука, 1968. - 548 с.

47. Родионова В.М., Федотова М.А. Финансовая устойчивость предприятия в условиях инфляции. М.: изд-во «Перспектива», 1995. - 98 с.

48. Сигеру Омату. Нейроуправление и его приложения. Кн. 2./ Сигеру Омату, Марзуки Халид, Рубия Юсоф: пер. с англ. Н.В. Батина; Под ред. А.И. Галушкина, В.А. Птичкина. М.: ИПРЖР, 2000. 272 с.

49. Семенов Н.А. Программы регрессионного анализа и прогнозирование временных рядов. Пакеты ПАРИС и МАВР. М.: Финансы и статистика. 1990. - 111 с.

50. Симанков B.C. Автоматизация системных исследований: Монография/ Техн. ун.-т Кубан. гос. технол. ун.-та. Краснодар, 2002. 376 с.

51. Справочник по прикладной статистике. В 2-х т., под ред. Э. Плойда, У. Ледермана, Ю.Н. Тюрина -М.: Финансы и статистика. 1989,1990

52. Тюрин Ю.Н., Макарова А.А. Анализ данных на компьютере/ Под ред. В.Э. Фигурнова. 3-е изд. перераб. и доп. - М.: Инфра-М. 2003. - 544 с.

53. Уоссермен Ф. Нейрокомпьютерная техника. -М.: Мир, 1992. 127 с.

54. Хэйд Д., Моррис Д. Теория организации промышленности: В 2 т./ Пер. с англ. Под ред. А.Г. Слуцкой. СПб.: Эк.-я школа, 1999. Т. 1. 384 с.

55. Частиков А.П., Дедкова Т.Г., Алешин А.В. Системы искусственного интеллекта. Учебное пособие. Краснодар. Издательство КубГТУ. 1998

56. Частиков А.П., Миклашевская JI.H., Малыхина М.П. Логическое программирование. Ч. 1. Краснодар 2002. КубГТУ

57. Частиков А.П., Волков С.С. Интеллектуальные поисковые системы. Краснодар. «Просвещение Юг». 2001

58. Частиков А.П., Волков С.С. Интеллектуализация процессов поиска текстовой информации. Краснодар. «Просвещение Юг». 2002

59. Частиков А.П., Белов Д.Л. Методы интегральной оценки финансовой устойчивости предприятия. Труды КубГТУ. Том XVIII. Краснодар. 2003

60. Abu-Mostafa Y.S., St. Jacques J. Information Capacity of the Hopfield Model// IEEE Transactions on Information Theory. 1985. - Vol. 31. №4. - P. 461-464

61. Bishop C.M. Neural Networks and Pattern Recognition. Oxford: Press, 1995.- 168 p.

62. Burr D.J. Experiments with a Connectionist Text Reader// Proceedings of the IEEE First International Conference on Neural Networks/ Eds. M. Caudill, C. Butler. San Diego, 1987 - Vol. 4. - P. 717-724

63. Barron A.R. Approximation and estimation bounds for artificial neural networks machine learning. Vol. 14, 1994. - Pp. 115-133

64. Carpenter G., Grossberg S. A Massively Parallel Architecture for a Self organizing Neural Pattern Recognition Machine. Computing Vision// Graphics and Image Processing. 1987. - Vol. 37. - P. 54-115

65. Chui C.K. An introduction to wavelets. NY.: Academic Press, 1992

66. Cottrell G.W., Munro P., Zipser D. Image Compression by Back propagation: An example of extensional programming. San Diego: University of California, 1987. - 87 p. (ICS Report 8702).

67. Cichocki A., Unbehauen R. Neural networks for optimization and signal processing. N.Y.: Wiley, 1993

68. Cover Т. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition// IEEE Trans. Electronic Computers, 1965. Vol. 14. - Pp. 326-334

69. Daubechies I. Ten Lectures on wavelets. CBMS-NSF Regional Conf. Series in Applied Mathematics. Montpelier: Capital City Press, 1992. Vol. 61

70. Diamantaras K., Kung S. Principal component neural networks, theory and applications. -N.Y.: Wiley, 1996

71. Fukushima K. Cognition: A Self-organizing Multilayered Neural Network// Biological Cybernetics. 1975. - Vol.20. - P. 212-136

72. Fukushima K. Neocognition: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Uneffected by Shift in Position// Biological Cybernetics. 1980. - Vol. 36, №4. - P. 193-202

73. Fukushima K. Hierarchical Neural Network Model for Associative Memory// Biological Cybernetics. 1984. - Vol. 50. - P. 105-113

74. Function that Works// Proceedings of the IEEE International Conference on Neural Networks. San Diego, 1988. - Vol. 2 - P. 299-304

75. Grossberg S. A theory of Human Memory: Self-organization and performance of sensory-motor codes, maps and plans// Progress in theoretical biology/ Ed. R. Rosen and F. Shell New York: Academic Press, 1978. - Vol. 5. -P. 120

76. Grossberg S. Studies of Mind and Brain. Boston: Reidel Press, 1982.1. P. 268

77. Grossberg S. Adaptive pattern classification and universal recording: parallel development and coding of neural feature detectors// Biological Cybernetics 1976. - №23 - P. 187-202

78. Green D.G., Reichelt R. Statistical Behavior of the GMDH algorithms// Biometrics. 1988. - №2. - P. 49-70

79. Geva S., Sitte J. Progress in supervised neural networks// IEEE Trans. N.N., 1992. Vol. 3. - Pp. 621-625

80. Haines К., Hecht-Nielsen R. A BAM with Increased Information Storage Capacity// Proceedings of the IEEE International Conference on Neural Networks. -SanDiego: 1988.-Vol. l.-P. 181-190

81. Haykin S. Neural networks, a comprehensive foundation. N.Y.: Macmillan College Publishing Company, 1994

82. Hebb D.O. The Organization of Behavior. New York; Wiley, 1949.65 p.

83. Hecht-Nielsen R. Counterpropagation Networks// Proceedings of the IEEE First International Conference on Neural Networks// Eds. M. Caudill, C. Butler. San Diego: 1987. - Vol. 2. - P. 19-32

84. Hecht-Nielsen R. Neurocomputing Amsterdam: Addison Wesley, 1991

85. Heriz I., Krogh A., Palmer R. Wstep do teorii obliczen neuronowych. Wyd. II. Warszawa: WNT, 1995

86. Hertz J., Krogh A., Palmer R.G. Introduction to the Theory of Neural Computation. London: Addison-Wesley, 1991. - 214 p.

87. Hinton G.E., Sejnowski T.J. Learning and Relearning in Boltzmann Machines. In Parallel distributed processing. Cambridge (MA): MIT Press, 1986. -Vol. l.-P. 282-317

88. Horfield J.J., Tank D.W. Computing with Neural Circuits: A model// Science 1986. - №223. - P. 625-633

89. Horfield J.J., Tank D.W. Neural Computation of Decisions in Optimization Problems.// Biological Cybernetics. 1985. - №52. - P. 141-152

90. Hornik K., Stinchcomb M., White H. Multilayer feed forward networks are universal approximators// Neural Networks, 1989. Vol. 2. - Pp. 359-366

91. Hush D., Home B. Progress in supervised neural networks// IEEE Signal Processing Magazine, 1993, January. P. 8-39

92. Integration definition for function modeling (IDEFO). Draft Federal Information

93. Keun-Rong Hsieh, Wen-Tsuen Chen. A Neural Network Model which Combines Unsupervised and Supervised Learning// IEEE Trans, on Neural Networks. 1993. - Vol. 4, №2. - P. 60-83

94. King S.Y. Digital neural networks. New Jersey: Prentice Hall. Englewood Cliffs, 1993

95. Kohonen T. Self-organization and Associative Memory. New-York: Springer-Verlag, 1989. - P. 266

96. Kohonen T. Self-organized Formation of Topologically Correct Feature Maps// Biological cybernetics. 1982. - №43. - P. 127-138

97. Kohonen T. The "neural" Phonetic Typewriter// IEEE. Computer. -1998.-3.-P. 154

98. Korbicz J., Obuchowicz A., Ucinski D. Sztuczne sieci neuronowe-podstawy; zastoso wania. Warszawa: Akademicka Oficyna Wydawnicza PLJ, 1994

99. Kosko B. Bi-directional Associative Memories. IEEE Transactions on Systems.// Man and Cybernetics. 1987. - Vol. 18, №1. - P. 49-60

100. Kosko B. Competitive Adaptive Bi-directional Associative Memories.// Proceedings of the IEEE First International Conference on Neural Networks/ Eds. M. Caudill, C. Butler. San Diego, - 1987. - №1 - Vol.2 - P. 759-766

101. Kuhl I., Giardina C. Elliptic Fourier features of a closed contours// Computer Graphics and Image Processing. 1982. Vol. 18. - Pp. 236-258

102. Lippmann R. An Introduction to Computing with Neural Networks// IEEE Acoustics, Speech, and Signal Processing Magazine. 1987. - P. 4-22

103. Mallar S. A theory for multi-resolution signal decomposition: the wavelet representation// IEEE Trans. PAML, 1989. Vol. 11. - Pp. 674-693

104. Maxwell Т., Giles C., Lee Y., Chen H. Nonlinear Dynamics of Artificial Neural Systems// Proceedings of the conference on neural networks for computing Washington (D.C.). 1986. - 634 p.

105. McEIiece R.J., Rosner E.G., Rodemich E.R. The Capacity of Hopfield Associative Memory// IEEE Transactions on Information Theory IT-33. New-York: Venkatesh S.S., 1987. - P. 461-482

106. Mehrotra K., Mohan C., Ranka S. Bounds on the number of samples needed for neural learning// IEEE Trans. Neural Networks, 1991. Vol. 2. - Pp. 548-558

107. Minsky M. Logical vs. Analogical or Symbolic vs. Connectionist or Neat vs. Scruffy. San Diego: MIT Press, 1990. - P. 225

108. Minsky M., Papert S. Perceptrons: an introduction to computational geometry. Cambridge, MA. 1988

109. Moody J., Darken C. Fast Learning in Networks Locally Tuned Processing Units// Neural computation - 1989. - №1. - P. 20-29

110. Osowski S. Sieci neuronowe . Warszawa: Oficyna Wydawnicza PW,1994

111. Osowski S. Sieci neuronowe w ujeciu algorytmicznym. Warszawa: WNT, 1996.

112. Paul J. Werbos. Back-propagation Through Time: What It Does and How to Do It: Artificial Neural Networks: Concepts and Theory// IEEE Computer Society Press, 1992. P. 309-318

113. Petrowski A., Dreyfus G., Girault C. Performance Analysis of a Pipelined Back-propagation Parallel Algorithm// IEEE Transactions on Neural Networks, 1993. Vol. 4, №6. - P. 970-981

114. Rummelhart D.E., Hinton G.E., Williams R.J. Learning Internal Reprentations by Error Propagation. In Parallel distributed processing. -Cambridge (MA): MTT Press, 1986. Vol. 1. - P. 318-362

115. Sankar K. Pal, Sushmita Mitra, Multilayer Perception, Fuzzy Sets and Classification// IEEE Transactions on Neural Networks. 1992. - Vol. 3, №5. - P. 683-696

116. Sarle W. How to measure importance of inputs? : FTPapxHB -ftp://ftp.sas.com/pub/neural/importance.html

117. Sejnowski Т.J., Rosenberg C.R. Parallel Networks that Learn to Pronounce English text. Complex Systems. New York: Academic Press, 1987. -Vol. l.-P. 145-168

118. Tadensiewicz R. Sieci neurowe. Warszawa: Akademicka Oficyna Wydawnicza, 1993

119. Tarassenko L., Roberis S. Supervised and unsupervised learning in radial basis function classifiers// IEEE Proc. Vis. Image Signal Process, 1994. -Vol. 141.-Pp. 210-216

120. Wassermann P.D. Combined Back-propagation/ Cauchi machine. Neural Networks: Abstracts of the First INNS Meeting, Boston. Elmsford (NY): Pergamon Press, 1988. - Vol. 1. - P. 556

121. Wassermann P.D. Experiments in Translating Chinese Characters Using Back-propagation// Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington (D.C.): Computer Society Press of the IEEE, 1988.-P. 349-357

122. Werbos P.J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences: Masters thesis. Harvard: University Press, 1974.-P. 129

123. Widrow В., Leir M. 30 Years of Adaptive Neural Networks: Perceptron, Madeline and Back-propagation// Artificial Neural Networks: Concepts and Theory. Washington (D.C.): IEEE Computer Society Press, 1992. -P. 327-354

124. Zehrotra K., Mohan C., Ranka S. Bounds on the number of samples needed for neural learning// IEEE Trans. Neural Networks, 1991. Vol. 2. - P. 548-558

125. Zimmermann H.J. Fuzzy set theory and its applications. Boston: Clawer, 1985