автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Принятие решений на основе нечёткозначных моделей и алгоритмов обработки графических данных в технологии машинного обучения

Московский Институт Стали и Сплавов (Технологический университет)

На правах рукописи £</¿¿¿>1*4

Леонов Евгений Николаевич

003461589

Принятие решений на основе нечёткозначных моделей и алгоритмов обработки графических данных в технологии машинного обучения

Специальность 05.13.01 «Системный анализ, управление и обработка информации (в промышленной сфере)»

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва 2009

003461589

Работа выполнена на кафедре АСУ Московского Государственного Института Стали и Сплавов (Технологического Университета).

Научный руководитель:

к.т.н., доцент Поляков В. Н.

Официальные оппоненты:

Заведующий кафедрой Информатики РЭА им. Плеханова, д.т.н., профессор Попов И. И.

Заведующий кафедрой Финансового менеджмента РГТЭУ, к.э.н., профессор Костюхин Ю. Ю.

Ведущая организация:

Государственное образовательное учреждение «Казанский государственный университет имени В.И. Ульянова-Ленина».

Защита состоится «¿4 » 2009 г. в часов на заседании Диссертационного совета

Д.212.132.07 при Московском Государственном Институте Стали и Сплавов по адресу: 119049, Москва, Ленинский проспект, 4, ауд.

1'---¡1Г

С диссертацией можно ознакомиться в библиотеке МИСИС.

Автореферат разослан « » 2009 г.

Ученый секретарь Диссертационного Совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Последние десятилетия сопряжены с увеличивающимся потоком информации.

Акции крупных металлургических предприятий участвуют в международной торговле, принося своим владельцам прибыль. Чтобы достичь этой цели, владельцы акций прибегают к специальным методикам, советам специалистов и программным комплексам, использующим особые алгоритмы.

Прибыль от торговли напрямую зависит от правильности принимаемых решений. Однако в новом информационном веке необходимо принимать решение, основываясь на огромном количестве факторов. Одной из важнейших задач для эффективного управления экономикой является создание информационных систем, которые бы обеспечивали хранение и анализ информации, а также снабжали специалистов данными, необходимыми для принятия верного решения.

Спорадически осциллирующие системы обусловливают необходимость применения новых подходов для разработки технологий поддержки принятия решений в динамической предметной области.

С ростом производительности компьютеров стало возможным решать задачи предсказания в реальном времени. Под реальным временем подразумевается время принятия решения, которое может варьироваться от минут до часов, в зависимости от вида прогноза.

Таким образом, актуальность работы заключается в огромном количестве доступной информации, с разной степенью влияющей на принятие решения, и отсутствием средств, которые позволяют ей обработать, предложив верное решение с большой долей вероятности. Графическое представление исходной информации является специфической особенностью данной работы. На основе известных методов можно сделать вывод, что наибольшие накладные расходы происходят на этапе формирования исходной выборки. Существенно сократить их помогает машинное обучение, методика которого представлена в настоящей работе.

Цель работы заключается в исследовании поведения спорадически осциллирующих систем в динамической предметной области, представляемых в виде двумерных графиков, проблем применения технологии машинного обучения в таких средах, а также создании информационной системы поддержки принятия решений, основанной на нечёткозначных моделях и машинном обучении.

Для достижения поставленной цели были выполнены задачи:

• проанализированы существующие подходы к использованию графической

информации в различных сферах деятельности;

• изучены различные интеллектуальные технологии, используемые для

принятия решений на основе графических данных;

• рассмотрены варианты применения технологии машинного обучения на

графических данных;

• созданы методы и алгоритмы распознавания фигур на графиках в

динамической предметной области;

• в целях апробации разработанного метода создан прототип системы

поддержки принятия решений на финансовом рынке. Научная новизна работы заключается в следующем:

• разработаны нечеткозначные модели фигуры «флаг» и участка ценового

ряда «тренд», а также дано формальное описание общей модели произвольной ленточной фигуры;

• в работе описан метод машинного обучения на примерах, представленных в

виде графических данных («РигСгарЬ»). В качестве модели описания (репрезентации) выборки примеров была использована нечеткозначная формализация геометрических фигур;

• разработаны метод и алгоритм распознавания фигур на графиках в

динамической предметной области;

• разработано алгоритмическое решение задач прогнозирования и

мониторинга на финансовых рынках. Теоретическая значимость заключается в следующем:

• исследованы корреляционные зависимости между различными параметрами

графических фигур, учитываемых в процессе принятия решений;

• описаны нечеткозначная фигура «флаг», участок ценового ряда «тренд»,

произвольная ленточная фигура, а также функции принадлежности для них;

• выполнена формальная постановка задачи для разработки системы принятия

решений, основанной на технологии машинного' обучения на графических данных («РигОгарЬ»), с использованием нечётких функций принадлежности;

• создан алгоритм поиска линий поддержки и сопротивления;

• построена модель машинного обучения на графических данных. Практическая значимость заключается в:

• возможности построения информационной системы металлургического

предприятия, которая позволяет эффективнее управлять его рыночными активами;

• возможности более эффективного контроля над открытыми позициями на

валютных и фондовых рынках;

• использовании разработанной технологии обработки графической

информации в различных областях, таких как: медицина, финансовый анализ и др.

В рамках данной исследовательской работы создан прототип системы поддержки принятия решений.

Методы исследования

При разработке программного комплекса использовались:

• методы реляционной алгебры, методы статистического анализа и теория

нечётких множеств для описания моделей нечёткозначных фигур и для формирования базы правил в рамках системы принятия решений;

• парадигма машинного обучения для формирования обучающей выборки

графических фигур;

• методы алгоритмического моделирования и методы объектно-

ориентированного программирования для построения опытного образца системы «ЕМ»;

• методика технического анализа на финансовых рынках для апробации

предложенных моделей и алгоритмов.

Результаты работы были практически реализованы в виде программного комплекса, включающего в себя набор инструментов для обучения системы экспертом, глобального анализа исторической информации, контролем над развитием тенденции в реальном времени, реляционной СУБД, хранящей все необходимые данные для работы комплекса.

Апробация работы. Результаты работы докладывались на следующих научных конференциях:

• Когнитивное моделирование в лингвистике (выставка программных продуктов) СМЬ-2005, Варна, Болгария 2005 г.

• 8-ая международная конференция «Распознавание образов и анализ изображений» (РОАИ-8-2007), Йошкар-Ола, Российская Федерация 7-13 октября 2007 г.

Теоретические вопросы диссертации освещаются в четырёх научных публикациях, в том числе одна публикация в издании, рекомендованном ВАК.

Работа соответствует паспорту специальности 05.13.01, и выполнена в следующих областях исследования:

• Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

• Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, медицинских и социальных системах.

• Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

• Методы получения, анализа и обработки экспертной информации.

Структура диссертации. Рабата состоит из введения, шести глав, заключения, списка литературы и четырёх приложений.

ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНОЛОГИИ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ ОБРАБОТКИ ГРАФИЧЕСКИХ ДАННЫХ

В первой главе рассматриваются различные интеллектуальные технологии поддержки принятия решений на основе обработки графических данных применительно к АСУ и АСУ ТП металлургических предприятий, финансового анализа, методам медицинской диагностики, а также методика машинного обучения, как неотъемлемая часть данных технологий.

На основе изученного материала можно сделать следующие выводы:

• Развитие современных информационных систем обусловливает растущий поток информации, представляемой в графическом виде.

• Несмотря на достаточно большое количество различных интеллектуальных технологий, ни одна из них не в состоянии удовлетворительно решать задачи реального мира самостоятельно. Гибридные образования из нескольких интеллектуальных технологий более эффективны.

• Способ машинного обучения, применяемый в информационной системе, во многом определяет эффективность её работы в дальнейшем. Использование обучающей выборки, полученной в процессе машинного обучения, как основы информационной системы, позволяет устранить человеческий фактор во время принятия решения на рабочих данных.

• Для торговли на финансовых и фондовых рынках существует большое количество информационных систем, однако они наследуют недостатки используемых ими интеллектуальных технологий. Следовательно, нужны новые подходы к анализу графических данных, которые были бы ориентированы непосредственно на использование в динамической предметной области, которой и является финансовый рынок.

НЕЧЁТКОЗНАЧНЫЕ МОДЕЛИ ФИГУРЫ «ФЛАГ» И УЧАСТКА ЦЕНОВОГО РЯДА «ТРЕНД»

Во второй главе даётся подробное описание нечёткозначной модели фигуры «флаг» и участка ценового ряда «тренд».

Одной из методик технического анализа является предсказание котировок финансового инструмента по фигурам. В этом случае график представляется в виде набора фигур и переходов между ними. Каждая фигура подаёт сигнал, значимый или нет, в зависимости от конкретной ситуации. Распознавая эти сигналы и их совокупность, трейдер принимает решение.

Фигурой называется графический образ на графике котировок валют или акций, напоминающий геометрическую фигуру. Различают следующие три основных вида фигур: «флаг», «треугольник», «голова - плечи». Есть и другие фигуры, но они встречаются значительно реже.

Данное исследование направлено на автоматизацию метода предсказания котировок, основанного на фигурах. Сложность автоматизации этого метода заключается в том, что он носит визуальный, зачастую субъективный характер, и до сих пор не поддавался компьютеризации.

Среди многообразия фигур, встречающегося на финансовых рынках, и являющегося основанием для технического прогноза был выбран «бычий флаг», как фигура, встречающаяся и используемая наиболее часто. Для того чтобы описать данную фигуру параметрически, нам пришлось подобрать наиболее подходящий метод моделирования, создать модель, запрограммировать и апробировать ее на фактических данных.

Учитывая субъективный и нечеткий характер визуальной информации, которую приходится анализировать на фигурах, было принято решение использовать аппарат нечёткой логики.

Рисунок 1 - Примеры образования флага на реальных графиках валют

Параметрами древка и полотнища являются:

• Длина по оси времени или количество дней, в течение которых древко или полотнище образуется. Эти параметры обозначены как ДТд и ДТ„ для древка и полотнища соответственно.

• Высота по оси котировок или количество пунктов, составляющих древко и полотнище (ДСд и ДС„).

• Угол наклона фрагмента фигуры к оси времени. Обозначается и

для древка и полотнища соответственно. Дальнейшие исследования показали, что этот параметр чрезвычайно важен.

• Нормальная толщина канала, образованного древком и полотнищем, обозначается 11д и соответственно.

Есть ряд особенностей, присущих этой фигуре:

• образуется при восходящем тренде;

• чем больше угол наклона, тем стремительнее и дальше будет отскок;

• чем меньше нормальная толщина древка, тем стремительнее и дальше будет отскок;

• если длина полотнища будет больше длины древка в 3 и более раз, то можно считать, что фигура «бычий флаг» сложилась.

н

Рисунок 2 - Параметры модели фигуры технического анализа «бычий флаг»

ДС - высота полотнища (древка) (диапазон изменения котировок валют). ДС рассчитывается как разность между максимальным и минимальным значением цены валюты:

ДС = С.макс " С.мин ) (1)

ДТ - диапазон изменения времени (расстояние в днях по горизонтальной оси от первой до последней точки фигуры «флаг»), ДТ рассчитывается как разность между максимальным и минимальным значением времени:

ДТ = ТгМакс " 1\мин, (2)

- тангенс угла наклона полотнища (древка). определяется как угол

наклона линии поддержки (сопротивления).

ДИв - толщина полотнища (древка) по вертикали. Д11в рассчитывается как разница между котировками (Ьтах, Ьтш), полученными на точках пересечения вертикальной прямой с линиями поддержки и сопротивления по формуле:

ДЬ в=Ьтах -Ьщщ, (3)

И - «нормальная» толщина полотнища (древка). И рассчитывается как минимальное расстояние между линиями поддержки и сопротивления. Для расчета Ь используется формула:

/

/ ¿Ь

Рисунок 3 - Нормальная толщина полотнища (древка)

Задача идентификации флага сводится к решению трех подзадач:

• идентификация древка;

• идентификация полотна;

• формирование сигналов об открытии позиции.

Постановку задачи в логико-математической форме можно представить в следующем виде:

1. Имеется упорядоченное множество С значений функций с^), где ^-котировка валюты с; е С, ^-момент времени ^ 6 Т.

2. Найти интервал значений Т'с. Т, для которого справедливо:

Ограничение по высоте полотнища (древка),

(5)

Ограничение по длительности полотнища (древка), (6)

Ограничение по углу наклона полотнища (древка),

(7)

Ограничениеподлительности полотнища (древка), (8)

Решение задачи выявления (идентификации) флага включает, как отмечалось, две подзадачи:

• выявление древка;

• выявление полотнища.

Обе эти подзадачи в свою очередь сводятся к задаче построения линий поддержки и сопротивления для семейства точек С={с;(10, ¡=1 ... п} и сравнения параметров этих прямых с типовыми параметрами флага.

Будем искать решение задачи построения линий поддержки (сопротивления) как выбор из множества всех прямых соединяющих пары точек с координатами (сн Ъ) (с,, для всех пар ¡^ £ I,

На рисунке 4 представлена блок-схема решения задачи построения линии под держки (сопротивления).

Рисунок 4 - Блок-схема решения задачи построения линии поддержки (сопротивления).

Графические иллюстрации к решению задачи построения линий поддержки и сопротивления представлены на рисунке 5.

Рисунок 5 - Иллюстрация к решению задачи построения линий поддержки и

сопротивления

Рассмотрим предложенное решение задачи более подробно. 12

Шаг 1. Найти множество прямых У = {у12, уп, ... у^,... уп-2п. Уп-1 п} для каждой точки на графике С(Т).

Уравнение прямой имеет вид

То есть фактически нам необходимо найти пары коэффициентов {(кц, Ь^), ¡=1 ... п-1; )=2... п}. Каждая пара и определяет соответствующую прямую.

Шаг 2. Для каждой точки 1 из множества пересекающих ее прямых выбрать одну прямую, имеющую максимальное значение коэффициента. Таким образом, мы сформируем новое множество прямых V сУ, У'= {У': тах|(ку), ¡=1... п-1}.

Шаг 3. Из полученного на втором шаге множества прямых У' выбрать прямую, включающую отрезок максимальной длины. Это будет линия сопротивления. Линия поддержки находится путем параллельного переноса.

После формального описания фигуры «флаг» можно перейти к описанию фигуры «бычий флаг». Если рассматривать среднесрочные прогнозы, флаг - это кратковременная фигура, длящаяся несколько дней. Обычно он возникает на динамичных рынках, где бывают резкие изменения цен. Бычий флаг образуется при восходящем тренде, медвежий флаг - при нисходящем.

Самая главная особенность флага, которая служит основой для прогноза, это то, что после него идет прорыв цен («отскок»), чаще всего равный величине древка флага.

Процесс принятия решений по фигурам носит субъективный характер и во многом определяется наличием опыта у эксперта. В связи с эти возникло предположение, что эксперт руководствуется некоторым обобщенным образом фигуры флаг, который можно рассматривать как функционал от одной или совокупности нечётких функций принадлежности. Учитывая сравнительно большое число параметров в модели (восемь), можно было бы сконструировать одну многомерную функцию принадлежности. Однако это снизило бы наглядность и как следствие возможность промежуточного контроля результатов компьютерного моделирования. В связи с этим был проведен анализ парной корреляции параметров модели, и было принято эвристическое решение строить шесть двумерных функций принадлежности.

Среди таких функций были выделены следующие:

у=кх+Ь,

(9)

т,(ДСд, ДТд), т2М<рд), Ьд), ш3(ДСп, ДТ„),

(10) (П) (12)

Ш4^(<р„), Ь„), (13)

ш3(ДСд, АС„), (14)

т6(ДТд,ДТп), (15)

Считаем, что распределение вероятности параметров фигуры «флаг» подчиняется нормальному распределению и описывается системой функций Гаусса для двумерного нормального распределения.

р(х,у) = С-е-е<"°^-°>) , (16)

где р(х,у) функция плотности распределения;

коэффициент нормировки;

К число пи;

О,,О

дисперсии одномерных распределении для переменных х и у соответственно; Э1, а; математические ожидания одномерных

распределений переменных х и у соответственно;

И - коэффициент корреляции, имеющий физический смысл условной вероятности событий (х-аО и (х-аг);

Л = -, (17)

(л-1)-<х,-сг2

0(х-а1;у-а2) =

1

2(1-К2)

(х-а,)г | (у-а2) 2Я(х-а1)(у-а2)

о, о,

(18)

Построение функций (10-15) осуществлялось прямым расчетом двумерных функций распределения Гаусса (16) с их последующей фаззификацией путем нормировки максимума функции (16) на единицу.

Поскольку любая фигура «бычий флаг» является частью графика котировок финансового инструмента, её нельзя не рассматривать в контексте тренда, на котором она находится. Несмотря на то, что для трейдера более наглядным является графическое представление данных, для построения модели необходимо параметризовать тренд подобно тому, как была параметризована фигура «флаг». Для сравнения различных трендов вводим параметры: ДТ, ДС, tg <р, И.

ДС - высота тренда (диапазон изменения котировок валют). ДС рассчитывается как разность между максимальным и минимальным значением цены валюты:

ДС = С .макс " С мин, (19)

ДТ - диапазон изменения времени (расстояние в днях по горизонтальной оси от первой до последней точки тренда). ДТ рассчитывается как разность между максимальным и минимальным значением времени:

ДТ = Т.

.макс

(20)

tg(ф) - тангенс угла наклона тренда. 1§(<р) определяется как угол наклона линии поддержки (сопротивления).

ДЬВ - толщина тренда по вертикали. ДЬ„ рассчитывается как разница между котировками (Ьт11, Ьтт), полученными на точках пересечения вертикальной прямой с линией поддержки и линией сопротивления по формуле:

Ь - нормальная толщина тренда. Ь рассчитывается как минимальное расстояние между линией поддержки и сопротивления. Для расчета Ь используется формула:

При сравнении трендов возникают субъективные компоненты, выраженные нечеткими оценками типа «восходящий» тренд, «нисходящий» тренд, «консолидация». Нечеткая логика предлагает решение для подобной ситуации. Вводится функция принадлежности - связь количественного значения с его качественным лингвистическим описанием: т(х). Можно построить следующие функции принадлежности:

• ш( ДТ) - функция принадлежности от диапазона времени тренда,

• т( Д С) - функция принадлежности от диапазона цены тренда,

• т^(ф)) - функция принадлежности от тангенса угла наклона тренда,

• т(Ь) - функция принадлежности от толщины тренда.

При введении такого количества функций принадлежности размерность задачи сильно увеличивается. Эмпирически известно, что между несколькими параметрами, характеризующими тренд, существует корреляционная связь. Были выявлены следующие корреляционные пары параметров:

(21)

(22)

• дс-дт

• tg(q>) - h

Чтобы уменьшить размерность задачи, переходим к построению нечетких функций принадлежности от двух переменных:

• т(ДС, AT)

• т (tg(<p), h)

Функция принадлежности от двух переменных имеет вид трехмерной поверхности, что визуализирует процесс принятия решений.

Нечеткозначные модели фигуры «флаг» и участка ценового ряда «тренд» дают возможность создания общей модели для произвольной ленточной фигуры, которую можно построить на некотором графике функции F(x). Описание этой модели представлено во второй главе диссертации.

ТЕХНОЛОГИЯ МАШИННОГО ОБУЧЕНИЯ В УСЛОВИЯХ ИСПОЛЬЗОВАНИЯ НЕЧЕТКОЙ ИНФОРМАЦИИ

Обучающая выборка флагов определяется человеком, экспертом, который может отделить флаги, дающие верный сигнал, от тех, что дают ложный сигнал. Машинное обучение сводится к расчету параметров фигуры «флаг» и их дальнейшей фаззификацин.

Модель машинного обучения Mml на произвольной совокупности графических данных представим как п-ку:

Mml = <D, G, Ар, Р, Аф, М, R> , (23)

D - множество численных данных графических зависимостей описываемого процесса. Множество D представляет собой набор функциональных отношений (х,у) на области определения х е X. Рассматривается простейший вариант функции от одной переменной y=f(x). Зависимость носит принципиально не аналитический, а стохастический характер.

G - обучающее множество графов-образцов, отобранных экспертом. Каждый граф g из множества G строится на подмножестве численных данных Dg с D.

Р - множество функций распределения, описывающих вероятностные параметры прототипической графической фигуры. Содержание этого множества (его мощность и типы элементов) задается разработчиком модели в процессе параметрического описания фигуры. Создание такого множества представляет собой во многом эвристический

процесс. Множество Р получается путем алгоритмического преобразования обучающей выборки {Dg}: Ap({Dg}, Р), где Ар - алгоритмическая процедура расчета функций распределения вероятности.

М - множество функций принадлежности, описывающих нечеткозначные параметры прототипической графической фигуры. Функции М получаются путем фаззификации функций вероятностного распределения с помощью соответствующей алгоритмической процедуры Аф(Р, М).

Я - множество правил принятия решения. Обычно используется базовое правило в виде логического условия, аргументами которого являются значения функций принадлежности из М.

После того, как сформирован пул исторических данных по инструменту, становится возможным отметить флаги на графике. Эксперт, руководствуясь своими знаниями и опытом, формирует выборку флагов, которая будет служить своеобразным эталоном. В соответствие с моделью фигуры «бычий флаг», производится расчет для каждого элемента выборки. Результатом служит набор значений, характеризующих экспертную выборку. В свою очередь при помощи специальных функций формируются вероятностные данные для инструмента. Они сохраняются в базе данных и используются в дальнейшем как образец для поиска схожих фигур на двумерном графике, содержащем исходные данные.

На рисунке 6 показана схема информационных потоков, обеспечивающая работу системы и эксперта на этапе машинного обучения по образцам.

Рисунок б - Схема информационных потоков процесса анализа исторических данных в режиме машинного обучения по образцам (пункты 1,2,4,5 выполняются программой, пункт 3 выполняется экспертом, пункт 6 - инженером по знаниям)

Исходя из того, что флаги существуют в контексте трендов, на которых они расположены, то имеет большое значение формирование обучающей выборки для трендов. Она производится образом, схожим с формированием выборки для флагов.

ПОСТАНОВКА ЗАДАЧИ МАШИННОГО ОБУЧЕНИЯ НА НЕЧЕТКИХ ДАННЫХ В ГРАФО-АНАЛИТИЧЕСКОЙ ФОРМЕ В РАМКАХ ПОСТРОЕНИЯ СИСТЕМЫ ПРИНЯТИЯ РЕШЕНИЙ

В этой главе представлена постановка задачи оптимизации качества прогнозирования обучаемой системы в графоаналитической форме.

Исходными данными для системы являются исторические данные Н, которые представляют собой множество точек на отношении «дата (4)-значение(с^»:

Н ={((!,, с1),(а2,с1),...(а„,с„)} (24)

На исторических данных выбираются обучающий и проверочный участки, Ноб и Нпр соответственно. Причём Ноб с Н, Нпр с Я, Нпр П Ноб = 0.

Экспертом формируется исходная обучающая выборка, представляющая собой набор примеров, впредь используемых как образец. Каждый элемент обучающей выборки представляет собой фигуру на графике, которую также можно представить как множество точек «дата-значение». Конкретный вид фигуры (или нескольких фигур) напрямую зависит от выбранной области применения. Например, для проверки данной модели на финансовом рынке были введены нечёткозначные модели фигуры «флаг» и участка ценового ряда «тренд». Таким образом, обучающую выборку, созданную экспертом, можно выразить как Б = {81: 5 с Ноб }.

Следующим шагом будет вычисление параметров модели. Для этого рассчитываются параметры каждой фигуры, а также параметры всей выборки в целом.

Третьим этапом является получение прогнозов. Прогноз, в данном контексте, это такое событие, возникшее на каком-то участке функции Нпр, когда выявленная фигура на этом участке попала в диапазон допустимых значений обучающей выборки Б. Суть прогноза подразумевает, что он либо сбудется (будет успешным), либо нет (будет ложным). Соответственно, сбывшиеся прогнозы обозначим, как а не сбывшиеся N.. Также существуют нейтральные прогнозы N0, которые в контексте финансового рынка означают неопределённое (или консолидированное) движение рынка после точки

выявления этого прогноза. Таким образом, N+ + N. + No = Nt, где Nt означает полное количество прогнозов на заданном участке из множества Н.

На следующем этапе нужно ввести понятие качества прогноза Z. Достижение наилучшего качества прогнозов можно получить, только углубившись в конкретную предметную область, чтобы учесть её приоритеты. Так, например, на финансовом рынке огромную роль играет получение прибыли путём своевременного закрытия позиций, ибо даже одна передержанная позиция, не закрытая вовремя, может принести своему владельцу столь высокие убытки, что они уничтожат всю полученную прибыль по другим позициям. Следовательно, нужно сделать акцент на уменьшении убытков. В данном случае достижение максимального качества прогноза выглядит так:

maxZ(n) г ,

,N ->0,N ={N :N е N ,N. > О}, (25)

rtczN_

В других предметных областях, в частности, медицине, иные приоритеты, что неизбежно влечёт изменение критериев оценки качества прогноза. Выше немало внимания уделялось важности методов электрокардиографии и реографии для раннего выявления инфарктов и инсультов. Используя модель прогнозирования, предложенную в данной работе, становится возможным построить систему, которая могла бы по виду электрокардиограммы и реограммы предсказывать появление этих крайне опасных состояний. Приоритеты данной предметной области таковы, что лучше допустить возникновение ложного прогноза (в медицинских терминах это означает «поставить неверный диагноз»), чем пропустить истинный, ведь это может повлечь смерть человека. Следовательно, достигнуть максимального качества прогнозов в этом случае можно при соблюдении следующих условий:

maxZ(n) г ,

.maxAL.W. >0}, (26)

nczN+

Другими словами, нужно пытаться выявить максимальное количество положительных прогнозов, уделяя гораздо меньше внимания ложным.

Общее выражение для Z можно записать так:

Z =--., (27)

a-Pr +P-R,

, где: аир- нормировочные коэффициенты; Рг - показатель точности; Rc -показатель отказоустойчивости. В контексте двух примеров, рассмотренных выше, можно

сделать вывод, что в случае прогноза на финансовом рынке нужно установить нормировочный коэффициент Р = 0, чтобы качество Ъ было прямо пропорционально отказоустойчивости Ие. В случае прогноза по данным одного из методов медицинской диагностики, нужно установить нормировочный коэффициент а = 0, чтобы качество Ъ было прямо пропорционально точности Рг.

ТР

Рг= , (28)

г ТР + РР

ТР

, (29)

' ' ГР + ЯУ

, где: ТР - количество сбывшихся положительных прогнозов, ИР - количество несбывшихся положительных прогнозов, БИ - количество несбывшихся отрицательных прогнозов.

На рисунке 7 представлена блок-схема решения задачи машинного обучения на нечётких данных в графоаналитической форме в рамках построения системы принятия решений.

Рисунок 7 - Блок-схема решения задачи машинного обучения.

МОДЕЛИ И АЛГОРИТМЫ РАСПОЗНАВАНИЯ ФИГУР НА ГРАФИКАХ В ДИНАМИЧЕСКОЙ ПРЕДМЕТНОЙ ОБЛАСТИ

В данной главе описаны модели и алгоритмы распознавания фигур на графиках в динамической предметной области.

Для принятия эффективных решений на основе заданной модели обучения необходимо выработать соответствующие правила. В задаче прогнозирования рынков по фигуре «флаг» решением является приказ об открытии новой позиции на основании прогноза, полученного путем анализа текущих котировок на рынке. При анализе выявляется наличие древка и полотнища, оцениваются их качественные характеристики путем сравнения с эталоном, заданным совокупностью функций принадлежности, и в случае положительных характеристик, отдается приказ (ордер) об открытии позиции.

В качестве элементов, составляющих правила, сначала были введены бинарные условия сравнения А = { Ai,... Аь ... Аб):

Ai = mi > 0,5, (30)

где mi - значение функции принадлежности на текущую дату.

Затем были сформулированы непосредственно правила, которые составили следующее множество:

R={Re,Re,R(:i...Rc„}, (31)

где R«=AiAA2...AAi...AA6 - конъюнктивная форма, сконструированная на множестве А (жесткое правило);

R® = А1 v Аг ... v Aj... v Аб - дизъюнктивная форма, сконструированная на множестве А (мягкое правило);

RCj - произвольные дизъюнктивно-конъюнктивные формы, сконструированные на множестве А (полужесткие правила);

Лучшие правила выбираются из множества R эмпирическим путем в процессе тестирования модели и анализа результатов прогнозирования.

Алгоритм принятия решения выглядит следующим образом:

• выявление древка;

• выявление полотнища;

• выбор правила принятия решения.

1.Этап машинного обучения

1.1. Поиск исторических данных

1.2. Формирование тестовой выборки

1.3. Расчёт параметров модели «флаг»

1.4. Выбор правил принятия решений

2. Этап протезирования

2.1. Выявление древка *

2.2. Выявление полотнища .............................*............................

2.3. Расчёт параметров выявленного флага

2.4. Расчёт параметров для правила

принятия решения

....................................................»..........................................

2,5. Применение правила

........ ;•.....

2.6. Сбор статистики прогнозов

X

3. Этап верификации и _дообучения_

Т

3,1. Анализ статистики прогнозов 3=

3.2, Выявление недостатков в модели обучения (обучающая выборка, эксперт, правила принятая решения, параметры настройки границ отсечения)

Ч ......

3-3. Дообучение модели «флаг» при необходимости

Рисунок 8 - Методика прогнозирования на основе нечеткозначной модели «флаг» и

метода «РигОгарЬ».

Схема комплексного анализа, учитывающего исторические выборки флагов и трендов, может выглядеть следующим образом:

выявление «бычьего флага»; выявление «иР-тренда»;

выбор комплексного правила принятия решения.

3.1. Выявление ЦР-трешщ

| 3.2. Вмна-<енпс лрсикз [

1 3.3. Выявление цолиттлна |

13.4. Расчёт параметров выделенного флага |

3.5. Расчёт параметров да* праиила _принятия решения_

Г 3.6. Применение правила |

8 3.7. Сбор стати стнхнпрогнтоц |

_*-

4. Этап верификации и

Рисунок 9 - Методика прогнозирования на основе комплексной работы с моделями «бычий флаг» и «иР-тренд»

Опыт существующих механических торговых систем показывает с одной стороны эффективность различных индикаторов, а с другой стороны - преимущество именно

дообучения

4.1. Аналич статистики прогнозов

4.2. Выявление недостатков » модели обучения (обучающая выборка, эксперт, правила принятая решения, параметры настройки срашш отсечения)

...................................................г...........................

4.3. Дообучение моделей «флаг» и «тренд» при необходимости

комплексного подхода. Отсюда следует, что, используя комплексный подход, можно добиться выявления таких сигналов, посылаемых рынком, которые бы с большой долей вероятности гарантировали успех.

ПРОГРАММНЫЙ КОМПЛЕКС ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЯ «ЕМ»

Программный комплекс «ЕМ» использует нечёткозначные модели, описанные в данной работе, а также алгоритмы поиска фигур на графиках котировок финансовых инструментов.

Работа с финансовым инструментом начинается с формирования обучающей выборки. Эксперт, просматривая исторические данные этого инструмента, отмечает бычьи флаги и тренды. По этим данных рассчитываются наборы статистических данных, сохраняемые в базе данных.

Блок анализа «ЕМ» работает в двух режимах: прогноз за период и анализ на текущую дату. Прогноз за период даёт возможность проанализировать участок исторических данных и выявить на нём флаги. Эту функцию можно использовать в качестве проверки эффективности обучающей выборки для данного финансового инструмента. Анализ на текущую дату использует текущую дату как отправную точку для прогнозирования, что даёт возможность получать прогнозы в режиме реального времени. Вне зависимости от выбранного режима, блок анализа позволяет наложить на выборку найденных фигур набор правил. Используя «жёсткое» правило можно оставить только те флаги, которые почти наверняка принесут прибыль. Использование «мягкого» правила оставляет в выборке максимальное количество флагов, однако многие из них могут быть ложными. Другие правила являются различными соединениями функций принадлежности. Комбинирование правил позволяет гибко настроить систему под особенности конкретного инструмента.

«ЕМ» обладает способностью объединять инструменты в группы и проводить групповой анализ. Чтобы получить максимальную прибыль при минимуме потерь достаточно выставить для каждого инструмента «жёсткое» правило, и провести анализ для группы таких инструментов. Небольшая, но гарантированная прибыль по каждому инструменту в совокупности с большим количеством инструментов позволяет достичь оптимального результата.

ЗАКЛЮЧЕНИЕ

В ходе данной работы было проведено исследование поведения спорадически осциллирующих систем в динамической предметной области, представляемых в виде двумерных графиков, а также проблем применения технологии машинного обучения в таких средах. Была создана информационная система поддержки принятия решений «ЕМ», основанная на нечёткозначных моделях и машинном обучении.

В ходе данной работы выяснилось, что в настоящее время множество решаемых задач по, созданию информационных систем поддержки принятия решений, применяемых в различных областях человеческой деятельности, сопряжены с обработкой графических данных в качестве исходной информации. В свою очередь, данная работа была направлена на создание моделей и алгоритмов, которые позволяли бы выявлять фигуры на двумерных графиках как в реальном времени, так и в ретроспективе на исторических данных. Областью применения данных разработок являются компоненты АСУ и АСУ ТП металлургических предприятий, медицинские приборы, системы финансового анализа. В ходе апробации моделей на финансовом рынке были представлены нечёткозначные модели фигуры «флаг» и участка ценового ряда «тренд», что позволило в свою очередь предложить методику машинного обучения «РигСгарЬ» и алгоритм выявления этих фигур на реальных данных. Также была предложена общая модель произвольной ленточной фигуры, частными случаями которой являются фигура «флаг» и участок ценового ряда «тренд». Наличие такой модели даёт возможность выявлять на графиках не только «флаг» и «тренд», но также произвольные фигуры, которые могут быть представлены как набор последовательных отрезков.

Созданные в ходе данной работы модели, а также опытный прототип программы «ЕМ», позволили наглядно убедиться в применимости и эффективности машинного обучения и нечёткозначных систем принятий решений не только для металлургии, но и для других областей науки и бизнеса.

Проделанная работа привела к следующим результатам и выводам:

1. Выполнена формальная постановка задачи принятия решения на основе нечетких данных в графоаналитической форме. Формализация учитывает влияние на качество системы таких факторов как точность и отказоустойчивость, что, вместе с механизмом управляющих правил, позволяет гибко приспосабливать модель под нужды конкретной предметной области.

2. Разработаны и описаны нечеткозначные модели фигуры «флаг» и участка

ценового ряда «тренд», а также дано формальное описание общей нечёткозначной модели произвольной ленточной фигуры.

3. Произведена формальная постановка задачи машинного обучения на нечётких данных. В качестве модели описания (репрезентации) выборки примеров была использована нечеткозначная формализация геометрических фигур.

4. Предложен метод и алгоритм распознавания фигур на графиках в динамической предметной области, а также алгоритмическое решение задач прогнозирования на финансовых рынках.

5. Исследованы корреляционные зависимости между различными параметрами графических фигур, учитываемых в процессе принятия решений.

6. Создан алгоритм поиска линий поддержки и сопротивления.

7. На основе моделей и алгоритмов, предложенных в данной работе, создан и апробирован опытный образец системы поддержки принятия решений «ЕМ».

Теоретические вопросы диссертации освещаются в следующих научных публикациях, в том числе одна публикация в издании, рекомендованном ВАК:

• В.Н. Поляков, E.H. Леонов. Метод машинного обучения на графических данных (Тезисы) - Труды международной конференции «Когнитивное моделирование в лингвистике 2005». Изд. Учеба, М.-Варна, 2005. с.282.

• В.Н. Поляков, E.H. Леонов, И.В. Поляков. Формирование инвестиционного портфеля и выработка стратегии принятия решения на фондовом рынке, основанной на нечёткозначной модели фигуры «флаг». Деп. ВИНИТИ - Москва, 2006 - 63 с.

• В.Н. Поляков, E.H. Леонов, И.В. Поляков. Построение комплексной модели принятия решения на финансовых и фондовых рынках на основе взаимосвязи технических факторов - Труды 8-ой международной конференции «Распознавание образов и анализ изображений» (РОАИ-8-2007), 2007 г., Том 3. с. 100.

• В.Н. Поляков, E.H. Леонов. Метод машинного обучения на графических данных. Учёные записки Казанского государственного университета. Серия Физико-математические науки. 2007. Том 149, книга 2, с. 92-104.

Соискатель

E.H. Леонов

Формат 60 х 90 '/16 Объем 1,5 п.л.

Тираж 100 экз. Заказ 2028

Отпечатано с готовых оригинал-макетов в типографии Издательства «Учеба» МИСиС, 117419, Москва, ул. Орджоникидзе, 8/9 ЛР №01151 от 11.07.01

Стр.:

Введение.:.

Глава 1. Интеллектуальные технологии поддержки принятия решений на основе обработки графических данных.

1.1. Задачи принятия решения на графических данных.

1.2. Интеллектуальные технологии принятия решения.

1.3. Технологии машинного обучения в прогнозирующих информационно-аналитических системах.,.

1.4. Прогнозирование и мониторинг на финансовых и фондовых рынках.

1.5. Интеллектуальные системы и продукты на финансовых рынках.

1.6. Выводы.

Глава 2. Нечеткозначные модели фигуры «флаг» и участка ценового ряда тренд».

2.1. Обоснование выбора модели для фигуры «флаг».

2.2. Модель фигуры «бычий флаг».

2.3. Выбор нечеткозначных характеристик фигуры «бычий флаг».

2.4. Нечёткозначная модель UP-тренда.

2.5. Задача идентификации флага.

2.6. Общая модель произвольной ленточной фигуры на графике функции F(x).

2.7. Выводы.

Глава 3. Технология машинного обучения в условиях использования нечеткой информации.

3.1. Модель машинного обучения.

3.2. Реализация метода.

3.3. Выводы.

Глава 4. Постановка задачи машинного обучения на нечетких данных в графоаналитической форме в рамках построения системы принятия решений.

4.1. Формальная постановка задачи.

4.2. Выводы.

Глава 5. Модели и алгоритмы распознавания фигур на графиках в динамической предметной области.

5.1. Правила как основа для принятия решений.

5.2. Анализ эффективности правил.

5.3. Методики прогнозирования.

5.4. Мониторинг открытых позиций.

5.5. Применение методики динамического стоп-лосса на реальных данных.

5.6. Выводы.

Глава 6. Программный комплекс поддержки принятия решения «Easy Money».

6.1. Программный комплекс «Easy Money».

6.1.1. Обзор функций программного комплекса «Easy Money».

6.1.2. Ввод данных и машинное обучение.

6.1.2.1. Ввод данных.

6.1.2.2. Работа с флагами.

6.1.2.3. Работа с трендами.

6.1.3. Утилиты.

6.1.3.1. Конвертация данных.

6.1.3.2. Импорт статистических данных.

6.1.3.3. Менеджер групп и инструментов.

6.1.3.4. Функции менеджера.

6.1.4. Администрирование.

6.1.4.1. Настройка текущей даты.

6.1.4.2. Настройка параметров системы.

6.1.5. Анализ рынка.

6.1.5.1. Прогноз за период.

6.1.5.2. Анализ на текущую дату.

6.1.5.3. Просмотр результатов.

6.1.6. Формирование отчетов.

6.1.6.1. Мониторинг открытых позиций.

6.1.6.2. Генератор отчетов.

6.1.6.3. Описание составных частей системы «ЕМ».

6.2. Описание сайта для публикации прогнозов.

6.3. Результаты прогнозирования.

6.4. Выводы.

Последние десятилетия сопряжены с увеличивающимся потоком информации. Во всех областях человеческой жизнедеятельности происходит автоматизация важнейших процессов. Глобализация, как закономерное следствие эволюции цивилизации, принесла новый взгляд на ведение экономической деятельности. Чем дальше человечество уходит от традиционного уклада жизни, тем сложнее становятся хозяйственные связи между субъектами, и тем эти связи становятся более распределёнными, что показательно. И если раньше большая часть населения была занята в производственной сфере, то ныне в развитых странах доля трудящихся в сфере обслуживания и сферах, несвязанных непосредственно с производством, в разы превышает долю «производственников».

Важнейшим показателем глобализации является вынос производственных мощностей в азиатские страны и страны третьего мира. Выгода таких решений очевидна. Для управления производством, элементы которого разнесены на тысячи километров, более не достаточно телефона или телетайпа - не тот порядок обмена информацией. На помощь приходят специальные компьютерные системы, зачастую, уникальные для каждого предприятия. В рамках таких ERP-систем автоматизируется документооборот, производственные процессы, управления кадрами и состоянием складов, отношения с поставщиками и субподрядчиками, а также многое другое [1]. Современные ERP-системы достаточно хорошо обрабатывают цифровые данные, но немного таких, которые используют графические данные как входную информацию, в то время как всё больше информации поступает именно в графическом виде, поскольку такая информация наиболее приемлема для человеческого восприятия.

Претерпели изменения и финансовые отношения. На первый план выходят электронные деньги. С их помощью совершают покупки не только рядовые граждане, но и осуществляются многомиллионные сделки между транснациональными корпорациями. Более того, деньги сами стали предметом торговли. Но поскольку любая торговля сопряжена с накладными расходами, финансовыми и временными, то участники торгов пытаются их уменьшить. Для этого был разработан международный рынок FOREX -внебиржевой международный рынок конвертируемых валют [2]. Посредством специальных программных средств и сети Интернет становится возможным осуществлять торговлю не выходя из дома. Предметом торговли может быть не только валюта, но и акции предприятий, природные ресурсы, обязательства и другое.

Данная тенденция не обходит стороной металлургические предприятия. Акции самых крупных из них давно участвуют в международной торговле, принося своим владельцам прибыль. Как и многие другие, владельцы пакетов акций стремятся увеличить свою прибыль и уменьшить убытки. Чтобы достичь этой цели, они прибегают к специальным методикам, советам специалистов и программным комплексам, использующим особые алгоритмы. Актуальность развития именно в этом направлении особенно отчётливо видна на фоне недавнего мирового финансового кризиса.

Сейчас, как и во все времена, прибыль от торговли напрямую зависит от правильности принимаемых решений. Однако в новом информационном веке необходимо принимать решение, основываясь на огромном количестве факторов, многие из которых имеют глобальную природу, или даже на первый взгляд не связаны с проводимой сделкой [3,4]. Одной из важнейших задач для эффективного управления экономикой является создание информационных систем, которые бы обеспечивали хранение и анализ информации, а также снабжали специалистов данными, необходимыми для принятия верного решения.

Таким образом, отличительной особенностью вышеприведённых задач является их существование в таких условиях, которые могут меняться в процессе выработки решения. Подобные спорадически осциллирующие системы обусловливают необходимость применения новых подходов для разработки технологий поддержки принятия решений в динамической предметной области.

С ростом производительности компьютеров стало возможным решать задачи предсказания в реальном времени. Под реальным временем подразумевается время принятия решения, которое может варьироваться от минут до часов, в зависимости от вида прогноза. Так, например, пятиминутный прогноз требует принятия решения в течение минуты или двух, а дневной прогноз вполне может проводиться несколько часов. В связи с этим существенно разнится объём информации, которая подаётся на вход анализатора.

Другим важным фактором, оказывающим непосредственное влияние на качество прогноза, являются исходные данные. Обычно анализ данных осуществляется человеком-экспертом, который раз за разом должен вносить изменения в настройку системы по мере обновления данных. Это весьма трудозатратный процесс, к тому же не лишённый характерных ошибок, связанных с человеческим фактором.

Таким образом, актуальность работы заключается в огромном количестве доступной информации, с разной степенью влияющей на принятие решения, и отсутствием средств, которые позволяют её обработать, предложив верное решение с большой долей вероятности. Графическое представление исходной информации является специфической особенностью данной работы. На основе известных методов можно сделать вывод, что наибольшие накладные расходы происходят на этапе формирования исходной выборки. Существенно сократить их помогает машинное обучение, методика которого представлена в настоящей работе.

Цель работы заключается в исследовании поведения спорадически осциллирующих систем в динамической предметной области, представляемых в виде двумерных графиков, проблем применения технологии машинного обучения в таких средах, а также создании информационной системы поддержки принятия решений, основанной на нечёпсозначных моделях и машинном обучении.

Для достижения поставленной цели были выполнены задачи:

• проанализированы существующие подходы к использованию графической информации в различных сферах деятельности;

• изучены различные интеллектуальные технологии, используемые для принятия решений на основе графических данных;

• рассмотрены варианты применения технологии машинного обучения на графических данных;

• созданы методы и алгоритмы распознавания фигур на графиках в динамической предметной области;

• в целях апробации разработанного метода создан прототип системы поддержки принятия решений на финансовом рынке. Научная новизна работы заключается в следующем:

• разработаны нечеткозначные модели фигуры «флаг» и участка ценового ряда тренд», а также дано формальное описание общей модели произвольной I ленточной фигуры;

• в работе описан метод машинного обучения на примерах, представленных в виде графических данных («FuzGraph»). В качестве модели описания (репрезентации) выборки примеров была использована нечеткозначная формализация геометрических фигур;

• разработан метод и алгоритм распознавания фигур на графиках в динамической предметной области;

• разработано алгоритмическое решение задач прогнозирования и мониторинга на финансовых рынках. Теоретическая значимость заключается в следующем:

• исследованы корреляционные зависимости между различными параметрами графических фигур, учитываемых в процессе принятия решений;

• описаны нечеткозначные фигура «флаг», участок ценового ряда «тренд», произвольная ленточная фигура, а также функции принадлежности для них;

• выполнена формальная постановка задачи для разработки системы принятия решений, основанной на технологии машинного обучения на графических данных («FuzGraph»), с использованием нечётких функций принадлежности;

• создан алгоритм поиска линий поддержки и сопротивления;

• построена модель машинного обучения на графических данных. Практическая значимость заключается в:

• возможности построения информационной системы металлургического предприятия, которая позволяет эффективнее управлять его рыночными активами;

• возможности более эффективного контроля над открытыми позициями на валютных и фондовых рынках;

• использовании разработанной технологии обработки графической информации в различных областях, таких как: медицина, финансовый анализ и др.

В рамках данной исследовательской работы создан прототип системы поддержки принятия решений.

Методы исследования

При разработке программного комплекса использовались:

• методы реляционной алгебры, методы статистического анализа и теория нечётких множеств для описания моделей нечёткозначных фигур и для формирования базы правил в рамках системы принятия решений;

• парадигма машинного обучения для формирования обучающей выборки графических фигур;

• методы алгоритмического моделирования и методы объектноориентированного программирования для построения опытного образца системы «ЕМ»;

• методика технического анализа на финансовых рынках для апробации предложенных моделей и алгоритмов. Результаты работы были практически реализованы в виде программного комплекса, включающего в себя набор инструментов для обучения системы экспертом, глобального анализа исторической информации, контролем над развитием тенденции в реальном времени, реляционной СУБД, хранящей все необходимые данные для работы комплекса.

Апробация работы. Результаты работы докладывались на следующих научных конференциях:

• Когнитивное моделирование в лингвистике (выставка программных продуктов) CML-2005, Варна, Болгария 2005 г.

• РОАИ-8-2007, Йошкар-Ола, Российская Федерация 7-13 октября 2007 г. Теоретические вопросы диссертации освещаются в следующих научных публикациях, в том числе одна публикация в издании, рекомендованном ВАК:

• В.Н. Поляков, Е.Н. Леонов. Метод машинного обучения на графических данных (Тезисы) - Труды международной конференции «Когнитивное моделирование в лингвистике 2005». Изд. Учеба, М.-Варна, 2005. с.282.

• В.Н. Поляков, Е.Н. Леонов, И.В. Поляков. Формирование инвестиционного портфеля и выработка стратегии принятия решения на фондовом рынке, основанной на нечёткозначной модели фигуры «флаг». Деп. в ВНИТИ — Москва, 2006 - 63 с.

• В.Н. Поляков, Е.Н. Леонов, И.В. Поляков. Построение комплексной модели принятия решения на финансовых и фондовых рынках на основе взаимосвязи технических факторов - Труды 8-ой международной конференции «Распознавание образов и анализ изображений» (РОАИ-8-2007), 2007 г., Том 3. с. 100-110.

• В.Н. Поляков, Е.Н. Леонов. Метод машинного обучения на графических данных. Учёные записки Казанского государственного университета. Серия Физико-математические науки. 2007. Том 149, книга 2, с. 92-104.

Работа соответствует паспорту специальности 05.13.01, и выполнена в следующих областях исследования:

• Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

• Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, медицинских и социальных системах.

• Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

• Методы получения, анализа и обработки экспертной информации.

Структура диссертации

Работа состоит из введения, шести глав, заключения, списка литературы и четырёх приложений.

В первой главе рассматриваются различные интеллектуальные технологии поддержки принятия решений на основе обработки графических данных. Приводятся примеры применения интеллектуальных систем в рамках управления реальными металлургическими предприятиями, в частности, ОАО "ГМК Норильский никель", АО «КазЦинк». Рассматривается такая разновидность интеллектуальных систем, как автоматизированные системы управления (АСУ). Уделено внимание некоторым особенностям устройства автоматизированных систем управления технологическими процессами. Многие из современных устройств, контролирующих технологические процессы на производстве, предоставляют выходные данные в графическом виде. От умения ЛПР правильно интерпретировать полученную информацию во многом зависит дальнейшее развитие событий, в том числе, различные критические ситуации, которые могут возникнуть. Одной из важнейших задач является своевременное выявление потенциальных аварийных ситуаций ЛПР.

В подтверждение тезиса о возрастающей роли графического представления исходных данных, приведены примеры из области медицины. В рамках таких важных методов исследования человеческого организма, как электрокардиография, реография, электроэнцефалография, приводятся примеры использования графического представления входных данных.

Также показано оперирование одновременно числовыми и графическими данными в рамках систем механической торговли, таких как SmartMoney, MetaStock, Quote.ru. Подробно рассматриваются принципы организации таких систем, их преимущества и недостатки.

Во второй главе вводится понятие нечёткозначных фигуры «флаг» и участка ценового ряда «тренд». После описания особенностей фигуры «флаг» и её отличия от других фигур, популярных среди трейдеров, следует обоснование выбора для работы разновидности этой фигуры - «бычьего флага». Подробно описывается модель фигуры «бычий флаг». Делается акцент на формализации этой фигуры путём ввода совокупности двумерных функций принадлежности. Внимание уделено участку ценового ряда «тренд» в нечёткозначном описании. Поскольку фигура «бычий флаг» наиболее полно проявляет свои особенности именно на восходящих трендах, то в рабочее пространство вводится модель фигуры «UP-тренд». Подробно освещаются её параметры, их назначение, а также функции принадлежности, которые можно построить для этой фигуры. Помимо прочего даётся формальное описание общей модели произвольной ленточной фигуры, частными случаями которой являются нечёткозначные фигура «флаг» и участок ценового ряда «тренд». /

Третья глава рассматривает технологии машинного обучения в динамической предметной области. Начало главы посвящено модели машинного обучения, представленной в виде n-ки. Затем, в ходе рассуждения о реализации метода, приводится подробные описание и схема процесса обучения. В результате формируется обучающая выборка по фигурам «бычий флаг» и «UP-тренд».

Четвёртая глава посвящена постановке задачи принятия решения на основе нечетких данных в графоаналитической форме. Помимо общей постановки задачи, особое внимание уделяется оптимизации качества системы, поскольку именно этот параметр является приоритетным. Также подробно рассматриваются критерии, позволяющие улучшить качество системы в зависимости от предметной области, в которой она применяется.

Пятая глава посвящена моделям и алгоритмам распознавания фигур на графиках в динамической предметной области. Производится логико-математическая постановка задачи по поиску флагов на графиках. Обусловливается важность использования правил для принятия решений. Большое внимание уделяется методикам прогнозирования. Отдельно рассматривается методика для выявления фигуры «бычий флаг» как на исторических, так и на текущих данных. Помимо прочего сделан акцент на минимизации убытков посредством мониторинга открытых позиций, который использует метод динамического стоп-лосса.

Шестая глава описывает программный комплекс поддержки принятия решения трейдером «ЕМ». Подробно рассматриваются такие блоки, как:

• ввод данных;

• поиск флагов и трендов;

• управление группами финансовых инструментов;

• прогноз за период по историческим данным;

• прогноз на текущую дату;

• формирование отчетов;

• вспомогательные программы;

По каждому из блоков приведена исчерпывающая информация, включающая в себя описание назначения и функционала в текстовом и графическом виде.

В заключении подводится итог проделанной работы. Предложенные методы и алгоритмы распознавания фигур на графиках воплощены в информационной системе поддержки принятия решений «ЕМ». Для формирования обучающих данных для этой системы по различным финансовым инструментам применяется метод машинного обучения «FuzGraph». Минимизация убытков на открытых позициях происходит посредством мониторинга, использующего метод динамического «стоп-лосса».

Приложение 1 содержит алгоритм выявления флага для конкретной точки на графике исторических данных.

Приложение 2 описывает модификацию алгоритма выявления флага, которая применяется для поиска всех флагов на заданном интервале исторических данных.

Приложение 3 содержит листинг программы поиска фигур «флаг» на исторических данных финансового инструмента.

В Приложении 4 даётся алгоритм использования динамического стоп-лосса для мониторинга открытых позиций на финансовом рынке.

6.4. Выводы

В данной главе подробно рассматривался программный комплекс «ЕМ». Модули ввода исходных данных, формирования обучающих выборок, поиска флагов и трендов наглядно показывают работу моделей и алгоритмов, описанных в предыдущих главах. В качестве проверки был произведён поиск флагов на реальных данных.

Полученный результат подтверждает возможность использования комплекса в режиме текущего прогнозирования. Дальнейшее развитие методики предполагается в направлении улучшения характеристик обучающих выборок, выявления корреляции между событиями на рынке

Заключение

В ходе данной работы было проведено исследование поведения спорадически осциллирующих систем в динамической предметной области, представляемых в виде двумерных графиков, а также проблем применения технологии машинного обучения в таких средах. Была создана информационная система поддержки принятия решений «ЕМ», основанная на нечёткозначных моделях и машинном обучении.

В ходе данной работы выяснилось, что в настоящее время множество решаемых задач по созданию информационных систем поддержки принятия решений, применяемых в различных областях человеческой деятельности, сопряжены с обработкой графических данных в качестве исходной информации. В свою очередь, данная работа была направлена на создание моделей и алгоритмов, которые позволяли бы выявлять фигуры на двумерных графиках, как в реальном времени, так и в ретроспективе на исторических данных. Областью применения данных разработок являются компоненты АСУ и АСУ ТП металлургических предприятий, медицинские приборы, системы финансового анализа. В ходе апробации моделей на финансовом рынке были представлены нечёткозначные модели фигуры «флаг» и участка ценового ряда «тренд», что позволило в свою очередь предложить методику машинного обучения «FuzGraph» и алгоритм выявления этих фигур на реальных данных. Также была предложена общая модель произвольной ленточной фигуры, частными случаями которой являются фигура «флаг» и участок ценового ряда «тренд». Наличие такой модели даёт возможность выявлять на графиках не только фигуру «флаг» и участок ценового ряда «тренд», но также произвольные фигуры, которые могут быть представлены как набор последовательных отрезков.

Созданные в ходе данной работы модели, а также опытный прототип программы «ЕМ», позволили наглядно убедиться в применимости и эффективности машинного обучения и нечёткозначных систем принятий решений не только для металлургии, но и для других областей науки и бизнеса.

Проделанная работа привела к следующим результатам и выводам:

1. Выполнена формальная постановка задачи принятия решения на основе нечетких данных в графоаналитической форме. Формализация учитывает влияние на качество системы таких факторов как точность и отказоустойчивость, что, вместе с механизмом управляющих правил, позволяет гибко приспосабливать модель под нужды конкретной предметной области.

2. Разработаны и описаны нечеткозначные модели фигуры «флаг» и участка ценового ряда «тренд», а также дано формальное описание общей нечёткозначной модели произвольной ленточной фигуры.

3. Произведена формальная постановка задачи машинного обучения на нечётких данных. В качестве модели описания (репрезентации) выборки примеров была использована нечеткозначная формализация геометрических фигур.

4. Предложен метод и алгоритм распознавания фигур на графиках в динамической предметной области, а также алгоритмическое решение задач прогнозирования на финансовых рынках.

5. Исследованы корреляционные зависимости между различными параметрами графических фигур, учитываемых в процессе принятия решений.

6. Создан алгоритм поиска линий поддержки и сопротивления.

7. На основе моделей и алгоритмов, предложенных в данной работе, создан и апробирован опытный образец системы поддержки принятия решений «ЕМ».

1. Y. Pengl, Т. Finin. A Multi-Agent System for Enterprise Integration. University of Maryland Baltimore County, Baltimore, 1998.

2. Найман Э. Л. Малая Энциклопедия Трейдера К . ВИРА-Р Альфа Капитал, 1999.

3. S. Andrew, I. Cloete. Neural Networks, Financial Trading and the Efficient Markets Hypothesis School of Information Technology International University in Germany, Germany 2001

4. Gyozo Gidofalvi. Using News Articles to Predict Stock Price Movements Department of Computer Science and Engineering, University of California, San Diego, 2001.

5. The International Engineering Consortium. Operations Support System. 2007.

6. Alana Grelyak. OSS NewsWatch. Pipeline Publishing, L.L.C, 2008.

7. Ярослав Палько. «САПР и графика», 1Г2004.8. «Портал машиностроения». Публикация в новостях от 20.09.2006.

8. The International Engineering Consortium. Human-Machine Interface. 2007.

9. Ю.Кузнецов A. Genesis for Windows графическая SCADA-система для разработки АСУ ТП - Современные технологии автоматизации, №3 1997.

10. Обзор продукта Proficy HMI SCADA Cimplicity на сайте компании-производителя GE FANUC Intellegent Platforms (http.VAvww. gefanuc.com/).

11. Баевский P.M., Иванов Г.Г. Вариабельность сердечного ритма: теоретические аспекты и возможности клинического применения Москва, 2000.

12. Иванов Г.Г. Электрокардиография высокого разрешения Москва, 1999.

13. Л.Г. Воронков, В.Н. Коваленко, Д.В. Рябенко. Хроническая сердечная недостаточность: механизмы, стандарты диагностики и лечения Морион, 1999.

14. В. Шульгин. CARDIO СЕ+ новый компьютерный карманный кардиограф -Handy.ru, 2002.

15. А. Л. Сыркин. Инфаркт миокарда Медицинское информационное агентство, 2006.

16. Р.Г. Роганов, И.Г. Фомина. Болезни сердца Литтерра, 2006.

17. В.В. Руксин. Неотложная кардиология Невский Диалект, 2007.

18. А.М. Старшов, И.В. Смирнов. Реография для профессионалов. Методы исследования сосудистой системы — Познавательная книга Пресс, 2003.

19. А.В. Бердников, М.В. Семко, Ю.А. Широкова. Медицинские приборы, аппараты, системы и комплексы. Часть I. Технические методы и аппараты для экспрессдиагностики Издательство Казанского государственного технического университета, 2004.

20. Г.П. Матвейков, С.С. Пшоник. Клиническая реография Минск, 1976

21. Х.Х. Яруллин. Клиническая реоэнцефалография. Москва, 1983.

22. E.JI. Вассерман. Методические аспекты цифровой электроэнцефалографии. Пособие для врачей ФАРМиндекс, 2002.

23. И.П. Лукашевич, Р.И. Мачинская, М.Н. Фишман. Принципы структурной организации информации при построении медицинских интеллектуальных систем -УДК 004.89:616,2004.

24. Информационный портал AdAstra Research Group Ltd. Новость от 28.02.2008.

25. Информационный портал AdAstra Research Group Ltd. Новость от 14.02.2005.

26. Информационный портал AdAstra Research Group Ltd. Новость от 30.02.2004.

27. Информационный портал AdAstra Research Group Ltd. Новость от 17.05.2004.

28. Ю. Волобуев. Автоматизация информационного сопровождения прокатного стана. СТА, 1999.

29. М. Даниленко. Проблемы памяти или болезнь Альцгеймера? Невский проспект, 2002.

30. А. Элдер. Как играть и выигрывать на бирже Альпина Бизнес Букс, 2008.

31. А.И. Башмаков, И. А. Башмаков. Интеллектуальные информационные технологии -МГТУ им. Баумана, 2005.

32. В. Твардовский, С. Паршиков. Секреты биржевой торговли. Торговля акциями на фондовых биржах Альпина Бизнес Букс, 2007.

33. Вороновскии Г.К. и другие. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности — Харьков, Основа, 1997.

34. Осовский С. Нейронные сети для обработки информации Финансы и статистика, 2004.

35. Leslie Pack Kaebling, Michael L.Littman, Andrew W. Moore. Reinforcement Learning: A Survey AI Access Foundation and Morgan Kaufmann Publishers, 1996.

36. Ф. Уоссермен. Нейрокомпьютерная техника: Теория и практика перевод с английского А. Зуев, В. А. Точенов, 1992.

37. И. Остроухое, П. Панфилов. Нейросети работа над ошибками - Валютный спекулянт, август 2000.

38. В.П. Бочарников. Fuzzy-технология: математические основы. Практика моделирования в экономике Наука, 2001.

39. Д. Рутковская, М. Пилиньский, JT. Рутковский. Нейронные сети, генетические алгоритмы и нечёткие системы Горячая Линия - Телеком, 2007.

40. K.N. Pantazopoulos, L.H. Tsoukalas. Financial Prediction and Trading Strategies Using Neurofuzzy Approaches IEEE Transactions On Systems, Man, And Cybernetics, August 1998.

41. П. Панфилов, И. Остроухов. Нейронные сети: карты Кохонена Валютный спекулянт, сентябрь 2000.

42. И. Остроухов, П. Панфилов. Нейросети: интеграция с теханализом ТОРА-центр, 2000.

43. Gabriel Pui Cheong Fung, Jeffrey Xu Yu. The Prediction Power of Textual Information on Financial Markets IEEE Intelligent Informatics Bulletin, June 2005.

44. Саймон Хайкин. Нейронные сети. Полный курс Вильяме, 2006.

45. Роберт Каллан. Основные концепции нейронных сетей Основы вычислительных систем, 2003.

46. Джордж Ф. Люгер. Искусственный интеллект. Стратегии и методы решения сложных проблем Вильяме, 2005.

47. A. Zorin. Stock Price Prediction: Kohonen Versus Backpropagation Technical University of Riga, 2003.

48. Thomas Mandl, Maximilian Eibl. Topographic Maps Based on Kohonen Self Organizing Maps An Empirical Approach European Symposium on Intelligent Technologies, 2001.

49. Солдатова О.П., Байков C.C. Практическое применение нейронных сетей для решения задач классификации и идентификации электронный научный журнал «Исследовано в России», 2006.

50. В. Грант. Эволюционный процесс: критический обзор эволюционной теории — Москва: Мир, 1991.

51. П. Кейлоу. Принципы эволюции Москва, 1986.

52. J.E. McDonald. Gray Code and Binary Conversion Dnote#3652, 1999.

53. Г.Уоррен. Алгоритмические трюки для программистов — Вильяме, 2007.

54. ДА. Гладков, В.В. Курейчик, М.В. Курейчик. Генетические алгоритмы -Физматлит, 2006.

55. Grina Grosan, Ajit Abraham. Stock Market Modeling Using Genetic Programming Ensembles, 2005.

56. E.M. Миркес. Нейрокомпьютер. Проект стандарта Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

57. Г.Дебок, Т.Кохонен. Анализ финансовых данных с помощью самоорганизующихся карт. Москва, "Алытина", 2001.

58. Mohamad Н. Hassoun. Fundamentals of Artificial Neural Networks MIT Press, 1995.

59. Л.Г.Комарцова, А.В.Максимов. Нейрокомпьютеры Москва, Изд-во МГТУ им. Баумана, 2002.

60. John R. Koza. Genetic programming. On the programming of computers by means of natural selection MIT Press, 1992.

61. D. Goldberg. Genetic algorithms in search, optimization, and machine learning. Reading, MA: Addison-Wesley. 1989.

62. Mingley Dugan, Richard J. Povinelli. Estimating Stock Price Predictability Using Genetic Programming Genetic and Evolutionary Computation Conference (GECCO-2001), 2001.

63. M. Dempster, C. Jones. A real-time adaptive trading system using genetic programming -Quantitative Finance volume 1,2001,

64. K. Izumi. An Artificial Market Model of a Foreign Exchange Market University of Tokio, 1998.

65. R. Prudencio, Т. Ludermir. Design of Neural Networks for Time Series Prediction Using Case-Initialized Genetic Algorithms 8th International Conference on Neural Information Processing, 2001.

66. Michael de la Maza, Deniz Yuret. A Futures Market Simulation With Non-Rational Participants MIT, 1994.

67. A. Weigend, N. Gershenfeld. Time Series Prediction: Forecasting the Future and Understanding the Past, Addison-Wesley, 1993.

68. T. Hellstrm, K. Holmstrm. Predicting the stock market. Technical report series -Malardalen University, Sweden, 1998.

69. NASDAQ Corporate. About NASDAQ-100 http://dynamic.nasdaq.com/dyriainic/nasdaqlOO activity.stm

70. Standard & Poor's. S&P CNX NIFTY 09'2006.

71. Crina Grosan, Ajith Abraham, Sang Yong Han. MEPIDS: Multi-Expression Programming for Intrusion Detection System, 2005.

72. Mihai Oltean, D.Dmitriesku. Multi Expression Programming, 2001.

73. Markus Brameier, Wolfgang Banzhaf. Effective Linear Genetic Programming, 2001.

74. Johan Parent, Ann Nowe. Linear Genetic Programming using a compressed genotype representation, 2004.

75. Lee A. Becker, Mukund Seshadri. GP-evolved Technical Trading Rules Can Outperform Buy and Hold, 2003.

76. Tim Chenoweth, Zoran Obradovic. A Multi-Component Nonlinear Prediction System for the S&P 500 Index, 1995.

77. Dictionary of Algoritms and Data Structures National Institutes of Standards and Technology, 2004.

78. P.C. Mahalanobis. On the generalized distance in statistics. Proceedings of the National Institute of Science of India 12,1936.

79. A. Djouadi, O. Snorrason, F. Garber, The quality of Training-Sample estimates of the Bhattacharyya coefficient IEEE Tran. Pattern analysis and machine intelligence, 12'1990.

80. M. Aladjera. Nonparametric discriminant analysis via recursive optimization of Patrick-Fisher distance IEEE Trans, on Syst. ,Man, Cybern, vol. 28B, No 2, 1998.

81. Gongde Guo, Hui Wang, David Bell. Time Series Data Analysis and Pre-Process on Large Databases, 2002.

82. C. Candan, M. Kutay, H. M.Ozaktas. The discrete fractional Fourier transform IEEE Trans. On Signal Processing, 2000.

83. J.J. Murphy. Technical Analysis of the Financial Markets: A Comprehensive Guide to Trading Methods and Applications New York Institute of Finance, 1986.

84. C. Setzkorn, L. Dipietro, R. Purshouse. Evolving Rule-Based Trading Systems -Department of Computer Science, University of Liverpool, UK, 2002.

85. Ajith Abraham, Baikunth Nath, P.K. Pahanti. Hybrid Intelligent System for Stock Market Analysis Monash University (Gippsland Campus), Australia, 2001.

86. Jyh-Shing Roger Jang, Chuen-Tsai Sun. Neuro-Fuzzy Modeling and Control IEEE, 1995.

87. C. L. Wilson. Self-organizing neural networks for trading common stocks IEEE World Congress Neural Networks, 1994.

88. J. C. Hull. Options, Futures, and Other Derivatives, 3rd ed. Englewood Cliffs, NJ: Prentice-Hall, 1997.

89. D. Lowe. Novel exploitation of neural network methods in financial markets IEEE World Congress Neural Networks, 1994.

90. J. Ahmad, H. Fatmi. A quadric neural network system for prediction of time series data -IEEE World Congress Neural Networks, 1994.

91. A.H. Колмогоров. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения -Доклады АН СССР. т. 114, 1957.

92. М. L. Puterman. Markov Decision Processes Wiley, 1994.

93. R. S. Sutton, B. G. Andrew G. Barto. Reinforcement Learning: An Introduction- MIT Press, 1998.

94. S. B. Achelis. Technical Analysis from A to Z McGraw-Hill Inc., 2000.

95. А. Эрлих. Технический анализ товарных и финансовых рынков Инфра-М, 1996.

96. N. J. Nilsson. Introduction to Machine Learning Stanford University, 1996.

97. С. Нисон. Японские свечи: графический анализ финансовых рынков Москва: Диаграмма, 1998.

98. Пискулов Д. Ю. Теория и практика валютного дилинга. Москва: Финансист, 1998.

99. М. I. Jordan (editor). Learning in Graphical Models MIT Press, 1998.

100. Два подхода к анализу фондового рынка «Биржа + финансы» №10 от 17.03.2008.

101. A. Merril. Volume Indicators Stocks & Commodities V. 8:2.

102. Томас P. Демарк. Технический анализ новая наука - Евро, 2008.

103. Б. Вильяме. Торговый хаос. Экспертные методики максимизации прибыли -ИК «Аналитика», 2006.

104. G. Appel. The moving average convergence-divergence method: advanced version Scientific Investment Systems, 1985.

105. Thom Hartle. Stochastics and long-term trends Stocks & Commodities V. 8:1.107. http: // www.tdmresearch. com/

106. Easy Language Omega Research Inc., 2000.109. http://www.vedikhin.ru/2006/0 l/metatrader4 overvievv.html110. http://itrading.onlinebroker.ru/\vebquik/111. http://www.quote.ru/112. www, smartmone v. com113. http://www.metastock.forekc.ru/

107. В. Поляков, А. Шевченко. Технология принятия решений на валютных и фондовых рынках с использованием нечеткозначной модели фигуры «флаг»

108. Труды восьмой национальной конференции по искусственному интеллекту. КИИ-2002. 7-12 октября. Коломна Россия. 2002.

109. А.Н. Аверкин, И.З. Батыршин. Нечеткие множества в моделях управления и искусственного интеллекта. Под.ред. Д.А.Поспелова. М.: Наука. Гл.ред.физ.-мат.лит., 1986.

110. А.О. Недосекин. Методологические основы моделирования финансовой деятельности с использованием нечётко-множественных описаний. Санкт-Петербург, 2002.

111. В. Н. Лиховидов. Фундаментальный анализ мировых финансовых рынков: методы прогнозирования и принятия решений. В.: ВИРА-Р Альфа Капитал, 1999.

112. В.Н. Поляков, Е.Н. Леонов, И.В. Поляков. Формирование инвестиционного портфеля и выработка стратегии принятия решений на фондовом рынке, основанной на нечёткозначной модели фигуры «флаг» Деп. в ВНИТИ — Москва, 2006.

113. В.Н. Поляков, Е.Н. Леонов. Метод машинного обучения на графических данных. Учёные записки Казанского государственного университета. Серия Физико-математические науки. 2007. Том 149, книга 2. Стр. 92-104.

114. Fabrizio Sebastiani. Machine Learning in Automated Text Categorisation -Consiglio Nazionale delle Ricerche, Italy.