автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Модели, алгоритмы и программная платформа для реализации мета-обучения на основе метода группового учета аргументов

На правах рукописи

Орлов Андрей Александрович

МОДЕЛИ, АЛГОРИТМЫ И ПРОГРАММНАЯ ПЛАТФОРМА

ДЛЯ РЕАЛИЗАЦИИ МЕТА-ОБУЧЕНИЯ НА ОСНОВЕ МЕТОДА ГРУППОВОГО УЧЕТА АРГУМЕНТОВ

Специальность 05.13.18 «Математическое моделирование, численные методы и комплексы программ»

1 3 НОЯ 2014

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

ног вон £ I

Томск 2014

005554876

Работа выполнена на кафедре промышленной электроники федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Томский государственный университет систем управления и радиоэлектроники» (ТУСУР).

Научный руководитель - кандидат технических наук, доцент

Тырышкин Александр Васильевич

Официальные оппоненты: Цапко Геннадий Павлович,

доктор технических наук, Национальный исследовательский Томский политехнический университет, профессор кафедры автоматики и компьютерных систем

Шмырин Игорь Сергеевич, кандидат технических наук, Национальный исследовательский Томский государственный университет, доцент кафедры исследования операций

Ведущая организация - ФГБОУ ВПО Новосибирский государственный

технический университет

Защита состоится 18 декабря 2014 г. в 15 час. 15 мин. на заседании диссертационного совета Д212.268.02 в ФГБОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» по адресу: 634050, г. Томск, пр. Ленина, 40.

С диссертацией можно ознакомиться в научной библиотеке ФГБОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» по адресу: г. Томск, ул. Красноармейская, 146.

Автореферат разослан » 2014 г.

Ученый секретарь /4/7//У

диссертационного совета с^ РВ. Мещеряков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Задачей Интеллектуального Анализа Данных (ИАД, в англоязычной литературе используется термин «Data Mining») является обнаружение (извлечение) в доступных исследователю исходных данных ранее неизвестных, неочевидных, но практически полезных знаний. В качестве доминирующей формы представления знаний в фундаментальных работах различных авторов используются математические модели.

Для решети каждой новой практической задачи ИАД требуется осуществление выбора как наиболее подходящих (с точки зрения эффективности решения задачи) моделей и/или алгоритмов, так и их оптимальных параметров. Формализация методики выбора алгоритма была впервые предложена Джоном Райсом (John R. Rice) в 1976 году. Развитие его идей в направлении использования возможностей вычислительной техники (Machine Learning) привело к возникновению к середине 2000-х годов в области ИАД отдельного научного направления, названного «мета-обучение» (Meta-Learning). Большой вклад в развитие области мета-обучения внесли следующие ученые: J. Rice, D.H.Wolpert, R. Vilalta, Y. Drissi, K.A. Smith-Miles, R.B.C. Prudencio, T.B Ludermir! N. Jankowski, K. Grabczewski, W. Duch, J. Vanschoren, C. Soares, P.B. Brazdil, a' Kalousis, M. Hilario, D. Francois, M. Matijas, J.A.K. Suykens, S. Krajcar.

До настоящего времени разработано более 40 систем мета-обучения, каждая из которых показала свою эффективность при решении разнообразных задач ИАД. Однако проведенный автором анализ показал, что каждая из существующих систем требует привлечения эксперта в процессе решения поставленной задачи, что сопряжено с высокими материальными и временными затратами. А отсутствие единой методики построения систем мета-обучения, вследствие чего каждая из существующих систем обладает специфичными структурными особенностями, дополнительно ограничивает потенциальный спектр решаемых ими задач ИАД. Решение указанных проблем определяет актуальность диссертационной работы.

Существующие системы мета-обучения, как правило, используют различные модели и/или алгоритмы для решения задач ИАД («нижний уровень») и для выделения, накопления и использования мета-знаний («верхний уровень»). Это увеличивает сложность систем и трудоемкость их реализации. В то же время известно множество успешных применений индуктивного метода самоорганизации моделей (также известного как метод группового учета аргументов, МГУ А) для решения широкого спектра задач ИАД: классификации, прогнозирования, идентификации сложных систем, нахождения эмпирических зависимостей, кластеризации и т.д. Поэтому актуальным видится применение алгоритмов МГУА как на «нижнем», так и на «верхнем» уровнях системы.

Большой вклад в развитие области МГУА внесли работы ученых: А.Г. Ивахненко, B.C. Степашко, Г.А. Ивахненко, Ю.П. Зайченко, Е.А. Савченко, А. Сарычева, Л. Сарычевой, O.A. Кошулько, А.И. Кошулько, Н. Кондрашовой'

t

■о

Е. Бодянского, J. Muller, F. Lemke, M. Snorek, P.Kordik, M. Alexandrov, T. Kondo, N. Nariman-zadeh, H.R. Madala, S. Farzi, S.-K. Oh, T. Aksenova, E. Devilopoulos.

Объектом исследования является процесс интеллектуального анализа данных.

Предметом исследования является комплекс моделей, алгоритмов и программ интеллектуального анализа данных, реализующий подход мета-обучения и основанный на методе группового учета аргументов.

Целью диссертационной работы является разработка моделей, алгоритмов и программного комплекса для реализации системы мета-обучения с использованием метода группового учета аргументов.

Поставленная цель диссертационной работы определяет необходимость решения следующих задач исследования.

1. Аналитический обзор существующих решений (методик, алгоритмов, систем), существующих программных комплексов (систем, платформ, библиотек), предназначенных для ИАД, в областях мета-обучения и МГУ А; выработка требований к разрабатываемой системе мета-обучения и к программному комплексу для ее реализации.

2. Разработка методики ИАД на основе мета-обучения путем выбора оптимального алгоритма ИАД и оптимальных параметров его функционирования.

3. Разработка алгоритмов функционирования системы мета-обучения, обеспечивающих автоматический режим:

• обучения системы,

• использования системы,

• накопления мета-знаний и построения мета-моделей,

• выбора оптимальных алгоритмов и расчета оптимальных параметров их работы,

• самодиагностики.

4. Адаптация существующего вычислительного алгоритма МГУА для идентификации мета-моделей и разработка вычислительного алгоритма идентификации моделей полиномиально-гармонического базиса.

5. Анализ предметных областей мета-обучения и МГУА и разработка объектной архитектуры программного комплекса, включающего программные платформы мета-обучения и МГУА; разработка необходимых модулей и компонентов.

6. Проведение исследований эффективности разработанной системы (и алгоритмов в ее составе) на типовых контрольных примерах и тестовых выборках данных, а также в прикладных задачах.

Методы исследований

В диссертационной работе применялись положения теории индуктивного моделирования, методы численного решения задач линейной алгебры и оптимизации, методы статистической обработки результатов. При реализации программного комплекса применялись парадигмы структурного и объектно-ориентированного программирования.

Достоверность результатов обеспечивается строгостью применения

математических методов, сопоставлением результатов проведенных численных

экспериментов с данными, полученными другими авторами.

Научная новизна

В диссертационной работе получены следующие новые научные результаты.

1. Впервые сформулированы классификационные признаки систем интеллектуального анализа данных на основе мета-обучения, позволяющие единообразным образом характеризовать внутреннюю организацию существующих систем, что дает возможность их систематизации.

2. Предложена методика ИАД на основе мета-обучения, отличающаяся использованием мета-моделей, отражающих взаимосвязь между значениями мета-характеристик данных, значениями параметров работы алгоритмов и значениями показателей эффективности решения ими задачи ИАД, что обеспечивает одновременно как выбор оптимального алгоритма решения задачи ИАД, так и расчет оптимальных параметров его работы.

3. Разработаны алгоритмы функционирования предложенной системы мета-обучения, отличающиеся одновременной реализацией функций обучения системы, использования системы, накопления мета-знаний и построения мета-моделей, выбора оптимальных алгоритмов и расчета оптимальных параметров их работы, а также самодиагностики, что позволяет обеспечить автоматический режим функционирования системы.

4. Разработан вычислительный алгоритм идентификации полиномиально-гармонических моделей, отличающийся оригинальной процедурой генерации набора структур полиномиальной и гармонической частей, процедурой совместной оценки их параметров, включающей оригинальную численную процедуру расчета частот гармонических составляющих, основанную на преобразовании Фурье и методе градиентного спуска, что позволяет осуществлять полный перебор структур полиномиально-гармонических моделей в рамках заданных ограничений на сложность модели и оценку параметров этих моделей.

5. Впервые разработана архитектура программного комплекса (программных платформ мета-обучения и МГУ А), позволяющая реализовывать системы мета-обучения, а также известные алгоритмы (параметрические, непараметрические и многорядные), базисы, методы обучения и критерии селекции моделей МГУ А.

Практическая значимость диссертационной работы заключается в

следующем.

1. Разработанная методика ИАД на основе мета-обучения может применяться непосредственно для решения различных задач, стоящих перед экспертом в области ИАД (как то: идентификации моделей систем, классификации, прогнозирования и пр.), путем выбора оптимального алгоритма и оптимальных параметров его функционирования.

2. Разработанный программный комплекс (программные платформы мета-обучения и МГУ А) способен функционировать в составе автоматических технических систем ИАД, в автоматическом режиме осуществляя обучение,

выбор значимых мета-характеристик используемых данных, выбор оптимальных алгоритмов и настройку их параметров, а также накопление мета-знаний и самодиагностику.

3. Применение разработанного программного комплекса (программных платформ мета-обучения и МГУА) позволяет уменьшить трудоемкость реализации существующих и разработки новых систем мета-обучения, а также любых алгоритмов, базисов, методов обучения и критериев селекции моделей МГУА, необходимых эксперту для проведения исследований и экспериментов в области НАД, за счет унификации интерфейсов и реализации компонентов архитектур программных платформ.

4. Разработанные механизмы распараллеливания вычислений алгоритмов МГУА, поддерживающие пять современных архитектур параллельных вычислений (потоковые процессоры, многоядерные процессоры, многопроцессорные системы, кластеры, распределенные системы) и реализованные на основе программной платформы МГУА, позволяют увеличить качество решения задач ИАД за счет кратного увеличения количества генерируемых, обучаемых и отбираемых в единицу времени моделей.

Апробация работы

Основные положения работы докладывались и обсуждались на международной научной конференции на английском языке: «4' International Conference on Inductive Modelling (ICIM-2013)», Киев, Украина, 2013 г.

Результаты диссертационной работы в форме лекции докладывались на Международной Научной Школе «Индуктивное моделирование - теория и применение» (Жукин, Украина, 2011 г.) - по приглашению ведущей в области индуктивного моделирования организации, Отдела информационных технологий индуктивного моделирования (ИТИМ) Международного научно-учебного центра информационных технологий и систем Национальной Академии Наук Украины.

Полученные в ходе диссертационной работы результаты обсуждались на семинарах лаборатории Интеллектуальных Систем, Когнитивной Робототехники и Автоматизации (ИСКРА) кафедры промышленной электроники ТУСУР, а также на Томских IEEE-семинарах «Интеллектуальные системы моделирования, проектирования и управления» (ТУСУР).

Защищаемые положения: 1. Новая методика интеллектуального анализа данных на основе мета-обучения позволяет осуществлять выбор оптимального алгоритма и оптимальных параметров его работы на основании мета-характеристик данных:

• с построением одной мета-модели на каждый из алгоритмов, когда вычисление оптимальных параметров работы алгоритма и прогнозирование его эффективности осуществляется с применением одной модели;

• с построением двух мета-моделей на каждый из алгоритмов, когда вычисление оптимальных параметров работы алгоритма производится с применением одной модели, а прогнозирование его •эффективности - с применением другой.

Соответствует пункту 1 паспорта специальности: Разработка новых математических методов моделирования объектов и явлений.

2. Алгоритмы функционировати системы мета-обучения обеспечивают автоматический режим обучения системы, использования системы, накопления мета-знаний и построения мета-моделей, выбора оптимального алгоритма и расчета оптимальных параметров его работы, а также самодиагностики.

Соответствует пункту 3 паспорта специальности: Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий.

3. Разработанный вычислительный алгоритм идентификации полиномиально-гармонических моделей обеспечивает как совместную генерацию полного набора структур полиномиальной и гармонической частей (в рамках заданных ограничений на сложность модели), так и совместную оценку их параметров, включающую численную процедуру расчета частот гармонических составляющих, основанную на преобразовании Фурье и методе градиентного спуска.

Соответствует_пункту 3 паспорта специальности: Разработка.

обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий.

4. Предложенная архитектура программной платформы:

• позволяет реализовывать системы мета-обучения, а также известные алгоритмы (параметрические, непараметрические и многорядные), базисы, критерии селекции и методы обучения моделей метода группового учета аргументов без необходимости ее изменения;

• дает возможность её использования как в качестве независимой системы ИАД (диалоговой, интерактивной и т.д.), так и элемента другой системы (в том числе и в составе технической системы);

• реализует механизмы распараллеливания вычислений и управления памятью для пяти современных архитектур параллельных вычислений (потоковые процессоры, многоядерные процессоры, многопроцессорные системы, кластеры, распределенные системы).

Соответствует пункту 4 паспорта специальности: Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента. Публикации по теме работы

Всего автором опубликовано 14 научных работ, включая 2 публикации в рецензируемых журналах из перечня ВАК РФ и 6 публикаций в рецензируемых зарубежных изданиях, и зарегистрировано 3 объекта интеллектуальной собственности (1 патент на изобретение, 1 патент на полезную модель и 1 свидетельство о регистрации программы для ЭВМ).

Непосредственно по теме диссертации опубликовано 4 научные работы: 2 статьи - в рецензируемых журналах из перечня ВАК РФ; 1 статья в Международном научном журнале; 1 статья в сборниках трудов Международных конференций (на англ. языке).

Получено 1 свидетельство об официальной регистрации программы для ЭВМ - Свидетельство: № 18980 от 23.02.2013 г., «Программная платформа для реализации алгоритмов метода группового учета аргументов (МГУА)».

Принята к публикации и находится в печати глава в монографии, написанной международным коллективом авторов («GMDH - Methodology and Implementation in С» под редакцией Prof. Godfrey С. Onwubolu, World Scientific, Imperial College Press, London, ISBN: 978-1-84816-610-3), вместе с которой поставляется CD-диск с авторским программным обеспечением.

Внедрение результатов диссертационного исследования

1. Разработанная в рамках диссертационной работы методика интеллектуального анализа данных и разработанный программный комплекс, включающий программные платформы мета-обучения и МГУА, были использованы в рамках проектов, выполняемых на базе компании Econophysica Ltd (Англия, идентификационный номер компании 4056562), и позволили произвести анализ изменения свойств нестационарного временного ряда и выработать экспертные рекомендации касательно построения прогнозов.

2. Разработанный в ходе выполнения диссертационной работы программный комплекс, включающий программные платформы мета-обучения и МГУА, был использован в составе предложенной автором структуры системы прогнозирования при выполнении проекта «Высокочастотный трейдинг» в компании ООО «Эко-Томск» (ОГРН 1047000092776), что позволило превзойти требования заказчика в части эффективности прогнозирующих моделей, построение которых осуществлялось системой прогнозирования (получено значение критерия качества прогнозирующих моделей 0.614 при заданном 0.6).

3. Результаты диссертационной работы в части реализации алгоритмов прогнозирования на основе предложенной методики интеллектуального анализа данных на основе мета-обучения и в части анализа архитектур параллельных вычислений, разработки подсистем параллельных вычислений и управления памятью программной платформы метода группового учета аргументов были получены в рамках Государственного задания Министерства образования и науки РФ на выполнение НИР в 2012-2014 гг. на тему «Развитие методов синтеза и адаптивного управления энергонасыщенными объектами на основе теории производящих функций, теории нормальных структур, методов комбинаторной генерации и самоорганизации моделей», проект №7.2868.2011.

Личный вклад автора

Основные результаты диссертационной работы получены лично автором. Автор самостоятельно разработал архитектуру программного комплекса, включающего программные платформы мета-обучения и метода группового учета аргументов, и выполнил его реализацию. Структура и объем работы

Диссертация состоит из введения, основной части, включающей в себя четыре главы, заключения, списка используемой литературы из 133 источников, 3 приложений. Объем диссертационной работы составляет 183 страницы. Работа иллюстрируется 37 рисунками и 26 таблицами.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследования, определяются цель, задачи, объект, предмет, методы исследования, раскрывается научная новизна и практическая значимость, дается информация об апробации и внедрении работы, формулируются положения, выносимые на защиту.

В первой главе диссертации приводится аналитический обзор современных исследований и разработок в области создания систем ИАД на основе мета-обучения с точки зрения трех аспектов, определяемых предметом исследования: (I) методики мета-обучения и принципа построения систем мета-обучения, (П) моделей и алгоритмов ИАД в составе системы, (Ш) программной реализации.

(I) На сегодняшний день известно более 40 систем мета-обучения, разрабатываемых различными научными коллективами. Предназначением подобных систем является решение задачи ИАД посредством выбора алгоритма ИАД из числа доступных системе или параметров его работы таких, чтобы максимизировать предполагаемую эффективность решения этой задачи.

Известные аналитические обзоры существующих систем фокусируются либо на некоторых внешних критериях оценки систем (результирующая точность, скорость принятия системой решений и т.д.), либо рассматривают состав внутренних модулей без выделения общности в их организации. В связи с этим автором было принято решение о необходимости выявления классификационных признаков, учитывающих внутреннюю организацию систем. В главе приводится подробное описание каждого из выделенных признаков, а также проводится систематизация известных систем мета-обучения.

Путем сравнительного анализа известных систем с точки зрения сформулированных классификационных признаков и спектра решаемых ими задач обосновывается актуальность разработки автоматической системы мета-обучения и формулируются требования к ее реализации.

Требование А: Поддержка автоматических режимов обучения, использования, выбора значимых мета-характеристик, настройки параметров алгоритмов и проверки эффективности. Требование В: Накопление мета-знаний и построение на их основе мета-моделей, отражающих закономерности в процессах обучения системы и алгоритмов. Требование С: Расчет оптимальных параметров функционирования и выбор оптимального алгоритма на основании анализа свойств заданной выборки данных (мета-характеристик) и предсказания производительности алгоритмов. Требование Р: Поддержка принятия решений о допустимости применения найденного оптимального алгоритма и его оптимальных параметров для решения поставленной задачи.

(П) Система мета-обучения, отвечающая сформулированным требованиям, как и большинство существующих систем, содержит в своем составе как алгоритмы ИАД для решения задач ИАД, стоящих перед системой («нижний уровень системы»), так и алгоритмы ИАД, осуществляющие построение мета-моделей («верхний уровень системы»).

В связи с использованием на обоих уровнях разрабатываемой системы алгоритмов МГУА, в главе дается краткая характеристика МГУ А, освещаются его основные принципы и достоинства. Приводится классификация известных алгоритмов МГУА на параметрические, непараметрические и многорядные. Для каждого класса приводится 2-3 примера алгоритмов МГУА, для каждого из которых дается краткое описание и последовательность шагов алгоритма по выявлению модели оптимальной сложности в виде листинга на псевдокоде. Приводится обзор применений алгоритмов МГУА в задачах классификации, регрессии и прогнозирования (всего 27 применений).

(III) Исходя из аналитического обзора существующих программных продуктов (включая программные системы, платформы и библиотеки), обосновывается необходимость разработки собственных программных платформ мета-обучения и МГУА в составе единого программного комплекса, соответствующих следующим сформулированным требованиям. Гибкость характеризует такую организацию архитектуры программной платформы, которая поддерживает добавление новых компонентов (мета-характеристик, алгоритмов ИАД, показателей эффективности; базисов моделей МГУА, алгоритмов их обучения, критериев селекции и т.п.) без существенного и/или трудоемкого её изменения. Универсальность предполагает возможность использования программной платформы в качестве как независимой системы ИАД (диалоговой, интерактивной и т.д.), так и элемента другой системы (в том числе и в составе технической системы) за счет наличия унифицированных интерфейсов доступа к внутренним возможностям программного продукта. Производительность определяет время получения результата при проведении ИАД и предполагает оптимизацию исходных кодов и распараллеливание вычислений, что на уровне архитектуры реализуется наиболее эффективно; обязательна поддержка современных архитектур параллельной обработки данных: потоковых процессоров (ПП), многоядерных процессоров (МЯП), многопроцессорных систем (МПС), кластеров (KJI) и распределенных систем (PC).

В заключении первой главы формулируются задачи диссертационного исследования.

Вторая глава диссертационной работы посвящена разработке архитектуры системы мета-обучения с применением МГУА.

С целью анализа особенностей каждой из четырех методик ИАД, лежащих в основе систем мета-обучения классов Algorithm Selection, Parameter Tuning, Data Mining Assistant и Multi-Level Data Mining (данные классы были выделены на этапе обзора известных систем), вводится формализация. Согласно ей, предназначение систем определяется как решение задачи ИАД ж из пространства проблем (задач) X посредством выбора алгоритма а из пространства доступных алгоритмов А или параметров q" из пространства параметров его работы Q" таких, чтобы максимизировать предполагаемую эффективность решения этой задачи />(0(9"),*). Термином «алгоритм» (а) обозначена последовательность

действий по осуществлению математического моделирования с целью решения конкретной задачи ИАД.

Для решения данной задачи методики Algorithm Selection, Parameter Tuning и Data Mining Assistant предполагают использование так называемых мета-характеристик (meta-features) /(-v)eF (F - пространство мета-характеристик), представляющих собой некоторую априори доступную информацию либо рассчитываемые характеристики заданной выборки данных («данные о данных»), С использованием предложенной формализации описывается разработанная автором методика ИАД на основе мета-обучения, удовлетворяющая всем сформулированным ранее требованиям:

выбор алгоритма а из пространства доступных алгоритмов А и набора его оптимальных параметров функционирования q" из пространства параметров Q" производится функцией ¿(/(.г)) на основании набора мета-характеристик f(x)eF (F - пространство мета-характеристик) для выборки данных х из пространства проблем X таким образом, что эффективность алгоритма а на выборке данных д- максимальна.

Реализация функции х(/(*)) при этом основывается на мета-моделях -функциях вида ps=Hs{f.q), которые отражают объективно существующую зависимость эффективности каждого алгоритма ag 0т значений мета-характеристик / и параметров алгоритма q.

Мета-модели Ms (f,q) являются решением задачи идентификации вида ft* = arg min Z , //( MF, Mf)) = arg min Z (л/f", // (M'f)),

где ii - множество всех мета-моделей;

МТ" = Mg - матрица показателей эффективности (ПЭ) алгоритмов на некотором наборе задач ИАД;

M'f =[wf М|>] составляется из матриц мета-характеристик для

каждой задачи из набора и параметров алгоритма, использованных для его запуска на соответствующей задаче;

z{Mm",M>7) - критерий оценки качества мета-моделей.

В общем виде функция £(/) может быть записана следующим образом:

{a,q} =L{f) = \as- ,qg-\gcpt = argmax^ (/^f ),qf = arg max W/, ^) .

[ S'1C j

Как следует из формулы, построение мета-модели ßg{f,q) осуществляется

для каждого алгоритма as, Но при этом ßs{f,q) используется как для

вычисления оптимальных параметров qf (задача оптимизации), так и для выбора

оптимального алгоритма as°" (селекция). Таким образом реализуется методика, которой дается условное наименование «одна мета-модель на алгоритм».

Поскольку при небольшом объеме обучающих выборок данных качество мета-моделей ухудшается, точность решения задачи оптимизации может быть неудовлетворительной. В качестве одного из возможных решений данной проблемы автор предлагает обучение дополнительных мета-моделей вида q°f=r]s(f), производящих расчет оптимальных параметров для каждого алгоритма ag на основании значений мета-характеристик данных /:

где y{m"1",M") - критерий оценки качества мета-модели, причем

[ 1 i=uf

Таким образом, функция ¿(/) примет вид:

{a,q} =£'(/) = L'-.Hft* =argmin К*{МГ).Ч? = **(/)!

[ 1 g=i.c J

Как следует из формулы, для каждого алгоритма ag осуществляется построение двух мета-моделей: ßg{f,q) и 'f (/), что можно условно назвать «две

мета-модели на алгоритм».

Далее в главе приводятся алгоритмы работы системы в различных автоматических режимах для двух вариантов предложенной методики НАД (в форме листингов псевдокода):

• обучения, когда система осуществляет идентификацию мета-моделей на основе имеющейся мета-информации ( M'f

• применения, когда мета-модели используются для выбора оптимального алгоритма и параметров его функционирования с целью решения заданной

задачи ИАД (а^,^);

• дообучения, когда система производит уточнение мета-моделей с учетом накопленных в процессе работы мета-знаний.

Один из данных алгоритмов - алгоритм обучения системы, реализующий методику «одна мета-модель на алгоритм» приведен в листинге 1.

Идентификацию мета-моделей предлагается осуществлять с применением алгоритма дважды многорядной сети МГУА (сеть типа «КИКА» согласно классификации B.C. Степашко и A.C. Булгаковой). Приводится описание численной процедуры поиска оптимальной структуры мета-модели в классе полиномиальных моделей и показывается, что она удовлетворяет сформулированным требованиям к реализации системы.

Разработанный численный алгоритм идентификации полиномиально-гармонических моделей предназначен для расчета параметров модели вида

(1)

5=1

где х, - N входных переменных;

/ ( N 1 ' N 1

bs sin IX-'*- + cs COS XX''-v<

< li=l J J /

°р - параметры полиномиальной части (коэффициенты полинома); о>и - частоты гармонических составляющих для ; -й переменной 5 -го компонента гармонической части модели, &>м > 0 ;

- степень /' -й переменной, р -го слагаемого, гр1 > 0 ; Ь!У с3 - коэффициенты компонентов гармонической части модели.

Поскольку данная модель линейна относительно параметров о,, 6, и с, и нелинейна относительно грА и сои, предлагается расчет параметров производить в три этапа.

Листинг 1. Алгоритм обучения (методика «одна мета-модель на алгоритм»)

• К выборок данных хк (исходные данные для К задач) . Параметры алгоритма

• Функция расчета мета-характеристик данных /(л-), возвращающая вектор из т значений мета-характеристик для выборки X .

• Набор из в алгоритмов , характеризующихся 5г параметрами.

• Функция расчета ПЭ р{а(д\х) для алгоритма а с параметрами д на выборке -V .

• Алгоритм ИАД обучения (построения) мета-моделей.

• Критерий качества г(р"'",р") мета-моделей ¡л . Вид результата

Набор из б мета-моделей . Псевдокод

1. Произвести расчет мета-характеристик данных для каждой из

2.2. Для каждой выборки / сформировать набор из Jf векторов параметров алгоритма .

2.3. Произвести запуск алгоритма ае для каждой выборки / и набора параметров ](решить задачу, заданную выборкой данных л;).

2.4. Для каждой выборки ; и ) = вычислить р? с использованием функции расчета ПЭ. Составить матрицу показателей эффективности М^, •

2.5. Составить матрицы мета-характеристик м[ и параметров М^, .

2.6. Запустить алгоритм ИАД для получения мета-моделей /1* с использованием критерия качества 2{р""',р").

3. Набор из й мета-моделей /и* есть результат работы алгоритма.

Данные

матрицу мета-

данных

1. Производится комбинаторная генерация всех возможных сочетаний всех возможных слагаемых полиномиальной части с ограничением на сумму степеней аргументов, входящих в произведение (общее число - W). Коэффициенты ар для каждого такого сочетания оцениваются на обучающей выборке данных по методу наименьших квадратов (МНК). Вычисляется разность между табулированным значением функции и выходом полиномиальной части.

2. Осуществляется решение оптимизационной задачи вида

V=atgminC(uf.r), (2)

геТ

где г = {/),, cs, cos j} - вектор параметров гармонической части модели;

Т = RpxRs х(/г)ХЛ - пространство параметров гармонической части модели;

c(t/J',r) - заданный функционал.

Решение задачи осуществляется методом градиентного спуска, а начальное приближение задается путем расчета частот и амплитуд наиболее значимых гармоник путем применения преобразования Фурье. Данная процедура повторяется для каждого из W сочетаний слагаемых полиномиальной части и М компонентов гармонической части, итого W хМ раз.

3. Полученные ранее параметры '>., и msj фиксируются, а ар, bs и с, вычисляются с помощью МНК на обучающей выборке данных. Заданное количество лучших моделей отбирается путем расчета внешнего критерия качества моделей на проверочной выборке данных.

Для реализации программной платформы выбрана объектно-ориентированная парадигма анализа (Object-Oriented Analysis, ООА), проектирования (Object-Oriented Design, OOD) и программирования (Object-Oriented Programming, OOP). Предметная область программной платформы включает мета-обучение и МГУ А. В процессе ОАА составлен словарь данной предметной области. На рисунке 1 представлены архитектуры программных платформ мета-обучения (пунктирная рамка «ML») и МГУА (пунктирная рамка «GMDH»), полученные в результате OOD.

В третьей главе рассматривается программная реализация алгоритмов МГУА в составе разрабатываемой системы мета-обучения.

В главе описываются детали реализации на базе разработанной во второй главе архитектуры программной платформы алгоритмов МГУА каждого из трех типов (параметрические, непараметрические, многорядные). Показаны особенности реализации различных критериев селекции моделей (в том числе и основанных на перекрестной проверке), а также детали реализации полиномиального базиса. Обосновано соответствие критерию гибкости.

Дается описание внешних интерфейсов разработанной программной платформы и способов взаимодействия с ней. На рисунке 2 модули, заголовок которых выделен серым фоном, разработаны автором при реализации

значен^

MetaLearrier

MetaFeature

/ MetaLearner(Algorithml|, Criterion!I)1 virtual solve(Data)=Q 1

algorithms, criteria metadata metamodels

доступная информация

virtual calc(Data);

virtual data in_at(h)=0 virtual data out at(h)=o

для обучения и применения 1мета-моделей

'доступные алгоритмы

отражает зависимости в данных

для оценки эффективности »алгоритмов

использует для решения

/ Д MetaModel j

Criterion

Algorithm

virtual calc(Data,Result);

~ Algorithm(params) virtual Result solve(Data)'

Model

оценка качества

N ^virtual use(Pata);^L_o6y4ae^/A\ ModelAlgorlthm * "Vv / ModelAlgorithm(params)/

\ 4 virtua' solve(Oata)S

paroms

производит

Result

^idatol

GMDHModel

GMDHCriterion

virtual use(data)=0 j N

virtual caJc|data, folds,models(F|)=0

/ AgregatorlGMDHs) I virtual train(data)-0 4 virtual use|data)=0

создает

numfoldsRequiredO

Generator

virtual Modclf] generatK()=0

getRange(toidm,rangeiD)=0 sctRange(foldlD,rangelD)^0

¡.GMDHAIgorithmyi

Model train( j_

data,toldslC|)-0 I ¿

Trainer

virtual trair>(models,hash)=0

Basis

Bar.is(speuficators) ¡ irtu3l m3ke_generator()=0 / virtual make_hash()=0 virtual make_trainer()-0 I создает

llash(data) /

virtual data in_at(h)-0 ' virtual data out..at(h)=0 !

создает

|GMDH|_________—-—---—-—"

Рисунок 1. Объектно-ориентированная архитектура программной платформы

мета-обучения и МГУА

В главе дается описание подсистем планирования (TASK) и управления памятью (MEM), изображенных на рисунке 3. Абстракция вычислительной задачи cTask выделяется в качестве базовой единицы как вычислений (обучение группы моделей, расчет внешнего критерия и т.д.), так и планирования задач (посредством cTaskManager). Приводятся детали реализации механизмов

программной платформы; модули с черным заголовком являются сторонним программным обеспечением. Взаимодействие с платформой возможно как путем непосредственного вызова интерфейса исполняемого модуля (интерфейс MATLAB - МЕХ), так и путем файлового (XML формат) или сетевого (ServerClient) обмена. Поддерживается подключение модулей расширения (Add-on), показана возможность применения сторонних утилит (в качестве примера -авторская утилита PNN OGL - визуализация нейросетевых структур МГУА). Тем самым продемонстрировано соответствие критерию универсальности.

параллельных вычислений и управления памятью для всех пяти видов параллельных архитектур: ПП, МЯЛ, МПС, КЛ и РС. Тем самым доказывается соответствие критерию производительности.

Рисунок 2. Схема внешних интерфейсов программной платформы

г GMDH

. cMemObject

' operator new(size)

' operator delete(pointer)

\ static _memPools

J ~~* cTask .

virtual threads .needed()=0 'y virtual void exec(nThreads,id)=0; '

< A ■>

* cTaskManagor .

•o^V RunSyncTask(pTask) '

<x RunAsyncTask(pTask) \

/ cBlock I

{ uint8 _mem[8L0CK_SIZE); 1

7-V

cMemPool

у cMemPool(objectSize) f pointer allocate()

<Jelallpcate(ppinter) \ cBlock _blocks[):

-7

cThreadManager

Ensu reThreads (nTh reads) _running waiting

cThread

GetManagerQ SetTask(pTask.nThreads.id) RunQ

cThreadManager" _manager

i I In \

Ь

МЕМ

TASK

Рисунок 3. Диаграмма классов подсистем управления задачам и памятью

В четвертой главе диссертационной работы приведены результаты экспериментальных исследований и представлены примеры практических применений разработок, выполненных в ходе диссертационной работы.

Автоматическая система мета-обучения для решения задачи прогнозирования реализована на основе предложенной автором программной платформы мета-обучения. Система реализует методику «две мета-модели на

алгоритм». Режимы обучения и использования функционируют в соответствии с предложенными автором алгоритмами. Реализация системы, а также некоторые результаты экспериментальных исследований использовались в рамках отдельных проектов, выполняемых на базе Econophysica Ltd.

В качестве тестового набора данных выбраны 1428 месячных временных последовательностей «МЗ Competition», имеющих следующие области происхождения: MICRO, INDUSTRY, MACRO, FINANCE, DEMOGRAPHIC, OTHER. В качестве ПЭ как системы, так и алгоритмов использовался критерий точности прогноза - среднеквадратическое отклонение (MSE).

(I) Серия экспериментов с алгоритмами МГУА нижнего уровня проводилась с целью исследования точности составления прогнозов с использованием алгоритмов по-отдельности, без применения системы мета-обучения.

В таблице 1 указаны краткие характеристики моделей и алгоритмов МГУА (строка «нижний уровень»), а на рисунке 4 показано, какое количество раз тот или иной алгоритм МГУА или алгоритм из набора «МЗ Competition» превзошел все остальные на всех тестовых выборках данных и для различных областей их происхождения («результативность»; отображена часть алгоритмов). Показано преимущество полиномиальных моделей авторегрессионного типа, построенных алгоритмом дважды многорядной полиномиальной нейронной сети МГУА (PNN) и комбинаторным алгоритмом МГУА (COMBI-r): эти алгоритмы показали лучший результат для 110 и 93 временных последовательностей соответственно. Предложенный вычислительный алгоритм идентификации полиномиально-гармонических моделей (COMBIHAJRM) превзошел комбинаторно-гармонический (POLYHARM) и гармонический алгоритм (HARM) МГУА на временных последовательностях, имеющих происхождение INDUSTRY, MACRO и FINANCE.

(II) Серия экспериментов с верхним уровнем системы имела своей целью исследование точности мета-моделей, идентификация которых проводилась с применением алгоритма дважды многорядной полиномиальной нейронной сети МГУА (таблица 1, «верхний уровень»). Использовались 8 мета-характеристик временных последовательностей, относящихся к различным видам мета-характеристик согласно классификации, предложенной автором в первой главе.

Результирующая ошибка расчета оптимальных параметров алгоритмов лежит в пределах [0.6; 1.1], что является удовлетворительным показателем для модели, вычисляющей оптимальное значение параметра, лежащего в диапазоне [1; 5]. Ошибка мета-моделей, прогнозирующих значение ПЭ моделей и алгоритмов их построения, включенных в состав системы, находится на приемлемом уровне [0.05; 0.6] для показателя, принимающего значение [1.01; 116] (рисунок 56). Экспериментально показана способность автоматического отбора мета-характеристик, релевантных каждому из включенных в состав системы моделей и алгоритмов - на рисунке 5а приведена карта для модели вида t-'s[f,qf') (черная клетка - включение мета-характеристики в соответствующую мета-модель).

(III) Серия экспериментов с системой в целом проводилась для набора прогнозирующих моделей 5 видов и 9 алгоритмов их построения, основанного на использовании алгоритмов МГУА.

Таблица 1. Краткая характеристика и число моделей, построенных в ходе

Уровень системы Число выборок данных Тип моделей Вид моделей Алгоритмы МГУА Количество построенных моделей

Нижний уровень 1428 модели тренда; авторегрессионные модели полиномиальный (П); гармонический (Г); полиномиально-гармонический (ПГ): полиномиальная нейронная сеть (ПНС) комбинаторный (COMBI); гармонический (HARM); ансамбль COMBI+HARM; предложенный вычислительный алгоритм обучения ПГ моделей (COMBIHARM); алгоритм дважды многорядной полиномиальной нейронной сети (PNN) 64260 = = (1428 выборок данных) х (9 прогнозирующих моделей) х (5 наборов параметров)

Верхний уровень 9 2 типа мета-моделей полиномиальная нейронная сеть (ПНС) алгоритм дважды многорядной полиномиальной нейронной сети (PNN) 18 = = (2 мета-модели) х (9 прогнозирующих моделей)

PNN COMBI-r COMBIHARM ROBUST „Trend SmartFCS POLYHARM

сома-t

Ftor$_Pearc1 HARM

(/VINTER

Рисунок 4. Результативность прогнозирующих моделей/алгоритмов

Algorithm

length noise Irend period tandl in land! out Iarid2in lend2out

(а) (6)

Рисунок 5. Результаты идентификации мета-моделей вида {/'4°/') Для

алгоритмов МГУ А: а) Карта включения мета-характеристик; б) Средние и медианные значения абсолютных ошибок мета-модели

Результаты экспериментов в части значений ПЭ для системы в целом и алгоритмов в отдельности приведены в таблице 2 как для различных областей происхождения временных последовательностей, так и для всего тестового набора в целом. Анализ значений «Предложенная система» и «Все алгоритмы» выявил уменьшение ошибки прогноза на величину от 2.5% до 64.9% при использовании предложенной методики выбора оптимального алгоритма и параметров его работы несмотря на ограниченную точность мета-моделей в составе системы. Использование идеально точных мета-моделей привело бы к снижению MSE на 38.6-93.9% («Предложенная система» и «Идеальная система»).

Работа модуля самодиагностики системы позволила на основании прогнозов ПЭ алгоритмов, включенных в состав системы, осуществлять принятие решения об исключении прогнозов, признанных недостоверными. Это привело к снижению ошибки прогнозов на 23.8-27,9% («Предложенная система, уровень достоверности 0.1»), При этом система достигла значений точности прогнозов, превышающих средние показатели лучшего из алгоритмов в ее составе, а также систем прогнозирования из «МЗ Competition» (на 9.9-29.1%).

Таблица 2. Медианные значения 1ГЭ (MSE) для системы ML-GMDH

Медианное значение MSE

Происхождение Все алгоритмы Лучший алгоритм Системы МЗ Лучшая система МЗ Предложенная система Предложенная система, уровень достоверности 0.1 Идеальная система

MICRO 0.167436 0.126849 0.103601 0.094607 0.137171 0.084799 0.076864

INDUSTRY 0.134340 0.087822 0.071070 0.060756 0.108946 0.100661 0.053181

MACRO 0.152862 0.058723 0.055103 0.039571 0.059427 0.056014 0.032409

FINANCE 0.161696 0.055419 0.072279 0.059491 0.056763 0.055225 0.034819

DEMOGRAPHIC 0.138804 0.050726 0.029203 0.019595 0.050726 0.050668 0.021097

OTHER 0.156600 0.061049 0.031791 0.025433 0.208056 0.208778 0.031938

TOTAL 0,1538630 0.077240 0,073792 0.065348 0.08966? 0.058852 0,049075

Система прогнозирования нестационарных временных рядов реализована на основе предложенной автором программной платформы мета-обучения. Система реализует методику «одна мета-модель на алгоритм». Режимы обучения и использования функционируют в соответствии с предложенными автором алгоритмами. Реализация системы, а также результаты теоретических и экспериментальных исследований использовались в проекте «Высокочастотный трейдинг», выполненном в компании «Эко-Томск».

В состав систем включены 15 алгоритмов МГУА с различными параметрами, осуществляющие построение прогнозирующих моделей полиномиального базиса. Используется одна мета-характеристика временного ряда - период гармонического сигнала, рассчитываемый согласно критерию баланса ординат из предположения наличия единственной гармоники во входном сигнале. Показатель эффективности системы (ПЭ) - процент верных прогнозов направления изменения временной последовательности на следующем шаге (Success Rate, SR).

На рисунке 6 представлены результаты экспериментов для одного из наборов параметров системы, используемых в экспериментах.

Входная временная последовательность - ежедневный курс Е1Ж/ШБ за 2009-2010 годы (верхний график (а)). На среднем графике приведено значение мета-характеристики (график (Ъ)). На графике бс показана карта предсказания направления изменения временного ряда на следующем шаге. Каждая ячейка карты соответствует определенному моменту времени (по оси абсцисс) и сочетанию параметров прогнозирующего модуля и алгоритма (по оси ординат). Светло-серый цвет ячейки соответствует верному предсказанию, черный -неверному, белый - отсутствию прогноза. Наличие белых ячеек обусловлено отсутствием в определенные моменты времени необходимого количества данных предыстории для работы прогнозирующих модулей и прогнозирующей системы. Для каждого момента времени светлой линией выделено оптимальное сочетание параметров, которое было выбрано прогнозирующей системой для построения прогнозирующей модели. Точками на графике помечены случаи, когда система оценивала прогноз выбранной оптимальной модели достоверным.

Результирующая эффективность прогнозирующей системы составила 811=0.614, причем прогноз был признан достоверным лишь в 70 случаях из 337. Столь осторожное поведение системы позволяет ей достигать заданного значения целевого 811=0.6 даже при работе с прогнозирующими модулями, средняя эффективность каждого из которых составляет 8Я=[0.444; 0.554].

Рисунок 6. Результаты экспериментов для параметров системы Training mode time = 50, SR=0.6, Data Features / Performance Function calculation window size = 27

Экслериментачьное исследование вычислительного алгоритма идентификации полиномиально-гармонической модели оптимальной сложности, предложенного в ходе диссертационной работы, включает две серии экспериментов: (I) исследование точности предложенной процедуры по вычис-

лению частот гармоник и (II) определение чувствительности предложенного вычислительного алгоритма к ошибкам в вычислении частот гармоник.

(I) Эксперименты проводились для различных наборов частот и амплитуд гармоник во входном временном ряде, для различного уровня аддитивного нормального шума (от 0% до 30%). Для каждого входного ряда производился расчет частот гармоник с помощью предложенной численной процедуры и с помощью метода баланса ординат. Полная серия экспериментов повторялась 100 раз при различных начальных значениях генератора случайных чисел, а результаты усреднялись (Метод Монте-Карло). Общее число экспериментов составило 49600.

На рисунке 7 представлены результаты одного из экспериментов серии для одного из наборов параметров (№1): предполагаемое число гармоник 5" = 3 при истинном 5 = 3. На среднем и правом графиках приведены значения рассчитанных периодов для различных уровней шума (отмечены точками) в сравнении с истинными значениями (сплошные линии), а на левом указана абсолютная ошибка вычисления периодов гармоник. В целом, эксперименты подтвердили более высокую точность расчета частот предложенной процедурой («БО») при наличии шума во временном ряду - средняя ошибка меньше на величину от 2.1 до 11.4 раз по сравнению с методом баланса ординат («ОВ»),

3=3; РО

0 0.1 0.2 0.3 "0 0.1 0.2 0.3 "0 0.1 0.2 0 3 Рисунок 7. Результаты расчета периодов гармоник методом баланса ординат (ОВ) и с помощью предложенной численной процедуры (БО) для набора параметров 1

(II) Эксперименты проводились для различных наборов частот и амплитуд гармоник во входном временном ряду, для различного уровня мультипликативной нормальной ошибки расчета частот гармоник (от 0% до 30%). Всего проведено 186'000 экспериментов (2 набора параметров временного ряда, 2 набора параметров алгоритма, 3 ограничения на сложность модели, 31 уровень шума, 500 запусков Монте-Карло). На рисунке 8 приведен пример результатов экспериментов - на среднем графике наблюдается практически линейный рост ошибки прогноза с ростом ошибки расчета частот. Экспериментально подтверждена обоснованность применения предложенной численной процедуры.

Экспериментальная проверка эффективности распараллеливания вычислений показала эффективность распараллеливания текущей реализации для многоядерных процессоров более 63% с возможностью увеличения до 96%, что соответствует лучшим показателям известных программных систем индуктивного моделирования.

Рисунок 8. Результаты экспериментов по оценке точности прогнозов

В заключении формируются основные результаты диссертационного исследования.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. В результате аналитического обзора известных систем мета-обучения, были сформулированы классификационные признаки, характеризующие внутреннюю организацию систем мета-обучения. Данные признаки были положены в основу систематизации существующих систем мета-обучения. Выработаны требования к системе мета-обучения на основе МГУА, а также требования к ее программной реализации.

2. Разработана методика ИАД на основе мета-обучения, обеспечивающая выбор одновременно как оптимального алгоритма решения задачи интеллектуального анализа данных, так и оптимальных параметров его работы. Предложены два варианта (методики): «одна мета-модель на алгоритм» и «две мета-модели на алгоритм».

3. Разработаны алгоритмы функционирования предложенной системы мета-обучения, обеспечивающие автоматический режим обучения системы, использования системы, накопления мета-знаний и построения мета-моделей, выбора оптимальных алгоритмов и расчета оптимальных параметров их работы, а также самодиагностики.

4. Разработан вычислительный алгоритм идентификации полиномиально-гармонических моделей, отличающийся оригинальной процедурой генерации набора структур полиномиальной и гармонической частей, процедурой совместной оценки их параметров, включающей оригинальную численную процедуру расчета частот гармонических составляющих, основанную на преобразовании Фурье и методе градиентного спуска, что позволяет осуществлять полный перебор структур полиномиально-гармонических моделей в рамках заданных ограничений на сложность модели и оценку параметров этих моделей.

5. Разработана архитектура программного комплекса, позволяющая реализовывать известные системы мета-обучения, а также алгоритмы (параметрические, непараметрические, многорядные), базисы, критерии селекции и методы обучения моделей МГУА.

6. Реализованы б алгоритмов МГУА (относящихся к параметрическим, непараметрическим и многорядным), 2 базиса, 4 критерия селекции и 3 метода обучения моделей МГУА. Разработаны механизмы параллельных вычислений

и управления памятью, поддерживающие пять известных параллельных архитектур. Представлены внешние интерфейсы разработанной программной платформы и способы взаимодействия со сторонним программным обеспечением.

7. Разработанная методика ИАД и разработанный программный комплекс, включающий программные платформы мета-обучения и МГУА, были использованы в рамках проектов, выполняемых на базе компании Econophysica Ltd (Англия).

8. Разработанный программный комплекс, включающий программные платформы мета-обучения и МГУА, был использован в составе предложенной автором структуры системы прогнозирования при выполнении проекта «Высокочастотный трейдинг» в компании ООО «Эко-Томск».

9. Часть результатов диссертационной работы была получена в рамках Гос. задания Министерства Образования и Науки РФ на выполнение НИР в 20122014 гг., проект № 7.2868.2011.

ПУБЛИКАЦИИ ПО ТЕМЕ ИССЛЕДОВАНИЯ

Международный научный журнал

1. Орлов A.A. Принципы построения архитектуры программной платформы для реализации алгоритмов метода группового учета аргументов (МГУА) // Управляющие системы и машины: Международный журнал. - 2013. - № 2. -

Работы, опубликованные автором в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки РФ

2. Орлов А.А. Автоматическая система мета-обучения с поддержкой выбора оптимального алгоритма решения задачи и вычисления оптимальных параметров его функционирования // Известия ТПУ. - 2014. - Т. 324. - № 5. - С. 57-70.

3. Орлов А.А. Увеличение производительности программной платформы для реализации алгоритмов метода группового учета аргументов // Известия ТПУ - 2013. - Т. 323.-№ 5. - С. 129-139.

Ведущая конференция по индуктивному моделированию

4. Orlov А.А. Non-stationary time series forecasting on basis of analysis and prediction of forecasting models efficiency // in Proceedings of 4th International Conference on Inductive Modelling (ICIM-2013), Kiev, Ukraine, 2013. - pp.192-199.

Свидетельство о регистрации программного обеспечения Свидетельство о регистрации электронного ресурса №18980 «Программная платформа для реализации алгоритмов метода группового учета аргументов» (ОФЭРНиО), 28.02.2013.

5. Орлов А.А. Электронный информационный образовательный ресурс: <Программная платформа для реализации метода группового учета аргументов> // Хроники объединенного фонда электронных ресурсов <Наука и образованием - 2013. - № 2. URL: http://ofernio.ru/ portal/ newspaper/ ofernio/ 2013/ 2.doc (дата обращения: 05.09.2014).

Тираж 100 экз. Заказ 851. Томский государственный университет систем управления и радиоэлектроники. 634050, г. Томск, пр. Ленина, 40. Тел. (3822) 533018.