автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка методологии и программного комплекса для определения существенности входных признаков при нейросетевом анализе данных

Московский государственный университет им. М.В. Ломоносова Факультет вычислительной математики и кибернетики

На правах рукописи

4853801

Гужва Александр Георгиевич

Разработка методологии и программного комплекса для определения существенности входных признаков при нейросетевом анализе данных

05.13.18 - математическое моделирование, численные методы и комплексы

программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

О 3 0E3 2011

Москва, 2011

4853801

Работа выполнена в Московском Государственном Университете им. М.В. Ломоносова на кафедре атомной физики, физики плазмы и микроэлектроники Физического факультета.

Научный руководитель - доктор физико-математических наук,

профессор Персианцев Игорь Георгиевич

Официальные оппоненты - доктор физико-математических наук,

профессор Дмитриев Владимир Иванович

доктор физико-математических наук, профессор, Редько Владимир Георгиевич

Ведущая организация - Учреждение Российской академии наук

Вычислительный центр им. А. А. Дородницына РАН

Защита состоится «02» марта 2011 г. в 15 ч. 30 мин. на заседании Диссертационного Совета Д.501.001.43 при Московском Государственном Университете им. М.В. Ломоносова по адресу: 119991, ГСП-1, Москва, Ленинские Горы, МГУ, 2-ой учебный корпус, факультет ВМК, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета ВМК Московского Государственного Университета им М.В. Ломоносова.

Автореферат разослан «_>£» г-

Ученый секретарь диссертационного совета доктор физико-математических наук,

профессор

Захаров Е. В.

Актуальность темы

Современные задачи комплексного исследования различных научно-технических проблем могут оперировать многомерными наборами данных большого объема, включающими множественные измерения большого1 количества различных характеристик (входных признаков) исследуемого объекта. В случаях невозможности построения адекватной содержательной модели объекта традиционными методами, в качестве математической модели могут применяться искусственные нейронные сети (ИНС); соответствующие математические модели называются нейросетевъши моделями. ИНС также применяются для решения некорректно поставленных задач.

К достоинствам ИНС относятся: возможность обучаться на примерах, устойчивость к шумам, возможность работы с неполными и противоречивыми данными, параллельность архитектуры. Поэтому ИНС часто привлекаются для решения плохо формализуемых задач.

При решении практических задач, в рамках которых проводится построение нейросетевых моделей, необходимо учитывать ряд ограничений, особенно существенных при работе с наборами данных, содержащих большое число входных признаков:

1. Проблема интерпретации входных признаков состоит в усложнении определения вклада различных входных признаков в построенную нейросетевую модель при повышении числа рассматриваемых признаков.

2. Проблема снижения качества нейросетевой модели заключается в ухудшении качества получаемой нейросетевой модели при увеличении числа рассматриваемых входных признаков.

3. Проблема множественных запусков алгоритма обучения связана с ситуациями попадания в локальный минимум итерационной процедуры

1 Большого - не только в смысле большого числа, но и в том смысле, что реально определять поведение объекта может лишь небольшое количество измеряемых величин из полного множества измеряемых.

построения нейросетевой модели. Важность этой проблемы возрастает с увеличением числа имеющихся входных признаков. Указанные трудности возможно преодолеть путем сокращения числа входных признаков с помощью выявления наиболее существенных входных признаков и последующего исключения малосущественных.

Таким образом, определение наиболее существенных входных признаков представляет собой весьма актуальную самостоятельную проблему.

Цель работы. Основные задачи

Целью диссертационной работы являлась разработка новой методики построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии, понимаемых в смысле моделирования поведения некоторой неизвестной зависимости, на основе отбора существенных входных признаков. Круг рассматриваемых задач ограничен задачами нелинейной регрессии для многомерных зависимостей одной скалярной действительной величины. Методика применяется для решения плохо формализуемых задач, в т.ч. в случае невозможности их решения традиционными методами.

Под методами анализа существенности входных признаков (методы АСВП) будут пониматься различные алгоритмы, которые можно использовать для выявления существенных входных признаков. В результате применения методики строится нейросетевая модель, решающая задачу регрессии с использованием наиболее существенных входных признаков, выявляемых с помощью комбинации методов АСВП.

Методика применяется для достижения следующих целей:

1. Повышение точности решения задачи регрессии (с помощью ИНС).

2. Сокращение числа используемых входных признаков в рассматриваемом наборе данных.

Для достижения цели ставились следующие основные задачи:

1. Построить методику в виде алгоритма, содержащего порядок использования и условия применимости тех или иных методов АСВП.

2

a. Исследовать возможность и целесообразность включения в методику различных известных методов АСВП.

b. Сформулировать критерии для включения новых методов АСВП в методику.

2. Всесторонне исследовать построенную методику, применяя её для решения модельных задач и ряда прикладных задач, в том числе эталонных задач, опубликованных в Интернете и обычно используемых для тестирования новых методов анализа данных.

3. Создать программное обеспечение, реализующее все необходимые алгоритмы и методы.

В работе не ставилась цель сбора всевозможных методов АСВП. Также, задача всестороннего исследования методов АСВП не являлась основной.

Основные положения, выносимые на защиту

1. Разработанная методика построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии на основе отбора существенных входных признаков, представленная в виде алгоритма.

2. Результаты решения 5 модельных задач, 40 эталонных задач, а также 3 прикладных задач с использованием разработанной методики.

3. Разработанный оригинальный алгоритм параллельного обучения большого числа многослойных персептронов с одним скрытым слоем. Алгоритм был реализован с использованием технологии CUDA [С1].

4. Созданный единый программный комплекс, реализующий все использованные при разработке методики методы АСВП, с возможностью производить вычисления на нескольких компьютерах в локальной сети под управлением ОС MS Windows с управлением вычислениями из единого центра.

Научная новизна

1. Разработанная методика построения ИНС для решения задач нелинейной регрессии на основе отбора существенных входных признаков является оригинальной и представляет собой усовершенствование традиционного метода построения нейронных сетей (многослойных персептронов) для решения задач нелинейной регрессии.

2. Проведена апробация разработанной методики на основе большого числа эталонных наборов данных. Получены количественные оценки эффективности применения разработанной методики для различных типов задач.

3. Разработанный и реализованный алгоритм параллельного обучения персептронов с одним скрытым слоем, показывающий существенное ускорение для графических процессоров компании МШЯА по сравнению с реализациями алгоритма обучения методом обратного распространения ошибки для современных центральных процессоров, является оригинальным.

4. Получено решение следующих прикладных задач (задач реального мира) с использованием разработанной методики:

a. Задача прогнозирования значения геомагнитного Ов^индекса на основании значений параметров солнечного ветра.

b. Задача нелинейной регрессии из области электроразведки (магнитотеллурики) по восстановлению распределения электропроводности участка земной коры на основании измеренных на поверхности земли характеристик ЭМ полей (компонент тензора импеданса).

c. Задача оценки токсичности химических соединений на основе дескрипторов молекул этих соединений.

Практическая значимость

1. Предложенная методика построения ИНС может быть использована при решении широкого круга задач нелинейной регрессии и прогнозирования. Применение разработанной методики позволяет в среднем снизить погрешность решения, а также сделать выводы о существенности различных входных признаков при построении модели.

2. Разработанный оригинальный алгоритм параллельного обучения персептронов с одним скрытым слоем, а также реализация алгоритма, использующая технологию С1ГОА, могут быть с высокой вычислительной эффективностью использованы для построения нейросетевых моделей. Разработанный алгоритм открывает перспективы для решения более масштабных задач на персональных компьютерах за меньшее время.

3. Разработанный в ходе выполнения диссертационной работы программный комплекс внедрен в Российском государственном геологоразведочном университете для проведения расчётов и обучения студентов.

Решения прикладных задач, полученные при разработке методики, а также информация о выделенных наборах существенных признаков, могут быть использованы в соответствующих предметных областях.

Апробация работы

Результаты, полученные в диссертационной работе, представлены в устных и стендовых докладах на 8 Всероссийских и международных конференциях:

1. VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», г. Москва, МИФИ, 24-27 января 2006 г.

2. IX Всероссийская научно-техническая конференция «Нейроинформатика-2007», г. Москва, МИФИ, 23-26 января 2007 г.

3. 8-я Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-8-2007), г. Йошкар-Ола, 8-12 октября 2007 г.

4. X Всероссийская научно-техническая конференция «Нейроинформатика-2008», г. Москва, МИФИ, 22-25 января 2008 г.

5. 9-я Международная конференция " Распознавание образов и анализ изображений: новые информационные технологии " (РОАИ-9-2008), г. Нижний Новгород, 14-20 сентября 2008 г.

6. XI Всероссийская научно-техническая конференция «Нейроинформатика-2009», г. Москва, МИФИ, 27-30 января 2009 г.

7. 19th International Conference on Artificial Neural Networks (ICANN-2009), 14-17 September, Limassol, Cyprus.

8. XII Всероссийская научно-техническая конференция «Нейроинформатика-2010», г. Москва, МИФИ, 25-29 января 2010 г.

Публикации

Основные результаты диссертации опубликованы в 15 статьях, в том числе в 3 журнальных публикациях, материалах 5 Всероссийских и 3 международных конференций. 6 статей размещено в изданиях, рекомендованных ВАК.

Основное содержание работы

Во введении обосновывается актуальность работы, сформулированы цели работы, поставленные задачи, научная новизна и основные положения, выносимые на защиту.

В главе 1 приведен обзор литературы из рассматриваемой области понижения размерности данных, разъясняются используемые термины, приведены ссылки на основополагающие принципы, наиболее часто используемые методы и алгоритмы, существующие подходы к рассмотрению задач, а также описание ряда актуальных проблем.

Приведена формальная постановка задачи, решаемой с помощью методики.

Имеется некоторая неизвестная зависимость у = у*(х), y*:EM-»Rp, значения которой известны только на некотором конечном обучающем множестве векторов X = {я1, х16 Км. Задано разбиение X на

тренировочный набор данных ХТгп и тестовый набор данных XTst, X = ХТгп © XTst. Задан вид семейства параметрических функций М переменных у = f(,x, а), где а - вектор параметров семейства функций, используемых для аппроксимации у* по ее известным значениям. Задан вид функционала ошибки Eia,Z)=Zxez\y*ix)-fix,a)\2.

Требуется подобрать функцию fix, а*), или - эквивалентно - решение а" системы нелинейных уравнений y*(xl) = f(xl,a), xleXTrn, при которых достигался бы минимум функционала ошибки на тестовом наборе данных E(cc*,XTst).

Традиционно решение поставленной задачи осуществляется с помощью решения системы методом наименьших квадратов путем минимизации функционала ошибки Е(а,ХТгп) с последующей проверкой интерполяционных свойств найденной функции fix, а*) на тестовом наборе данных.

Многослойный персептрон задает вид используемого семейства параметрических функций fix, а). Часто используемый многослойный персептрон с одним скрытым слоем задает следующий вид fix, а) (в компонентах), где а = i<p, гр, N, U, V): fpix,a) = fpix,<p,tp,N,U,V) = Tp(vp.o + I,tLiVp,i * <р(щ,о +lf=iUt,j **/)),

где р = 1,...,Р, (pit) 6 и 6 C-l - некоторые ограниченные монотонно возрастающие функции, N - натуральное число, характеризующее сложность данной аппроксимирующей конструкции, U = {ui;} и V = [vij] -матрицы весовых коэффициентов. Многослойного персептрона с одним скрытым слоем достаточно для равномерной аппроксимации у* при некотором выборе U, V и N [С2]. Размерность вектора а, которая зависит от числа

7

элементов матриц U, V, составляет N * (М + 1) + Р * (N + 1) « N * (Р + М). За счет уменьшения числа входных признаков возможно ускорить процесс построения нейросетевой модели fix, а).

Предложенная методика является усовершенствованием традиционного способа решения поставленной задачи в случае использования многослойных персептронов в качестве f{x,a). Во-первых, вместо fix,а) = f(xlr...,xM,a)

могут рассматриваться функции ] <М числа переменных f(xki, ...,xk},aj, где ki = 1,... ,М,к[Ф kj для i -ф }, получаемые путем сужения области допустимых значений а, а именно - фиксации некоторых компонент вектора а. Во-вторых, вводится дополнительная итерационная процедура поиска оптимальных значений ] и klt...,kj, на каждой итерации которой для найденных субоптимальных ]* и k^,...,kj ищется промежуточное решение задачи

/* (xj^,..., хк), aj с помощью традиционного способа. Под решением задачи

будет пониматься наилучшее найденное промежуточное решение задачи на различных итерациях процедуры. За счет использования меньшего числа J < М входных признаков по сравнению с исходным числом М, а также сужения области допустимых значений а, возможно получение лучшего решения задачи за счет улучшения обобщающих свойств. Поиск коэффициентов /* и к{,..., kj осуществляется с помощью различных методов АСВП.

В разделе 1.5 рассмотрено 13 известных алгоритмов анализа данных, с точки зрения достоинств и недостатков (в т.ч. вычислительных и временных), а также особенностей их использования в качестве методов анализа существенности входных признаков (методы АСВП). Предложен способ сравнения различных методов АСВП.

Глава 2 посвящена изучению модельных и эталонных задач, на основании которого была построена методика. Преследовались следующие цели:

1. Определить, какие из имеющихся методов АСВП могут быть использованы для построения методики в ее «первичном» виде.

2. Выявить в практических исследованиях особенности различных методов АСВП, связанные с совместным использованием методов.

В разделе 2.1 анализируются результаты решения четырех модельных задач построения регрессии, в которых исследовался ряд зависимостей, соответствующих некоторым типичным ситуациям, возникающим при анализе данных.

В разделе 2.2 приведены подробные результаты решения задачи Фридмана - модельной задачи, используемой для тестирования различных алгоритмов анализа данных. Вид использованной формулы следующий:

Y = 10 sinOn^) + 20(х3 - 0.5)2 + 10лг4 + Sxs + E Здесь Е представляет собой гауссовый шум с нормальным распределением, с нулевым средним и единичной дисперсией.

Для изучения этой задачи использовался комплект из 80 синтетических наборов данных, взятых из базы данных WEKA [СЗ]. Наборы данных различались по следующим характеристикам:

1. Число входных признаков, не связанных с признаками хг ...х5, и содержащих случайно сгенерированные значения.

2. Число примеров.

3. Степень взаимосвязи входных признаков.

При исследовании задачи получены убедительные свидетельства целесообразности объединения ряда методов АСВП в некоторую последовательность. Такое объединение позволяло исключать из рассмотрения признаки, содержащие случайно сгенерированные значения, тем самым повышая качество решения задачи регрессии.

В разделах 2.3 и 2.4 приведены результаты построения нейросетевых моделей для ряда наборов данных, взятых соответственно из комплектов Numeric и Regression-datasets базы данных WEKA [СЗ].

На основании изучения задач главы 2 был выделен ряд алгоритмов, перспективных с точки зрения их совместного использования в качестве методов АСВП.

Глава 3 посвящена созданной методике построения ИНС.

Как было упомянуто выше, методика представляет собой усовершенствование традиционного способа решения задач нелинейной регрессии. Применительно к многослойным персептронам, методика предполагает использование некоторого алгоритма выделения оптимального набора входных признаков из полного набора имеющихся. Алгоритм получен на основании изучения множества модельных и прикладных задач.

В общем случае, при наличии N входных признаков для поиска наилучшего решения задачи регрессии необходимо перебрать 2м — 1 возможных цаборов входных признаков, для каждого из которых традиционным способом решить задачу регрессии. При больших значениях N это потребует существенных вычислительных затрат.

Алгоритм состоит из ряда этапов, выстроенных в порядке возрастания подробности исследования. На каждом этапе производится прореживание набора входных признаков с помощью определенных методов АСВП, и на основании выделенного набора строится промежуточное решение. Если на каком-то этапе полученного решения достаточно, то следующие этапы можно не выполнять («достаточность» полученного решения определяется целями исследования или заказчиком исследования). Решением задачи, полученным с помощью методики, считается лучшее из промежуточных решений, оптимальным набором входных признаков - набор, соответствующий лучшему промежуточному решению.

На нулевом этапе задача регрессии решается на полном наборе имеющихся входных признаков. С получившимся исходным решением будут сравниваться все последующие найденные решения.

На 1 этапе для отбора используются алгоритмы корреляционного анализа и кросс-энтропийного анализа. Цель этапа - исключение малосущественных входных признаков.

На 2 этапе используются алгоритмы семейства анализа весов нейронной сети (АВНС). Цель этапа - исключение малосущественных входных признаков.

На 3 этапе используется алгоритм последовательного добавления входных признаков (пошаговая регрессия). Цель этапа - выявление наиболее существенных входных признаков, а также исключение взаимозависимых входных признаков.

Выбор последовательности алгоритмов также обусловлен вычислительными затратами. Были получены следующие оценки.

Теорема: Пусть Р - число примеров в тренировочном наборе данных, -число входных признаков, используемых на 1-ом этапе методики, Л^ - число нейронов первого скрытого слоя в используемых многослойных персептронах. Тогда:

1. Вычисления 0-ого этапа требуют О(уР(?0/^л) операции, где у - число эпох обучения, у~ 102 - 103.

2. Вычисления 1-ого этапа требуют 0(Р(}1) операций, в случае распараллеливания вычислений по входных признакам - 0(Р) операций.

3. Вычисления 2-ого этапа требуют 0(уР(операций, где у - число эпох обучения, у~ 102 — 103.

4. Вычисления 3-его этапа требуют 0(уРО%Нп) операций, в случае распараллеливания вычислений по входным признакам О(уР0гМн) операций, где у-число эпох обучения, у~ 102 - 103.

Для многослойного персептрона с 1 скрытым слоем верхним пределом значения является значение Р [С4].

Чем «глубже» этап (начиная с 1-ого), тем большие вычислительные затраты необходимы. Последовательное сокращение числа входных признаков

от этапа к этапу, когда Q0 > Qi > Qz > позволяет существенно сократить число операций, требуемых для более поздних этапов.

Информация о наиболее существенных входных признаках, полученная с помощью предложенной методики для какой-либо задачи математического моделирования, может использоваться в качестве вспомогательной для других исследований.

Также предложены критерии для включения новых методов в методику и рассмотрен специальный случай применения методики для 4-х ступенчатого алгоритма анализа многомерных временных рядов [С5].

Раздел 3.3 посвящен разработанному алгоритму параллельного обучения множества многослойных персептронов (МСП) с одним скрытым слоем, основанному на стандартном алгоритме обучения методом обратного распространения ошибки (с использованием момента обучения). Разработанный алгоритм может использоваться для ускорения нейросетевых вычислений на 0-м, 2-ом и 3-ем этапах методики.

В алгоритме использовались следующие допущения: 1) все обучаемые МСП должны обучаться на одном и том же наборе входных данных, выходные наборы данных могут различаться, 2) должны быть идентичны архитектуры всех обучаемых нейронных сетей (МСП с 1 скрытым слоем). Такие допущения позволяют существенно ускорить обучение за счет эффективного распараллеливания итерации (эпохи) обучения для всех МСП.

Алгоритм предполагает одновременное обучение не более чем некоторого числа МСП. При этом, как только завершается обучение одного из МСП, сразу начинается обучение следующего МСП из «очереди на обучение». Значения параметров обучения могут быть индивидуальны для каждого МСП.

Рассмотрены особенности реализации предложенного алгоритма, предназначенной для работы с графическими процессорами (GPU) компании NVIDIA с использованием технологии CUD А. В реализации алгоритма используются вычисления одинарной точности.

В практических исследованиях (в частности, при решении задачи из раздела 4.2) было опробовано одновременное обучение до 256 МСП.

Для проведения ряда вычислений для задачи из раздела 4.2 с помощью реализации алгоритма для графических процессоров компании ИУПЛА потребовались (оценочно) примерно в 100 раз меньшие временные затраты, по сравнению с рядом коммерческих нейросетевых пакетов, реализующих стандартный алгоритм обратного распространения ошибки.

Глава 4 посвящена решению прикладных задач (задач реального мира).

В разделе 4.1 рассмотрена задача прогнозирования среднечасовых значений геомагнитного Бэ^индекса [С6] на 1 час вперёд. Исследовалась зависимость значения БвИшдекса от значений трех компонент межпланетного магнитного поля Вх, Ву, В2, скорости V и плотности протонов Пр солнечного ветра, измеряемых в течение последних 24 часов относительно прогнозируемого значения индекса, - т.о. имелось 120 входных признаков. В качестве исходного набора данных были взяты почасовые временные ряды за 1999-2003 годы, содержащие усредненные почасовые значения указанных величин - всего 35000 точек.

С помощью методики выделены следующие временные диапазоны (т.е. значения задержек) относительно прогнозируемого значения Бв^индекса, в пределах которых значения различных величин оказывают наибольшее влияние на поведение прогнозируемого ББ^индекса.

Ниже приведены значения линейного коэффициента корреляции г и коэффициента множественной детерминации Я2 для решений задачи регрессии, получаемых на разных этапах методики:

24 1 23 122 I 211 20 ¡191 181171 16 1151 14 113 {12 1111101 9 ■ В 7 6 5 4 3 2 1

V

Вх-компонента Ву-компонентэ Вг-компонента

Этап методики Вх. признаков г й2

Исходная нейронная сеть 120 0.97 0.93

Первый этап методики 74 0.97 0.94

Второй этап методики 33 0.96 0.93

Третий этап методики 25 0.96 0.93

Наиболее важные выводы, полученные при решении данной задачи:

1. С помощью разработанной методики выделены наиболее существенные признаки, соответствующие важным значениям задержки при прогнозировании ББ^индекса:

a. Вх компонента ММП - не используется,

b. Ву компонента ММП с задержками от 2 до 10 часов,

c. В2 компонента ММП с задержками до 22 часов,

(1. Скорость солнечного ветра V с задержками 19,3 и 1 час,

е. плотность протонов в солнечном ветре пр с задержками 24 и 2 часа.

2. Наиболее важный интервал значений задержек - от 3 до 5 часов.

3. Удалось сократить количество используемых признаков до 5 раз с незначительной потерей качества прогноза.

В разделе 4.2 рассмотрено решение задачи из области электроразведки (магнитотеллурики, МТ) по восстановлению распределения электропроводности двумерного геоэлектрического разреза (участка земной коры в вертикальной плоскости) на основании измеренных значений ЭМ поля на поверхности земли. Процесс решения заключался в построении нелинейной регрессионной нейросетевой модели, описывающей поведение вектора искомых геофизических параметров разреза на основе наблюдаемых на поверхности Земли значений электромагнитного поля. Эти параметры представляют собой распределение электропроводности в разных точках исследуемой области, геометрические размеры отдельных подобластей (геологических структур) и т.п.

Приведенные в разделе результаты применения разработанной методики понимаются как усовершенствование и сравниваются с результатами

предложенного в работе [С7] метода построения нейросетевых моделей для решения ряда задач регрессии из области МТЗ (магнитотеллурического зондирования). Соответствующие наборы эталонных данных для численных экспериментов предоставлены авторами работы [С8].

Математическая постановка рассматриваемой задачи состоит в следующем. Обратная задача МТЗ в конечно-параметрическом к-ом классе сред сводится к системе нелинейных уравнений относительно вектора макропараметров среды у — (у^..., уМк) вида [С8]:

АкГ = Р, у реСм* (*)

где Ак - заданный дискретный (конечно-разностный) оператор прямой задачи, /? = (Р^Рг>'">Рмк) ~ вектор данных, представляющий собой набор значений импедансов, или иных характеристик МТ поля, измеренных на поверхности Земли в точках г() £ = 1, ...,ЛГг, на частотах Ш], У = 1, ..., и упорядоченных определенным образом, Д^*, СМк - эвклидовы пространства вещественных векторов размерности Мк соответственно, Гк - область допустимого изменения макропараметров.

Нейросетевой подход к решению коэффициентных задач указанного типа реализует аппроксимационную парадигму, согласно которой приближенное решение обратной задачи в заданном конечно-параметрическом классе сред ищется в виде заданной функции от входных данных р1,...,Рмк [С8] и неопределенных коэффициентов аь..., ау.

у* « ^(й!.....а},р1.....рМк)

В качестве семейства функций-аппроксиматоров рассматривались многослойные персептроны. Способ построения аппроксимационной конструкции рассмотрен в главе 1. Построенную нейросетевую модель Ч,^рр можно рассматривать как приближенный обратный НС оператор для системы (*), который позволяет получать её решения для любого предложенного вектора входных данных. Таким образом, получаемые решения, являющиеся

результатом построения нелинейной регрессии, являются интерполяционными решениями обратной задачи МТЗ [С8].

Входные данные представляли собой значения комплексной амплитуды и фазы компонент тензора импеданса двумерной среды, наблюдаемые на разных частотах электромагнитного поля в разных точках на поверхности земли, а выходные данные - значения электропроводности в разных точках исследуемой области.

Исходя из примененной параметризации разрезов, размерность входных данных составляла £>/ = 6552 (модули и фазы диагональных компонент тензора импеданса, пространственная сетка из 126 точек, частотная сетка из 13 точек), а размерность выходных данных - £)0 « 3 * Ю2.

Исходная полная задача нелинейной регрессии была поделена на множество более простых. Рассматривалось множество задач с тем же набором входных признаков, но каждая с одним выходным признаком, соответствовавшим электропроводности в одной из точек исследуемой области.

Для решения рассматриваемой задачи были применены два варианта разработанной методики, различавшиеся используемым набором параметров методики и, как следствие, степенью подробности исследования. В первом варианте методики не использовались методы 1-го этапа, но дважды применялся метод 2-го этапа АВНС, являющийся вычислительно существенно более дорогим, чем методы 1-го этапа. Во втором варианте использовались как методы 1-го этапа, так и метод 2-го этапа. В обоих случаях метод 3-его этапа не использовался из-за высокой вычислительной стоимости соответствующих расчётов.

В первом варианте методики был применен разработанный алгоритм параллельного обучения множества МСП (см. раздел 3.3).

На диаграмме ниже в качестве примера приведены относительные значения среднеквадратичной ошибки (усредненные по слою для слоев, находящихся на различной глубине) на независимом наборе данных для обоих

вариантов методики, в зависимости от глубины залегания ячейки для одной из использованных схем параметризации неоднородной двумерной среды («модель 5.0»),

30% 25% 20% 15% 10% 5% 0%

Средняя относительная СКО решений в зависимости от глубины слоя

"»-У И-1"* ч*» ^

---1-ый вариант методики — — 2-ой вариант матодики -Работа (С6]

0.5

1.5 2.5

3.5 5 7.5 Глубина, км.

10 13 17 22.5 30

В таблице приведено число отобранных входных признаков (усредненное по слою для слоев, находящихся на различной глубине) для обоих вариантов методики, в зависимости от глубины залегания ячейки для той же схемы параметризации «модель 5.0».

НСЛглубияа, км. 0.5 1 1.5 2.5 3.5 5 7Л 10 13 17 22.5 30

Исходная НС 6552 6552 6552 6552 6552 6552 6552 6552 6552 6552 6552 6552

1 вариант мет. 33 47 30 18 42 42 44 45 48 65 43 47

2 вариант мет. 59 68 55 51 74 73 82 79 78 97 88 149

Также в диссертации приведены результаты для ряда других моделей параметризации разреза.

Основной вывод, полученный при решении данной задачи: предложенная методика показала себя эффективной. Продемонстрировано заметное увеличение точности решения задачи нелинейной регрессии по сравнению как с исходным решением, так и с решением, предложенным в работе [С7], при значительном (примерно на два порядка) сокращении количества входных признаков. Анализ адаптивно отбираемого списка признаков показывает, что этот список хорошо согласуется с априорными физическими соображениями о сравнительной существенности признаков.

В разделе 4.3 описывается пример использования разработанной методики как части решения задачи типа «структура-свойство» из области токсикологии. Задача связана с изучением токсичности различных химических соединений для бактерии Tetrahymena pyriformis.

В качестве количественной величины, характеризующей токсичность относительно Т. pyriformis, рассматривался индекс log(IGC50"') [С9], стандартный показатель токсичности химических соединений.

Каждое из химических соединений описывалось совокупностью из 2223 характеристик (дескрипторов) молекул данных соединений [СЮ], рассчитанных с помощью стандартных пакетов программ физико-химического моделирования. Дескрипторы включали различные квантовомеханические, химико-топологические и прочие характеристики молекул.

В результате исследования предложенных наборов данных с помощью предложенной методики была выделена группа из 12 наиболее существенных дескрипторов. На основании этих дескрипторов был предложен нейросетевой алгоритм для окончательного решения рассматриваемой задачи.

В главе 5 приведено описание созданного программного комплекса (ПК), реализующего все рассмотренные алгоритмы, необходимые для применения методики при изучении незнакомых задач. ПК реализован как приложение, имеющее графический интерфейс пользователя и работающее под операционной системой Microsoft Windows. Для ряда алгоритмов ПК позволяет осуществление параллельных вычислений при наличии локальной сети с машинами, на которых установлена соответствующая программная часть ПК. Реализация алгоритма параллельного обучения многослойных персептронов, упомянутая в разделе 4.3, существует в виде отдельного автономного модуля.

В заключении кратко сформулированы основные результаты, полученные в диссертационной работе:

1. Создана, исследована и опробована для решения ряда задач методика построения искусственных нейронных сетей (многослойных

перселтронов) для решения задач нелинейной регрессии и прогнозирования на основе отбора существенных входных признаков. Намечены дальнейшие пути развития предложенной методики. Предложены пути включения в имеющуюся методику новых алгоритмов.

2. Создан единый комплекс программ, реализующий все использованные алгоритмы для исследования данных с помощью предложенной методики.

3. Показано, что применение разработанной методики при использовании нейронных сетей позволяет получать решения задач, в среднем имеющие более низкую погрешность и/или использующие меньшее количество входных переменных.

4. При решении задачи по прогнозированию значений Dst-индекса (раздел 4.1) с использованием разработанной методики удалось сократить количество используемых признаков до 5 раз с небольшой потерей качества прогноза. Были выделены наиболее существенные входные признаки; сделанные на основании полученного набора выводы согласуются с современными представлениями о физике рассматриваемого в задаче процесса.

5. Применение разработанной методики для решения задачи по восстановлению распределения электропроводности участка земной коры (раздел 4.2) позволило существенно (на два порядка) сократить число рассматриваемых входных признаков при улучшении качества решения.

6. Разработан алгоритм параллельного обучения множества многослойных персептронов с одним скрытым слоем. Создана реализация данного алгоритма с использованием технологии CUDA компании NVIDIA. Продемонстрировано, что скорость работы программы с использованием графического процессора (GPU) на полтора-два порядка выше, чем у программ (в том числе коммерческих), использующих центральный процессор (CPU), что открывает новые возможности в исследовании

наборов данных большой размерности с помощью нейросетевых

алгоритмов.

Список публикаций автора по теме диссертации

1. А.Г.Гужва, С.А.Доленко, Е.А.Оборнев, И.Г.Персианцев, М.И.Шимелевич, Ю.С.Шугай. Использование адаптивных алгоритмов отбора существенных признаков при нейросетевых решении обратной задачи электроразведки. Нейрокомпьютеры: разработка, применение, 2010, № 3, стр. 46-54.

2. А.Г.Гужва, С.А.Доленко, И.ГЛерсианцев, Ю.С.Шугай. Многоступенчатый алгоритм, на основе комитета нейронных сетей для анализа многомерных временных рядов. Нейрокомпьютеры: разработка, применение, 2010, № 3, стр. 4-13.

3. А.Г.Гужва, С.А.Доленко, И.ГЛерсианцев. Методика отбора существенных входных признаков при нейросетевом решении задач регрессии. Нейрокомпьютеры:разработка, применение, 2010, № 3, стр.20-32.

4. А.Г.Гужва, С.А.Доленко, И.Г.Персианцев, Ю.С.Шугай. Сравнительный анализ методов важности входных переменных при нейросетевом прогнозировании. VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», сборник научных трудов, часть 1, стр.31-39, М., МИФИ, 2006.

5. А.Г.Гужва, С.А.Доленко, И.Г.Персианцев, Ю.С.Шугай, В.Г.Еленский. Отбор существенных переменных при нейросетевом прогнозировании: сравнительный анализ методов. IX Всероссийская научно-техническая конференция «Нейроинформатика-2007», сборник научных трудов, часть 2, стр.251-258, М„ МИФИ, 2007.

6. А.Г.Гужва, С.А.Доленко, И.Г.Персианцев, Ю.С.Шугай. Сравнительный анализ методов определения существенности входных переменных при нейросетевом моделировании: методика сравнения и ее применение к известным задачам реального мира. X Всероссийская научно-техническая конференция «Нейроинформатика-2008», сборник научных трудов, часть 2, стр.216-225, М„ МИФИ, 2008.

7. А.Г.Гужва, С.А.Доленко, И.ГЛерсианцев, Ю.С.Шугай. Многоступенчатый алгоритм на основе комитета нейронных сетей для прогнозирования и поиска предвестников в многомерных временных рядах. XI Всероссийская научно-техническая конференция «Нейроинформатика-2009», сборник научных трудов, часть 2, стр.116-125, М., МИФИ, 2009.

8. А.Г.Гужва, С.А.Доленко, И.ГЛерсианцев. Многократное ускорение нейросетевых вычислений с использованием видеоадаптера. XI Всероссийская научно-техническая конференция «Нейроинформатика-2009», сборник научных трудов, часть 2, стр.126-133, М., МИФИ, 2009.

9. А.Г.Гужва, С.А.Доленко, Е.А.Оборнев, И.Г.Персианцев, М.И.Шимелевич. Нейросетевой метод решения обратной задачи геоэлектрического мониторинга параметров в трехмерных средах. XII Всероссийская научно-

техническая конференция «Нейроинформатика-2010», сборник научных трудов, часть 2, стр. 111-121, М., МИФИ, 2010.

10.A.G.Guzhva, S.A.Dolenko, LG.Persiantsev, J.S.Shugai. Comparative Analysis of Methods for Determination of Significance of Input Variables in Neural Network Modeling: Procedure of Comparison and its Application to Model Problems. 8th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-8-2007): Conference Proceedings, V.2, pp.2932. Yoshkar-Ola, 2007.

11.J.S.Shugai, A.G.Guzhva, S.A.Dolenko, LG.Persiantsev. An Algorithm for Construction of a Hierarchical Neural Network Complex for Time Series Analysis and its Application for Studying Sun-Earth Relations. 8th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-8-2007): Conference Proceedings, V.2, pp.355-358. Yoshkar-Ola, 2007.

12.Guzhva, A., Dolenko, S., Persiantsev, I. Multifold Acceleration Of Neural Networks Computations Using GPU. C.Alippi et al (Eds.): ICANN 2009, Part I. (Lecture Notes in Computer Science, 2009, V.5768, pp.373-380.) Springer-Verlag Berlin Heidelberg 2009.

13.A.G.Guzhva, S.A.Dolenko, E.A.Obornev, LG.Persiantsev, M.I.Shimelevich, J.S.Shugai. Use of Significant Feature Selection Adaptive Algorithms in Neural Network Based Solution of the Inverse Problem of Electrical Prospecting. 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008'): Conference Proceedings. Vol.1, pp.215-218. Nizhni Novgorod, 2008.

14.Dolenko, S., Guzhva, A., Persiantsev, I., Shugai, J. Multi-stage Algorithm Based on Neural Network Committee for Prediction and Search for Precursors in Multidimensional Time Series. C.Alippi et al (Eds.): ICANN 2009, Part П. (Lecture Notes in Computer Science, 2009, V.5769, pp.295-304.) Springer-Verlag Berlin Heidelberg 2009.

15.Dolenko, S., Guzhva, A., Obornev, E., Persiantsev, I., Shimelevich, M. Comparison of Adaptive Algorithms for Significant Feature Selection in Neural Networks Based Solution of the Inverse Problem of Electrical Prospecting. C.Alippi et al (Eds.): ICANN 2009, Part II. (Lecture Notes in Computer Science, 2009, V.5769, pp.397-405.) Springer-Verlag Berlin Heidelberg 2009.

Цитированная литература

С1. США. URL: http://www.nvidia.com

С2. G.Cybenko. Approximation by superpositions of sigmoidal function. Mathematics of Control, Signals, and Systems, 1989, v.2, pp.304-314.

СЗ. База данных WEKA, URL: http://www.cs.waikato.ac.nz/ml/weka/

С4. G. Huang, H. A. Babri. Upper Bounds of the Number of Hidden Neurons in Feedforward Networks with Arbitrary Bounded Nonlinear Activation Functions. // IEEE Transactions on Neural Networks, vol. 9, no. 1, January 1998.

C5. S.A. Dolenko, Yu.V. Orlov, I.G. Persiantsev, Yu.S. Shugai. Neural Network Algorithms for Analyzing Multidimensional Time Series for Predicting Events and Their Application to Study of Sun-Earth Relations. // Pattern Recognition and Image Analysis, 2007, Vol.17, No.4, pp. 584-591.

Сб. Ю. С. Шугай. Разработка нейросетевых алгоритмов анализа многомерных временных рядов и их применение при исследовании солнечно-земных связей. Дисс. канд. физ.-мат. наук, Москва 2006.

С7. Е. А. Оборнев. Инверсия двумерных магнитотеллурических данных на основе нейросетевой аппроксимации. Дисс. канд.физ.-мат. наук, Москва 2007.

С8. Шимелевич М.И., Оборнев Е.А. Аппроксимационный метод решения обратной задачи МТЗ с использованием нейронных сетей. // Физика Земли, 2009,12. С.22-38

С9. Schultz, T.W. 1997. TETRATOX: Tetrahymena pyriformis population growth impairment endpoint-A surrogate for fish lethality. // Toxicol. Methods 7: 289309. URL: http://www.vet.utk.edu/TETRATOX/

C10. Environmental Toxicity Prediction Challenge. URL: http://www.cadaster.eu/node/65

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 14.01.2011 г. Формат 60x90 1/16. Усл.печ.л. 1,0. Тираж 80 экз. Заказ 010. Тел. 939-3890. Тел./факс 939-3891. 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 627 к.

Введение.

Актуальность темы.

Цель работы. Основные задачи.

Основные положения, выносимые на защиту.

Научная новизна.

Практическая значимость.

Апробация работы.

Публикации.

Краткое содержание диссертационной работы.

1 Обзор литературы.

1.1 Терминология.

1.2 Понятие размерности данных.

1.3 Проблема понижения размерности данных.

1.3.1 Описание проблемы понижения размерности данных.

1.3.2 Проблемы, с которыми помогает бороться понижение размерности.

1.3.2.1 Проблема «проклятия размерности.

1.3.2.2 Проблема интерпретации исходных данных.

1.3.2.3 Проблема получения исходных данных.

1.3.3 Подходы к рассмотрению проблемы понижения размерности данных.

1.3.4 Некоторые эмпирические рекомендации при проведении понижения размерности данных.

1.3.5 Понижение размерности данных применительно к задачам, отличным от задач регрессии.

1.3.6 Понижение размерности данных применительно к другим классам адаптивных алгоритмов.

1.3.7 Ряд актуальных проблем из области понижения размерности.

1.3.8 Некоторые сопутствующие алгоритмы.

1.4 Искусственные Нейронные Сети (ИНС).

1.4.1 Модель нейрона.

1.4.2 Многослойный персептрон.

1.4.2.1 Задача нелинейной регрессии.

1.4.2.2 Проблемы построения нейросетевой модели.

1.5 Методы анализа существенности входных признаков. Используемые алгоритмы

1.5.1 Понятие существенности входных признаков.

1.5.2 Алгоритмы оценки.

1.5.2.1 Корреляционный анализ.

1.5.2.2 Кросс-энтропийный анализ.

1.5.2.3 Семейство алгоритмов «Анализ Весов Нейронной Сети».

1.5.2.4 Линейная регрессия.

1.5.2.5 Нейронные Сети с Общей Регрессией.

1.5.3 Алгоритмы отбора.

1.5.3.1 Алгоритм последовательного добавления признаков.

1.5.3.2 Алгоритм последовательного исключения признаков.

1.5.3.3 Алгоритм отсечения по порогу.

1.5.3.4 Алгоритм использования случайно сгенерированных признаков.

1.5.3.5 Алгоритм множественных запусков.

1.5.3.6 Алгоритм заданного числа наилучших признаков.

1.5.4 Комбинированные алгоритмы.

1.5.4.1 Метод Группового Учета Аргументов (МГУА).

1.5.4.2 Генетическое программирование.

1.5.5 О сравнении методов АСВП.

2 Модельные и эталонные задачи.

2.1 Тривиальные модельные задачи.

2.1.1 Цель исследования.

2.1.2 Постановка задачи и предобработка данных.

2.1.3 Полученные качественные выводы.

2.1.4 Выводы.

2.2 Задача Фридмана.

2.2.1 Цель исследования.

2.2.2 Предобработка данных.

2.2.3 Рассматриваемые методы АСВП и алгоритмы. Их особенности.

2.2.4 Полученные результаты.

2.3 Эталонные задачи: небольшие наборы данных.

2.3.1 Цель исследования.

2.3.2 Предобработка данных.

2.3.3 Полученные результаты.

2.3.4 Выводы.

2.4 Эталонные задачи: большие наборы данных.

2.4.1 Полученные результаты.

2.5 Положения, выносимые на защиту.'.

3 Методика построения ИЫС.

3.1 Постановка задачи отбора наиболее существенных признаков.

3.1.1 Формальное описание методики.

3.2 Разработанная методика. Представление методики в виде блок-схемы.

3.2.1 Преимущества использования методики.

3.2.1.1 Оценки временных и вычислительных выигрышей.

3.2.2 Критерии для включения новых методов АСВП в методику.

3.2.3 Совместное использование корреляционного анализа и кросс-энтропийного анализа

3.2.4 Специальный случай применения методики анализа существенности для 4-х ступенчатого алгоритма анализа многомерных временных рядов.

3.3 Алгоритм параллельного обучения МСП с одним скрытым слоем.

3.3.1 Описание алгоритма.

3.3.2 Особенности реализации алгоритма с помощью технологии CUDA.

3.3.3 Полученные результаты.

3.4 Выводы.

3.4.1 Положения, выносимые на защиту.

4 Применение разработанной методики для решения прикладных задач.

4.1 Задача прогнозирования геомагнитного Dst-индекса.

4.1.1 Физическая постановка задачи.

4.1.2 Математическая постановка задачи.

4.1.3 Предобработка данных.

4.1.4 Полученные результаты.

4.1.5 Сравнение полученных результатов с результатами других авторов.

4.1.6 Положения, выносимые на защиту.

4.2 Задача восстановления распределения электропроводности участка земной коры

4.2.1 Математическая постановка задачи.

4.2.2 Алгоритмические особенности метода.

4.2.3 Схема построения нейросетевой модели.

4.2.4 Предобработка данных.

4.2.5 Полученные результаты.

4.2.5.1 Результаты решения задачи для модели «5.0».

4.2.5.2 Результаты решения задачи для других моделей.

4.2.6 Выводы.

4.2.7 Положения, выносимые на защиту.

4.3 Оценка токсичности химических веществ применительно к бактериям Т. Pyriformis.

4.3.1 Постановка задачи.

4.3.2 Предобработка данных.

4.3.3 Полученные результаты.

4.3.4 Выводы.

5 Программный комплекс.

5.1 Выводы. Положения, выносимые на защиту.

Актуальность темы

Современные задачи комплексного исследования различных научно-технических проблем могут оперировать многомерными наборами данных большого объема, включающими множественные измерения большого1 количества различных характеристик (входных признаков) исследуемого объекта. В случаях невозможности построения адекватной содержательной модели объекта традиционными методами, в качестве математической модели могут применяться искусственные нейронные сети (ИНС); соответствующие математические модели называются нейросетевыми моделями. ИНС также применяются для решения некорректно поставленных задач.

К достоинствам ИНС относятся: возможность обучаться на примерах, устойчивость к шумам, возможность работы с неполными и противоречивыми данными, параллельность архитектуры. Поэтому ИНС часто привлекаются для решения плохо формализуемых задач.

При решении практических задач, в рамках которых проводится построение нейросетевых моделей, необходимо учитывать ряд ограничений, особенно существенных при работе с наборами данных, содержащих большое число входных признаков:

1. Проблема интерпретации входных признаков состоит в усложнении определения вклада различных входных признаков в построенную нейросетевую модель при повышении числа рассматриваемых признаков.

2. Проблема снижения качества нейросетевой модели заключается в ухудшении качества получаемой нейросетевой модели при увеличении числа рассматриваемых входных признаков.

3. Проблема множественных запусков алгоритма обучения связана с ситуациями попадания в локальный минимум итерационной процедуры построения нейросетевой модели. Важность этой проблемы возрастает с увеличением числа имеющихся входных признаков.

1 Большого - не только в смысле большого числа, но и в смысле, что реально определять поведение объекта может лишь небольшое количество измеряемых величин из полного множества измеряемых.

Указанные трудности возможно преодолеть путем сокращения числа входных признаков с помощью выявления наиболее существенных входных признаков и последующего исключения малосущественных.

Таким образом, определение наиболее существенных входных признаков представляет собой весьма актуальную самостоятельную проблему.

Цель работы. Основные задачи

Целью диссертационной работы являлась разработка новой методики построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии, понимаемых в смысле моделирования поведения некоторой неизвестной зависимости, на основе отбора существенных входных признаков. Круг рассматриваемых задач ограничен задачами нелинейной регрессии для многомерных зависимостей одной скалярной действительной величины. Методика применяется для решения плохо формализуемых задач, в т.ч. в случае невозможности их решения традиционными методами.

Под- методами анализа существенности входных признаков {методы АСВГГ) будут пониматься различные алгоритмы, которые можно использовать для выявления существенных входных признаков. Методы различаются степенью линейности, эффективностью в смысле достигаемого результата, временными затратами (вычислительной стоимостью) и т.д. Для исследователя всегда стоит вопрос о том, какой из имеющихся в его распоряжении методов АСВП должен быть использован. Этот выбор часто делается весьма субъективно, на основании предыдущего опыта работы с известными исследователю методами АСВП.

Методика объединяет отдельные методы АСВП для того, чтобы за счёт их совместного использования компенсировать недостатки отдельных методов и усилить их достоинства. В результате применения методики строится нейросетевая модель, решающая задачу регрессии с использованием наиболее существенных входных признаков, выявляемых с помощью комбинации методов АСВП.

Необходимо отметить, что большой интерес представляла именно возможность совместного использования отдельных методов.

Методика применяется для достижения следующих целей:

1. Повышение точности решения задачи регрессии с использованием нейронных сетей.

2. Сокращение числа используемых входных признаков в рассматриваемом наборе данных.

Для достижения цели ставились следующие основные задачи:

1. Построить методику в виде алгоритма, содержащего порядок использования и условия применимости тех или иных методов АСВП. a. Исследовать возможность и целесообразность включения в методику различных известных методов АСВП. b. Сформулировать критерии для включения новых методов АСВП в методику.

2. Всесторонне исследовать построенную методику, применяя её для решения модельных задач и ряда прикладных задач, в том числе эталонных задач, опубликованных в Интернете и обычно используемых для тестирования новых методов анализа данных.

3. Создать программное обеспечение, реализующее все необходимые алгоритмы и методы.

В работе не ставилась цель сбора всевозможных методов АСВП. Также, задача всестороннего исследования методов АСВП не являлась основной.

Основные положения, выносимые на защиту

1. Разработанная методика построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии на основе отбора существенных входных признаков, представленная в виде алгоритма.

2. Результаты решения 5 модельных задач, 40 эталонных задач, а также 3 прикладных задач с использованием разработанной методики.

3. Разработанный оригинальный алгоритм параллельного обучения большого числа многослойных персептронов с одним скрытым слоем. Алгоритм был реализован с использованием технологии CUD А.

4. Созданный единый программный комплекс, реализующий все использованные при разработке методики методы АСВП, с возможностью производить вычисления на нескольких компьютерах в локальной сети под управлением ОС MS Windows с управлением вычислениями из единого центра.

Научная новизна

1. Разработанная методика построения ИНС для решения задач нелинейной регрессии на основе отбора существенных входных признаков является оригинальной и представляет собой усовершенствование традиционного метода построения нейронных сетей (многослойных персептронов) для решения задач нелинейной регрессии.

2. Проведена апробация разработанной методики на основе большого числа эталонных наборов данных. Получены количественные оценки эффективности применения разработанной методики для различных типов задач.

3. Разработанный и реализованный алгоритм параллельного обучения персептронов с одним скрытым слоем, показывающий существенное ускорение для графических процессоров компании NVIDIA по сравнению с реализациями алгоритма обучения методом обратного распространения ошибки для современных центральных процессоров, является оригинальным.

4. Получено решение следующих прикладных задач (задач реального мира) с использованием разработанной методики: a. Задача прогнозирования значения геомагнитного Dst-индекса на основании значений параметров солнечного ветра. b. Задача нелинейной регрессии из области электроразведки (магнитотеллурики) по восстановлению распределения электропроводности участка земной коры на основании измеренных на поверхности земли характеристик ЭМ полей (компонент тензора импеданса). c. Задача оценки токсичности химических соединений на основе дескрипторов молекул этих соединений.

Практическая значимость

1. Предложенная методика построения ИНС может быть использована при решении широкого круга задач нелинейной регрессии и прогнозирования. Применение разработанной методики позволяет в среднем снизить погрешность решения, а также сделать выводы о существенности различных входных признаков при построении модели.

2. Разработанный оригинальный алгоритм параллельного обучения персептронов с одним скрытым слоем, а также реализация алгоритма, использующая технологию CUD А, могут быть с высокой вычислительной эффективностью использованы для

10 построения нейросетевых моделей. Разработанный алгоритм открывает перспективы для решения более масштабных задач на персональных компьютерах за меньшее время.

3. Разработанный в ходе выполнения диссертационной работы программный комплекс внедрен в Российском государственном геологоразведочном университете для проведения расчётов и обучения студентов. Решения прикладных задач, полученные при разработке методики, а также информация о выделенных наборах существенных признаках, могут быть использованы в соответствующих предметных областях.

Апробация работы

Результаты, полученные в настоящей диссертационной работе, представлены в устных и стендовых докладах на 8 Всероссийских и международных конференциях:

1. VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», г. Москва, МИФИ, 24-27 января 2006 г. Устный доклад.

2. IX Всероссийская научно-техническая конференция «Нейроинформатика-2007», г. Москва, МИФИ, 23-26 января 2007 г. Устный доклад.

3. 8-я Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-8-2007), г. Йошкар-Ола, 8-12 октября 2007 г.

4. X Всероссийская научно-техническая конференция «Нейроинформатика-2008», г. Москва, МИФИ, 22-25 января 2008 г. Устный доклад.

5. 9-я Международная конференция " Распознавание образов и анализ изображений: новые информационные технологии " (РОАИ-9-2008), г. Нижний Новгород, 14-20 сентября 2008 г.

6. XI Всероссийская научно-техническая конференция «Нейроинформатика-2009», г. Москва, МИФИ, 27-30 января 2009 г. Устный доклад.

7. 19th International Conference on Artificial Neural Networks (ICANN-2009), 14-17 September, Limassol, Cyprus. Устный доклад.

8. XII Всероссийская научно-техническая конференция «Нейроинформатика-2010», г. Москва, МИФИ, 25-29 января 2010 г. Устный доклад.

Публикации

Основные результаты диссертационной работы опубликованы в 15 статьях, в том числе в 3 журнальных публикациях ([1], [2], [3]), материалах 5 Всероссийских ([4], [5], [6], [7], [8], [9]) и 3 международных конференций ([10], [11], [12], [13], [14], [15]). 6 статей размещено в изданиях, рекомендованных ВАК.

Краткое содержание диссертационной работы

Диссертация состоит из 5 глав, введения, заключения, списка цитированной литературы, в т.ч. списка работ автора.

Во введении обосновывается актуальность работы, сформулированы цель работы, поставленные задачи, научная новизна и основные положения, выносимые на защиту.

В главе 1 приведен обзор литературы из рассматриваемой области понижения размерности данных, разъясняются используемые термины, приведены ссылки на основополагающие принципы, наиболее часто используемые методы и алгоритмы, существующие подходы к рассмотрению задач, а также описание ряда актуальных проблем. Рассмотрена такая архитектура нейронных сетей, как многослойный персептрон. Приведено описание ряда методов АСВП, на основании которых была построена методика.

В главе 2 рассмотрен ряд модельных задач и эталонных задач, на основании изучения которых была выдвинута методика. Приведены качественные выводы по особенностям использования различных методов АСВП.

В главе 3 приведена разработанная методика построения ИНС для решения задач нелинейной регрессии с помощью нейронных сетей и ее представление в виде алгоритма. Также представлен алгоритм параллельного обучения множества персептронов с одним скрытым слоем, а также реализация алгоритма, использующая технологию С1ГОА. Проведено сравнение скорости обучения персептронов, полученной с использованием разработанной реализации, и скорости обучения, достигнутой на современных центральных процессорах.

В главе 4 рассмотрен ряд прикладных задач (задач реального мира), которые были решены с помощью предложенной методики.

В главе 5 приведено описание созданного программного комплекса (ПК), реализующего все рассмотренные алгоритмы, необходимые для применения методики при изучении незнакомых задач.

В заключении приведены основные результаты работы.

1 Обзор литературы

1.1 Терминология

В данном разделе обозначены наиболее часто используемые термины из области понижения размерности данных, а также некоторые нейросетевые термины.

Ряд терминов, являющихся общепринятыми в известном смысле в англоязычной литературе, либо не имеют общепринятых аналогов в литературе на русском языке, либо же русскоязычные термины являются по некоторым причинам неудачными. Поэтому, здесь и далее по тексту при необходимости введены соответствующие русскоязычные термины или даны комментарии к ним.

1. Англоязычный термин dimensionality reduction, характеризующий область исследований в целом, соответствует русскоязычному термину понижение размерности данных.

2. Англоязычный термин feature соответствует русскоязычному термину признак. В работе [33] указывается на ряд ситуаций, в которых существенно различие между терминами feature и variable (соответствует русскоязычному термину переменная). В работе будет использоваться термин признак, так как в рассматриваемых алгоритмах и при рассматриваемой постановке задачи (которая приведена ниже) различий между терминами признак и переменная нет.

3. Термин нейронная сеть (или просто сеть). Здесь и далее (если не оговорено противное) под нейронными сетями в данной диссертационной работе понимаются многослойные персептроны (МСП). Эти и другие различные адаптивные, в том числе нейросетевые архитектуры, рассмотрены, например, в фундаментальных работах [16], [17].

4. Эталонные задачи — ряд общедоступных задач из Интернета, являющихся стандартом де-факто при сравнении различных методов из области адаптивного анализа данных. Многие из них основаны на данных реального мира. К таковым относятся задачи из баз данных UCI Repository [18] и WEKA [19].

5. Англоязычный термин data driven methods соответствует термину методы, управляемые данными. Термин характеризует способность методов «обучаться на примерах». Поведение таких методов в большей степени зависит от конкретного содержания данных и в гораздо меньшей степени опирается на априорные

14 предположения о статистических или каких-либо иных свойствах этих данных. Большинство рассматриваемых в диссертационной работе методов и алгоритмов^ принадлежит к данной категории.

Основные результаты и выводы диссертационной работы:

1. Создана, исследована и опробована для решения ряда задач методика построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии и прогнозирования на основе отбора существенных входных признаков. Намечены дальнейшие пути развития предложенной методики. Предложены пути включения в имеющуюся методику новых алгоритмов.

2. Создан единый комплекс программ, реализующий все использованные алгоритмы для исследования данных с помощью предложенной методики.

3. Показано, что применение разработанной методики при использовании ИНС позволяет получать решения задач, в среднем имеющие более низкую погрешность и/или использующие меньшее количество входных переменных.

4. При решении задачи по прогнозированию значений Dst-индекса (раздел 4.1) с использованием разработанной методики удалось сократить количество используемых признаков до 5 раз с небольшой потерей качества прогноза. Были выделены наиболее существенные входные признаки; сделанные на основании полученного набора выводы согласуются с современными представлениями о физике рассматриваемого в задаче процесса.

5. Применение разработанной методики для решения задачи по восстановлению распределения электропроводности (раздел 4.2) позволило существенно (на два порядка) сократить число рассматриваемых входных признаков при улучшении качества решения.

6. Разработан алгоритм параллельного обучения множества МСП с одним скрытым слоем. Создана реализация данного алгоритма с использованием технологии CUDA компании NVIDIA. Продемонстрировано, что скорость работы программы с использованием графического процессора (GPU) на полтора-два порядка выше, чем у программ (в том числе коммерческих), использующих центральный процессор (CPU), что открывает новые возможности в исследовании наборов данных большой размерности с помощью нейросетевых алгоритмов.

Благодарности

Автор хотел бы всячески выразить свою искреннюю благодарность следующим людям, оказавшим помощь при выполнении данной диссертационной работы:

• Своему научному руководителю профессору Игорю Георгиевичу Персианцеву за внимание, интерес к данной работе и плодотворные обсуждения результатов.

• Своему Учителю Сергею Анатольевичу Доленко - за всё! :)

• Своей коллеге по лаборатории Юлие Сергеевне Шугай за многолетние совместные исследования и обсуждения, плодотворный обмен идеями и творческую атмосферу в лаборатории.

• Профессору Александру Михайловичу Попову, сделавшему ряд ценнейших замечаний.

• Своим коллегам Евгению Александровичу Оборневу и Михаилу Ильичу Шимелевичу из Российского Государственного Геолого-Разведочного института им. С. Орджоникидзе за совместные исследования и предоставленную возможность практического исследования одной из рассмотренных в диссертации задач.

• Своему брату Андрею, студенту 5 курса механико-математического факультета МГУ, сделавшему ряд ценнейших замечаний.

Заключение

1. А.Г. Гужва, С.А. Доленко, И.Г. Персианцев, Ю.С. Шугай. Многоступенчатый алгоритм на основе комитета нейронных сетей для анализа многомерных временных рядов. // Нейрокомпьютеры: разработка, применение, 2010, № 3, С. 4-13.

2. А.Г. Гужва, С.А. Доленко, И.Г. Персианцев. Методика отбора существенных входных признаков при нейросетевом решении задач регрессии. // Нейрокомпьютеры: разработка, применение, 2010, № 3, С. 20-32.

3. M.H. Hassoun. Fundamentals of artificial neural networks. // The MIT Press, 1995.

4. Хайкин С. Нейронные сети: полный курс. // 2-е изд. Пер. с англ. М.: Вильяме, 2006.

5. Asuncion, A., Newman, DJ. (2007). UCI Machine Learning Repository. // URL: http://www.ics.uci.edu/~mlearn/MLRepository.html. Irvine, CA: University of California, School of Information and Computer Science.

6. База данных WEKA, URL: http://www.cs.waikato.ac.nz/ml/weka/

7. Carreira-Perpinan, M. A. A review of Dimension Reduction Techniques. // Technical Report CS-96-09, Dept. of Computer Science, University of Sheffield.

8. B. Kegl. Intrinsic dimension estimation using packing numbers. // Advances in Neural Information Processing Systems NIPS 2002, Vancouver, B.C., Canada. vol. 15, The MIT Press, 2003, pp. 681-688.

9. Н.Г. Макаренко. Фракталы, аттракторы, нейронные сети и все такое. // IV Всероссийская научно-техническая конференция «Нейроинформатика-2002», лекции ло нейроинформатике, часть 2, С. 121-169. М., МИФИ, 2002.

10. R. Bellmann. Adaptive Control Processes: A guided tour. // Princeton Univerisity Press, 1961.

11. Exploratory Factor Analysis A Book Manuscript by Tucker, L. & MacCallum R. (1993) URL: http://www.unc.edu/~rcm/book/factornew.htm

12. Multivariate Statistics: Exercises and Solutions. ISBN 978-0-387-70784-6, Springer New York, pp. 227-240.

13. T. Kohonen. Self-organized formation of topologically correct feature maps. // Biological Cybernetics, vol.43,1, Jan 1982, pp. 59-69.

14. I. Cohen, Y. Huang, J. Chen, J. Benesty. Pearson Correlation Coefficient. // Noise Reduction in Speech Processing. ISBN 978-3-642-00295-3, Springer Berlin Heidelberg, pp. 1-4.

15. L. Breiman. Random Forests. // Machine Learning, vol. 45,1, Oct 2001, pp. 5-32.

16. Ron Kohavi and George John. Wrappers for feature subset selection. // Artificial Intelligence, 97 (1-2): 273-324, 1997.

17. P. Pudil, J. Novovicova, J. Kittler. Floating search methods in feature selection. // Pattern Recognition Letters, 15(11):1119-1125, 1994.

18. J.H. Holland. Adaptation in Natural and Artificial Systems. // University of Michigan Press.

19. L. Rokach, O. Maimon. Decision trees. // Data mining and Knowledge discovery handbook, ISBN 978-0-378-24435-8, Springer US, pp. 165-192.

20. Guyon, I., Elisseeff, A. An Introduction to Variable and Feature Selection. // Journal of Machine Learning Research, 2003, vol. 3, pp. 1157-1182.

21. Wolpert, D., Stacked Generalization. //Neural Networks, 5(2), pp. 241-259., 1992

22. L. Oukhellou, P. Aknin, H. Stoppiglia, G. Dreyfus. A new decision criterion for feature selection: Application to the classification of non destructive testing signatures. // European Signal Processing Conference (EUSIPCO' 98), Rhodes, 1998.

23. Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Data mining, Inference and Prediction. // Springer series in statistics, 2009. DOI: 10.1007/978-0-387-84858-7.

24. С.А. Доленко, Ю.В. Орлов, И.Г. Персианцев, Ю.С. Шугай. Адаптивное построение иерархических нейросетевых классификаторов. // Нейрокомпьютеры: разработка и применение, 2005 г, №1-2, С. 5-11.

25. Corinna Cortes and V. Vapnik. Support-Vector Networks. // Machine Learning, 20,1995.

26. Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L. Feature Extraction: foundations and applications. // Studies in Fuzziness and Soft Computing, vol. 207.

27. А.И. Галушкин. О методике решения задач в нейросетевом логическом базисе. // VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», сборник научных трудов, часть 1, С. 9-23. М., МИФИ, 2006.

28. W.M. Hartmann. Dimensionality Reduction vs. Variable Selection. // SAS Institute, Inc., Cary NC, USA. Technical report.

29. L.J.P. van der Maaten, E.O. Postma, H.J. van den Herik. Dimensionality Reduction: A comparative review.

30. B.B. Стрижов, E.A. Крымова. Методы выбора регрессионных моделей. // Сообщения по прикладной математике. Вычислительный центр РАН, Москва, 2010.44 URL: http://pca.narod.ru

31. А.Н. Колмогоров. Представление непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения. // Доклады АН СССР, 1957, т. 114, №5, С. 953-956.

32. G. Cybenko. Approximation by superpositions of sigmoidal function. // Mathematics of Control, Signals, and Systems, 1989, v.2, pp. 304-314.

33. K. Hornik, M. Stinchcombe, H. White. Multilayer feedforward networks are universal approximators.// Neural Networks, 1989, v.2, №5, pp. 359-266.

34. K. Funahashi. On the approximate realization of continuous mappings by neural networks. Neural Netwoks, 1989, v.2, №3, pp.183-192.

35. D.E. Rumelhart, G.E. Hinton, R.J. Williams. Learning Internal Representations by Error Propagation // Parallel Distributed Processing: Explorations in the Microstructures of Cognition. V.l: Foundations. MIT Press. 1986. P.318-362.

36. С. Shannon. A Mathematical Theory of Communication. // Bell System Technical Journal, vol. 27, pp. 379-423,623-656, July, October, 1948

37. W.H. Press, S.A. Teukolsky, W.T. Vetterling, B.P. Flannery. Numerical Recipes in C: The Art of Scientific Cimputing. // Cambridge Univercity Press, 1992.

38. R. Fransens, C. Strecha, L. van Gool. Multimodal and multiband image registration using mutual information. // Visics KU Leuven, Belgium. URL: http://cvlab.epfl.ch/~strecha/publications/esa eusc2004.pdf

39. Philip A. Legg, Paul L. Rosin, D. Marshall, J. E. Morgan. Improving Accuracy and Efficiency of Registration by Mutual Information using Sturges' Histogram Rule. // URL: http://users.cs.cf.ac.Uk/P.A.Legg/papers/miuapaper07.pdf

40. G.D. Tourassi, E.D. Frederick, M.K. Markey, C.E. Floyd Jr. Application of mutual information criterion for feature selection in computer aided diagnosis. // URL: http://www.cse.msu.edu/~cse902/S03/mi features.pdf

41. K.H. Knuth. Optimal Data-based binning for histograms. // URL:http://arxiv.org/abs/physics/0605197

42. M. Gevrey, I. Dimopoulos, S. Lek. Review and comparison of methods to study the contribution of variables in artificial neural network models. // Ecological Modelling 160 (2003), pp. 249-264

43. Linda, L. Feature Selection Using Neural Networks with Contribution Measures. // Computer Science and Engineering, University of New South Wales, 1995

44. Warren S. Sarle. How to measure importance of inputs? // SAS Institute Inc., Cary, NC, USA. ftp://ftp.sas.com/pub/neural/importance.html

45. D.F. Specht. A Generalized Regression Neural Network. // IEEE Transactions on Neural Networks, 2, Nov. 1991, pp. 568-576.

46. Pudil, P., Somol, P. Current Feature Selection Techniques in Statistical Pattern Recognition. // Computer Recognition Systems, Springer Berlin / Heidenberg, 2005, pp. 53-68

47. Н.Г. Загоруйко. Прикладные методы анализа данных и знаний. // Новосибирск: Изд-во ин-та математики, 1999.

48. Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L. Feature Extraction: foundations and applications. // Studies in Fuzziness and Soft Computing, vol. 207. Chapter 4, pp. 119-136.

49. А.Г. Ивахненко. Индуктивный метод самоорганизации моделей сложных систем. // Киев, Наукова думка, 1982. URL: http://www.gmdh.net

50. Holland, John Н. Adaptation in Natural and Artificial Systems. // University of Michigan Press, 1975, Ann Arbor

51. J.R. Koza. Genetic programming on the programming of computers by means of natural selection. // The MIT Press, 1992

52. Walter J. Gutjahr. Mathematical runtime analysis of ACO algorithms: survey on an emerging issue. // Swarm Intelligence, vol.1,1,2007, pp. 59-79.

53. R. Poli, J. Kennedy, T. Blackwell. Particle Swarm Optimization. // Swarm Intelligence, vol.1, 1,2007, pp. 33-57.

54. J.H. Friedman (1999). Stochastic Gradient Boosting (Tech. Rep.). // URL: http://www-stat.stanford.edu/~jhf/ftp/stobst.ps

55. Костенко В.А., Смолик A.E. Алгоритм мультистарта с отсечением для обучения нейронных сетей прямого распространения. // IX Всероссийская научная конференция «Нейроинформатика-2007», сборник научных трудов, часть 3, С. 251-257. М., МИФИ, 2007

56. А.А. Ежов, С.А. Шумский. Нейрокомпьютинг и его применение в бизнесе. // Москва, МИФИ, 1998.

57. Warren S. Sarle. Donoho-Johnstone Benchmark: Neural Net Results // SAS Institute Inc., Cary, NC, USA. ftp://ftp.sas.com/pub/neural/doio/doio.html

58. G. Huang, H.A. Babri. Upper Bounds of the Number of Hidden Neurons in Feedforward Networks with Arbitrary Bounded Nonlinear Activation Functions. // IEEE Transactions on Neural Networks, vol. 9, no. 1, January 1998.

59. C.A. Терехов. Гениальные комитеты умных машин. // IX Всероссийская научная конференция «Нейроинформатика-2007», лекции по нейроинформатике, часть 2. М.: МИФИ, 2007. URL: http://neurolectures.narod.ru/2007/Terekhov-2007.pdf

60. J. Numata, О. Ebenhoh, Е. Knapp. Measuring Correlations in Metabolomic networks with mutual information. // URL: http://www.isbi.org/pdfs/iournall/IBSB08/IBSB08010.pdf

61. C.A. Доленко, Ю.В. Орлов, И.Г. Персианцев, Ю.С. Шугай. Нейросетевые алгоритмы прогнозирования событий и поиска предвестников в многомерных временных рядах. // Нейрокомпьютеры: разработка, применение, 2005, №1-2, С. 21-28.

62. S. Lahabar, P. Agrawal, P.J. Narayanan. High Performance Pattern Recognition on GPU. // URL: http://web.iiit.ac.in/~sheetal/Paper/NN.pdf

63. URL: http://www.codeproiect.com/KB/graphics/GPUNN.aspx

64. URL: http://www.nvidia.ru/object/cuda develop emeai.html

65. URL: http://neuroproiect.ru/aboutproduct.php?info=ns2info

66. URL: http://www.mathworks.com/products/matlab/

67. R.K Burton, R.L. McPherron, and C.T. Russell. An empirical relationship between interplanetary conditions and Dst // J. Geophys. Res. 1975. v. 80. p. 4204.

68. M. Temerin and X. Li. Dst model for 1995-2002 // J. Geophys. Res. 2006. v. 111. a04. p. 221-232.

69. H. Gleisner, H. Lundstedt, P. Wintoft. Predicting geomagnetic storms from solar-wind data using time-delay neural networks // Annales Geophysicae. 1996. v.14. p. 679-686.

70. J.-G. Wu, H. Lundstedt. Geomagnetic storm predictions from solar wind data with the use of dynamic neural networks // J. Geophys. Res. 1997. v.102. a7. p. 14255.

71. M.V. Stepanova, E.E. Antonova, O. Troshichev. Forecasting of DST variations from polar cap indices using neural networks // Advances in Space Research. 2005. v.36. pp. 2451-2454.

72. Sh.Watanabe et al. Prediction of the Dst index from solar wind parameters by a neural network method // J. Communications Research Laboratory. 2002. v.49. №4. pp. 69-85.

73. Ю.С. Шугай. Разработка нейросетевых алгоритмов анализа многомерных временных рядов и их применение при исследовании солнечно-земных связей. // Дисс. канд. физ.-мат. наук, Москва 2006.

74. URL: http://wdc.kugi.kyoto-u.ac.ip/dstfinal/index.html

75. URL: http://www.srl.caltech.edu/ACE

76. И.С. Веселовский, Ю.С. Шугай, О.С. Яковчук. Связь между Dst и Bz для геомагнитных бурь в 23 солнечном цикле. // Солнечно-земная физика. Вып. 12, т. 1. (2008), С. 172-173.

77. Хмелевской В.К. Геофизические методы исследования земной коры. // Дубна: Международный университет природы, общества и человека "Дубна", 1997

78. Оборнев Е.А. Инверсия двумерных магнитотеллурических данных на основе нейросетевой аппроксимации. // Дисс. канд.физ.-мат. наук, Москва, 2007.

79. М.Н. Бердичевский, В.И. Дмитриев. Обратные задачи магнитотеллурики в современной постановке. // Физика Земли, 2004,.№4, С. 12-29.

80. Тихонов А.Н., Дмитриев В.И., Гласко В.Б. Математические методы в разведке полезных ископаемых. // М., Знание, 1983. 64 с.

81. Павлов Д.Ю. Решение обратной коэффициентной задачи теплопроводности с помощью нейросети. // Вест. МГУ, Серия 15 ВМК, № 4. 1994.

82. Shimelevich M.I., Obornev E.A. The method of neuron network in inverse problems MTZ // Abstracts of the 14-th workshop on Electromagnetic Induction in the Earth, Sinaia, Romania, 1998. p.159.

83. Спичак B.B., Попова И.В. Применение нейросетевого подхода для реконструкции параметров трехмерной геоэлектрической структуры. // Изв. РАН, Сер. Физика Земли. 1998. №1, С. 39-45.

84. Шимелевич, М.И., Оборнев, Е.А. Применение метода нейронных сетей для аппроксимации обратных операторов в задачах электромагнитных зондирований // Изв. вузов, Геология и разведка, 2, С. 102-106,1999

85. Шимелевич, М.И., Оборнев, Е.А. Гаврюшов С.А. Техника построения нейронных сетей для решения многопараметрических обратных задач магнитотеллурического зондирования // Изв. вузов, Геология и разведка, 2, 2001. С. 129-137

86. Shimelevich, M.I., Obornev, Е.А., Gavryushov, S. Rapid neuronet inversion of 2D magnetotelluric data for monitoring of geoelectrical section parameters // Annals of Geophysics, vol.50, №.1, Febr. 2007, pp. 105-109.

87. Шимелевич М.И., Оборнев E.A. Аппроксимационный метод решения обратной задачи МТЗ с использованием нейронных сетей. // Физика Земли, 2009,12. С. 22-38

88. Шимелевич, М.И., Оборнев, Е.А., Гаврюшов С.А. Применение нейросетевой аппроксимации для решения задач мониторинга параметров геоэлектрических разрезов // Изв. вузов, Геология и разведка, №4. 2003. С. 70-71.

89. Шимелевич М.И., Оборнев Е.А. Нейросетевая метод магнитотеллурического мониторинга геоэлектрических параметров среды на основе не полных данных // Вестник КРАУНЦ, Науки о Земле, №1, выпуск 11. 2008. С. 62-67.

90. Варенцов И.М. Робастные методы совместной инверсии магнитотеллурических и магнитовариационных данных в кусочно неоднородных средах // Электромагнитные исследования земных недр / Под ред. В.В. Спичака, М.: Научный мир, 2005. С. 54-75

91. Tetko, I.V. Prediction of physicochemical properties. // Computational Toxicology: Rist Assessment for Pharmaceutical and Environmental Chemicals; Ekins, S., Ed.; John Wiley & Sons, Inc.: NJ, 2007. Vol. 1, pp. 241-275.

92. URL: http://ec.europa.eu/environment/chemicals/reach/reach intro.htm

93. URL: http://www.kios.org.cy/ICANN09/

94. Schultz, T.W. 1997. TETRATOX: Tetrahymena pyriformis population growth impairment endpoint-A surrogate for fish lethality. // Toxicol. Methods 7: 289-309. URL: http://www.vet.utk.edu/TETRATOX/

95. URL: http://www.cadaster.eu/node/65

96. URL: http://www.cadaster.eu/final results.html