автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка методов математического моделирования на основе нормализованных радиально-базисных сетей

На правах рукописи

Колбин Илья Сергеевич

РАЗРАБОТКА МЕТОДОВ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ НА ОСНОВЕ НОРМАЛИЗОВАННЫХ РАДИАЛЬНО-БАЗИСНЫХ СЕТЕЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

14 ФЕВ т

005049639

Москва-2013

005049639

Работа выполнена на кафедре вычислительной математики и программирования ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)».

Научный доктор физико-математических наук, профессор

руководитель: Ревизников Дмитрий Леонидович

Официальные Кузнецов Евгений Борисович,

оппоненты: доктор физико-математических наук, профессор,

профессор кафедры дифференциальных уравнений ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)»

Осипов Владимир Петрович,

кандидат технических наук, доцент, ведущий научный сотрудник ФГБУН «Институт прикладной математики им. М.В. Келдыша Российской академии наук»

Ведущая ФГБОУ ВПО «Санкт-Петербургский государственный

организация: политехнический университет»

Защита состоится «1» марта 2013 года в 12 ч. 00 мин. на заседании диссертационного совета Д 212.125.04 при ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)» по адресу 125993, г. Москва, А-80, ГСП-3, Волоколамское шоссе, д. 4.

С диссертацией можно ознакомиться в научной библиотеке ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)».

Автореферат разослан «28» января 2013 г.

Ученый секретарь диссертационного совета Д 212^25Д4;

кандидат физико-математических наук ¿í¿fér--^ Северина Н.С.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Нейросетевая технология является одной из самых активно развивающихся областей научно-прикладного знания. Разнообразные методы, в основу которых положены нейронные сети, успешно применяются в самых различных областях, таких как: задачи управления, прогнозирование, распознавание образов, аппроксимация многомерных данных, сжатие информации и др.

В последнее время наметился значительный интерес к применению бессеточных методов в задачах математического моделирования. Это обусловлено, в первую очередь, типичными трудностями, которые возникают при использовании сеточных методов для решения многомерных задач в областях со сложной геометрией, задач с неточно заданными коэффициентами, обратных задач при наличии погрешностей измерений и т.д. Как правило, в подобных ситуациях требуется специальная адаптация вычислительных алгоритмов к рассматриваемой проблеме. С другой стороны, применение разрабатываемых в диссертации нейросетевых методов позволяет в значительной степени преодолеть указанные трудности и использовать унифицированные подходы для решения задач различного типа. Существенным достоинством рассматриваемых алгоритмов являются их регуляризирующие свойства, что позволяет применять разрабатываемые методы в задачах идентификации.

Целью диссертационной работы является создание унифицированной вычислительной технологии для решения задач математического моделирования на основе нормализованных радиапьно-базисных сетей. Для достижения обозначенной цели предполагается:

1. Анализ современных нейросетевых методов для решения задач математического моделирования.

2. Разработка методов построения нейросетевых моделей стационарных и нестационарных процессов переноса в физических системах при наличии разнородной информации на основе нормализованных радиапьно-базисных сетей.

3. Разработка нейросетевых методов решения некорректных задач математической физики на основе нормализованных радиапьно-базисных сетей.

4. Сравнение разработанных методов с существующими нейросетевыми и классическими методами.

5. Создание программного комплекса, реализующего разработанные методы.

Научная новизна. Предложены новые методы для решения задач математического моделирования, построенные на основе нормализованных радиально-базисных сетей.

Разработаны бессеточные вычислительные алгоритмы решения классических и обратных задач математической физики. Отличительной чертой алгоритмов является использование подвижного функционального базиса, что позволяет адаптироваться к особенностям решения и обеспечить достаточно высокую точность при относительно низких вычислительных затратах.

Исследованы особенности применения нейросетевых алгоритмов к нестационарным задачам математической физики. Показано, что в задачах данного класса наиболее эффективным является гибридный разностно-нейросетевой алгоритм.

Рассмотрены вопросы применения разработанных алгоритмов к задачам идентификации. Анализ результатов решения представительного набора задач по восстановлению источниковых слагаемых и граничных условий в уравнениях теплопереноса показал, что разработанные алгоритмы обладают регуляризирующими свойствами и позволяют добиться высокой точности при значительной погрешности в измерениях.

Достоверность и обоснованность результатов, полученных в ходе диссертационного исследования, обеспечивается сопоставлением полученных решений с известными аналитическими решениями, хорошей согласованностью результатов проведенных вычислительных экспериментов с точными или приближенными решениями тестовых задач.

Практическая ценность. Разработанные в диссертации нейросетевые модели и алгоритмы в силу их универсальности, а также высокого потенциала к распараллеливанию вычислений, представляют значительный интерес для специалистов в области математического моделирования. Предложенные методы могут применяться для решения стационарных и нестационарных задач переноса в физических системах со сложной расчетной областью, с неточно заданными коэффициентами, при построении решений по разнородным данным. Созданный программный комплекс востребован, в первую очередь, при проектировании тепловой защиты летательных аппаратов, двигателей и энергетических установок летательных аппаратов и т.д. Результаты диссертационного исследования могут быть использованы при составлении образовательных курсов по математическому моделированию и численным методам.

Апробация работы. Основные результаты работы докладывались и обсуждались: на XVII Международной конференции по вычислительной механике и современным прикладным программным системам (Алушта, 2011), на 10-й и 11-й Международной конференции «Авиация и космонавтика» (Москва, 2011 и 2012), на XIV Всероссийской научно-технической конференции «Нейроинформатика-2012» (Москва, 2011), на Московской молодежной научно-практической конференции «Инновации в авиации и космонавтике-2012» (Москва, 2012), на IX Международной конференции по неравновесным процессам в соплах и струях (Алушта, 2012), на семинаре международной молодежной научной школы по теории и численным методам решения обратных и некорректных задач (Воронеж, 2012).

Публикации. По теме диссертации опубликовано 9 работ, среди которых 3 статьи в изданиях, рекомендованных ВАК для представления результатов диссертационного исследования на соискание ученых степеней кандидата и доктора наук, 1 работа принята к публикации.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. В работе содержится 29 рисунков и 134 библиографических ссылки. Общий объем диссертации составляет 105 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дается обзор литературы, посвященной вопросам приложения нейросетевой технологии к задачам математического моделирования. Приводится обоснование актуальности диссертационного исследования, формулируются цели и задачи работы, приводятся данные об апробации. В диссертации развивается подход, предложенный А.Н. Васильевым и Д.А. Тарховым (Нейросетевое моделирование. Принципы, алгоритмы, приложения. - СПб.: Изд-во Политехи, ун-та, 2009). Он основан на использовании нейросетевого функционального базиса. Отличительной чертой настоящей работы является поиск решения в виде нормализованных радиально-базисных сетей.

Первая глава посвящена нейросетевым алгоритмам моделирования стационарных процессов переноса. В качестве отправной точки для описания модели объекта рассматривается краевая задача в следующей постановке: в области П требуется найти решение и = и(\) уравнения

А(и) = /(х), X е О. с ^ , удовлетворяющее условию на границе Г

В(и) = Я(х), х е Г, 5

где х - входной вектор, А, В - интегро-дифференциальные операторы, /, g - некоторые заданные функции. Операторы могут быть нелинейными, содержать разрывы, менять тип в подобластях и т.д. Специальных требований к границе не предъявляется.

Решение ищется в виде нормализованной радиально-базисной сети (НРБС), структурная схема которой представлена на рис. 1.

Рис.1. Структурная схема нормализованной радиально-базисной сети из п нейронов Выход сети, состоящей из п нейронов, можно представить в виде:

£,]Ф(||х-хПЮ

где ч» — вектор параметров, ю, а, \е с ч» - веса, «ширины» и координаты центров нейроэлементов, с? - радиально-базисная функция. В главе обсуждаются вопросы подбора параметров нейросетевой модели. Один из возможных подходов заключается в минимизации квадратичного функционала ошибки, который формируется при подстановке нейросетевого представления в исходное уравнение и граничные условия. Минимизация осуществляется с помощью процедур многомерной оптимизации. Существенным достоинством данного подхода является его универсальность, т.к. он не накладывает ограничений на конфигурацию области, на гладкость коэффициентов и т.д. Функционал ошибки имеет вид:

Л*) = /и'а [ЖйЧх, V)) - /(х)]л +1 №г[Я(г7(х, V)) - £(х)]гЛ,

О Г

где ч'0, и1, - некоторые коэффициенты, которые «выравнивают» вклад внутренней и граничной составляющей. Подбор №а и кг во многом зависит от условий задачи. Как правило, вычислить интегралы аналитически весьма сложно или невозможно, поэтому используется дискретный аналог функционала:

где та, /иг - число контрольных точек в области и на границе, соответственно, {х}" е О - набор контрольных точек в области, {х}, е Г - на границе. Подбор параметров у аппроксимирующей модели и осуществляется путем минимизации сформированного функционала:

У(й'(х,»|())—'-»шт.

В главе рассмотрено приложение разработанного метода к одномерным, двумерным, трехмерным задачам, были исследованы задачи с нелинейным источником, с погранслойным характером решения, получены нейросетевые аппроксимации для задач с криволинейной границей области.

Для демонстрации работы предложенного метода рассмотрим в качестве тестовой характерную модельную краевую задачу. Ищется решение уравнения Пуассона в прямоугольной области: Аи(х, у)=/(х, у),

Д = —- + —- — оператор Лапласа, х е [о, л\

дх ду

ус

[о, л]; удовлетворяющее

однородным условиям на границе: и(0, у) = и(лг, у) = и(х, 0) = и(х, л) = 0. Источниковая компонента задана как f(x,y) = sinxsiny. Решение ищется в виде НРБС г?(х,ц/), для чего составляется функционал ошибки вида:

Подбор параметров у осуществляется с использованием метода сопряженных градиентов CG DESCENT.

Было рассмотрено решение для сетей различных размеров. На рис. 2 представлены НРБС-решения в различных сечениях у = const, а также аналитическое решение (точки). Штриховой линией показан выход НРБС из 4-х нейронов, сплошной - НРБС из 8-ми нейронов. На рис. 3 дана конфигурация нейроэлементов на плоскости для восьминейронной сети после окончания процедуры подбора параметров. Пунктиром выделена область О.

0.1 о.о -0.1 3-0.2

-о.з

-0.4

• Точное 5

- НРБС -Я 4

-— НРБС 4 3

2 1

0 -1

-2

Рис. 2. Аналитическое и нейросетевые решения задачи Пуассона

Рис. 3. Итоговая конфигурация нейроэлементов НРБС из 8 нейронов

На рис. 2 видно, что выход НРБС из 8-ми нейроэлементов практически совпадает с аналитическим решением. Представленное на рис. 3 итоговое расположение нейронов аппроксимирующей модели объясняется симметрией рассматриваемой задачи.

Для оценки точности полученных приближений была вычислена среднеквадратичная погрешность е на сетке, результаты приведены в таблице 1. Сравнение проводилось с известным аналитическим решением.

Таблица 1

Результаты расчетов

Число нейроэлементов, п Итоговый функционал ошибки, У Среднеквадратичная погрешность, е

2 0,0027 0,02513

4 0,0014 0,02212

6 5,61-10° 0,00119

8 1,17-10° 0,00067

Из таблицы 1 видно, что увеличение размерности аппроксимирующей сети влечет повышение точности результирующих приближений. Важно отметить, что происходит одновременное уменьшение функционала ошибки и погрешности аппроксимации.

В следующем разделе производится сравнительный анализ нейросетевых методов, основанных на классических радиально-базисных и на нормализованных радиально-базисных сетях, для набора характерных модельных задач. Рассматривается одномерное уравнение следующего вида: и' = кги, требуется найти решение, удовлетворяющее граничным условиям ы(0) = и(1) = 1. Особенностью данной задачи является погранслойный характер решения, который проявляется в большей степени при возрастании коэффициента к. В работе был принят к = 27,79, при котором ярко выражен подобный эффект. На рис. 4 представлены выходы полученных нейронных сетей из двух элементов. Видно, что НРБС-приближение лучше отражает характер решения, чем ненормализованная сеть.

Решалась трехмерная краевая задача для стационарного уравнения теплопроводности с нелинейным источником: Ди = 5т(и2) + /(лг,у,г), расчетная область О - единичный куб, граничные условия: «|г=5т(х + .у + г). На графике рис. 5 представлены аппроксимации для задачи сетями из 4-х нейроэлементов в различных сечениях. Видно, что решение, полученное с использованием НРБС, практически совпадает с аналитическим.

1.0|

1.0

я

1.0 0.2 0.4 0.6 0.8 1.0 X

°'3.0 0.2 0.4 0.6 0.8 1.0

X

Рис. 4. Решение одномерной задачи с погранслойным характером решения

Рис. 5. Решение трехмерной задачи с нелинейным источником

Проведенные численные эксперименты показали, что в среднем метод, основанный на НРБС, производит аппроксимации с большей точностью, однако время подбора параметров выше. Для ряда задач, при этом, НРБС-метод сходится быстрее. Так, например, трехмерная задача с нелинейным источником для сетей из 4-х нейронов решается НРБС-методом примерно в два раза быстрее, чем РБС, при этом точность аппроксимации выше почти в сто раз.

В следующем разделе диссертационной работы проводится сравнение нейросетевого метода с методом конечных разностей. В конечно-разностной реализации использовался метод погруженной границы с фиктивными ячейками, для итерационного решения систем линейных алгебраических уравнений применялся стабилизированный метод бисопряженных градиентов с предобуславливателем. Рассматривался ряд модельных задач с криволинейной границей области. Сравнительный анализ показал, что методы имеют схожую точность и время сходимости. Важно отметить, что переход от задач с прямоугольными границами области к задачам с криволинейными границами практически не внес изменений в нейросетевой алгоритм решения. Это является существенным преимуществом нейросетевого метода по сравнению с методом конечных разностей, который требует значительной модификации для решения задач с криволинейными границами.

В последнем разделе первой главы дан обзор созданного в процессе диссертационной работы вычислительного комплекса, реализующего разработанные методы, рассмотрены вопросы повышения эффективности вычислений.

Во второй главе рассматриваются нейросетевые алгоритмы моделирования нестационарных процессов переноса. Приводятся два метода: прямой, при использовании которого временная компонента заносится во входной вектор, и гибридный, с конечно-разностным разбиением по времени.

При использовании гибридного метода на выходе алгоритма получается набор нейронных сетей, которые осуществляют пространственную аппроксимацию на соответствующих временных слоях. Подбор параметров сети на очередном временном шаге осуществляется путем минимизации функционала ошибки. Функционал ошибки для к+1 слоя при использовании явно-неявной схемы Кранка-Николсона с шагом г имеет вид:

а" (Х°, ч/м) - J (A(ttM (х°, V'1+1))+(х °)) ■- Вк(х°, V4) -

В следующем разделе проводится сравнение прямого и гибридного

методов на примере ряда модельных задач теплопроводности.

Искалось решение двумерного нестационарного уравнения

, ät (дги дгиЛ „ ж

теплопроводности в прямоугольной области: — = а\——г- , 0<х< — ,

dt ду ) 4

0<^<1п2, удовлетворяющее начальному условию и(х,у,0) = cos(2jr)sh(_y) и

смешанным граничным условиям:

"(0, У, О = sh(>0 ехр(-ЗгИ), их (0,25гг, >>,/) = -2sh(_y) ехр(-3а/), и v (х, 0, /) = cos(2 х) ехр(-ЗаГ), и(х,In2,1) = 0,75cos(2x)ехр(-3а/). Задача представлена в безразмерном виде, а = 1.

На рис. 6 показаны полученные аппроксимации и аналитическое решение на различных временных слоях. Видно, что оба метода дали высокую точность. Результаты расчетов для прямого и гибридного методов сведены в таблицу 2. Вычисления проводились на компьютере с процессором Intel Core 2 Duo Е6750 2,66 ГГц.

0.40 0.35 0.30; 0.25 3 0.20 0.15 0.10 0.05 0.

JL^o • Точное -НРБС(гибр.)-8 —- НРБС(пр.)-24

Ni Ü=W1

f=i

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

Рис. 6. Решение двумерной задачи

теплопроводности _ Таблица 2

Результаты решения двумерной нестационарной задачи теплопроводности прямым и

гибридным методами

Прямой метод Гибридный метод, т=0,05

п J £ Т, сек п J £ Т, сек

8 0,00089 0,00832 1,39 2 0,00152 0,02071 0,06

16 0,00012 0,0056 2,51 4 1,31-10° 0,00227 0,64

24 3,72-Ю"5 0,00171 4,2 6 4,3-10"6 0,00097 0,75

32 1,37-Ю"3 0,00094 6,54 8 2,31-ю-" 0,00073 1,41

Из приведенных результатов видно, что гибридный метод обладает лучшими показателями скорости и точности решения по сравнению с прямым методом. С другой стороны, стоит отметить, что гибридный метод в значительной степени менее универсален, чем прямой метод. Во-первых, это выражается в узкой специализации алгоритма для решения конкретного типа задач. Во-вторых, из-за конечно-разностного разбиения в значительной степени ухудшаются регуляризирующие свойства нейросетевых алгоритмов, что сильно ограничивает возможность их применения для задач с неточно заданными условиями, а также для обратных задач.

В заключительном разделе диссертационной работы рассматривается приложение гибридного метода для начально-краевой задачи для уравнения Бюргерса, показана высокая эффективность нейросетевого метода.

Третья глава посвящена нейросетевым алгоритмам решения обратных задач (задач идентификации). Рассматривается обратная задача в следующей постановке: требуется найти решение и = и(х) уравнения

Д«)=/(х),хеД удовлетворяющее условию на границе:

В(и) = г(х),хеГ,

где А, В - известные интегро-дифференциальные операторы, /, ш — некоторые функции. Операторы могут быть нелинейными, содержать разрывы, менять тип в подобластях и т.д. Специальных требований к границе не предъявляется. В настоящей работе рассматривалось 2 типа обратных задач:

1. Идентификация правой части: в этом случае не задана (или задана не полностью) функция/(х).

2. Идентификация граничного условия: не задана (или задана не полностью) функция g(x).

Исследуемые задачи характерны тем, что вместо отсутствующей информации известен дополнительный набор из т5 точечных значений искомой функции (результатов измерений), причем измеренные значения содержат некоторую погрешность 4 (статистические свойства шумов известны):

уу=ы(х*) + ^ у = 1, /я,. Решение ищется в виде нейросетевого представления. Для этого используется пара нейронных сетей. Первая сеть аппроксимирует искомую функцию, а вторая, в зависимости от типа задачи, приближает правую часть или граничное условие. Подбор параметров сетей ведется путем оптимизации дискретного квадратичного функционала, который получается при подстановке

нейросетевого представления в исходное уравнение, граничные условия и точечные (измеренные) значения функции:

J"1',]2 2L->rnin,

где \|/ - вектор параметров нейросетевой модели, а - аппроксимация точного решения краевой задачи и, (|/,сч/ - параметры нейронной сети а, та, тг -заданное число контрольных точек; wQ, и>г, w, - весовые коэффициенты, выравнивающие вклад составляющих функционала. Если рассматривается задача идентификации правой части, то источниковый член в первом слагаемом функционала заменяется нейросетевой аппроксимацией /(x?.V/)> где ч^сху - вектор параметров, определяемый в результате обучения сети. Аналогично, при восстановлении граничного условия неизвестное слагаемое g(x^) заменяется на g(x',4%), ^ciii. В результате оптимизации функционала на выходе получаются приближения непосредственно решения краевой задачи а и идентифицируемых функций / или g (в зависимости от задачи).

В следующих разделах рассматривается приложение вычислительной технологии для ряда характерных обратных задач. Решалась задача идентификации интенсивности источника тепла в стационарном уравнении теплопроводности (задача сформулирована в статье Xie О., Zhao Z. Identifying an unknown source in the Poisson equation by a modified Tikhonov regularization method. II International Journal of Mathematical and Computational Sciences. -2012.-Vol. 6.):

-u„ -u№ = /(*), 0 < x < jt, 0 < у < -wo, - u(fi,y) = u(x,y) = 0, 0<y<-Н»,

u(x, 0) = 0, 0 < x < я.

При этом функция f(x) являлась неизвестной, требовалось ее восстановить по дополнительным «измерениям». В качестве результатов «измерений» брались зашумленные точные значения функции в точках и(х, 1) = g(x) (квазиреальный эксперимент): g(x) = ^(l-e-')e-'r2sin£c, g,6 =g(/î/) + ÔO, = i = 0,m,, где 9 -случайная величина, распределенная по стандартному нормальному закону. Решение данной задачи известно в аналитическом виде: /(x) = ^'_|e"'sini>:. Для оценки влияния погрешностей измерений на точность итоговых аппроксимаций в «измерения» вносились шумы 8 с амплитудами: 10", 10"', 10"2. На рис. 7 представлен результат восстановления источникового члена с использованием НРБС из 32-х нейроэлементов при 5 = 10 2. На графике точками показано точное

решение, пунктиром , - полученное в статье с использованием модифицированного метода регуляризации Тихонова. Видно, что нейросетевой метод дал схожий по точности результат.

В следующем разделе

диссертационной работы исследуются задачи идентификации граничного режима.

Рассматривалось приложение

нейросетевого подхода к обратной задаче теплопереноса при ламинарном течении жидкости в плоском канале. Постановка приведена в работе Huang С.Н., Ozisik M.N. Inverse problem of determining heat flux in laminar flow through a parallel plate duct. II Numerical Heat Transfer, Part A. 1992. -Vol. 21. Математически задача сформулирована следующим образом:

дТ(х, 0)

0.0 0.5 1.0 1.5 2.0 2.5 3.0 X

Рис. 7. Результат восстановления правой части

= 0<х< b, 0<y<L,

дх ду

= 0, 0 < х < 6, кдТ(*'1) 0 <х<Ь, Т(0,у) = Т0, 0 <у<1.

ду ду

Профиль скорости считается заданным:= у), тепловой поток

<7(х) не задан и подлежит определению. Известен набор из т, измерений, полученных с термодатчиков, размещенных на расстоянии у, от изолированной стенки. Схема расчетной области приведена на рис. 8.

Исходные данные следующие (в качестве жидкости рассматривалось машинное масло):

Г0 = 20'С = 293 К, Ь = 1,6 м, £ = 0,01 л», у. = 0,009 м, = 0,04—, р = 840 , С =2200 Дж

с м р кг-К

«Измеренные» значения температуры определялись из решения прямой задачи

с известным распределением теплового потока д(х) на границе у = 1

(квазиреальный эксперимент), предполагалось, что измерения содержат

некоторую погрешность: Т' = Т(Ш, Ц + 69, Л = , 1 = 1,т,, где е - случайная

величина, распределенная по стандартному нормальному закону. Были рассмотрены два варианта продольного распределения теплового потока:

Вт

„ , ч [3000 +8750л:, 0<*<0,8, 1) а(х) = {

[10000 -8750(.х- 0,8), 0,8 < * <1,6

2)<7(*) = 7000 + 3000sin(— at) —-1,6

м-К

Кроме того, варьировалось число термодатчиков: в одном случае они расположены очень плотно, на расстоянии 1 см друг от друга (т, =160), в другом - расстояние между ними составляет 10 см (от, = 16).

С целью анализа влияния погрешностей «измерений» на решение задачи рассматривались два варианта. В первом принималась идеализированная ситуация, когда показания датчиков абсолютно точные (¿ = 0), во втором считалось, что датчики дают показания с погрешностями 6 = 2,576.

На рис. 9 приведен результат восстановления теплого потока с синусоидальным распределением для варианта с т, = 16 и погрешностями «измерений» 6 = 2,516. Точками представлено точное распределение, сплошной линией - полученная нейросетевая аппроксимация, пунктиром - приведенное в статье решение.

У Ф\ 1

То, ГбЛ * ■ У1 ь

0 Ь X

Рис. 8. Схема расчетной области, точками показаны термодатчики, теплоизолированная поверхность заштрихована

12000 10000 8000 Л 6000 4000 2000

8 6

Рис. 9. Результат восстановления теплового потока с синусоидальным распределением, т, =16, 5 = 2,576

Видно, что точность НРБС-приближения сопоставима с решением, полученным в статье с использованием аппарата сопряженных уравнений. При этом важно подчеркнуть технологичность разработанного в диссертационной работе метода: при решении прямых и обратных задач используются идентичные вычислительные алгоритмы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ Итогом диссертационного исследования являются следующие научные и практические результаты:

• Разработаны методы построения нейросетевых моделей стационарных и нестационарных процессов переноса в физических системах при наличии разнородной . информации, основанные на использовании нормализованных радиально-базисных функций.

• Разработаны бессеточные вычислительные алгоритмы решения эллиптических задач математической физики с адаптацией нормализованного функционального базиса к особенностям решения. Показано, что разработанные алгоритмы позволяют эффективно решать задачи с погранслойным характером решения, задачи в областях со сложной геометрией, многомерные задачи.

• Построены нейросетевые и гибридные разностно-нейросетевые алгоритмы для решения параболических задач математической физики.

• Разработана модификация предложенных нейросетевых алгоритмов применительно к обратным задачам математической физики. Рассмотрены вопросы идентификации источниковых слагаемых и граничных условий для стационарных и нестационарных задач теплопереноса. Показано, что присущие нейросетевым алгоритмам регуляризирующие свойства позволяют эффективно решать задачи идентификации при значительных погрешностях измерений.

• Создан комплекс программ для математического моделирования процессов переноса в физических системах с использованием нормализованных радиально-базисных сетей.

ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в журналах из перечня ВАК

1. Колбин И.С. Решение стационарных задач математической физики с использованием нормализованных радиально-базисных сетей. // Научно-технический вестник Поволжья. - 2011. - № 5 - Казань: Научно-технический вестник Поволжья, 2011 - С. 178-181.

2. Колбин И.С. Разработка системы нейросетевого моделирования. Н Информационные и телекоммуникационные технологии. - 2012. - № 14 - М.: Изд-во МАИ, 2012 - С. 83-86.

3. Колбин И.С., Ревизников ДЛ. Решение задач математической физики с использованием нормализованных радиально-базисных сетей. II

«Нейрокомпьютеры»: разработка, применение. - 2012. - № 2 - М.: Изд-во «РАДИОТЕХНИКА», 2012 - С. 12-19.

4. Колбин И.С. Программный комплекс для решения задач математического моделирования с использованием нейросетевой методологии. И Программная инженерия. - 2013. - № 2 - С. 25-30 (статья принята к публикации).

Публикации в других изданиях

5. Колбин И.С., Ревизников Д.Л. Применение сетей с нормализованными радиально-базисными функциями для решения эллиптических задач математической физики. II Материалы XVII международной конференции по вычислительной механике и современным прикладным программным системам (ВМППС-2011), Алушта - М.: Изд-во МАИ-ПРИНТ, 2011. - С. 658-660.

6. Колбин И.С., Ревизников ДЛ. Сети нормализованных радиально-базисных функций для решения задач математической физики. II XIV Всероссийская научно-техническая конференция «Нейроинформатика-2012»: Сборник научных трудов. В 3 частях. Ч. 3. - М.:НИЯУ МИФИ - 2012. - С. 207213.

7. Колбин И.С. Разработка системы решения краевых задач для уравнения теплопроводности с использованием нейросетевого моделирования. И 10-я Международная конференция «Авиация и космонавтика - 2011». Москва. Тезисы докладов. - СПб.: Мастерская печати, 2011. - С. 288.

8. Колбин И.С. Нейросетевой метод решения граничной обратной задачи для нестационарного уравнения теплопроводности. II Московская молодежная научно-практическая конференция «Инновации в авиации и космонавтике-2012». - М.: ООО «Принт-салон», 2012 - С. 239.

9. Колбин И.С., Ревизников ДЛ. Решение граничных обратных задач математической физики с использованием нормализованных радиально-базисных сетей. II Материалы IX Международной конференции по неравновесным процессам в соплах и струях (NPNJ'2012), Алушта. - М.: Изд-во МАИ, 2012. - С. 496-498.

10. Колбин И.С. Решение источниковых обратных задач математической физики с использованием нормализованных радиально-базисных сетей. II Теория и численные методы решения обратных и некорректных задач: материалы Международной молодежной научной школы. - Воронеж: ИПЦ «Научная книга», 2012.- С. 85-88.

Подписано в печать: 27.01.2013 Тираж 100 экз. Заказ №921 Отпечатано в типографии «Реглет» г. Москва, Ленинградский пр-т д.74 (495)790-74-77 www.reglet.ru

Введение.

Глава 1. Нейросетевые алгоритмы моделирования стационарных процессов переноса.

1.1. Постановка задачи. Нейросетевой метод решения. Радиально-базисные и нормализованные радиально-базисные сети.

1.2. Методы подбора параметров нейросетевой модели. Функционал ошибки. Подбор параметров с использованием методов многомерной оптимизации.

1.3. Применение нейросетевого метода на примере решения краевой задачи для уравнения Пуассона на плоскости.

1.4. Сравнение нейросетевых методов, основанных на РБС и на НРБС

1.5. Сравнение нейросетевого и конечно-разностного методов.

1.6. Построение программного комплекса.

1.7. Выводы.

Глава 2. Нейросетевые алгоритмы моделирования нестационарных процессов переноса.

2.1. Постановка задачи. Нейросетевой метод решения.

2.2. Гибридный метод решения нестационарных задач с конечно-разностным разбиением по времени.

2.3. Сравнение прямого и гибридного нейросетевых методов.

2.4. Решение начально-краевой задачи для уравнения Бюргерса.

2.5. Выводы.

Глава 3. Нейросетевые алгоритмы решения обратных задач (задач идентификации).

3.1. Постановка задачи и нейросетевой метод идентификации.

3.2. Идентификация правой части.

3.3. Идентификация граничного режима.

3.4. Выводы.

Нейросетевая технология является одной из самых активно развивающихся областей научно-прикладного знания. Разнообразные методы, в основу которых положены нейронные сети, успешно применяются в самых различных прикладных областях: задачи управления [37,38,41,43-45], прогнозирование экономических показателей [21,26,46], распознавание графических образов [53,70,92,134], аппроксимация зависимостей по результатам точечных измерений [71,90,91,97], задачи сжатия информации [49,99,121] и т.п. Нейроматематика успешно применяется в задачах, для которых сложно или невозможно найти аналитическое решение, но можно построить адекватную аппроксимацию. Нейросетевые методы допускают естественное распараллеливание, что особенно ценно в условиях современности в связи с появлением доступных технологий высокопроизводительных параллельных вычислений, таких как CUDA [98,126,130], OpenCL и др.

В последнее время наметился значительный интерес к применению бессеточных методов в задачах математического моделирования. Это обусловлено, в первую очередь, типичными трудностями, которые возникают при использовании сеточных методов для решения многомерных задач в областях со сложной геометрией, задач с неточно заданными коэффициентами, обратных задач при наличии погрешностей измерений и т.д. [2,8]. Как правило, в подобных ситуациях требуется специальная адаптация вычислительных алгоритмов к рассматриваемой проблеме. С другой стороны, применение нейросетевых методов позволяет в значительной степени преодолеть указанные трудности и использовать унифицированные алгоритмы для решения задач различного типа [4,5].

Широкий круг задач математического моделирования (как правило, это задачи моделирования сложных технических объектов с распределенными параметрами) сводится к решению краевых и начально-краевых задач для дифференциальных и интегро-дифференциальных уравнений и систем. К настоящему моменту накоплен существенный объем знаний для решения подобных задач, в том числе различные варианты нейросетевых подходов, которые представляют предмет дальнейшего рассмотрения.

Существенное влияние на нейросетевой подход к решению дифференциальных уравнений в частных производных оказали работы Харди [90,91]. В обобщающей публикации [91] приводится история развития и примеры успешного применения авторского мультиквадрик-бигармонического метода. Изначальная мотивация разработки метода была в построении кривых и поверхностей по разрозненным данным, в частности, в задачах топографии. В работе отмечается высокая точность предложенного подхода по сравнению с разложением по тригонометрическим и полиномиальным рядам. Харди дает обзор приложений метода в геодезии, картографии, контроле и распознавании, в обработке сигналов и др. В статье Франке [77] приводится сравнение 29 различных схем для аппроксимации по разрозненным данным. В соответствии с результатами вычислений метод Харди обладает лучшими показателями точности и простоты реализации.

Одни из первых успехов в применении нейросетевых алгоритмов на основе радиально-базисных сетей (РБС) для решения дифференциальных уравнений в частных производных принадлежат Канза. В своих работах [101,102] он успешно использовал в качестве аппроксиматоров мультиквадрики Харди для решения эллиптических, параболических и гиперболических задач математической физики. В работе [102] решена одномерная задача конвекции-диффузии, показано, что применение метода, основанного на мультиквадрик-аппроксимации, позволяет получить довольно точные решения при сравнительно компактном размере нейросетевой модели.

В публикации [100] Канза отмечает, что в численных методах решения уравнений в частных производных в настоящее время доминируют методы конечных разностей, конечных элементов и объемов, для работы которых 4 применяются локальные интерполяционные схемы. В качестве аппроксимирующих функций, как правило, применяются полиномы младших степеней. При этом эффективность методов (точность результирующих приближений, скорость сходимости, и т.д.) сильно зависит от правильно подобранной сеточной структуры. В работе отмечается, что построение сетки для многомерных пространств уже само по себе представляет нетривиальную задачу.

Представляют значительный интерес работы Голберга и Чена. В статье [83] авторы приводят результаты использования мультиквадриков для решения уравнений в частных производных. Показана высокая точность предлагаемого метода. В монографии [82] авторы продемонстрировали, что приложение нейросетевого метода позволяет найти решение трехмерной краевой задачи для уравнения Пуассона в эллипсоиде с помощью сети из 60 случайно распределенных в области нейроэлементов, причем точность полученной аппроксимации соответствует решению методом конечных элементов с 71000 узлов.

Стоит отметить публикации Мей-Дуй и Трэн-Конга [107-109], в которых авторы рассматривают приложение оригинального метода, основанного на радиально-базисных сетях. Отличительной особенностью используемого метода является применение непрямого подхода. Вместо аппроксимации непосредственно уравнения (прямой подход) нейросетевой моделью при применении непрямого подхода осуществляется приближение производных старших порядков. В дальнейшем, для поиска решения используется интегрирование нейросетевых представлений. В статьях рассматривается приложение метода для задач высокого порядка. Настройка параметров нейросетевой модели заключалась в подборе весовых коэффициентов при неизменных значениях «ширин» и центров. «Ширины» выбирались по эвристическому правилу, а в качестве центров базисов выбирались узлы коллокации.

Важную роль в развитии нейросетевого подхода сыграли работы Е.Гальперина, Чжена и др. [78-80,123]. В публикациях авторы развивают подход для решения задач с использованием методов оптимизации. Мотивацией для разработки подобных методов является то обстоятельство, что часто используемые процедуры коллокации, как правило, плохо обусловлены. Применение подхода подразумевает решение задачи в экстремальной постановке. Для этого из начальных и краевых условий, и из самих уравнений формируются локальные функционалы, которые далее суммируются с некоторыми весами, образуя общий функционал. Важно отметить, что в такой постановке подход без каких-либо значительных изменений может быть эффективно применен для широкого круга задач. В частности, в работе [80] рассматривается решение для сЛабо сингулярных уравнений Вольтерра.

В работах [52,128] рассматривается приложение радиально-базисных сетей на основе мультиквадриков для приближенного решения уравнений с дробными производными. Приводится сравнение с другими методами, показано, что предложенный метод обладает хорошей точностью.

Существенное влияние на развитие нейросетевой технологии оказали работы В.И. Горбаченко. В монографии [23] подробно исследованы приложение нейрокомпьютеров для решения краевых задач теории поля. Представляют значительный интерес публикации [1,24] в которых рассматривается решение задач математической физики с использованием радиально-базисных сетей. В [22,25] исследовано решение коэффициентных обратных задач, отмечается хорошая точность полученной нейросетевой аппроксимации.

Особенно стоит выделить работы А.Н. Васильева и Д.А. Тархова, ключевые идеи которых легли в основу настоящей диссертационной работы. Характерной чертой применяемого авторами подхода является подбор линейных и нелинейных параметров сети путем оптимизации функционала при подстановке нейросетевой модели в исходные уравнения при 6 перегенерации точек коллокации [2,4,8,13]. Предложенная в работах методология достаточно универсальна и может без значительных модификаций быть адаптирована для решения широкого класса задач. В работах [6,7] приводятся решения задач с нелинейными составляющими.

Разработанный подход без особенных сложностей распространяется на решение задач в составных областях. В публикациях [9,16,17] рассматриваются задачи с фиксированными границами раздела сред. Делается замечание, что при поиске решения для задач с областями составного типа можно применять единую нейронную сеть для всей области, либо искать решение в виде набора сетей и рассматривать нейронную сеть для каждой из подобластей. При использовании первого подхода будет получено бесконечно гладкое решение (при соответствующем выборе базиса), но при наличии разрывов на границах точность решения может значительно снизиться. Второй подход лишен указанного недостатка, но его применение влечет за собой усложнение вычислительного алгоритма, т.к. требуется удовлетворение условиям согласования на границах. В работах [14,15,18,129] дается решение задач со свободной границей с применением нейросетевого подхода. В публикации [14] исследованы нейросетевые подходы для решения задачи Стефана. Выделяется работа [18], в которой рассматривается приложение нейросетевого подхода для построения математической модели образцовой проверочной камеры - калибратора переменного давления. В публикации отмечаются преимущества нейросетевого подхода перед классическими методами [3]: помехоустойчивость алгоритма позволяет применять его при наличии погрешностей во входных данных, при решении серии однотипных задач нет необходимости полностью перестраивать всю сеть, достаточно выбрать уже обученную и доучить ее до требуемой точности.

Важной особенностью предложенного авторами нейросетевого подхода является эффективная адаптация для решения задач по разнородным данным. В практике повсеместно встречаются задачи построения моделей 7 сложных объектов по разнородной информации, которая представлена в виде набора соотношений: это могут быть дифференциальные уравнения и системы, результаты измерения датчиков и т.д. В публикациях [4,10-12] предлагается единая методология для построения подобных моделей с использованием нейросетевой технологии.

Из анализа доступной литературы можно сделать вывод, что при использовании нейросетевых методов для поиска решения краевых задач для уравнений в частных производных доминируют подходы, основанные на радиально-базисных сетях (РБС). Данный выбор обусловлен рядом факторов: простота реализации и организации процесса обучения, точность получаемых аппроксимаций, бесконечная гладкость решений и др. В настоящей работе предлагается в качестве нейросетевых моделей использовать нормализованные радиально-базисные сети (НРБС). Впервые НРБС были описаны в [110] практически в одно время с РБС [58], однако интерес к приложениям появился позже. Как и классические ненормализованные радиально-базисные сети, НРБС являются универсальными аппроксиматорами [55]. В публикациях [55,60] отмечаются хорошие обобщающие свойства данных сетей, в [55,60,65,125] указывается, что эффективность НРБС в значительно меньшей степени зависит от неудачного выбора центров в сравнении с ненормализованными сетями. Представляет интерес статья [63], где указывается важное отличие в поведении нормализованных и классических радиально-базисных сетей, если в качестве базисной функции выбран гауссиан. В зависимости от расположения центров и заданных «ширин» базисы НРБС в рассматриваемых точках могут проявлять как локальные свойства, так и нелокальные. С другой стороны, нейроэлементы РБС с гауссовой функцией активации обладают только локальными свойствами. Стоит отметить работы [48,61] в которых рассматривается применение НРБС в робототехнике.

Настоящая работа посвящена исследованию приложений нормализованных радиально-базисных сетей для решения задач 8 математического моделирования широкого класса физических объектов. Выбор НРБС в качестве приближенных моделей систем обусловлен рассмотренными выше свойствами.

Целью диссертационной работы является создание унифицированной вычислительной технологии для решения задач математического моделирования на основе нормализованных радиально-базисных сетей. Для достижения обозначенной цели предполагается:

1. Анализ современных нейросетевых методов для решения задач математического моделирования.

2. Разработка методов построения нейросетевых моделей стационарных и нестационарных процессов переноса в физических системах при наличии разнородной информации на основе нормализованных радиально-базисных сетей.

3. Разработка нейросетевых методов решения некорректных задач математической физики на основе нормализованных радиально-базисных сетей.

4. Сравнение разработанных методов с существующими нейросетевыми и классическими методами.

5. Создание программного комплекса, реализующего разработанные методы.

Научная новизна. Предложены новые методы для решения задач математического моделирования, построенные на основе нормализованных радиально-базисных сетей.

Разработаны бессеточные вычислительные алгоритмы решения классических и обратных задач математической физики. Отличительной чертой алгоритмов является использование подвижного функционального базиса, что позволяет адаптироваться к особенностям решения и обеспечить достаточно высокую точность при относительно низких вычислительных затратах.

Исследованы особенности применения нейросетевых алгоритмов к нестационарным задачам математической физики. Показано, что в задачах данного класса наиболее эффективным является гибридный разностно-нейросетевой алгоритм.

Рассмотрены вопросы применения разработанных алгоритмов к задачам идентификации. Анализ результатов решения представительного набора задач по восстановлению источниковых слагаемых и граничных условий в уравнениях теплопереноса показал, что разработанные алгоритмы обладают регуляризирующими свойствами и позволяют добиться высокой точности при значительной погрешности в измерениях.

Достоверность и обоснованность результатов, полученных в ходе диссертационного исследования, обеспечивается сопоставлением полученных решений с известными аналитическими решениями, хорошей согласованностью результатов проведенных вычислительных экспериментов с точными или приближенными решениями тестовых задач.

Практическая ценность. Разработанные в диссертации нейросетевые модели и алгоритмы в силу их универсальности, а также высокого потенциала к распараллеливанию вычислений, представляют значительный интерес для специалистов в области математического моделирования. Предложенные методы могут применяться для решения стационарных и нестационарных задач переноса в физических системах со сложной расчетной областью, с неточно заданными коэффициентами, при построении решений по разнородным данным. Созданный программный комплекс востребован, в первую очередь, при проектировании тепловой защиты летательных аппаратов, двигателей и энергетических установок летательных аппаратов и т.д. Результаты диссертационного исследования могут быть использованы при составлении образовательных курсов по математическому моделированию и численным методам.

Апробация работы. Основные результаты работы докладывались и обсуждались: на XVII Международной конференции по вычислительной механике и современным прикладным программным системам (Алушта, 2011), на 10-й Международной конференции «Авиация и космонавтика» (Москва, 2011), на XIV Всероссийской научно-технической конференции «Нейроинформатика-2012» (Москва, 2011), на Московской молодежной научно-практической конференции «Инновации в авиации и космонавтике-2012» (Москва, 2012), на IX Международной конференции по неравновесным процессам в соплах и струях (Алушта, 2012), на семинаре международной молодежной научной школы по теории и численным методам решения обратных и некорректных задач (Воронеж, 2012), на 11-й Международной конференции «Авиация и космонавтика - 2012» (Москва, 2012).

Публикации. По теме диссертации опубликовано 9 работ [27-29,31-36], среди которых 3 статьи [27,31,34] в изданиях, рекомендованных ВАК для представления результатов диссертационного исследования на соискание ученых степеней кандидата и доктора наук, 1 работа [30] принята к публикации.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. В работе содержится 29 рисунков и 134 библиографических ссылок. Общий объем диссертации составляет 105 страниц.

3.4. Выводы

В главе рассмотрено приложение нейросетевой технологии для решения обратных задач математической физики. Предлагаемый подход успешно применен к решению задач по восстановлению правой части и граничных условий для стационарных и нестационарных уравнений теплопереноса. С целью исследования регуляризационных свойств метода проведен анализ влияния погрешностей измерений на численное решение. По результатам вычислительных экспериментов можно заключить, что метод сохраняет работоспособность при наличии существенных ошибок в исходных данных и может эффективно применяться в задачах идентификации.

Заключение

Итогом диссертационного исследования являются следующие научные и практические результаты:

• Разработаны методы построения нейросетевых моделей стационарных и нестационарных процессов переноса в физических системах при наличии разнородной информации, основанные на использовании нормализованных радиально-базисных функций.

• Разработаны бессеточные вычислительные алгоритмы решения эллиптических задач математической физики с адаптацией нормализованного функционального базиса к особенностям решения. Показано, что разработанные алгоритмы позволяют эффективно решать задачи с погранслойным характером решения, задачи в областях со сложной геометрией, многомерные задачи.

• Построены нейросетевые и гибридные разностно-нейросетевые алгоритмы для решения параболических задач математической физики.

• Разработана модификация предложенных нейросетевых алгоритмов применительно к обратным задачам математической физики. Рассмотрены вопросы идентификации источниковых слагаемых и граничных условий для стационарных и нестационарных задач теплопереноса. Показано, что присущие нейросетевым алгоритмам регуляризирующие свойства позволяют эффективно решать задачи идентификации при значительных погрешностях измерений.

• Создан комплекс программ для математического моделирования процессов переноса в физических системах с использованием нормализованных радиально-базисных сетей.

1. Артюхина Е.В., Горбаченко В.И. Решение краевых задач математической физики на радиально-базисных нейронных сетях. // Программные продукты и системы. 2007. - № 3 (79). - С. 74-77.

2. Васильев А.Н. Нейросетевое моделирование в математической физике. // «Нейрокомпьютеры»: разработка, применение. -М.: Радиотехника, 2009. -№5.-С. 25-38.

3. Васильев А.Н., Осипов В.П., Тархов Д.А. Унифицированный процесс моделирования физико-технических объектов с распределенными параметрами. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2010. - №3. - С. 39-51.

4. Васильев А.Н., Порубаев Ф.В., Тархов Д.А. Нейросетевой подход к решению некорректных задач теплопереноса. // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2011. -№1. - С. 133-141.

5. Васильев А.Н., Тархов Д.А. 11ВР-сети и некоторые задачи математической физики. // Сборник докладов Международной конференции по мягким вычислениям и измерениям 8СМ'2004. - СПб., 2004. - Том 1. -С. 309-312.

6. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики. // «Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004. - №7-8. - С. 111-118.

7. Васильев А.Н., Тархов Д.А. Нейросетевое моделирование. Принципы, алгоритмы, приложения. СПб.: Изд-во Политехи, ун-та, 2009.

8. Васильев А.Н., Тархов Д.А. Нейросетевые подходы к решению краевых задач в многомерных составных областях. // Известия ТРТУ. 2004. - №9. - С. 80-89.

9. Васильев А.Н., Тархов Д.А. Построение нейросетевой модели по дифференциальным уравнениям и экспериментальным данным. // Известия ТРТУ.-2005.-№10(54).-С. 98-107.

10. Васильев А.Н., Тархов Д.А. Построение приближенных нейросетевых моделей по разнородным данным. // Математическое моделирование. 2007. -Том 19, №12 -С.43-51.

11. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к задаче Стефана. // Искусственный интеллект. Донецк, 2005. - № 1. -С. 37-47.

12. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей. // Известия ТРТУ. 2004. - № 9. - С. 89-100.

13. Васильев А.Н., Тархов Д.А. Расчет теплообмена в системе «сосуды-ткани» на основе нейронных сетей. // «Нейрокомпьютеры»: разработка, применение. 2006. - №7. - С. 48-53.

14. Васильев А.Н., Тархов Д.А., Гущин Г. Моделирование калибратора переменного давления с помощью системы нейронных сетей. // Сборник докладов Международной конференции по мягким вычислениям и измерениям SCM'2004. - СПб., 2004. - Том 1. - С. 304-308.

15. Винников В.В., Ревизников Д.Л. Применение декартовых сеток для решения уравнений Навье-Стокса в областях с криволинейными границами. // Математическое моделирование. 2005. - Т. 17, №8. - С. 15-30.

16. Винников В.В., Ревизников Д.Л., Способин A.B. Двухфазный ударный слой при обтекании тел сверхзвуковым запыленным потоком. // Математическое моделирование. 2009. - Т. 21, №12. - С. 89-102.

17. Горбатов А.И. Прогнозирование экономических показателей на основе искусственных нейронных сетей: Диссертация кандидата экономических наук: 08.00.13 : Москва, 2003 175 с.

18. Горбаченко В.И. Нейрокомпьютерный алгоритм решения коэффициентной обратной задачи. // Известия ПГПУ им. В. Г. Белинского. -2011.-№26.-С. 367-374.

19. Горбаченко В.И. Нейрокомпьютеры в решении краевых задач теории поля. — М.: Радиотехника, 2003. — 336 С.

20. Горбаченко В.И., Довженко А.Ю. Решение на нейронной сети уравнения теплопроводности с нелинейным источником. // Нейрокомпьютеры: разработка, применение. 2007. - № 9. - С. 24-32.

21. Горбаченко В.И., Москвитин С. А. Решение обратных коэффициентных задач математической физики на нейронных сетях. // Нейрокомпьютеры: разработка, применение. 2007. - № 9. - С. 136-143.

22. Киселев М., Соломатин Е. Средства добычи знаний в финансах и бизнесе. // Открытые системы. — 1997 г., №4.

23. Колбин И.С., Ревизников Д.Л. Решение задач математической физики с использованием нормализованных радиально-базисных сетей. // «Нейрокомпьютеры»: разработка, применение. 2012. — № 2 - С. 12-19.

24. Колбин И.С. Нейросетевой метод решения граничной обратной задачи для нестационарного уравнения теплопроводности. // Московская молодежная научно-практическая конференция «Инновации в авиации и космонавтике-2012». М.: ООО «Принт-салон», 2012 - С. 239.

25. Колбин И.С. Программный комплекс для решения задач математического моделирования с использованием нейросетевой методологии. // Программная инженерия. 2013. - № 2 - С. 25-30 (статья принята к публикации).

26. Колбин И.С. Разработка системы нейросетевого моделирования. // Информационные и телекоммуникационные технологии. 2012. - № 14 - С. 83-86.

27. Колбин И.С. Решение стационарных задач математической физики с использованием нормализованных радиально-базисных сетей. // Научно-технический вестник Поволжья. 2011. - № 5 - С. 178-181.

28. Нечаев Ю.И. Нейросетевые технологии в бортовых интеллектуальных системах реального времени. // В сб. «Лекции по нейроинформатике». М.: МИФИ, 2002.-Часть 1. - С. 114-163.

29. Нечаев Ю.И. Принципы использования нейронных сетей в бортовых интеллектуальных системах. // «Нейрокомпьютеры»: Разработка, применение. 2004. - № 7-8 - С. 49-56.

30. Пантелеев A.B., Летова Т.А. Методы оптимизации в примерах и задачах. М.: Высш. шк., 2008.

31. Поляк Б.Т. Метод сопряженных градиентов в задачах на экстремум. // Журнал вычислительной математики и математической физики. 1969. - том 9, №4.-С. 807-821.

32. Пупков К.А., Егупов Н.Д. Методы робастного, нейро-нечеткого и адаптивного управления. М.: МГТУ им. Н.Э. Баумана, 2002. - 744 с.

33. Самарский A.A., Вабищевич П.Н. Численные методы решения обратных задач математической физики. -М.: Изд-во ЛКИ, 2009.

34. Сигеру Омату, Марзуки Хал ид, Рубия Юсоф. Нейроуправление и его приложения. М.: ИПРЖР, 2000. - 271 с.

35. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. М.: ИПРЖР, 2002. - 480 с.

36. Терехов С.А. Адаптивные нейросетевые методы в многошаговых играх с неполной информацией. // В сб. «Лекции по нейроинформатике». -М.: МИФИ, 2005. С. 92-135.

37. Тихонов Э.Е., Кузьмищев В.А. Методы и алгоритмы прогнозирования экономических показателей на базе нейронных сетей и модулярной арифметики: Монография. Невинномысск: Издательство НИЭУП, 2004. -166 с.

38. Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. -М.: Изд. Дом «Вильяме», 2006. 1104 С.

39. Althoefer К., Bugmann G. Planning and Learning Goal-Directed Sequences of Robot-Arm movements. // in Fogelman-Soulie F. and Gallinari P. (eds), Proc. of ICANN'95, Paris. 1995. - Vol. 1. - pp. 449-454.

40. Amerijckx C., Verleysen M., Thissen P. Image Compression by Self-Organized Kohonen Map. // IEEE Transactions on Neural Networks. 1998. -Vol. 9, No. 3 - pp. 879-892.

41. Armijo L. Minimization of functions having Lipschitz continuous first partial derivatives. // Pacific J. Math. 1966. - Vol. 16(1). - pp. 1-3.

42. Arminjon P., Beauchamp C. A finite element method for Burgers' equation in hydrodynamics. // International Journal for Numerical Methods in Engineering. 1978.-Vol. 12,No. 3.- pp. 415-428.

43. Avaji M., Hafshejani J.S., Dehcheshmeh S.S., Ghahfarokhi D.F.

44. Numeric Solution of Fractional Oridnary Differential Equations using a Multiquadric Approximation Scheme. // Journal of Applied Sciences. 2012. -Vol. 2, Issue 2. - pp. 168-173.

45. Basul J.K., Bhattacharyya D., Kim T. Use of Artificial Neural Network in Pattern Recognition. // International Journal of Software Engineering and Its Applications. 2010 - Vol. 4, No. 2. - pp. 23-33.

46. Bee J., Khanin K. Burgers turbulence. // Physics Reports. 2007. - Vol. 447, Issues 1-2.-pp. 1-66.

47. Benaim M. On the functional approximation with normalized Gaussian units. //Neural Computation. 1994. - Vol. 6. - pp. 314-333.

48. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006. - 740 p.

49. Brent R.P. Algorithms for Minimization without Derivatives, Chapter 4. -Prentice-Hall, Englewood Cliffs, NJ, 1973.

50. Broomhead D.S., Lowe D. Multivariable Functional Interpolation and Adaptive Networks. // Complex Systems. 1988. - Vol. 2. - pp. 321-355.

51. Broyden C. The Convergence of a Class of Double-Rank Minimization Algorithms: Part 2 The New Algorithm. - Computing Centre of University of Essex, 1970.

52. Bugmann G. Normalized Gaussian radial basis function networks. // Neurocomputing. 1998. - Vol. 20 (1-3). - pp. 97-110.

53. Burgers J.M. The Nonlinear Diffusion Equation. D. Reidel Publishing Company, Dordrecht-Boston, 1974.

54. Cha I., Kassam S.A. Interference cancellation using radial basis function networks. // Signal Processing. 1995. - Vol. 47. - pp. 247-268.

55. Chai ZShi B. Novel lattice Boltzmann model for the Poisson equation. // Applied Mathematical Modelling. 2008. - Vol. 32. - pp. 2050-2058.

56. Cowpe M.R., Mulgrew B., Unsworth C.P. Nonlinear prediction of chaotic signals using a normalized radial basis function network. // Signal Processing. -2002. Vol. 82. - pp. 775-789.

57. Dai Y.H., Yuan Y. A nonlinear conjugate gradient method with a strong global convergence property. // SIAM J. Optim. 1999. - Vol. 10. - pp. 177-182.

58. Davidon W.C. Variable metric method for minimization. // SIAM Journal on Optimization. 1991.-Vol. l.-pp. 1-17.

59. Davidon W.C. Variable metric method for minimization. // Technical ReportANL-5990 (revised). 1959. - Argonne National Laboratory, Argonne, IL.

60. Dennis J.E., Schnabel R.B. Numerical Methods for Unconstrained Optimization. Prentice-Hall, Englewood Cliffs, NJ, 1983. Reprinted by SIAM Publications, 1993.

61. Egmont-Petersen M., D. de Ridder, Handels H. Image processing with neural networks a review. // Pattern Recognition Society - 2002. - Vol. 35 - pp. 2279-2301.

62. Ferrari S., Stengel R.F. Smooth Function Approximation Using Neural Networks. // IEEE Transactions on Neural Networks. 2005. - Vol. 16, No. 1 -pp. 879-892.

63. Fletcher R. A New Approach to Variable Metric Algorithms. // The Computer Journal. 1970. - Vol. 13. - pp. 317-322.

64. Fletcher R. Practical Methods of Optimization Vol. 1: Unconstrained Optimization. John Wiley & Sons, New York, 1987.

65. Fletcher R. Practical Methods of Optimization. John Wiley & Sons, New York, second ed., 1987.

66. Fletcher R., Powell M.J.D. A Rapidly Convergent Descent Method for Minimization. //The Computer Journal. 1963.-Vol. 6.-pp. 163-168.

67. Fletcher R., Reeves C. Function minimization by conjugate gradients. // Computer Journal. 1964. - Vol. 7. - pp. 149-154.

68. Franke R. Scattered data interpolation: Tests of some methods. // Math. Comput. — 1971. — № 38. — pp. 181-192.

69. Galpcrin E.A., Pan Z., Zheng Q. Application of global optimization to imlicit solution of Partial Differential Equations. // Computers & Mathematics with Applications. Pergamon Press Ltd. - 1993. - Vol. 25, No. 10/11.-pp. 119-124.

70. Galperin E.A., Zheng Q. Solutuion and control of PDE via global optimization methods. // Computers & Mathematics with Applications. -Pergamon Press Ltd. 1993. - Vol. 25, No. 10/11.-pp. 103-118.

71. Gilbert J.C., Nocedal J. Global convergence properties of conjugate gradient methods for optimization. // SIAM J. Optim. 1992. - Vol. 2. - pp. 21-42

72. Golberg M.A., Chen C.S. Discrete Projection Methods for Integral Equations. // Comput. Mech. Publ. 1997. - 250 p.

73. Golberg M.A., Chen C.S. Improved multiquadric approximation for partial differential equations. //Engin. Anal. Bound. Elem. 1996. - Vol. 18. - pp. 9-17.

74. Goldfarb D. Family of Variable-Metric Methods Derived by Variational Means. // Mathematics of Computation. 1970. - Vol. 24. - pp. 23-26.

75. Goldstein A.A. On steepest descent. // SIAM J. Control. 1965. - Vol. 3. -pp. 147-151.

76. Hager W.W., Zhang H. A new conjugate gradient method with guaranteed descent and an efficient line search. // SIAM J. Optim. 2005. - Vol. 16. - pp. 170-192.

77. Hager W.W., Zhang H. A survey of nonlinear conjugate gradient methods. // Pacific J. Optim. 2006. - №2. - pp. 35-58.

78. Hager W.W., Zhang H. Algorithm 851: CGJDESCENT, a conjugate gradient method with guaranteed descent. // ACM Trans. Math. Software, 32, 2006.

79. Hager W.W., Zhang H. CGDESCENT user's guide. Technical report. // Dept. Math., Univ. Florida, 2004.

80. Hardy R.L. Multiquadric equations of topography and other irregular surfaces. // J. Geophys. Res. 1971.-Vol.76. - pp. 1905-1915.

81. Hardy R.L. Theory and applications of the multiquadric-biharmonic method: 20 years of discovery. // Comput. Math. Appl. 1990 - Vol. 19, No. 8&9 -pp. 163-208.

82. Harvey R.L., DiCaprio P.N., Heinemann K.G. A Neural Network Architecture for General Image Recognition. // The Lincoln Laboratory Journal1991. Vol. 4, No. 2 - pp. 189-207.

83. Hestenes M.R., Stiefel E.L. Methods of conjugate gradients for solving linear systems. // J. Research Nat. Bur. Standards. 1952. - Vol. 49. - pp. 409436.

84. Holland J.H. Adaptation in natural and artificial systems. University of Michigan Press, Ann Arbor, 1975.

85. Hooke R., Jeeves T.A. Direct search solution of numerical and statistical problems. // J. ACM 1961.-Vol. 8(2).-pp. 212-229.

86. Huang C.H., Ozisik M.N. Inverse problem of determining heat flux inlaminar flow through a parallel plate duct. // Numerical Heat Transfer, Part A.1992.-Vol. 21.-pp. 55-70.

87. Huang G., Chen L., Siew C. Universal Approximation Using Incremental Constructive Feedforward Networks With Random Hidden Nodes. // IEEE Transactions on Neural Networks. 2006. - Vol. 17, No. 4 - pp. 879-892.

88. Jang H., Park A., Jung K. Neural Network Implementation Using CUDA and OpenMP. // Proceedings of the 2008 Digital Image Computing: Techniques and Applications.-2008.-pp. 155-161.

89. Jilani A.K., Sattar A.A. Fuzzy Neural Networks based EZW Image Compression System. // International Journal of Computer Applications. 2010. -Vol. 2, No.9. — pp. 1-7.

90. Kansa E.J. Motivation for using radial basis function. 1999. -http://www.cityu.edu.hk/rbf-pde/files/overview-pdf.pdf.

91. Kansa E.J. Multiquadrics a scattered data approximation scheme with applications to computational fluid dynamics-I. Surface approximations and partial derivative estimates. // Comput. Math. Appl. - 1990. - Vol. 9, No. 8 & 9. - pp. 127-145.

92. Kennedy J. The particle swarm: social adaptation of knowledge. // Proceedings of IEEE International Conference on Evolutionary Computation. -1997.-pp. 303-308.

93. Kennedy J., Eberhart R.C. Particle Swarm Optimization. // Proceedings of IEEE International Conference on Neural Networks. IV. 1995. - pp. 1942-1948.

94. Lemarechal C. A view of line searches. in Optimization and Optimal Control, W. Oettli and J. Stoer, eds. // №. 30 in Lecture Notes in Control and Information Science, Springer-Verlag. - 1981. - pp. 59-78.

95. Liu Y., Storey C. Efficient generalized conjugate gradient algorithms, part \.H Theory. J. Optim. Theory Appl. 1991. - Vol. 69. - pp. 129-137.

96. Mai-Duy N. Solving high order ordinary differential equations with radial basis function networks. // International Journal for Numerical Methods in Engineering. 2005. - Vol. 62. - pp. 824-852.

97. Mai-Duy N., Tran-Cong T. Compact local integrated-RBF approximations for second-order elliptic differential problems. // Journal of Computational Physics. -2011.-Vol. 230, No. 12.-pp. 4772-4794.

98. Mai-Duy N., Tran-Cong T. Integrated radial-basis-function networks for computing Newtonian and non-Newtonian fluid flows. // Computers and Structures. 2009. - Vol. 87, Issue 11-12. - pp. 642-650

99. Moody J., Darken C. Fast learning in networks of locally-tuned processing units. // Neural Computation. 1989. - Vol. 1. - pp. 281-294.

100. More J.J., Thuente D.J. Line search algorithms with guaranteed sufficient decrease. // ACM Transactions on Mathematical Software. 1994. - Vol. 20. - pp. 286-307.

101. Nelder J.A., Mead R.A. simplex method for function minimization. // Computer Journal. 1965. - Vol. 7. - pp. 308-313

102. Nocedal J. Conjugate gradient methods and nonlinear optimization. in Linear and Nonlinear Conjugate Gradient Methods, L. M. Adams and J. L. Nazareth, eds. - SIAM, Philadelphia, 1996. - pp. 9-23.

103. Nocedal J. Theory of algorithms for unconstrained optimization. // Acta Numerica.- 1991.-Vol. l.-pp. 199-242.

104. Nocedal J. Updating quasi-Newton matrices with limited storage. // Math. Comp. 1980. - Vol. 35. - pp. 773-782.

105. Nocedal J., Wright S.J. Numerical optimization. Springer Verlag, New York, NY, 1999.

106. Ortega J.M., Rheinboldt W.C. Iterative Solution of Nonlinear Equations in Several Variables. Academic Press, 1970.

107. Polak E., Ribiere G. Note sur la convergence de methodes de directions conjuguees. // Rev. Française Informat. Recherche Opérationnelle. 1969. - Vol. 3. - pp. 35-43.

108. Powell M.J.D. How bad are the BFGS and DFP Methods When the Objective Function is Quadratic. // Mathematical Programming. 1986. - Vol. 34. -pp. 34-47.

109. Powell M.J.D. Nonconvex Minimization Calculations and the Conjugate Gradient Method. Numerical Analysis, 1983.

110. Rama I., Vaddella P., Rama K. Artificial Neural Networks for compression of Digital Images: A Review. // International Journal of Reviews in Computing 2009-2010. - pp. 72-85.

111. Shanno D. Conditioning of Quasi-Newton Methods for Function Minimization. // Mathematics of Computation. 1970. - Vol. 24. - pp. 647-656.

112. Sharman M., Kansa E.J., Gupta S. Application of the Multiquadric method to numerical solution of elliptic partial differential equations. // Applied Mathematics and Computation. 1997. - Vol. 84. - pp. 275-302.

113. Shi Y., Eberhart R.C. A modified particle swarm optimizer. // Proceedings of IEEE International Conference on Evolutionary Computation. 1998. - pp. 6973.

114. Shorten R., Murray-Smith R. Side effects of normalizing radial basis function networks. // Int. J. Neural Systems. 1996. - Vol. 7. - pp. 167-179.

115. Uetz R., Behnke S. Large-scale Object Recognition with CUDA-accelerated Hierarchical Neural Networks. // In Proceedings of the 1st IEEE International Conference on Intelligent Computing and Intelligent Systems. 2009.

116. Van der Vorst H.A. Bi-CGSTAB: A Fast and Smoothly Converging Variant of Bi-CG for the Solution of Nonsymmetric Linear Systems. // SIAM Journal on Scientific and Statistical Computing. 1992. - Vol. 13 (2). - pp. 631644.

117. Vanani S.K., Aminataei A. On the numeric solution of fractional partial differential equations. // Mathematical and Computaional Applications. 2012. -Vol. 17, No. 2.-pp. 140-151.

118. Vasilyev A., Tarkhov D., Guschin G. Neural Networks Method in Pressure Gauge Modeling. // Proceedings of 10th IMECO TC7 International Symposium on Advances of Measurement Science, Saint-Petersburg, Russia. 2004. - Vol. 2. -pp. 275-279.

119. Vesely K., Burget L., GrezI F. Parallel Training of Neural Networks for Speech Recognition. // Interspeech. 2010. - pp. 2934-2937.

120. Werntges H.W. Partitions of unity to improve neural function approximators. // IEEE International Conference on Neural Networks, San Francisco, California, 1993.-pp. 914-918.

121. Wolfe P. Convergence conditions for ascent methods. // SIAM Rev. 1969. -Vol. 11 (2).-pp. 226-235.

122. Xie O., Zhao Z. Identifying an unknown source in the Poisson equation by a modified Tikhonov regularization method. // International Journal of Mathematical and Computational Sciences. 2012. - Vol. 6. - pp. 86-90.

123. Yang C.C., Prasher S.O., Landry J.A., Ramaswamy H.S. Ditommaso A.

124. Application of artificial neural networks in image recognition and classification of crop and weeds. // Canadian agricultural engineering 2000. - Vol. 42, No. 3 - p. 147-152.