автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Нейросетевое моделирование в математической физике

На правах рукописи

ВАСИЛЬЕВ Александр Николаевич

НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ В МАТЕМАТИЧЕСКОЙ ФИЗИКЕ

Специальность 05 13 18 - «Математическое моделирование, численные методы и комплексы программ»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора физико-математических наук

003160Б5Х

Санкт-Петербург - 2007

003160651

Работа выполнена в Государственном образовательном учреждении Высшего профессионального образования «Санкт-Петербургский государственный политехнический университет»

Научный консультант Заслуженный деятель науки РФ, Доктор технических наук, профессор НЕЧАЕВ Юрий Иванович

Официальные оппоненты Доктор физико-математических наук БЕЛЯЕВ Александр Константинович Доктор технических наук, профессор ГАЛУШКИН Александр Иванович Доктор физико-математических наук МАКАРЕНКО Николай Григорьевич

Ведущая организация Лаборатория Информационных Технологий Объединенного Института Ядерных Исследований, Дубна

Защита состоится »Р&1 МД20(У1 г в часов на заседании диссертационного совета Д212 229 13 при ГОУ ВПО «Санкт-Петербургский государственный политехнический университет» по адресу 195251, Санкт-Петербург, Политехническая ул 29, СПбГПУ, к 1, ауд 41

С диссертацией можно ознакрмиться в фундаментальной библиотеке ГОУ ВПО «С ПбГП^ » Автореферат разослан С^^ЛАщоО? года

Ученый секретарь диссертационного совета доктор биологических наук, профессор

А В Зинковский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время нейросетевая теория и технология — одна из наиболее динамично развивающихся областей искусственного интеллекта - успешно применяется в различных прикладных областях, таких как прогнозирование различных экономических показателей, биомедицинские приложения, сложные системы управления, распознавание образов, предсказание наличия полезных ископаемых и т д Нейроматематика доказала свою эффективность во многих задачах, которые трудно или невозможно решить аналитически, но для которых можно попытаться построить подходящую аппроксимацию

В последние годы появился интерес к применениям нейронных сетей и в такой области как классические и неклассические задачи математической физики По всей видимости, это было обусловлено целым рядом факторов разнообразие практических приложений,

общие трудности применения стандартных методов к решению многих проблем ввиду нелинейности моделей, большого объема данных (высокая размерность, большое число уравнений и условий), неточности в задании коэффициентов уравнений, краевых и начальных условий, сложности геометрии задачи, неклассические постановки задач,

поиск единого подхода к решению совершенно разных типов задач, для каждого из которых обычно применяются свои методы,

уникальные свойства искусственных нейронных сетей,

поиск новых направлений развития численных методов (несеточные методы, интеллектуальные вычисления),

появление новых технологий (нейрокомпьютеры, §пё-технологии и др) и построение алгоритмов, естественных для таких технологий

Лишь небольшое число задач, обычно обладающих симметрией, допускает аналитическое решение Существующие приближенные методы решения либо позволяют получить лишь поточечную аппроксимацию подобно сеточным методам (получение из поточечного решения некоторого аналитического выражения представляет собой отдельную задачу), либо предъявляют специальные требования к набору аппроксимирующих функций и требуют решения важной вспомогательной задачи разбиения исходной области подобно тому, как это происходит в методе конечных элементов

При совершенствовании модели корректировке постановки задачи, связанной с модификацией уравнений или условий, уточнении или пополнении экспериментальных данных - при решении серии близких задач - нет необходимости строить нейро-сетевую модель вновь достаточно использовать имеющуюся нейронную сеть и доучить ее

Имеющиеся нейросетевые подходы к решению задач математической физики ли бо узкоспециализированы (клеточные сети, линейные уравнения в случае областей несложной геометрией и т д ), либо используют варианты метода коллокации при не изменных нейросетевых функциях, что может приводить к заметным ошибкам межд узлами

Создание на основе нейросетевой методологии единого подхода к построению ус тойчивых уточняемых моделей в математической физике и конструирование соответ ствующих нейросетевых алгоритмов, использующих достоинства нейросетевых ап проксимаций, представляет актуальную и недостаточно изученную научну проблему Задача построения робастной математической модели по разнородным дан ным, включающим как уравнения, так и экспериментальные наблюдения, являете весьма актуальной для практики, и ее недостаточная изученность вызвана трудность применения к ней классических методов

Цель диссертационной работы. Диссертация посвящена созданию методологи применения нейронных сетей к задачам математического моделирования сложны систем с распределенными параметрами по разнородной информации, содержаще уточняемые данные

Достижение этой цели связано с выполнением следующих этапов исследования Формулировка задач в рамках нейросетевой парадигмы Разработка общих мето дов выбора и настройки нейросетевого функционального базиса

Рассмотрение простой задачи, имеющей известное аналитическое решение, с ко торым сравнивается решение, найденное с помощью нейронных сетей Распростране ние методики решения этой задачи на некоторый достаточно широкий класс практиче ски важных задач

Решение нескольких более сложных задач, известные численные подходы к кото рым наталкиваются на некоторые трудности, хотя и не являющиеся непреодолимыми но требующие применения разного рода искусственных приемов Решение задач, для которых стандартные методы неприменимы Обобщение результатов исследования в форме новой парадигмы построения ие рархии нейросетевых моделей по разнородной информации (модифицируемые урав нения, уточняемые данные, законы и т д)

Методы исследования. Основой для создания нейросетевых моделей и исследо вания разработанных алгоритмов является функциональный анализ, теори дифференциальных уравнений в частных производных и обыкновенны дифференциальных уравнений, теория представлений групп, интегральная геометрия, методы оптимизации, метод группового учета аргументов (МГУА) и эволюционное моделирование, методы аппроксимации и численные методы

Научная новизна. Все результаты, включенные в диссертацию, — новые

•Нейронные сети трактуются как новый универсальный подход к численному решению задач математической физики Известные методы (например, метод конечных элементов) рассматриваются как частные случаи 11ВР-сетей или полиномиальных сетей с персептронными коэффициентами

• Приводятся (отсутствовавшие ранее) нейросетевые несеточные методы приближенного решения задач математической физики и соответствующие приложения к задачам нелинейной оптики, квантовой физики, акустики, теплопроводности

• Нейросетевая методологии применена к построению математических моделей прецизионных поверочных установок Дан сравнительный анализ традиционного и нейросетевого подходов к моделированию акустического волнового поля в образцовой поверочной установке переменного давления с рабочей камерой оптимальной формы и рекомендации по совершенствованию нейросетевой модели

• Исследованы вопросы регулярных возмущений коэффициентов уравнений, краевых условий, формы области С новой точки зрения рассмотрены некоторые нелинейные задачи, задачи со свободной поверхностью

• Рассмотрены возможности построения на основе нейронных сетей регуляриза-ций решений некорректных задач на примере продолжения стационарных и нестационарных полей по данным точечных измерений и приближенного решения переопределенной характеристической задачи для неклассического ультрагиперболического уравнения в классе разрешимости

• Предложена новая нейросетевая точка зрения на построение иерархии уточняемых моделей по разнородной информации, содержащей уравнения и данные Соответствующие нейросетевые алгоритмы допускают эффективное распараллеливание

На основе разработанных общих принципов созданы нейросетевые алгоритмы решения ряда классических и неклассических задач математической физики

Данные методы реализованы численно и результаты расчетов сопоставлены с точными решениями в модельных задачах и с результатами, которые получаются применением других методов

Обоснованность и достоверность результатов. Обеспечивается строгостью математических построений и применения математического аппарата, сопоставлением полученных результатов со свойствами точных решений задач, известными в простых частных случаях, хорошим совпадением результатов численных экспериментов с точными или приближенными решениями тестовых задач, правильным выбором исходных постановок задач, использованием систем аналитических вычислений Выводы представленной работы находятся в логическом соответствии с физической интерпретацией полученных результатов

Теоретическая и практическая ценность работы. Разработанная методика применения нейронных сетей к задачам математической физики проиллюстрирована на примере построения нейросетевой модели нанообъекта (квантовой точки), исследо-

вания процессов теплообмена в системе «сосуды-ткани», моделирования процесса фа зового перехода в двухкомпонентной системе, создания приближенной пейросетево" математической модели калибратора переменного давления с оптимизацией формь поверочной камеры

Она может быть использована в рамках grid-технологий при моделировании сис тем в случае сложной геометрии, при наличии нелинейности, разрывных коэффициен тов, изменения типа уравнений в подобластях, при учете возмущений, уточнении мо дели

Предлагаемые методы нейрокомпьютинга могут быть применены в компьютер ном обеспечении будущей базовой установки Объединенного Института Ядерных Ис следований (Дубна)

Постановки задач, методы и алгоритмы их решения будут полезны при разработ ке нейросетевого Программного Комплекса «Нейроматематика»

Результаты работы могут быть учтены при подготовке курсов лекций по современной вычислительной математике, неклассическим задачам математической физики, нейросетевым алгоритмам

Апробация работы. Основные результаты работы докладывались на следующих научных форумах

• Всесоюзная школа «Неклассические уравнения математической физики», Новосибирск, 1989,

•Второй научно-технический семинар «Современные системы контроля и управления электрических станций и подстанций (АСУ ТП) на базе микропроцессорной техники» в 2001 году,

• Международная конференция по мягким вычислениям и измерениям -SCM'2003, Санкт-Петербург, СПбГЭТУ «ЛЭТИ»,

• VI Всероссийская научно-техническая конференция «Нейроинформатика-2004», Москва, МИФИ,

• V-я Международная научно-техническая конференция «Компьютерное моделирование 2004», СПб, СПбГПУ,

• Международная конференция по мягким вычислениям и измерениям -SCM'2004, Санкт-Петербург, СПбГЭТУ «ЛЭТИ»,

• 10-й Международный симпозиум IMEKO «ТС7 International Symposium on Advances of Measurement Science», 2004, Санкт-Петербург,

• Пятая Международная научно-техническая конференция «Искусственный интеллект Интеллектуальные и многопроцессорные системы», 2004, Кацивели, Крым,

• VII Всероссийская научно-техническая конференция «Нейроинформатика-2005», Москва, МИФИ,

• V Международная конференция «Интеллектуальные системы» - IEEE AIS'05,

• Шестая Международная научно-техническая конференция «Интеллектуальные и многопроцессорные системы» (ИМС-2005) и научные молодежные школы «Высокопроизводительные вычислительные системы» (ВПВС-2005) и «Нейроинформатика и системы ассоциативной памяти» (Нейро-2005), Дивноморск,

• VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», Москва, МИФИ,

• VI Международная конференция по неравновесным процессам в соплах и струях - NPNT-2006, СПб, СПбГПУ,

• С с нлшя Международная научно-техническая конференция «Искусственный ин-тслчсм Иитечлектуальиыс и многопроцессорные системы» (ИИ-ИМС'2006), 2006, Кацивсли, Крым,

• XV Международная конференция по вычислительной механике и современным прикладным программным системам «ВМСППС'07», 2007, Алушта, Крым,

• заседание научного семинара Санкт-Петербургского отделения Российской Ассоциации "Нейроинформатика", 2005, 2006 годы,

• научный семинар Лаборатории Информационных Технологий ОИЯИ, Лаборатории Теоретической Физики ОИЯИ, Дубна, 2006 год,

• научный семинар кафедры «Высшая математика» СПбГПУ

Публикации результатов. По теме диссертации опубликовано более 40 работ, список публикаций, в которых отражены основные результаты диссертации, приведен в конце автореферата

На защиту выносятся:

1 Новая нейросетевая парадигма построения иерархии математических моделей сложных систем с распределенными параметрами по разнородной уточняемой информации Общий подход к выбору архитектуры и настройки нейросетевого базиса при моделировании таких систем

2 Нейросетевые методы решения задач математической физики в классической постановке и соответствующие им алгоритмы настройки весов известных и новых видов нейронных сетей Особенности построения нейросете-вых моделей в случае составных областей и разрывных коэффициентов

3 Эволюционные алгоритмы нейросетевого подхода, допускающие распараллеливание и сочетающие подбор структуры сетей с одновременной настройкой их параметров Сравнительный анализ результатов нейрокомпью-тинга для тестовой L-области

4 Особенности нейросетевого подхода при построении приближенных решений практически важных примеров краевых задач для уравнений эллиптического и параболического вида в случае областей с фиксированной, свободной и управляемой границей

• модель температурного поля в системе «сосуды-ткани»,

• модель нанообъекта (квантовая точка),

• модель двухфазной системы со свободной границей,

• модель образцовой поверочной установки переменного давления с оптимизацией формы камеры

5 Применение нейросетевого подхода к построению нейросетевых регуляри-заций решений неклассических задач математической физики на примерах характеристической краевой задачи для ультрагиперболического уравнения при учете критерия ее разрешимости и некорректной задачи продолжения полей по данным точечных измерений Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения и списка литературы из 220 наименований Объем диссертационной работы составляет 289 страниц

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении обосновывается актуальность темы исследования, формулируется цель работы, отмечается научная новизна, теоретическая и практическая ценность работы, кратко излагается содержание диссертации

В главе 1 дается постановка задачи, вводятся необходимые понятия и обсуждаются достоинства нейросетевого подхода

Модель системы с распределенными параметрами обычно формулируют в виде краевой задачи

A(u) = g, и = и(х), хейсГ, В(м)|г=/, (1)

здесь А( ) - некоторый дифференциальный (или интегро-дифференциальный) оператор, В() - оператор, задающий граничные условия, Г = с5П Операторы А и В могут быть нелинейными, менять тип в подобластях О, коэффициенты операторов и функции /, смогут иметь разрывы ит д

Отмечаются проблемы, которые характерны для известных численных методов при построении приближенных решений таких задач

Использование нейронных сетей в качестве новой методологии построения приближенных решений как старых - классических, так и новых - неклассических задач математической физики позволяет преодолеть недостатки классических методов Ней-рокомпьютинг основан на целом ряде особенных свойств нейросетей

нейросетевое решение получается сразу в аналитической (или кусочно аналитической) форме,

нейросетевой функциональный базис является универсальным,

нейросетевая модель устойчива по отношению к неточностям в задании коэффициентов уравнений, граничных и начальных условий, возмущениям границы, погрешностям вычислений,

при решении серии задач с уточняющейся постановкой нет необходимости решать задачу заново - достаточно доучить уже настроенную сеть,

удобство распараллеливания задачи, использование набора сетей при построении моделей распределенных систем с кусочно заданными параметрами

Нейросетевой подход в предлагаемой форме слабо зависит от формы области и может быть применен в случае задач типа (1) со сложной геометрией

Указанный подход позволяет применить хорошо отработанные для нейронных сетей приемы поиска оптимальной структуры, использующие кластеризацию, генетические алгоритмы (например, процедуры типа многорядного алгоритма МГУ А), ансамбль сетей-экспертов, методы искусственного интеллекта

Приводится обзор литературы по нейросетевым методам аппроксимации, несеточным методам решения задач для дифференциальных уравнений, по применению нейронных сетей к построению приближенных решений задач математической физики

В соответствии с предлагаемым подходом приближенное решение и задачи (1) представляется в виде нейросетевой аппроксимации

веса которой - линейно входящие параметры с, и нелинейно входящие параметры а( — находятся в процессе поэтапного обучения сети, построенном в общем случае на минимизации некоторого функционала ошибки ./(и), возможны и другие подходы к настройке параметров нейронной сети Представление (2) лишь внешне напоминает разложение Галеркина Подходящий выбор нейросетевых базисных элементов V позволяет включить хорошо известный Метод Конечных Элементов в рассматриваемый подход

Рассматриваются некоторые типы нейронных сетей, используемых в работе 11ВР-сети (сферические и эллипсоидальные), персептроны, полиномиальные сети с нейросетевыми коэффициентами - в случае весов, зависящих и не зависящих от времени, рекуррентные сети, естественные обобщения используемых нейросетевых разложений Выбор типа сети, ее структуры и методов обучения определяется свойствами коэффициентов и геометрией рассматриваемой задачи

Обсуждаются варианты построения функционала ошибки, по которому производится настройка весов сети

В простейшем случае функционал ошибки Ли) выбирается в виде

N

(2)

На практике обычно удобнее использовать дискретную форму представления функционала

м 2 м 2

Л«) = £|Д"(х;))-я(ху)| + 5 £|ж«(х/))-Лху)| , (4)

здесь {х,} 1 - пробные точки в области О, {х^}'^ - на ее границе Г

Множества пробных точек могут задаваться (вариант метода коллокации), но могут и меняться в процессе обучения Обучение сети при фиксированном наборе контрольных точек и при большом числе функций часто приводит к переобучению Перегенерация тестовых точек после определенного числа шагов процесса обучения сети делает его более устойчивым, ибо позволяет избежать вырождения зависящего от параметров а линеала, задаваемого функциями вида (2) Обсуждается проблема выбора тестовых точек в случае ограниченной и неограниченной области, негладких условий и т п

Указанный способ задания (3) функционала ошибки J{u), удобен в случае нелинейных уравнений с комплексными коэффициентами, он допускает обобщение и на случай систем уравнений Выбор подходящего решения в некоторых задачах может быть сведен к изучению совместных экстремумов системы функционалов {./, (и)}

В случае линейных задач предложены методы, использующие интегральное представление решения задачи (1), фундаментальные решения и некоторые другие специальные методы

Обсуждается вопрос точности нейросетевых аппроксимаций решения задачи и оценки числа нейроэлементов

Первая часть главы 2 посвящена применению методов главы 1 к простым задачам, точное решение которых известно - есть возможность тестирования получаемых результатов Во второй - изучается устойчивость нейросетевых приближений и рассматриваются более изощренные методы одновременной настройки весов и структуры нейросети

Первой рассматривается задача Дирихле для уравнения Лапласа в единичном круге £1 Дм = 0, и|ш = / Свойства решений эллиптических краевых задач во многом схожи со свойствами решения этой модельной задачи, для которою имеемся явное представление - интеграл Пуассона, вычисляемый аналитически только в исключительных случаях Даны подходы к решению задачи на основе нейросетевой методологии

1 Непосредственное применение указанной выше общей процедуры построения нейросети для случая, когда А - оператор Лапласа, В — оператор, задающий условие Дирихле

2 Подход, при котором в качестве нейросетевых базисных функций V выбираются фундаментальные решения линейного дифференциального оператора А = А с

10

центрами вне круга £1 При этом обучение сети сведется к удовлетворению

краевых условий

3 Использование линейности задачи действие оператора А = А сводится к вы-

N

числению его для каждой из базисных функций V Аи = ^Гс1Ау(х,а() Явные выражения для лапласиана в случае функции Гаусса (или Коши) приводят к «компенсационным» методам, связанным со специальными способами расстановки центров ЮЗ-функций

4 Выбор интеграла Дирихле в качестве функционала ошибки J, краевое условие вводится как штрафное слагаемое J(l<)= ¿Ю + ¿> -/|*¿¡Г Интегралы

вычислены в явном виде, что позволило уменьшить общее число параметров - ускорить настройку сети

5 Формула Пуассона дает еще один способ построения ЯВР-сети приближаем граничные данные радиальными базисными функциями V, затем вычисляем решение задачи Дирихле и„(х,у), выбрав в качестве краевого условия это приближение /,,(/р) Явные представления и в этом случае существенно ускоряют процесс построения ней-росетевой модели

Можно искать решение в виде двух слагаемых - одно удовлетворяет граничному условию и не содержит подбираемых параметров, а другое - уравнению с учетом первого слагаемого и содержит подбираемые параметры Приведен еще один вариант конструирования приближенного решения, при котором нейронная сеть используется для интерполяции граничных данных /, изначально представленных поточечно, решение и ъ €1 строится по формуле Пуассона Другой вариант - решение строится в точках некоторого представительного конечного подмножества О! с О, а затем продолжается на всю область О с помощью нейронной сети

Приведены результаты сравнительного исследования этих подходов Как и следовало ожидать, быстрее всего работают методы, в максимальной степени учитывающие особенности задачи, однако эти методы трудно распространить на более сложные случаи, например, на нелинейные задачи

Далее рассмотрены возможные направления усложнения задачи

В любой реальной задаче присутствуют случайные добавки - погрешности измерений, шумы и т д Для изучения влияния таких добавок было рассмотрено несколько задач

В первой такой задаче уравнение Лапласа заменяется уравнением Шредингера со случайным потенциалом -Дм + = 0, во второй - аналогичная случайная добавка вводится в граничное условие функция / заменяется данными / + Е, Здесь - случайная функция типа равномерного белого шума определенной амплитуды Третья задача возникает при возмущении границы <Ю случайная функция вводится в урав-

11

нение окружности В четвертой задаче рассматривался случай области £7, в подобласти Б которой выполняется уравнение и = и -1, £ - малая случайная функция, а в дополнении ОХИ — уравнение Аи = 0, на границе дП задается, например, условие Дирихле м|аг = /, на <Э£> — естественное условие согласования

Численные эксперименты показали, что регулярные возмущения коэффициентов уравнений и функций, входящих в описание краевых условий, практически не меняют приближенное решение исходной задачи при изменении амплитуды решения в весьма широком диапазоне Это нельзя утверждать относительно случайных возмущений границы области, при малом неслучайном возмущении результаты аналогичны полученным в первых двух задачах (ибо в этом случае заменой переменных «шевеление» границы пересчитывается в возмущение коэффициентов задачи)

Рассматривались и более сложные граничные условия задание граничного условия не на всей границе, а только на ее части (полуокружности), задание условия на окружности и радиусе, задание на части границы условия Дирихле, а на другой части -условия Неймана (задача Зарембы) Вычислительный эксперимент показал вполне приемлемую точность и сходимость процесса обучения, при этом «эллипсоидальные» ЯВЕ-сети показали себя намного эффективней обычных

Методология применения нейронных сетей слабо зависит как от уравнения, так и от формы области и типа граничных условий Уравнение и граничные условия могут быть и нелинейными, достаточно сопоставить им минимизируемый функционал типа J(u) Если область имеет особенности, например, острые углы, в их окрестности можно взять больше точек (как при аппроксимации интегралов вида ./(м), так и при интерполяции и ) Использование гетерогенных нейронных сетей специальной архитектуры делает возможным рассмотрение сингулярных задач Данный подход иллюстрирован примерами

Естественные обобщения нейросетевых подходов на случай более высоких размерностей для линейных задач получаются несложной модификацией указанных подходов для двумерного случая

Следующей ступенью в усложнении постановки являются задачи, допускающие декомпозицию, то есть задачи, алгоритм решения которых сводится к некоторой итерационной последовательности решений однотипных «простых» задач Большинство стандартных численных методов решения задач математической физики трудно применять в случае областей сложной геометрии Алгоритм решения для каждой такой задачи приходится существенно перерабатывать для того, чтобы учесть ее особенности Использование нейронных сетей для решения задач такого рода позволяет с одной стороны строить алгоритмы единообразно, с другой — рассмотреть набор принципиально различных алгоритмов, каждый из которых является наиболее эффективным для определенного круга задач

Предположим, что область П, участвующая и постановке задачи (¡) допускает декомпозицию, то ссть может быть представлена в виде объединения подобластей, для которых приближённое решение соответствующей краевой задачи может быть получено более просто, чем для исходной задачи. Построение решения в области £2 естественно сводить к случаю ^ = £1, и

На примере простейшей модельной задачи обсуждаются пять подходов к построению нейросетевой аппроксимации се решения.

Будем искать решение и = и(х,у) двумерного уравнения Лапласа Аи = О в области £: й<х,у<а, тт(х,у)<с/ <а, являющейся объединенном двух прямоугольников

Н[ :0< .г < а; 0 < с! и 11,: 0 < .V < 0 < г < й \ на участках Границы области

решение удовлетворяет условиям Дирихле: и| = /к.

п Г,

■

ц г,

ri J

г.

Рис.]. Область L. в которой ищется решение

Решение й для выбранных краевых условий ./¡(.т) ~Ъ\п(ях}а), j\(y) = ,/i(.v), fk =0, /г = 3,6 находится в явном виде и играет роль эталона при сравнении предложенных подходов.

Подход I. Для приближенного решения задачи используется единая нейронная сеть па основе «эллиптических» экспонент, обучаемая на основе минимизации функционала ошибки J (и). Предложенный метод не предъявляет особых требований ни к уравнению, нп к форме области, однако ее усложнение приводит к трудности выбора начальных весов сети, увеличению требуемого числа нейрофуикций для достижения заданной точности решения и соответствующему замедлению процесса нелинейной оптимизации.

Подход II. Предлагаются две модификации известного метода Шварца с использованием нейросетевых аппроксимации для подобластей П, п П,.

Следующие подходы, использующие эволюционные алгоритмы, позволяют не только обучить сеть, но и подобрать её структуру.

Подход III. При этом подходе используется идеология МГУА - Метода Группового Учета Аргументов Строится несколько вариантов многорядного алгоритма отбора лучших функций

Подход IV. Предложены модификации генетического алгоритма построения нейронной сети, использующие обучение двух ансамблей сетей Генетические операции (мутации, транслокации, скрещивание) задаются в нейросетевых характеристиках, а не в терминах бинарных кодов

Подход V. Происходит обучение ансамбля сетей-экспертов - получившаяся группа сетей дает локальное представление для решения задачи во всей области, т е каждая сеть дает решение в своей подобласти

Процедура декомпозиции области, на которую опираются подходы II-V, может быть проведена и в случае областей более сложной формы, когда область разбивается на большее число компонент Описаны реализации подходов в этом случае

Сравнительный анализ результатов вычислений показал, что эволюционные подходы III-V приводят к существенному сокращению числа нейронов, требуемых для достижения данной точности При подходе I график приближенного решения uN для 128 нейронов визуально неотличим от эталонного ü При подходе IV сеть из 32 нейронов дает приближенное решение, которое практически совпадает с точным решением

Подход V позволил получить вполне приемлемую точность уже при использовании сети из 12 нейронов

В главе 3 диссертации дается построение устойчивых нейросетевых моделей многокомпонентных систем с распределенными параметрами в случае фиксированных границ раздела компонент

Постановка задачи. Два нейросетевых подхода к решению Рассмотрим многокомпонентную систему, описываемую краевой задачей для нелинейного дифференциального уравнения в частных производных А (и)-g, и = и(х),

хейсй' в области составного типа О = А\п =А , и =и\л , § п , скрае-

у-* \ J ' \ J | / -'

выми условиями В (и) |г = / на частях Г( границы дО. = Г = иг,, определяемыми до-

I

пустимыми операторами 2?|г = В1 и /|г = / , и условиями согласования компонент

решения и 1 на участке Ги стыка подобластей 0.к и О., Си(мЛ)|Ги = С/4(и;)|Гн Функции, входящие в постановку задачи и коэффициенты операторов, могут быть разрывными, но на каждой из компонент Пи Г, они непрерывны

Предложенный способ построения приближенного решения задачи допускает две реализации, основанные на представлении его в виде выхода единой нейронной сети для всей области О

N

или согласованного набора сетей, дающих приближения для подобластей 0;

При первом подходе обучение сети проводится на основе минимизации единого функционала ошибки J{u) Выберем этот функционал в дискретном представлении следующим образом

М1 2 ^ / ',=1 I ?,=1

ч

к,I („=1

При втором подходе обучение нейросетей, дающих приближенные решения в подобластях Г2;, проводится как одновременно - вся совокупность сетей обучается

сразу, с учетом условий согласования, соответствующее слагаемое добавляется в функционал, так и раздельно — с чередованием процессов обучения сетей на основе минимизации соответствующих функционалов ошибок I: по подобластям представленных в дискретной форме

М1 2 2

где суммирование во втором слагаемом проводится по таким значениям г, что Г, с дО.}, с процедурой их стыковки

Достоинством первого подхода является простота реализации и бесконечная гладкость полученного решения в случае выбора соответствующих функций активации Главный недостаток состоит в том, что точные решения, которые могут быть разрывными или у которых разрывны первые или вторые производные, приближаются бесконечно гладкими функциями При втором подходе для каждой подобласти строится своя сеть Достоинством второго подхода является большая точность аппроксимации для каждой подобласти при фиксированном числе нейронов, недостатком - необходимость стыковать сети между собой, что влечет усложнение алгоритма

15

Предложенные общие нейроподходы проиллюстрированы на нескольких характерных примерах построения приближенных математических моделей

Задача Пуассона пусть flczR2— ограниченная область с кусочно-гладкой границей 8Q, Dcfi - ее строго внутренняя подобласть, требуется найти решение и{х,у) однородной задачи Дирихле для уравнения Пуассона Дм = uxjr + иуу = g, где g(x, у) = О при (х,у) е Q \ D, «Isq = О

Для численных расчетов выбирались

Q х2 +у2 < \,D (х — хц)2 + (у — у0)2 < г2,х0 =0 4,у0 =0,г = 0 4, g = А = 10,(х,у) zD,g = 0,(х,у)eQ\D

Рассматривались разные варианты выбора базисных нейроэлементов и функционалов ошибки, односетевой и двухсетевой подходы Симметрия приводит к явному выражению для функционалов - аппроксимирующие нейросети характеризуются существенно меньшим набором параметров в сравнении с предложенными подходами для общих случаев, что упрощает процесс настройки сети При первом подходе заданный уровень обучения наиболее быстро достигается в случае линейных элементов с RBF-коэффициентами (гауссианами) Использование единой сети недостаточно хорошо описывает кусочный характер решения в случае нарушения гладкости (в данном случае разрыв терпят вторые производные) Решение этой задачи, полученное на основе Метода Конечных Элементов с помощью стандартного пакета FEMLAB, привело к тем же самым результатам, что и для сети с 20 элементами

Построение устойчивой приближенной нейросетевой модели нанообъекта (квантовая точка) - рассматривается Уравнение Шредингера с кусочным потенциалом в составной области D. = Q, U с R" > гДе _ односвязная строго внутренняя подобласть D. с границей сО, = Г12, Q2 = Q \ fl, — двусвязная подобласть D. с полной границей дП2 = Г12 U Г, требуется найти решение стационарного уравнения Шредингера

-V (pVu) + (q-A)u= 0

в случае кусочно-постоянных коэффициентов p|n — р}, </|Q = qr j = 1,2, условий согласования вида р,сЦ/(Эи|Г|2 = р2ди2/дп\г^ на участке стыка Г12 - Ben Daniel-Duke interface condition - при разрывном коэффициенте р рх ф р2, и краевых условий Дирихле м2|г =0 на участке границы Г Подобласть С!, отвечает квантовой точке, а подобласть Q2 — окружающей ее матрице

Коэффициенты Pj являются рациональными функциями спектрального параметра Я Pj = К2((Л + Ej - qj)~l + (2(Л + Ej-qj+Aj))~'), константы К:, , Д и потенциалы q считаются известными Спектральный параметр Я входит нелинейно, что осложняет решение задачи

Рассмотрен случай размерностей п-1,2,3. Волновая функция и приближается кусочно I) каждой из подобластей системой нейронных сетей на основе радиаль-

ы,

пых базисных функции вида н,(х) = ехр(~аи ||х -Ь((|| ). / = 1,2.

Настройка весов сетей осуществляется на основе минимизации функционала

ошибки ./, который в данном случае взят в виде

м, к,

Я") 2>.|V".|f- ) + S +

I NJ . - |

" ' w,-. ; M

X К - t«„ ) + <>\( £ \l>," ■ - Рг« ■ (x'„..) + ¿XW (Xj.

i'lr 1 )tt, . H JFI—T

Здесь через Л,, >0 обозначены штрафные множители, П - единичный вектор нормали

Рнс.З. Аппроксимация решения для Я|]1Н,

На Рнс.З приведен график приближенного нейросетевого решения задачи в двумерном случае для минимального значение спектрального параметра (энергетического уровня). Численные эксперименты показали хорошее соответствие приближений точным решениям (в простых случаях) и решениям, полученным другими методами.

В качестве модельного уравнения рассматривалось стационарное уравнение Шредингера с кубической нелинейностью

4(Щ= Ли - {(|к|2 - ш)и - 2/к ■ Ум -у|«|ги\ = £, к = (к„к,)е /?2, х — е к х = кгх + куу

Рассмотрим два типа граничных условий - два варианта постановки задачи.

Во-первых, можно искать решение уравнения в ограниченной области 11 на плоскости - для численных расчетов и здесь в качестве модельной области выбирался круг : .Г + у2 <1 и задать условие на границе области (круга). В качестве % использовались функции двух типов гладкости с носителем в некотором небольшом круге Йс!). В случае цилиндрической ступеньки получаются вполне приемлемые резулв-

17

таты, если исключить окрестность границы этой ступеньки (или выбирать при обучении специальный закон распределения тестовых точек), для гладкой функции g результаты получаются существенно лучше

Во-вторых, можно искать решение уравнения во всей плоскости, при этом в качестве граничного условия обычно выступает требование ограниченности или квалифицированного стремления к нулю на бесконечности Рассматриваемый класс ИВР-сетей удовлетворяет этому условию автоматически (подмножество 5) При обучении нейронной сети в этом случае часть тестовых точек бралась равномерно распределенной в окрестности особенности, а часть - нормально распределенной во всей плоскости

На Рис 4 особенно наглядно видно качество нейросетевой аппроксимации в случае гладкой правой части g в виде Гауссова пакета

Далее рассматривается плоская и пространственная задача теплообмена в системе «сосуды-ткани» венозный и артериальный сосуды окружены мышечной тканью, в которой выделяется тепло Предполагаем, что перенос тепла в сосудах осуществляется, в основном, за счет конвекции, в тканях — за счет кондукции

Рис 5 Область определения температурного поля (плоская задача)

Пусть и - скорость кровотока в сосуде, с/ - плотность тепловыделения в мышечной ткани, с — ее теплоемкость, Ь - коэффициент температуропроводности, р - плотность, ¡3{х,1)~ малая случайная величина с оценкой, определяемой экспериментально Возникает следующая краевая задача, связанная с изменением типа уравнения и краевого условия

температура V и Т" (ткань) удовлетворяет уравнению Пуассона (эллиптический

ч д2Т 82Т а

тип) —-н--- =--—,

дх дг срЬ

в сосудах температура и Та удовлетворяет уравнению теплопереноса (парабо-. ,52Т дТ ВТ

лическии тип) Ь—т +Р--и— = 0, при этом в вене / = /у и и = их,, а в артерии

дх дх дг

Т = Та и и = иа,

на Г,, Г7 и Г8 - условие Дирихле Т = Т0, на Г3, Г4 и Г5 - условие Дирихле

Т = Тх, на Г2 и Г6 - условие Неймана = О,

дх

условия согласования на участках стыка подобластей имеют вид

дГдт 57; дта дта эг

на Г„ — Т =Т, -- —на Г„ - Т= Т , —- = —на Г,4 - Т=Т , —- =-

дх дх дх дх дх дх

В случае плоской задачи рассматривались возмущения двух типов сосуды с искривленными стенками и сосуды с пристеночными бляшками Предлагаемый нейросе-тевой подход позволяет и при этих усложнениях построить достаточно точные решения возмущенных задач

В диссертации также дается обобщение рассмотренной постановки задачи на случай трех переменных и ее нейросетевое решение

Для ускорения процесса построения оптимальных весов сети целесообразно соответствующим образом выбрать их начальные значения При расчетах они разделялись на две группы одна (сосуды) - для эллипсоидальных Гауссовых функций, сильно вытянутых по г, другая (ткани) — для слабо деформированных функций

Рассматривались оба подхода с присущими им особенностями Численные расчеты показали, что нейросетевая аппроксимация правильно отражает поведение решения задачи в плоском и в пространственном случае

Глава 4 посвящена приложению нейросетевого моделирования к исследованию многокомпонентных систем в случае неизвестных изначально переменных границ между компонентами (как свободных, так и управляемых).

В первой части главы рассматриваются нейросетевые подходы к моделированию систем с фазовыми переходами, когда одна компонента переходит в другую

Будем исходить из модели многокомпонентной системы в виде начально-краевой задачи математической физики вида

A(u) = g, и = и(*,ж), (?,х)еП<=Д"+1,Я»|г =f„ Ш = г = иг,,

где А и Bt - некоторые операторы в частных производных Коэффициенты этих операторов, а также функции g, f] задаются кусочно в подобластях Q; с: = (Jfi, и, во/

обще говоря, могут иметь разрывы на участках Ги стыка подобластей Q/t и Q; При этом граница области Г (или ее часть Г,) или какие-то участки стыка Ги не фиксированы заранее, а находятся в процессе решения задачи Численное решение поставленной задачи в рамках нейросетевой методологии проведено на примере связанной с фазовыми переходами одномерной задачи Стефана, решение которой известно и может использоваться для контроля предлагаемого нейросетевого подхода

Пусть двухфазная система описывается следующим образом в прямоугольнике П = (О, Г) х (0,1) = П+ Un_, где П+ ={(/,х)еП|0</< Г,0<х< £(/)},

П_ = \(1,х) е П|0 < t < T,£,(f) < х < 11, требуется найти решения уравнений теплопровод, ди+ 2 S2u+ , . „ „ 2 ности для каждой из фаз—- = <я+—(t,x) е П, Здесь а± - коэффициенты темпера-

Si дх

туропроводности соответствующих фаз, u±(t,x) - температуры этих фаз, которые удовлетворяют начальным условиям ы (0,х) = ып(х) < 0, краевым условиям н, (/,0) = <p(t) > 0, u (t,\) = y/(t) < 0 и условиям на свободной поверхности - фронте фазового перехода у, заданном некоторой неизвестной функцией x = %(t),t> 0, которую требуется определить в процессе решения задачи в соответствии с требованиями

и+|л^-о=м-|^+о=°» k+ -^Н v=i-o -к- ^Н ю = где к' " коэффициенты теплопроводности, q - теплота фазового перехода, а для вычисления можно восполь-

dt

ди , _ .

d£

зоваться выражением — = —^- Несложные модификации рассматриваемых ни-

* jriZO

дх

же подходов позволяют рассмотреть случаи, когда функции иа(х), (pit) и !//(?) меняют знак, а граница у распадается на несколько компонент связности Многомерный случай также не требует принципиального изменения подхода и не приводит к значительному увеличению времени вычислений

Рассмотрены следующие естественные с точки зрения методологии нейронных сетей подходы к задаче Стефана

1 Аппроксимация температурных полей для обеих фаз с помощью соответствующим образом обученной RBF-сети или персептрона

2. Построение гетерогенной сети, которая включает в себя наряду с КВГ-сетями для каждой из фаз, описывающими температурные режимы, еще и персептрон с одним скрытый слоем, задающий фронт Ц т.е. функцию £(!).

3. Поиск температурной) поля с помощью пространственной ГШР сети (т.е. сети, входом которой является переменная х), зависящие от времени веса которой находятся из системы обыкновенных дифференциальных уравнений.

4. Использование рекуррентных нейронных сетей для задания нестационарных температурных режимов фаз.

Приведем некоторые результаты вычислений. Для модельной задачи выбирались значения параметров: «.=1.2, а =1, Т = 3, /г. -1.2, к =1, £ = 1. Краевые условия: <р = 1-\, ц/ = -1; начальные условия: и0 ——1.

Численный эксперимент показал, что сети, построенные на основе персептронов, легче обучаются и лучше приближают решения нелинейных задач с разрывными коэффициентами, чем гладкие Л В Г-сет и. Первый подход наиболее прост в реализации и мало отличается от своих нейросетевых аналогов для других задач математической физики. Второй подход не многим сложнее, по лучше отвечает особенностям задачи п позволяет достигать требуемой точности, используя сети с меньшим числом элементов и меньшее время обучения; он также допускает распараллеливание задачи. Третий и четвёртый подходы быстрее, что особенно существенно при решении серии однотипных задач, однако требуют тщательного учета особенностей задачи для обеспечения устойчивости реализующих их алгоритмов.

В качестве аппроксимирующей рассматривалась нейронная сеть из 10 линейных элементов с коэффициентами в виде однослойных персептронов с функцией активации ?/;( )■ Хорошее согласование с известном решением.

3

Рис.6, График изотерм

Рис.7. Графики вычисленной и заданной температуры на границе .т = 0

(5)

= />

Во второй части главы проводится сравнительный анализ традиционного и нейросетевого подходов к построению приближенной модели калибратора переменного давления Рассмотрена образцовая поверочная установка переменного давления, измерительная рабочая полость которой симметрична как относительно оси вращения, так и перпендикулярной ей плоскости Полость наполнена вязкой жидкостью На цилиндрической части границы полости находится пьезоэлектрический источник гармонических колебаний Он накладывает переменное давление на присутствующее постоянное давление Мы полагаем, что акустическое волновое поле в измерительной камере является гармоническим во времени, осесимметричным и четным по отношению к плоскости симметрии На оси симметрии расположены два датчика давления - стандартный и проверяемый Нужно подобрать форму части границы, содержащей датчик, таким образом, чтобы давление на нем было максимальным

Введем обозначения р — давление, 77 - плотность, V - кинематическая вязкость, с - скорость звука в среде, (р,<р,г) — цилиндрические координаты

Линейная аппроксимация уравнений акустики и использование разложения Фурье приводит к краевой задаче Неймана для уравнения Гельмгольца (А + к2)и = 0, к2 =со2/(с2 +1УСО), ' ди дп

где и — давление вПсй3- рабочей полости поверочного устройства, Д — оператор Лапласа, со - циклическая частота, сЮ = Г = Г0иГ - граница области £1, /|г = /1 г = 0, Г = Г" и Г , - часть границы, которую нужно оптимизировать, учитывая функционал /[и], описывающий волновое поле в месте расположения датчика

Симметрия задачи приводит к четному по переменной г осесимметричному решению и{х,у,г) = и{р,г) = и{р,~г) в замкнутой области Г2 —д(р~)<г<д(р), О<р<а, с компонентами границы Г в виде Г0 р = а, —Н<г<Н, Г4 г = ±д{р), О <р< а, д{а) — Н, д(О) — к > 0, ^(0) — 0 Указанная функция г = д(р) > 0 задает параметризацию участка Г границы области Соответствующее граничное условие Неймана получаем в следующей форме

и'р(а,г) = /0О),-#<г<Н, и'р(0,7)-0,-/г<г<И, и'2(р,±д(р)) + д(р)и'р(р,±д(р)) = 0, и[(р,$) = (), ()<р<а

Среди различных способов описания условий оптимизации для моделирования датчика С было выбрано следующее 1[и] = и(С) = и(0,Ь), д(р) = 0, 0<р<а<а Возникает вариационная задача /[м] —» Мах с условием связи в виде краевой эллиптической задачи Неймана (5) Нас будут интересовать ненулевые значения экстремумов, неспектральные значения параметра к (в том случае, если они вещественные)

Классический подход. Оригинальный метод оптимизации границы Г, вычисления переменного давления и был предложен автором ранее (1989 г) Экстремальную задачу с условием связи (5) заменим необходимым условием экстремума 81 = 0 с условием связи в виде граничного интегрального уравнения /и = К/л + Р для функции М~и\г (внутреннее предельное значение решения а на Г) Наличие симметрии упрощает условие связи граничное интегральное уравнение становится одномерным

Указанный прямой метод приводит к алгоритму итерационного типа заданное приближение Г1р) для Г позволяет с помощью интегрального уравнения найти предельные значения решения и на границе Г (а тем самым и внутри области), а затем корректировать границу при помощи уравнения Эйлера и, таким образом, определить Г(/'+1) При этом начальное приближение Г<0) выбирается обычно из физических соображений

Нейросетевой подход. К решению задачи применяется неклассический подход, основанный на проектировании гетерогенной нейронной сети и технологии ее обучения, который представляется более эффективным и адекватным Аппроксимируем решение и(р,г) с помощью 11ВР-сети

<=1

где {{р],г')}™,-набор центров ЯВИ-ссти, и-; = (с1,аг,р\,г') - настраиваемый векторный параметр Значения параметров ищутся из условия минимизации функционала ошибки

Л«]

Для аппроксимации неизвестной части границы Г используется другая сеть —

п

персептрон с одним скрытым слоем д(р) = ^ Ь:у(с11р - е,) + Ьп После дискретизации

задачи аналоги функционалов получаются в следующей форме

Функционал, в соответствии с которым обучается нейросеть, задающая поле давления

М 2 М 2

J=\ У=1 Л-1

пользуется три набора тестовых точек - внутри области О, {(/?-,г-)}^, -

на граничной части Г, {(р/о,.2Л- на граничной части Г0

Функционал, описывающий требования, предъявляемые к датчику

т<

Л«1 = |«(0,/г)| + <>5 (д(а)-Н)2 + ^(д(р,)-к)2

1=1

Здесь 81 > О, I -1, ,6, - штрафные коэффициенты

Разработан специализированный алгоритм итерационного типа обучения гетерогенной нейронной сети (на основе минимизации функционалов Inj) Приведены результаты вычислений, примеры оптимальной области Q

Рис 8 Оптимальная область Новый подход к решению описанной задачи имеет следующие очевидные преимущества помехоустойчивость - результат мало меняется при небольших изменениях входных данных (граничные условия, свойства среды, временная нестабильность), нет необходимости при решении серии задач обучать сеть заново, возможность применения к нелинейным и неклассическим задачам, в случае сложной геометрии

Далее приведена Абстрактная постановка задачи управления границей и Обобщение нейросетевого подхода, когда ищется не только решение К переменным, подлежащим определению, относится и сама форма области, граничные условия и др , рассматриваемые в качестве элемента некоторого параметрического семейства, элементы которого подлежат определению

В главе 5 даны общие методы построения приближенных нейросетевых моделей по разнородной информации (дифференциальные уравнения и данные). В предлагаемом подходе, заменяющем традиционный двухэтапный метод построения модели, рассматривается иерархия моделей, как дифференциальных, так и функциональных, включающая всю имеющуюся исходную информацию, допускающая эволюцию моделей на любом уровне и способная включать в рассмотрение вновь поступающую информацию На этом пути возможно и построение регуляризаций решений некорректных или неклассических задач

Обсуждение методов решения обыкновенных дифференциальных уравнений в классе нейронных сетей проводится в начале главы Приближенное решение классической задачи Коши у'(х) = Р(х,у), у(х„) = уп на промежутке (а,Ь) может быть получено минимизацией функционала ошибки, для которого на практике используется дискретное представление

М 2

J(y) = £j/(Xj)-F(x;,y(xj))l +S |Х*0Ь>-(1|\

м

N

на некотором достаточно богатом множестве функций вида у = одной пе-

<=1

ременной, например, ИЗБ-сетей Важной для приложений является возможность построения приближенных решений заведомо переопределенных задач Простейшим примером является модификация задачи Коши, состоящая в замене равенства У(хо) = Уо набором условий (обычно это результаты наблюдений) у(х1) = /,, ,у(хр)= , некоторые из точек хк могут и не принадлежать промежутку {а,Ь) (Заметим, что точное решение такой задачи в общем случае не существует) При реализации рассмотренного выше нейросетевого подхода к построению аппроксимаций решения изменится лишь второе слагаемое в выражении для функционала ошибки

р ^

— например, в случае неравноточных измерений оно примет вид ^^8к\у{хк) — /к\ , где

<1=1

более достоверные наблюдения входят с большими весами 8к Небольшие погрешности в этих данных мало влияют на построенное приближенное решение

Намного более сложной является задача поиска функции Р(х,у) по результатам наблюдений Будем строить ее в виде нейросетевого разложения

N

Р^(х,у) = ^Ь1у(х,у,а/) Для такой задачи наиболее перспективным представляется

1=1

использование персептронов с гладкими функциями активации, что позволяет приблизить кусочно-непрерывную функцию с неизвестными точками разрывов, которые определяются в процессе обучения в соответствии с имеющейся информацией, формализованной в виде функционала ошибки Обсуждаются варианты использования структурных алгоритмов при такой постановке задачи, когда одновременно строится и уравнение, и его решение - совмещаются оба этапа моделирования, рассмотренные выше Предлагаются и подходы, сочетающие подбор аппроксимации Р(х,у) в виде нейронной сети и какой-либо классический способ численного решения дифференциального уравнения (типа метода Рунге-Кутта) или использующие рекуррентную сеть для построения поточечного решения аналогично четвертому подходу в главе 4

Рассмотрены естественные обобщения приведенного выше подхода на системы обыкновенных дифференциальных уравнений и уравнения более высокого порядка, на уравнения, не разрешенные относительно старшей производной, аналогичные обобщения проводятся для задач, в которых восстановление коэффициентов уравнений сочетается с построением решений Например, нахождение потенциала для стационарного уравнения Шредингера (При этом особый интерес представляет персептрон, позволяющий приблизить потенциал, который является комбинацией стандартных прямоугольных ям)

Далее кратко очерчиваются особенности нейросетевого моделирования динамического объекта постановка задачи, алгоритмы подбора структуры сети, восстановление уравнения в процессе наблюдений, управление объектом

Предложенная методика работы с моделями, основанными на обыкновенных дифференциальных уравнениях, применяется и к моделям, в описании которых участвуют дифференциальные уравнения в частных производных Приближенное решение краевой задачи (1) ищем в виде нейронной сети некоторой заданной архитектуры, веса которой определяются в процессе обучения на основе минимизации функционала ошибки Различные модификации такого рода задач, включая случай, когда неизвестная граница Г задается некоторой отдельной нейронной сстыо, рассмл-ривались в предыдущих главах

Так же, как и для обыкновенных дифференциальных уравнений, строится модель в виде уравнения в частных производных по данным измерений, определяя коэффициенты этой модели как некоторые нейросетевые функции В частности, в классе нейро-сетевых функций можно подбирать , /(х), коэффициенты операторов А (и) и В(и), которые могут зависеть заранее неизвестным образом, как от пространственных переменных, так и от искомой функции, а также функцию, которая задает границу Г, так как граница исследуемого объекта или граница раздела сред не всегда является наблюдаемой Такие задачи естественным образом возникают во многих практических приложениях Их обычно ставят как обратные задачи математической физики, решая тем или иным методом регуляризации Представляется целесообразным рассматривать эти задачи в рамках нейросетевого подхода в виде иерархии моделей, усложняющихся и уточняющихся в процессе расчетов и наблюдений Такое уточнение моделей без принципиальных трудностей может быть автоматизировано

Многие прикладные задачи приводят к необходимости строить приближенное решение дифференциального уравнения (или набора уравнений) в некотором классе функций, выделяя это решение не начально-краевыми условиями, как это принято в классических постановках задач математической физики, а, например, неким набором экспериментальных данных Заметим, что в столь нетрадиционной постановке, задачи становятся некорректными и, вообще говоря, могут и не иметь решения Предлагаемый нейросетевой подход является приближенным аналитическим методом исследования математических моделей он позволяет конструировать приближенные решения на начальном этапе моделирования и в столь нестандартных ситуациях

В качестве примера неклассической постановки исследовалась задача нахождения функции, для которой в некоторой части области известно уравнение, кроме того, получены (например, в результате измерений, возможно, с некоторой погрешностью) ее значения в некотором наборе точек Будем искать в области П = П, и функцию

и(х), х е /?'', удовлетворяющую условиям и(х ) = г , х еП,, у = 1,

ху е02,у = т1 +1, ,т1+т2, А(и) = 0, хеП„ где А - известный дифференциальный

оператор (например, эллиптический оператор) Отказываясь от единственности решения и переходя к классам эквивалентных решений данной точности, строим на основе нейросетевого подхода регуляризованную аппроксимацию им решения в виде линей-

N

ной комбинации нейросетевых базисных функций ил,(х) = 1/(х,а/), с настройкой

1=1

сети на основе минимизации функционала ошибки J{u), взятого в виде

М /Н[ +m^ 2

у(И) = £|д»)|2(х,)+^ ХИ*,)-*, ,

к=1

где {х^}^!, - набор тестовых точек в подобласти 02

Для расчетов выбирались двумерный оператор Лапласа А = А, область С! - круг, подобласть П2 - полукруг Пусть заменяющие краевые условия «измеряемые» данные } известны с ошибкой, которая является случайной величиной, равномерно распределенной на отрезке [-£,£] В качестве исходной была взята гармоническая функция и=ху Решение и восстанавливается во всем круге с ошибкой, не превосходящей выбранного £■ = 0 1, с помощью гауссовой ЯВР-ссти из 30 функций М = 50, т] = 7, т2 = 3, 8 = 100 Граничные условия никак не задаются'

Предложенная методика позволяет работать не только с уравнениями эллиптического типа На примере уравнения теплопроводности для струны она применяется к эволюционным уравнениям - задача продолжения нестационарных полей по данным точечных наблюдений

Некоторые начально-краевые задачи становятся корректно поставленными лишь при наложении определенных требований на краевые или начальные условия при выполнении этих соотношений (порой зависящих от векторного параметра) задача корректна Наш подход позволяет изучить и такие задачи в главе рассмотрен другой нетривиальный пример - построение приближенных решений неклассического ультрагиперболического уравнения Али = Ауи, где Ах - оператор Лапласа по переменной х В последнее время это малоизученное уравнение вновь привлекло к себе внимание Оно оказалось связанным с задачами интегральной геометрии, теории представлений групп, обратными задачами квантовой теории рассеяния, распространения волн, задачами компьютерной томографии

В первой части данного раздела на основе нейросетевых ЯВЕ аппроксимаций и лучевого преобразования Ф Йона строятся решения ультрагиперболического уравнения во всем пространстве Приводятся принадлежащие автору результаты, обосновывающие корректность некоторых краевых характеристических задач с условиями Дирихле и|г = / для ультрагиперболического уравнения В частности, устанавливается

критерий разрешимости задачи вида С/ = 0 и полностью описывается класс А допустимых граничных функций / Во второй части раздела описываются два нейросете-вых подхода к построению приближенных решений этих корректных задач При первом подходе строится нейросеть, аппроксимирующая решение в области, а необходимое и достаточное условие разрешимости алгебраического характера С/ = О учитывается как одно из требований к решению введением соответствующего слагаемого в функционал ошибки При втором - обучается нейронная сеть, приближающая граничные данные из класса разрешимости А, решение во всей области восстанавливается по ее выходу с помощью явного интегрального представления Кратко рассматриваются многослойные модели с производными Построения, аналогичные проведенным, могут быть сделаны для выделения множеств решений интегральных уравнений, интегро-дифференциальных и иных уравнений, более подробно такие постановки и возможные обобщения рассматриваются в конце главы Естественно напрашивающееся и не вызывающее особых трудностей направление обобщения используемых нейросетевых подходов - рассмотрение случая систем уравнений и сопутствующих ограничений (условий в весьма общей постановке) Пусть задан набор условий \Ач{их,иг, ,и,)I =о| , где О.^ - некоторое множест-

V 1 )ч=\

во, на котором соответствующее условие должно быть выполнено, ui — неизвестные функции Операторы А могут задавать уравнения, а также граничные и иные условия

- например, законы сохранения или данные, полученные из опыта Будем искать каж-

н,

дую неизвестную функцию как выход нейронной сети иДх) = ^с15^5(х,а( !), 5 = 1 г

/=1

подбирая веса - параметры а(1и с, 5 - путем минимизации функционала, составленно-

, каждое из которых входит в сумму с

некоторым весовым множителем > 0, обычно фиксируемым заранее или пересчитываемым время от времени по указанной процедуре При таком обобщении, так же как и ранее, могут использоваться алгоритмы, позволяющие наряду с настройкой весов нейронных сетей подобрать и их структуру Рассматриваются варианты распараллеливания соответствующих подходов

ЗАКЛЮЧЕНИЕ

В заключении приведены основные результаты диссертации и намечены перспективные направления исследований

Итогом диссертационной работы являются следующие научные и практические результаты

го из слагаемых вида

,и )(х )|

• Разработана методология моделирования сложных систем с распределенными параметрами по разнородной информации с уточняемыми данными Сформулирована новая парадигма моделирования таких систем на основе нейросетевой вычислительной технологии В рамках этой парадигмы определены методы решения задач математической физики, разработан общий подход к выбору архитектуры и настройки нейросетевого функционального базиса

• Предложен подход к построению устойчивых математических моделей сложных физических, технических и других систем на основе методологии нейросетевого моделирования Реализация этого подхода позволяет преодолеть многие проблемы моделирования (сложность геометрии, разномасштабность процессов, ошибки данных, погрешности вычислений и др ) как на начальном его этапе, так и при построении иерархии моделей по уточняемой разнородной информации

• Разработаны нейросетевые методы и алгоритмы решения задач математической физики в классической и неклассической постановке, допускающие распараллеливание и позволяющие сочетать подбор оптимальной структуры моделирующей системы с настройкой параметров нейросетевого функционального базиса в зависимости от решаемой задачи моделирования

• Проведен анализ особенностей применения нейросетевого подхода при построении приближенных решений краевых задач для уравнений эллиптического и параболического типа для областей с фиксированной, свободной и управляемой границей Рассмотрены важные для практики приложения модель температурного поля в системе «сосуды - ткани», модель нанообъекта (квантовая точка), модель двухфазной системы со свободной границей и модель образцовой поверочной установки переменного давления с оптимизацией формы рабочей камеры

• Проведен анализ построения нейросетевых регуляризаций решений неклассических задач математической физики на примерах характеристической краевой задачи для ультрагиперболического уравнения при учете критерия ее разрешимости и некорректной задачи продолжения полей по данным точечных измерений

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Васильев, А.Н. Новые подходы на основе RBF - сетей к решению краевых задач для уравнения Лапласа на плоскости [Текст]/ А Н Васильев, Д А Тар-хов//Нейрокомпьютеры разработка, применение -2004 -№7-8 -С 119-126

2 Васильев, А.Н. Нейронные сети как новый универсальный подход к численному решению задач математической физики [Текст]/ А Н Васильев, Д А Тархов//Нейрокомпьютеры разработка, применение - 2004 -№7-8 -С 111118

3 Васильев, А.Н. Нейросетевые подходы к решению краевых задач в многомерных составных областях [Текст]/ А Н Васильев, Д А Тархов// Известия ТРТУ -2004 -№9 - С 80-89

4 Васильев, А.Н. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей [Текст]/ АН Васильев, ДА Тархов//Известия ТРТУ -2004 -№9 - С 89-100

5 Васильев, А.Н. Построение нейросетевой модели по дифференциальным уравнениям и экспериментальным данным [Текст]/ А Н Васильев, Д А Тархов//Известия ТРТУ -2005 -№10(54) - С 98-107

6 Vasilyev, A.N. New neural network technique to the numerical solution of mathematical physics problems. I: Simple problems [Текст]/ A N Vasilyev, D A Tarkhov// Optical Memory and Neural Networks (Information Optics), Allerton Press, Inc - 2005 - Vol 14, No 1 - pp 59-72

7 Vasilyev, A.N. New neural network technique to the numerical solution of mathematical physics problems. II: Complicated and nonstandard problems [Текст]/ A N Vasilyev, D A Tarkhov// Optical Memory and Neural Networks (Information Optics), Allerton Press, Inc -2005 - Vol 14, No 2 -pp 97-122

8 Васильев, А.Н. Новые нейросетевые подходы к решению краевых задач в областях, допускающих декомпозицию [Текст]/ А Н Васильев// Нейрокомпьютеры разработка, применение -2006 -№7 - С 32-39

9 Васильев, А.Н. Расчет теплообмена в системе «сосуды-ткани» на основе нейронных сетей [Текст]/ А Н Васильев, Д А Тархов// Нейрокомпьютеры разработка, применение - 2006 - №7 - С 48-53

10 Васильев, А.Н. О нейросетевом подходе к построению приближенных решений прикладных задач математической физики [Текст]/ А Н Васильев// Научно-технические ведомости СПбГТУ — 2006 -№3 -С 182-186

11 Васильев, А.Н. Нейросетевые подходы к решению нестандартных задач моделирования теплообмена в системе «сосуды - ткани» [Текст]/ В И Антонов, А Н Васильев, Д А Тархов// Известия ТРТУ - 2006 - №16(71) - С 54-58

12 Васильев, А.Н. Нейросетевой подход к расчету квантовых точек [Текст]/ АН Васильев, ДА Тархов// «Нейрокомпьютеры» разработка, применение -2007 - №6 - С 87-95

13 Васильев, А.Н. Некоторые новые корректные задачи для ультрагиперболического уравнения [Текст]/ А С Благовещенский, А Н Васильев// Вестник ЛГУ - 1976 - № 19 - С 152-153

14 Васильев, А.Н. О некоторых экстремальных задачах, возникающих в акустике [Текст]/ А Н Васильев, Н Г Кузнецов// «Краевые задачи для неклассических уравнений математической физики» - Сборник трудов всесоюзной школы

«Неклассические уравнения математической физики» - Новосибирск, 1989 -С 94-98

15 Васильев, А.Н. Нейросетевой подход к решению некоторых неклассических задач математической физики [Текст]/ А Н Васильев, Д А Тархов// сборник научных трудов VII Всероссийской научно-технической конференции «Нейро-информатика-2005» - Москва, МИФИ, 2005 - Часть 2 - С 52-60

16 Васильев, А.Н. Некоторые эволюционные подходы к нейросетевому решению задач математической физики [Текст]/ А Н Васильев, Д А Тархов// сборник научных трудов VIII Всероссийской научно-технической конференции «Нейроинформатика-2006» - Москва, МИФИ, 2006 - Часть 1 - С 24-31

17 Васильев, А.Н. Применение нейронных сетей к неклассическим задачам математической физики [Текст]/ А Н Васильев, Д А Тархов// Сборник докладов Международной конференции по мягким вычислениям и измерениям — SCM'2003 - СПб , 2003 - Том 1 - С 337-340

18 Vasilyev, A. Neural Networks Method in Pressure Gauge Modeling [Текст]/ A Vasilyev, D Taikhov, G Guschin// Proceedings of the 10th IMEKO TC7 International Symposium on Advances of Measurement Science - Saint-Petersburg, Russia, 2004 -Vol 2 -pp 275-279

19 Васильев, А.Н. RBF-сети и некоторые задачи математической физики

[Текст]/ А Н Васильев, Д А Тархов// Сборник докладов Международной конференции по мягким вычислениям и измерениям - SCM'2004 — СПб , 2004 - Том 1 -С 309-312

20 Современные проблемы нейроинформатики Научная серия - Нейрокомпьютеры и их применение Книга 23 Коллективная монография [Текст] в 2-х ч/ А Н Васильев [и др ] - М Радиотехника, 2006 - часть 2 - 80 с

Лицензия ЛР №020593 от 07 08 97

Подписано в печать 04 09 2007 Формат 60x84/16 Печать цифровая Уел печ л 2,0 Тираж 100 Заказ 1903b

Отпечатано с готового оригинал-макета, предоставленного автором, в Цифровом типографском центре Издательства Политехнического университета 195251, Санкт-Петербург, Политехническая ул , 29 Тел 550-40-14 Тел/факс 297-57-76

ВВЕДЕНИЕ

ГЛАВА 1.

ПОСТРОЕНИЕ ПРИБЛИЖЕННЫХ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ

СИСТЕМ С РАСПРЕДЕЛЕННЫМИ ПАРАМЕТРАМИ

НА ОСНОВЕ НЕЙРОСЕТЕВОЙ МЕТОДОЛОГИИ

ГЛАВА 2.

ПРИМЕНЕНИЕ СТАТИЧЕСКИХ НЕЙРОННЫХ СЕТЕЙ К ПОСТРОЕНИЮ ПРИБЛИЖЕННЫХ РЕШЕНИЙ ЭЛЛИПТИЧЕСКИХ КРАЕВЫХ ЗАДАЧ НА ПЛОСКОСТИ И В ПРОСТРАНСТВЕ

ГЛАВА 3.

ПРИНЦИПЫ НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ МНОГОКОМПОНЕНТНЫХ СИСТЕМ С РАСПРЕДЕЛЕННЫМИ ПАРАМЕТРАМИ. ФИКСИРОВАННЫЕ ГРАНИЦЫ

ГЛАВА 4.

ПРИНЦИПЫ НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ МНОГОКОМПОНЕНТНЫХ СИСТЕМ С РАСПРЕДЕЛЕННЫМИ ПАРАМЕТРАМИ. ПЕРЕМЕННЫЕ ГРАНИЦЫ

ГЛАВА 5.

ОБЩИЕ МЕТОДЫ ПОСТРОЕНИЯ ПРИБЛИЖЕННЫХ НЕЙРОСЕТЕ-ВЫХ МОДЕЛЕЙ ПО РАЗНОРОДНОЙ ИНФОРМАЦИИ

Актуальность темы. В настоящее время нейросетевая теория и технология — одна из наиболее динамично развивающихся областей искусственного интеллекта - успешно применяется в различных прикладных областях, таких как: прогнозирование различных экономических показателей, биомедицинские приложения, сложные системы управления, распознавание образов, предсказание наличия полезных ископаемых и т.д. Нейроматемати-ка доказала свою эффективность во многих задачах, которые трудно или невозможно решить аналитически, но для которых можно попытаться построить подходящую аппроксимацию.

В последние годы появился интерес к применениям нейронных сетей и в такой области как классические и неклассические задачи математической физики. По всей видимости, это было обусловлено целым рядом факторов: разнообразие практических приложений; общие трудности применения стандартных методов к решению многих проблем ввиду нелинейности моделей, большого объема данных (высокая размерность, большое число уравнений и условий), неточности в задании коэффициентов уравнений, краевых и начальных условий, сложности геометрии задачи; неклассические постановки задач; поиск единого подхода к решению совершенно разных типов задач, для каждого из которых обычно применяются свои методы; уникальные свойства искусственных нейронных сетей; поиск новых направлений развития численных методов (несеточные методы, интеллектуальные вычисления); появление новых технологий (нейрокомпьютеры, grid-технологии и др.) и построение алгоритмов, естественных для таких технологий.

Лишь небольшое число задач, обычно обладающих симметрией, допускает аналитическое решение. Существующие приближенные методы решения либо позволяют получить лишь поточечную аппроксимацию подобно сеточным методам (получение из поточечного решения некоторого аналитического выражения представляет собой отдельную задачу), либо предъявляют специальные требования к набору аппроксимирующих функций и требуют решения важной вспомогательной задачи разбиения исходной области подобно тому, как это происходит в методе конечных элементов.

При совершенствовании модели: корректировке постановки задачи, связанной с модификацией уравнений или условий, уточнении или пополнении экспериментальных данных - при решении серии близких задач - нет необходимости строить нейросетевую модель вновь: достаточно использовать имеющуюся нейронную сеть и доучить ее.

Имеющиеся нейросетевые подходы к решению задач математической физики либо узкоспециализированы (клеточные сети, линейные уравнения в случае областей с несложной геометрией и т.д.), либо используют варианты метода коллокации при неизменных нейросетевых функциях, что может приводить к заметным ошибкам между узлами.

Создание на основе нейросетевой методологии единого подхода к построению устойчивых уточняемых моделей в математической физике и конструирование соответствующих нейросетевых алгоритмов, использующих достоинства нейросетевых аппроксимаций, представляет актуальную и недостаточно изученную научную проблему. Задача построения робастной математической модели по разнородным данным, включающим как уравнения, так и экспериментальные наблюдения, является весьма актуальной для практики, и её недостаточная изученность вызвана трудностью применения к ней классических методов.

Цель диссертационной работы. Диссертация посвящена созданию методологии применения нейронных сетей к задачам математического моделирования сложных систем с распределенными параметрами по разнородной информации, содержащей уточняемые данные.

Достижение этой цели связано с выполнением следующих этапов исследования:

Формулировка задач в рамках нейросетевой парадигмы. Разработка общих методов выбора и настройки нейросетевого функционального базиса.

Рассмотрение простой задачи, имеющей известное аналитическое решение, с которым сравнивается решение, найденное с помощью нейронных сетей. Распространение методики решения этой задачи на некоторый достаточно широкий класс практически важных задач.

Решение нескольких более сложных задач, известные численные подходы к которым наталкиваются на некоторые трудности, хотя и не являющиеся непреодолимыми, но требующие применения разного рода искусственных приёмов.

Решение задач, для которых стандартные методы неприменимы.

Обобщение результатов исследования в форме новой парадигмы построения иерархии нейросетевых моделей по разнородной информации (модифицируемые уравнения, уточняемые данные, законы и т.д.)

Методы исследования. Основой для создания нейросетевых моделей и исследования разработанных алгоритмов является функциональный анализ, теория дифференциальных уравнений в частных производных и обыкновенных дифференциальных уравнений, теория представлений групп, интегральная геометрия, методы оптимизации, метод группового учёта аргументов (МГУА) и эволюционное моделирование, методы аппроксимации и численные методы.

Научная новизна. Все результаты, включенные в диссертацию, — новые.

•Нейронные сети трактуются как новый универсальный подход к численному решению задач математической физики. Известные методы (например, метод конечных элементов) рассматриваются как частные случаи RBF-сетей или полиномиальных сетей с персептронными коэффициентами.

• Приводятся (отутствовавшие ранее) нейросетевые несеточные методы приближенного решения задач математической физики и соответствующие приложения к задачам нелинейной оптики, квантовой физики, акустики, теплопроводности.

•Нейросетевая методологии применена к построению математических моделей прецизионных поверочных установок. Дан сравнительный анализ традиционного и нейросетевого подходов к моделированию акустического волнового поля в образцовой поверочной установке переменного давления с рабочей камерой оптимальной формы и рекомендации по совершенствованию нейросетевой модели.

• Исследованы вопросы регулярных возмущений коэффициентов уравнений, краевых условий, формы области. С новой точки зрения рассмотрены некоторые нелинейные задачи, задачи со свободной поверхностью.

• Рассмотрены возможности построения на основе нейронных сетей ре-гуляризаций решений некорректных задач на примере продолжения стационарных и нестационарных полей по данным точечных измерений и приближенного решения переопределенной характеристической задачи для неклассического ультрагиперболического уравнения в классе разрешимости.

•Предложена новая нейросетевая точка зрения на построение иерархии уточняемых моделей по разнородной информации, содержащей уравнения и данные. Соответствующие нейросетевые алгоритмы допускают эффективное распараллеливание.

На основе разработанных общих принципов созданы нейросетевые алгоритмы решения ряда классических и неклассических задач математической физики.

Данные методы реализованы численно и результаты расчётов сопоставлены с точными решениями в модельных задачах и с результатами, которые получаются применением других методов.

Обоснованность и достоверность результатов. Обеспечивается строгостью математических построений и применения математического аппарата, сопоставлением полученных результатов со свойствами точных решений задач, известными в простых частных случаях, хорошим совпадением результатов численных экспериментов с точными или приближенными решениями тестовых задач, правильным выбором исходных постановок задач, использованием систем аналитических вычислений. Выводы представленной работы находятся в логическом соответствии с физической интерпретацией полученных результатов.

Теоретическая и практическая ценность работы. Разработанная методика применения нейронных сетей к задачам математической физики проиллюстрирована на примере построения нейросетевой модели нанообъекта (квантовой точки), исследования процессов теплообмена в системе «сосуды-ткани», моделирования процесса фазового перехода в двухкомпонентной системе, создания приближенной нейросетевой математической модели калибратора переменного давления с оптимизацией формы поверочной камеры.

Она может быть использована в рамках grid-технологий при моделировании систем в случае сложной геометрии, при наличии нелинейности, разрывных коэффициентов, изменения типа уравнений в подобластях, при учете возмущений, уточнении модели.

Предлагаемые методы нейрокомпьютинга могут быть применены в компьютерном обеспечении будущей базовой установки Объединенного Института Ядерных Исследований (Дубна).

Постановки задач, методы и алгоритмы их решения будут полезны при разработке нейросетевого Программного Комплекса «Нейроматематика».

Результаты работы могут быть учтены при подготовке курсов лекций по современной вычислительной математике, неклассическим задачам математической физики, нейросетевым алгоритмам.

Апробация работы. Основные результаты работы докладывались на следующих научных форумах:

• Всесоюзная школа «Неклассические уравнения математической физики», Новосибирск, 1989;

• Второй научно-технический семинар «Современные системы контроля и управления электрических станций и подстанций (АСУ ТП) на базе микропроцессорной техники» в 2001 году;

• Международная конференция по мягким вычислениям и измерениям -SCM'2003, Санкт-Петербург, СПбГЭТУ «ЛЭТИ»;

• VI Всероссийская научно-техническая конференция «Нейроинформа-тика-2004», Москва, МИФИ;

• V-я Международная научно-техническая конференция «Компьютерное моделирование 2004», СПб., СПбГПУ;

• Международная конференция по мягким вычислениям и измерениям -SCM'2004, Санкт-Петербург, СПбГЭТУ «ЛЭТИ»;

• 10-й Международный симпозиум IMEKO «ТС7 International Symposium on Advances of Measurement Science», 2004, Санкт-Петербург;

• Пятая Международная научно-техническая конференция «Искусственный интеллект. Интеллектуальные и многопроцессорные системы», 2004, Кацивели, Крым;

• VII Всероссийская научно-техническая конференция «Нейроинформа-тика-2005», Москва, МИФИ;

• V Международная конференция «Интеллектуальные системы» - IEEE AIS'05;

• Шестая Международная научно-техническая конференция «Интеллектуальные и многопроцессорные системы» (ИМС-2005) и научные молодежные школы «Высокопроизводительные вычислительные системы» (ВПВС-2005) и «Нейроинформатика и системы ассоциативной памяти» (Нейро-2005), Дивноморск;

• VIII Всероссийская научно-техническая конференция «Нейроинформа-тика-2006», Москва, МИФИ;

• VI Международная конференция по неравновесным процессам в соплах и струях - NPNJ-2006, СПб, СПбГПУ;

• Седьмая Международная научно-техническая конференция «Искусственный интеллект. Интеллектуальные и многопроцессорные системы» (ИИ-ИМС'2006), 2006, Кацивели, Крым;

• XV Международная конференция по вычислительной механике и современным прикладным программным средствам «ВМСППС'07», 2007, Алушта, Крым;

• заседание научного семинара Санкт-Петербургского отделения Российской Ассоциации "Нейроинформатика", 2005, 2006 годы;

• научный семинар Лаборатории Информационных Технологий ОИЯИ, Лаборатории Теоретической Физики ОИЯИ, Дубна, 2006 год;

• научный семинар кафедры «Высшая математика» СПбГПУ.

Публикации результатов. По теме диссертации опубликовано более 40 работ.

На защиту выносятся:

1. Новая нейросетевая парадигма построения иерархии математических моделей сложных систем с распределенными параметрами по разнородной уточняемой информации. Общий подход к выбору архитектуры и настройки нейросетевого базиса при моделировании таких систем.

2. Нейросетевые методы решения задач математической физики в классической постановке и соответствующие им алгоритмы настройки весов известных и новых видов нейронных сетей. Особенности построения нейросетевых моделей в случае составных областей и разрывных коэффициентов.

3. Эволюционные алгоритмы нейросетевого подхода, сочетающие подбор структуры сетей с одновременной настройкой их параметров. Сравнительный анализ результатов нейрокомпьютинга для тестовой L-области.

4. Особенности нейросетевого подхода при построении приближенных решений практически важных примеров краевых задач для уравнений эллиптического и параболического вида в случае областей с фиксированной, свободной и управляемой границей:

• модель температурного поля в системе «сосуды-ткани»,

• модель нанообъекта (квантовая точка),

• модель двухфазной системы со свободной границей,

• модель образцовой поверочной установки переменного давления с оптимизацией формы камеры.

5. Применение нейросетевого подхода к построению нейросетевых регуляризаций решений неклассических задач математической физики на примерах характеристической краевой задачи для ультрагиперболического уравнения при учете критерия ее разрешимости и некорректной задачи продолжения полей по данным точечных измерений.

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения и списка литературы из 220 наименований. Объем диссертационной работы составляет 289 страниц.

Выводы

Рассматривается нейросетевой подход к построению робастной математической модели по разнородной информации (уравнения, условия, экспериментальные данные и т.д.). Основное внимание уделяется случаю обыкновенных дифференциальных уравнений и случаю уравнений в частных производных, а также возможным обобщениям. Приводятся примеры модельных задач. На основе нейрокомпьютинга могут быть построены регуляризации решений некорректных задач. В частности, дана нейросетевая регуляризация решени-ия некорректной задачи продолжения полей (стационарных и нестационарных) по известным приближенно данным точечных измерений. На основе нейросетевой методологии строятся решения ультрагиперболического уравнения в четырехмерном пространстве, представимые линейными интегралами от функций точки в трехмерном пространстве. Даются примеры корректных краевых задач для уравнений ультрагиперболического типа в случае областей с характеристическими границами. С помощью нейросетевой аппроксимации граничных данных из класса корректности и на основе учета условий разрешимости в общем нейросетевом подходе конструируются приближенные решения указанных задач.

ЗАКЛЮЧЕНИЕ

Итогом диссертационной работы являются следующие научные и иракские результаты:

Разработана методология моделирования сложных систем с распределенными параметрами по разнородной информации с уточняемыми данными. Сформулирована новая парадигма моделирования таких систем на основе нейросетевой вычислительной технологии. В рамках этой парадигмы определены методы решения задач математической физики, разработан общий подход к выбору архитектуры и настройки нейросетевого функционального базиса.

Предложен подход к построению устойчивых математических моделей сложных физических, технических и других систем на основе методологии нейросетевого моделирования. Реализация этого подхода позволяет преодолеть многие проблемы моделирования (сложность геометрии, разномасштабность процессов, ошибки данных, погрешности вычислений и др.) как на начальном его этапе, так и при построении иерархии моделей по уточняемой разнородной информации. Разработаны нейросетевые методы и алгоритмы решения задач математической физики в классической и неклассической постановке, допускающие распараллеливание и позволяющие сочетать подбор оптимальной структуры моделирующей системы с настройкой параметров нейросетевого функционального базиса в зависимости от решаемой задачи моделирования.

Проведен анализ особенностей применения нейросетевого подхода при построении приближенных решений краевых задач для уравнений эллиптического и параболического типа для областей с фиксированной, свободной и управляемой границей. Рассмотрены важные для практики приложения: модель температурного поля в системе «сосуды - ткани», модель нанообъекта (квантовая точка), модель нанообъекта (квантовая точка), модель двухфазной системы со свободной границей и модель образцовой поверочной установки переменного давления с оптимизацией формы рабочей камеры.

• Проведен анализ построения нейросетевых регуляризаций решений неклассических задач математической физики на примерах характеристической краевой задачи для ультрагиперболического уравнения при учете критерия ее разрешимости и некорректной задачи продолжения полей по данным точечных измерений.

1. Агошков В .И., Дубовский П.Б., Шутяев В.П. Методы решения задач математической физики: Учебное пособие. М.: ФИЗМАТ ЛИТ, 2002. -320 с.

2. Алексидзе М.А. Фундаментальные функции в приближенных решениях граничных задач. М.: Наука, 1991. - 352 с.

3. Алферов Ж.И. Физика и жизнь. Изд. 2-е, доп. М.; СПб.: Наука, 2001. -288 с.

4. Антонов В.И., Васильев А.Н., Тархов Д.А. Нейросетевые подходы к решению нестандартных задач моделирования теплообмена в системе «сосуды ткани»// Известия ТРТУ. - 2006. - №16(71). - С.54-58.

5. Антонов В.И., Васильев А.Н., Тархов Д.А. Приближённое решение задачи Стефана с помощью искусственных нейронных сетей // Материалы международной конференции «Искусственный интеллект 2004». - Таганрог - Донецк, 2004. - Том 1. - С.405-408.

6. Антосик П., Микусинский Я., Сикорский Р. Теория обобщенных функций. Секвенциальный подход. М.: Мир, 1976. - 312 с.

7. Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. М.: Лаборатория Базовых Знаний, 2002. - 632 стр.

8. Беликов С.В. Применение нейронных автоматов в задачах математической физики, Материалы VI Международной конференции по неравновесным процессам в соплах и струях NPNJ-2006, СПб. - М.: Вузовская книга. - 2006. - С.64-66.

9. Беллман Р., Энджел Э. Динамическое программирование и уравнения в частных производных. М.: Мир, 1974. - 208 с.

10. Берс Л., Джон Ф., Шехтер М. Уравнения с частными производными. -М.: Мир, 1966.-352 с.

11. Бирман М., Соломяк М. Количественный анализ в теоремах вложения Соболева и приложения к спектральной теории// 10-я математическая школа, Институт математики АН УкрССР. Киев, 1974. - С.5-189.

12. Бирман М., Соломяк М. Кусочно-полиномиальные приближения фикций классов // Математический сборник. 1967. - 73, №3. -С.331-355.

13. Благовещенский А.С. О задаче для ультрагиперболического уравнения с данными на характеристической плоскости // Вестник ЛГУ, Сер. ма-тем.- 1965.- 13, 3.-С.13-19.

14. Благовещенский А.С. О характеристической задаче для ультрагиперболического уравнения// Математический сборник. 1963. -т.63(105), вып.1. - С.137-168.

15. Благовещенский А.С., Васильев А.Н. Некоторые новые корректные задачи для ультрагиперболического уравнения// Вестник ЛГУ. 1976. -№ 19. - С.152-153.

16. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983. - 464 с.

17. Брудный Ю. Адаптивная аппроксимация функций с особенностями// Труды Московского математического общества. 1994. - 55. - С.149-242.

18. Брудный Ю. Нелинейная N-членная аппроксимация масштабными функциями// Алгебра и анализ. СПб.: Наука РАН, 2004. - Т. 16, вып.1.-С.163-206.

19. Бэстенс Д.-Э. и др. Нейронные сети и финансовые рынки. М.: ТВП, 1997.-236 с.

20. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. -М.: Наука, 1979.-448 с.

21. Варга Р. Функциональный анализ и теория аппроксимации в численном анализе. -М.: Мир, 1974. 128 с.

22. Васильев А.Н. Корректная задача для ультрагиперболического уравнения и ее связь с задачей интегральной геометрии// «Неклассические методы в геофизике» Сборник материалов всесоюзной школы. - Новосибирск, 1977. - С.135-137.

23. Васильев А.Н. Новые краевые задачи для ультрагиперболического и волнового уравнений. Диссертация на соискание ученой степени кандидата физ.-мат. наук. - JL - 1977. - 117 с.

24. Васильев А.Н. Новые нейросетевые подходы к решению краевых задач в областях, допускающих декомпозицию// «Нейрокомпьютеры»: разработка, применение. 2006. - №7. - С.32-39.

25. Васильев А.Н. О нейросетевом подходе к построению приближенных решений прикладных задач математической физики// Научно-технические ведомости СПбГТУ. 2006. - №3. - С. 182-186.

26. Васильев А.Н. О новом законе сохранения для волнового уравнения// Вестник ЛГУ. 1977. - №7. - С.25-31.

27. Васильев А.Н. Построение приближённого решения уравнения Шре-дингера с кусочно-постоянным потенциалом на основе нейросетевой методологии// Материалы VII Международной конференции «ИИ-ИМС'2006». Таганрог - Донецк - Минск, 2006. - Том 2. - С.238-241.

28. Васильев А.Н. Теоретические исследования и расчет параметров полей давления в камерах образцовых установок, воспроизводящих переменные давления// Отчет о научно-исследовательской работе по теме №511001.-Л., 1982.-70 с.

29. Васильев А.Н., Виницкий С.И., Тархов Д.А. Нейросетевые модели квантовых точек// Труды VIII-й Международной научно-технической конференции «Компьютерное моделирование 2007», СПб. СПб.: Изд. СПбГПУ, 2007. - С.90-102.

30. Васильев А.Н., Тархов Д.А. RBF-сети и некоторые задачи математической физики// Сборник докладов Международной конференции по мягким вычислениям и измерениям SCM'2004. - СПб., 2004. - Том 1. - С.309-312.

31. Васильев А.Н., Тархов Д.А. Моделирование распределённых систем с помощью нейронных сетей// Труды 5-й международной научно-технической конференции «Компьютерное моделирование 2004», СПб. СПб.: Изд. «Нестор», 2004. - Часть 1. - С.172-173.

32. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики // «Нейрокомпьютеры»: разработка, применение. 2004. - №7-8. - С.111-118.

33. Васильев А.Н., Тархов Д.А. Нейросетевой подход к расчету квантовых точек// «Нейрокомпьютеры»: разработка, применение. 2007. -№6. - С.87-95.

34. Васильев А.Н., Тархов Д.А. Нейросетевой подход к решению краевых задач в составных областях// Материалы международной конференции «Искусственный интеллект — 2004». — Таганрог Донецк, 2004. - Том 1. - С.475-478.

35. Васильев А.Н., Тархов Д.А. Нейросетевой подход к решению некоторых неклассических задач математической физики// Сборник научных трудов VII Всероссийской научно-технической конференции «Нейро-информатика-2005». Москва, МИФИ, 2005. - Часть 2. - С.52-60.

36. Васильев А.Н., Тархов Д.А. Нейросетевые подходы к решению краевых задач в многомерных составных областях// Известия ТРТУ. — 2004. №9. - С.80-89.

37. Васильев А.Н., Тархов Д.А. Некоторые эволюционные подходы к ней-росетевому решению задач математической физики// Сборник научных трудов VIII Всероссийской научно-технической конференции «Нейроинформатика-2006». Москва, МИФИ, 2006. - Часть 1. - С.24-31.

38. Васильев А.Н., Тархов Д.А. Новые нейросетевые подходы к решению краевых задач в составных областях// Искусственный интеллект. Донецк, 2005. - №1.- С.26-36,

39. Васильев А.Н., Тархов Д.А. Новые подходы на основе RBF-сетей к решению краевых задач для уравнения Лапласа на плоскости// «Нейрокомпьютеры»: разработка, применение. 2004. - №7-8. - С. 119-126.

40. Васильев А.Н., Тархов Д.А. Построение нейросетевой модели по дифференциальным уравнениям и экспериментальным данным// Известия ТРТУ. 2005. - №10(54). - С.98-107.

41. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей// Известия ТРТУ. 2004. - №9. - С.89-100.

42. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к задаче Стефана// Искусственный интеллект. Донецк, 2005. -№1. - С.37-47.

43. Васильев А.Н., Тархов Д.А. Применение нейронных сетей к неклассическим задачам математической физики// Сборник докладов Международной конференции по мягким вычислениям и измерениям -SCM'2003. СПб., 2003. - Том 1. - С.337-340.

44. Васильев А.Н., Тархов Д.А. Расчет теплообмена в системе «сосуды-ткани» на основе нейронных сетей// «Нейрокомпьютеры»: разработка, применение. 2006. - №7. - С.48-53.

45. Васильев А.Н., Тархов Д.А. Расчёт теплообмена в системе «сосуды-ткани» на основе нейронных сетей// Современные проблемы нейроин-форматики. Кн. 23. Коллективная монография: в 2-х ч. М.: Радиотехника, 2006. - Часть 2. - 80 с.

46. Васильев А.Н., Тархов Д.А. Эволюционные подходы к нейросетевому решению задач математической физики// Сборник трудов V Международной конференции «Интеллектуальные системы» IEEE AIS'05, Дивноморское. - Таганрог, 2005.

47. Васильев А.Н., Тархов Д.А., Гущин Г. Моделирование калибратора переменного давления с помощью системы нейронных сетейII Сборник докладов Международной конференции по мягким вычислениям и измерениям SCM'2004. - СПб., 2004. - Том 1. - С.304-308.

48. Габов С.А. Введение в теорию нелинейных волн. М.: Издательство МГУ, 1988.- 176 с.

49. Галеев Э.М., Тихомиров В.М. Краткий курс теории экстремальных задач. М.: Издательство Московского университета, 1989. - 204 с.

50. Галушкин А.И. О методике решения задач в нейросетевом логическом базисе// В сб.: «Нейроинформатика-2006». М.: МИФИ, 2006. - Часть 1. - С.9-24.

51. Галушкин А.И. Принципы построения высокоточных измерительных приборов на базе нейрокомпьютеров//В сб.: «Нейроинформатика-2006». -М.: МИФИ, 2006. Часть 2. - С. 129-137.

52. Галушкин А.И. Теория нейронных сетей. Кн. 1. М.: ИПРЖР, 2000. -416 с.

53. Гельфанд И.М., Гиндикин С.Г., Граев М.И. Избранные задачи интегральной геометрии. М.: Добросвет, 2000. - 208 с.

54. Гельфанд И.М., Граев М.И., Шапиро З.Я. Интегральная геометрия на к мерных плоскостях// Функциональный анализ. - 1967. -т.1, вып.1. - С.15-31.

55. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.-509 с.

56. Гладков JI.A., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. М.: ФИЗМАТЛИТ, 2006. - 320 с.

57. Годунов С.К. Уравнения математической физики. М.: Наука, 1979. -392 с.

58. Головко В.А. Нейронные сети: обучение, организация и применение. — М.: ИПРЖР, 2001. 256 с.

59. Голуб Дж., Ван Лоун Ч. Матричные вычисления. М.: Мир, 1999. -548 с.

60. Горбань А.Н. Обучение нейронных сетей. М.: Параграф, 1990. - 160 с.

61. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. - 276 с.

62. Горбаченко В.И. Методы решения дифференциальных уравнений в частных производных на клеточных нейронных сетях// «Нейрокомпьютер». 1998. -№3-4. - С.5-14.

63. Горбаченко В.И. Нейрокомпьютеры в решении краевых задач теории поля. Кн. 10. М.: Радиотехника, 2003. - 333 с.

64. Горбаченко В.И., Катков С.Н. Нейросетевые методы решения задач термоупругости// «Нейрокомпьютеры»: разработка, применение. -2001.-№3.-С.31-37.

65. Дорогов А.Ю., Быстрые нейронные сети. СПб.: Изд-во С.-Петерб. Университета, 2002. - 80 с.

66. Емельянов В.В., Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования. М.: ФИЗМАТЛИТ, 2003. - 432 с.

67. Ермаков С.М., Михайлов Г.А. Статистическое моделирование. М.: Наука. Главная редакция физико-математической литературы, 1982. — 296 с.

68. Жиглявский А.А. Математическая теория глобального случайного поиска. Л.: издательство Ленинградского университета, 1985. - 296

69. Жиглявский А.А., Жилинскас А.Г. Методы поиска глобального экстремума. М.: Наука. Главная редакция физико-математической литературы, 1991.-248 с.

70. Иваненко В.И., Мельник B.C. Вариационные методы в задачах управления для систем с распределенными параметрами. К.: Наукова думка, 1988.-288 с.

71. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем. К.: Наукова думка, 1982. - 350 с.

72. Ивахненко А.Г., Мюллер И.А. Самоорганизация прогнозирующих моделей. К.: Техника, 1984. - 350 с.

73. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. К.: Наукова думка, 1985. - 214 с.

74. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987. — 120с.

75. Калинин А.В., Подвальный C.JI. Технология нейросетевых распределённых вычислений. Воронеж: ВГУ, 2004. - 121 с.

76. Каллан Р. Основные концепции нейронных сетей. М.: Вильяме, 2001. -288 с.

77. Катковник В.Я. Непаметрическая идентификация и сглаживание данных. М.: Наука, 1985. - 336 с.

78. Киндерманн Л., Процел П. Основы решения функциональных уравнений с помощью нейронных сетей// «Нейрокомпьютеры»: разработка, применение. 2005. - №3. - С. 12-16.

79. Кирсанов Э.Ю. Нейрокомпьютеры с параллельной архитектурой. — М.: ИПРЖ, 2004. 222 с.

80. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных// Доклады АН СССР. 1956. - Т.108, №2. - С.179-182.

81. Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры. М.: МГТУ им. Н.Э.Баумана, 2002. - 320 с.

82. Корнеев В.В. и др. Базы данных. Интеллектуальная обработка информации. М.: Нолидж, 2000. - 352 с.

83. Кравченко В.Ф. Лекции по теории атомарных функций и некоторым их приложениям. М.: Радиотехника, 2003. - 512 с.

84. Кравченко В.Ф., Басараб М.А. Булева алгебра и методы аппроксимации в краевых задачах электродинамики. М.: Издательство Физико-математической литературы, 2004. - 308 с.

85. Кричевский М.Л. Применение интеллектуальных технологий в сфере управленческо-экономических задач// «Нейрокомпьютеры»: разработка, применение. 2004. - №7-8. - С.97-104.

86. Круглов В.В., Борисов В.В. Искусственные нейронные сети. М.: Горячая линия - Телеком, 2001. - 382 с.

87. Крыжановский Б.В., Крыжановский В.М. Быстрая система распознавания и принятия решения на основе векторной нейронной сети// Искусственный интеллект. Донецк, 2004. - №3. - С.534-541.

88. Крыжановский Б.В., Литинский Л.Б. Векторные модели ассоциативной памяти// В сб.: "Лекции по нейроинформатике". М.: МИФИ, 2003.-Часть 1.-С.72-85.

89. Лаврентьев М.М. О некоторых некорректных задачах математической физики. Новосибирск: Издательство СО АН СССР, 1962. - 92 с.

90. Лекции по нейроинформатике. М.: МИФИ, 2001-2005.

91. Лионе Ж.-Л., Мадженес Э. Неоднородные граничные задачи и их приложения.-М.: Мир, 1971.-372 с.

92. Литвинов В.Г. Оптимизация в эллиптических граничных задачах с приложениями в механике. М.: Наука. Главная редакция физико-математической литературы, 1987. - 368 с.

93. Лурье К.А. Оптимальное управление в задачах математической физики. М.: Наука, 1975. - 478 с.

94. Магнус Я.Р., Нейдеккер X. Матричное дифференциальное исчисление с приложениями к статистике и эконометрике. Пер. с англ. — М.: ФИЗМАТЛИТ, 2002. 496 с.

95. Малинецкий Г.Г., Потапов А.Б. Современные проблемы нелинейной динамики. М.: УРСС, 2002. - 360 с.

96. Малыхина Г.Ф. Измерение характеристик сложных объектов с использованием динамических нейронных сетей// «Нейрокомпьютеры»: разработка, применение. 2004. - №7-8. - С.80-86.

97. Милов В.Р. Обучение нейронных RBF-сетей на основе процедур структурно-параметрической оптимизации// «Нейрокомпьютеры»: разработка, применение. 2003. - №5. - С.29-33.

98. Михайлов В.П. Дифференциальные уравнения в частных производных. 2-е изд. перераб. и дополн. - М.: Наука, 1983. - 424 с.

99. Михлин С.Г. Курс математической физики. 2-е изд. - СПб.: Лань, 2002.-576 с.

100. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и Техника, 2003. - 384 с.

101. Научные сессии МИФИ 2000, 2001. Квантовые нейронные сети: Материалы рабочего совещания. - М.: МИФИ, 2001. - 104 с.

102. Нейроматематика. Кн. 6. Общая ред. А.И.Галушкина. М.: ИПРЖР, 2002.-448 с.

103. Нейронные сети. STATISTIC A Neural Networks. М.: Горячая линия -Телеком, 2000. - 182 с.

104. Нечаев Ю.И. Нейросетевые технологии в бортовых интеллектуальных системах реального времени// В сб.: "Лекции по нейроинформатике". -М.: МИФИ, 2002. Часть 1. - С. 114-163.

105. Нечаев Ю.И. Принципы использования нейронных сетей в бортовых интеллектуальных системах// «Нейрокомпьютеры»: разработка, применение. 2004. - №7-8. С.49-56.

106. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. - 344 с.

107. Первозванский А.А., Буцев А.В. Локальная аппроксимация на искусственных нейросетях// Автоматика и телемеханика. 1995. - №9. -С.127-136.

108. Полак Э. Численные методы оптимизации. Единый подход. М.: Мир, 1974.-376 с.

109. Поляк Б.Т. Введение в оптимизацию. М.: Наука. Главная редакция физико-математической литературы, 1983. - 384 с.

110. Полянин А.Д. Справочник по линейным уравнениям математической физики. М.: Физматлит, 2001. - 576 с.

111. Пупков К.А. и др. Методы робастного, нейро-нечёткого и адаптивного управления. М. МГТУ им. Н.Э.Баумана, 2002. - 744 с.

112. Растригин Л.А., Эренштейн Р.Х. Метод коллективного распознавания. -М.: Энергоиздат, 1981. 80 с.

113. Рид М., Саймон Б. Методы современной математической физики. Том 1: Функциональный анализ. М.: Мир, 1977. - 360 с.

114. Рихтмайер Р., Мортон К. Разностные методы решения краевых задач.- М.: Мир, 1972.-420 с.

115. Рутковская Д. и др. Нейронные сети, генетические алгоритмы и нечёткие системы. М.: Горячая линия - Телеком, 2004. - 452 с.

116. Самарский А.А., Вабищевич П.Н. Численные методы решения обратных задач математической физики. М.: Едиториал УРСС, 2004. - 480 с.

117. Сеа Ж. Оптимизация. Теория и алгоритмы. М.: Мир, 1973. - 244 с.

118. Сигеру Омату и др. Нейроуправление и его приложения. М.: ИПРЖ, 2000.-271 с.

119. Сидоров Ю.В., Федорюк М.В., Шабунин М.И. Лекции по теории функций комплексного переменного. М.: Наука, 1982. - 488 с.

120. Сьярле Ф. Метод конечных элементов для эллиптических задач. М.: Мир, 1980.-512 с.

121. Тархов Д.А. Нейронные сети: модели и алгоритмы. Кн.18. М.: Радиотехника, 2005. - 256 с.

122. Тархов Д.А. Нетрадиционные генетические алгоритмы декомпозиции и распределения при решении задач математической физики с помощью нейронных сетей// «Нейрокомпьютеры»: разработка, применение.- 2006. №7. - С.40-47.

123. Терехов В.А. и др. Нейросетевые системы управления. М.: ИПРЖР, 2002.-480 с.

124. Терехов С.А. Адаптивные нейросетевые методы в многошаговых играх с неполной информацией// В сб.: "Лекции по нейроинформатике".- М.: МИФИ, 2005. С.92-135.

125. Терехов С.А. Вейвлеты и нейронные сети// В сб.: "Лекции по нейроинформатике". -М.: МИФИ, 2001. С.142-181.

126. Терехов С.А. Нейродинамичеекое программирование автономных агентов// В сб.: "Лекции по нейроинформатике". М.: МИФИ, 2004. -Часть 2. -С.111-139.

127. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. — М.: Наука, 1986.-288 с.

128. Тихонов А.Н., Самарский А.А. Уравнения математической физики. -М.: Наука, 1977.-735 с.

129. Троицкий В.А., Петухов Л.В. Оптимизация формы упругих тел. М.: Наука, 1982.-432 с.

130. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. М.: Мир, 1992.-240 с.

131. Физические и математические модели нейронных сетей. М.: ВИНИТИ, 1990-1992.-Тома 1-5.

132. Флетчер К. Численные методы на основе метода Галёркина. М.: Мир, 1988.-352 с.

133. Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. -М.: Изд. дом «Вильяме», 2006. 1104 с.

134. Хаслингер Я., Нейтаанмяки П. Конечно-элементная аппроксимация для оптимального проектирования форм: теория и приложения. М.: Мир, 1992.-368 с.

135. Хелгасон С. Преобразование Радона. М.: Мир, 1983. - 152 с.

136. Хермандер Л. К теории общих дифференциальных операторов в частных производных. М.: ИЛ. - 1959.

137. Хомич А.В., Жуков Л.А. Метод эволюционной оптимизации и его приложение к задаче синтеза искусственных нейронных сетей// «Нейрокомпьютеры»: разработка, применение. 2004. - №12. - С.3-15.

138. Черноруцкий И.Г. Методы оптимизации и принятия решений: Учебное пособие. СПб.: Лань, 2001. - 384 с.

139. Шилов Г.Е. Математический анализ. Второй специальный курс. М.: Наука, 1965.-328 с.

140. Эволюционные вычисления и генетические алгоритмы. Обозрение прикладной и промышленной математики. 1996. - Том 3, вып.5. -176 с.

141. Янг JI. Лекции по вариационному исчислению и теория оптимального управления. М.: Мир, 1974. - 488 с.

142. Ярушкина Н.Г. Нечёткие нейронные сети с генетической настройкой// В сб.: "Лекции по нейроинформатике". М.: МИФИ, 2004. - Часть 1. -С.151-197.

143. Attali J.-G., Pages G. Approximations of Functions by a Multilayer Percep-tron: a New Approach// Neural Networks. 1997. - Vol. 10, No. 6. - pp. 1069-1081.

144. Brudnyi Yu., Krugljak N. Interpolation functors and interpolation spaces. Vol.1, North-Holland Math. Library, vol.47, North-Holland, Amsterdam, 1991.

145. Burger M., Neubauer A. Analysis of Tikhonov Regularization for Function Approximation by Neural Networks// Neural Networks. 2003. - Vol. 16, No. l.-pp. 79-90.

146. Castro J.L., Mantas C.J., Benitez J.M. Neural Networks with a Continuous Squashing Function in the Output are Universal Approximators// Neural Networks. 2000. - Vol. 13, No. 6. - pp. 561-563.

147. Chew S.H. and Zheng Q. Integral global optimization, Lecture Notes in Economics and Mathematical Systems, Vol.298, Springer-Verlag, (1988).

148. Cybenko G. Approximation by superposition of a sigmoidal function// Mathematics of Control, Signals, and Systems. 1989. - Vol. 2. - pp. 303314.

149. DeVore R.A. Nonlinear approximation// Acta Numer., Cambridge University press, Cambridge. 1998. - Vol. 7. - pp. 51-150.

150. Dissanayake M.W.M.G., Phan-Thien N. Neural-network-based approximations for solving partial differential equations// Communications in Numerical Methods in Engineering. March 1994. - Volume 10, Issue 3. - pp. 195-201.

151. Ermolaev A.M., Puzynin I.V., Selin A.V. Integral boundary conditions for the time-dependent Schrodinger equation: Atom in a laser field// Physical Review. 1999. - Vol. 60, No.6. - pp. 4831-4845.

152. Esposito A., Marinaro M., Oricchio D., Scarpetta S. Approximation of Continuous and Discontinuous Mappings by a Growing Neural RBF-based Algorithm// Neural Networks. 2000. - Vol. 13, No. 6. - pp. 651-665.

153. Fasshauer G. E. Solving differential equations with radial basis functions: multilevel methods and smoothing// Adv. in Сотр. Math. 1999. - 11. -pp. 139-159.

154. Fornberg В., Driscoll T.A., Wright G. and Charles R., Observations on the Behavior of Radial Basis Function Approximations Near Boundaries// Comput. Math. Appl. 2002. - 43. - pp. 473-490.

155. Fornberg В., Flyer N. Accuracy of Radial Basis Function Interpolation and Derivative Approximations on 1-D Infinite Grids. Preprint, University of Colorado.-2003.

156. Fornberg В., Larsson E. A Numerical Study of some Radial Basis Function based Solution Methods for Elliptic PDEs// Computers and Mathematics with Applications. 2003. - 46. - pp. 891-902.

157. Fornberg В., Wright G., Stable Computation of Multiquadric Interpolants for All Values of the Shape Parameter. Preprint, University of Colorado. -2003.

158. Funahashi K. On the approximate realization of continuous mappings by neural networks// Neural Networks. 1989. - Vol. 2. - pp. 183-192.

159. Galperin E., Pan Z., Zheng Q. Application of global optimization to implicit solution of Partial Differential Equations// Computers & Mathematics with

160. Applications. Pergamon Press Ltd. - 1993. - Vol. 25, No. 10/11. - pp. 119-124.

161. Galperin E., Zheng Q., Solution and control of PDE via global optimization methods// Computers & Mathematics with Applications. — Pergamon Press Ltd. 1993.-Vol. 25, No. 10/11.-pp. 103-118.

162. Gorban' A.N. Approximation of continuous functions of several variables by an arbitrary nonlinear continuous function of one variable, linear functions, and their superpositions// Appl. Math. Lett. 1998. - Vol. 11, No. 3. -pp. 45-49.

163. Hansen E.R., Walster G.W. Nonlinear equations and optimization// Computers & Mathematics with Applications. Pergamon Press Ltd. - 1993. -Vol. 25, No. 10/11.-pp. 125-145.

164. Hardy R.L. Theory and Applications of the multiquadric-biharmonic method// Computers and Mathematics with Applications. 1990. - 19(8/9). -pp. 163-208.

165. Haykin S. Neural Networks: A Comprehensive Foundation. Macmillan, New York, 1994. - 696 p.

166. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators// Neural Networks. 1989. - Vol. 2. - pp. 359366.

167. Hristev R.M. The ANN Book. GNU, 1998. - 392 p.

168. Iannella N., Back A.D. A Spiking Neural Network Architecture for Nonlinear Function Approximation// Neural Networks. 2001. - Vol. 14, No. 6-7. -pp. 933-939.

169. Ivakhnenko A.G., Ivakhnenko G.A., Muller J. A. Self-organization of neural networks with active neurons// Pattern Recognition and Image analysis. -1994.-2.-pp. 185-196.

170. Jianyu L., Siwei L., Yingjian Q., Yaping H. Numerical solution of elliptic partial differential equation using radial basis function neural networks// Neural Networks. June-July 2003. - Volume 16, Issues 5-6. - pp. 729734.

171. John F., The ultrahyperbolic differential equation with four independent variables// Duke Math. J. 1938. - 4. - pp. 300-322.

172. Kansa E. Multiquadrics a scattered data approximation scheme with applications to computational fluid dynamics I: Surface approximations and partial derivative estimates// Computers and Mathematics with Applications. - 1990. - 19(8/9). - pp. 127-145.

173. Kansa E.J. Motivation for using radial basis functions to solve PDEs// Lawrence Livermore National Laboratoiy and Embiy-Riddle Aeronatical University. -1999. http://wmv.rbf-pde.uah.edu/kansaweb.ps.

174. Kubota T. Massively Parallel Networks for Edge Localization and Contour Integration Adaptable Relaxation Approach// Neural Networks. - 2004. -Vol. 17, No. 3.-pp. 411-425.

175. Kurkova V. Approximation of Functions by Perceptron Networks with Bounded Number of Hidden Units// Neural Networks. 1995. - Vol. 8, No. 5.-pp. 745-750.

176. Lagaris I.E., Likas A., Fotiadis D.I. Artificial Neural Networks for Solving Ordinary and Partial Differential Equations// IEEE Transactions on Neural Networks. 1998. - Vol. 9, No. 5. - pp. 987-1000.

177. Liao Y., Fang S.-C., Nuttle H.L.W. Relaxed Conditions for Radial-basis Function Networks to be Universal Approximators// Neural Networks. -2003.-Vol. 16, No. 7.-pp. 1019-1028.

178. Madych W.R., Nelson S.A. Multivariate interpolation and conditionally positive definite functions II// Math.Comput. 1990. - 54. - pp. 211-230.

179. Mai-Duy N., Tran-Cong T. Numerical solution of differential equations using multiquadric radial basis function networks// Neural Networks. 2001. -14.-pp. 185-199.

180. Masuoka R. Neural Networks Learning Differential Data// IEICE Trans. Inf.&Syst. 2000. - Vol. E83-D, No. 8. - pp. 1291-1299.

181. Mhaskar H.N. Neural Networks and Approximation Theory (letters to the editor)// Neural Networks. 1996. - Vol. 9, No. 4. - pp. 721-722.

182. Mhaskar H.N., Micchelli C.A. Degree of Approximation by Neural and Translation Networks with a Single Hidden Layer// Advances in Applied Mathematics.-1995.- 16.-pp. 151-183.

183. Park J., Sandberg I.W. Universal approximation using radial-basis-function networks//Neural Computation. 1991.-Vol. 3.-pp. 246-257.

184. Petrushev P., Popov V. Rational approximations of real functions, Encyclopedia Math, Appl., Vol. 28. Cambridge University press, Cambridge. -1987.

185. Scarselli F., Tsoi A.C. Universal Approximation Using Feedforward Neural Networks: A Survey of Some Existing Methods, and Some New Results// Neural Networks, Elsevier Science Ltd. 1998. - Vol. 11, No. 1. - pp. 1537.

186. Shamardan A.B. The numerical treatment of the nonlinear Schrodinger equation// Computers and Mathematics with Applications. 1990. - 19(7). -pp. 67-73.

187. Sharan M., Kansa E .J., Gupta S., Application of the Multiquadric method to the numerical solution of elliptic partial differential equations// Applied Mathematics and Computation. 1997. - 84. - pp. 275-302.

188. Solazzi M., Uncini A. Regularising Neural Networks Using Flexible Multivariate Activation Function// Neural Networks. 2004. - Vol. 17, No. 2. -pp. 247-260.

189. Temlyakov V.N. Nonlinear methods of approximation// IMI-Preprint Ser., University of South Caroline. 2001. - pp. 1 -57.

190. Terekhoff S.A., Fedorova N.N. Cascade Neural Networks in Variational Methods For Boundary Value Problems// Russian Federal Nuclear Center -VNIITF.

191. Troitskii V.A. Optimization Approaches to Some Observation Problems for PDE. — www.inftech.webservis.ru

192. Vasilyev A., Tarkhov D., Guschin G. Neural Networks Method in Pressure Gauge Modeling// Proceedings of the 10th IMEKO TC7 International Symposium on Advances of Measurement Science, Saint-Petersburg, Russia.2004.-Vol. 2.-pp. 275-279.

193. Vasilyev A.N., Tarkhov D.A. HUMAN MOTION SIMULATION// Труды 5-й международной научно-технической конференции «Компьютерное моделирование 2004», СПб. СПб.: Изд. «Нестор», 2004. - Часть 1. -С.174-175.

194. Vasilyev A.N., Tarkhov D.A. New neural network technique to the numerical solution of mathematical physics problems. I: Simple problems// Optical Memory and Neural Networks (Information Optics), Allerton Press, Inc.2005.-Vol. 14, No. 1.-pp. 59-72.

195. Vinod V.V., Ghose S. Growing Nonuniform Feedforward Networks for Continuous Mappings// Neurocomputing. 1996. - 10. - pp. 55-69.

196. Voss H. Numerical calculation of the electronic structure for three-dimensional quantum dots// Computer Physics Communications. 2006. -174.-pp. 441-446.

197. Wang W., Hwang T.-M., Jang J.-C. A second-order finite volume scheme for three dimensional truncated pyramidal quantum dot// Computer Physics Communications. 2006. - 174. - pp. 371-385.

198. Wright G.B. Radial Basis Function interpolation: Numerical and Analytical Developments. A Thesis for the PhD Degree, Department of Applied Mathematics, University of Colorado. - 2003. - 155 p.