автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Нейросетевая обработка данных для плохо обусловленных задач идентификации моделей объектов

На правах рукописи

Круглов Игорь Александрович

Нейросетевая обработка данных для плохо обусловленных задач идентификации моделей

объектов

05.13.01 - Системный анализ, управление и обработка информации (в информационных системах)

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

г 4 окт т

005535412

Москва - 2013

005535412

Работа выполнена в Национальном исследовательском ядерном университете «МИФИ».

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

кандидат технических наук, доцент

Мишулина Ольга Александровна

Карпенко Анатолий Павлович доктор физико-математических наук, профессор,

заведующий кафедрой САПР Московского государственного технического университета имени Н.Э. Баумана

Доленко Сергей Анатольевич кандидат физико-математических наук, старший научный сотрудник Научно-исследовательского института ядерной физики имени Д. В. Скобельцына Московского государственного университета имени М.В. Ломоносова

Государственный научный центр Российской Федерации Троицкий институт инновационных и термоядерных исследований

Защита состоится «20» ноября 2013 г. в 16 часов 30 минут на заседании диссертационного совета Д 212.130.03 при Национальном исследовательском ядерном университете «МИФИ», расположенном по адресу: 115409, г. Москва, Каширское шоссе, 31.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан « » октября 2013 г.

Отзывы и замечания по автореферату в двух экземплярах, заверенные печатью, просьба высылать по вышеуказанному адресу на имя учёного секретаря диссертационного совета.

Учёный секретарь диссертационного совета, доктор технических наук, доцент

Леонова Н.М.

Общая характеристика работы

Актуальность работы. Задача идентификации математической модели объекта по экспериментальным данным часто возникает в различных прикладных исследованиях. Как правило, её появление связано с необходимостью определения неизвестных параметров исследуемого объекта или явления на основании доступных для измерения параметров или отклика на внешнее воздействие. Обозначим доступные для измерения выходные характеристики объекта вектором у, а определяемые на их основе при помощи косвенных измерений - вектором х. Тогда прямой задачей будем называть аппроксимацию функции у = Г(х), а обратной - построение модели преобразования х = £_1(у), где х и у - векторы размерностей М и N соответственно, М < N. Круг подобных задач аппроксимации огромен. Практические исследования по особенностям их постановки и решения ведутся в технических приложениях, в области медицины, химии, геофизических расчётов и других прикладных областях. Как правило, каждая конкретная задача аппроксимации требует разработки специального подхода к её решению на основании некоторых общих принципов, в частности, регуляризации и формирования критерия точности.

К задачам идентификации моделей обратных зависимостей относится оценивание механических характеристик металла по результатам кинетического индентирования. Решение этой практической задачи позволит осуществлять неразрушающий контроль металлических конструкций, работающих при неблагоприятных условиях или в агрессивных средах, например, корпус ядерного реактора, трубы прокачки нефти и газа, несущие конструкции мостов. В процессе эксплуатации изменяются механические характеристики металла, наблюдается хрупкость, возникают микротрещины. Для подобных установок необходимо осуществлять регулярный контроль характеристик металла для принятия решения о безопасности их эксплуатации. Всё это свидетельствует о важности и актуальности задачи оценивания механических характеристик металла в условиях эксплуатации объекта.

Одним из методов неразрушающего контроля состояния металла действующих установок является метод кинетического индентирования (КИ). Он основан на непрерывной регистрации параметров процесса упруго-пластического вдавливания индентора в исследуемый образец металла под действием нагрузки, приложенной перпендикулярно к его поверхности. В результате проведённого испытания формируется диаграмма индентирования, отражающая зависимость глубины индентирования к от приложенной к индентору силы Р. Для сферического индентора зависимость с достаточной степенью точности аппроксимируется кубической параболой с нулевым свободным членом, то есть характеризуется тремя параметрами, образующими вектор

У = (yi i 2/2, 2/з)Г- Диаграмма индентирования неявно содержит информацию о стандартизованных механических характеристиках металла в исследуемой конструкции. В частности, содержит информацию о пределе текучести сг^г и показателе упрочнения т, которые образуют вектор х = (щт, гп)Т и необходимы специалистам для принятия решения о соответствии свойств металла нормативным требованиям. Для практических целей необходимо восстановление функции х = f_1 (у) для построения оценки механических характеристик металла по результатам КИ.

Экспериментально установлено, что задача оценивания механических свойств металла по результатам КИ является плохо обусловленной. Плохо обусловленные задачи характеризуются тем, что небольшим погрешностям в исходных экспериментальных данных соответствуют значительные ошибки определения важных для специалистов характеристик исследуемого объекта. Такая ситуация может возникнуть из-за того, что функция обратного преобразования f-1(y) имеет большую производную по векторной переменной у. Причём на практике ситуация может усугубляться наличием малого объёма экспериментальных данных. В задаче кинетического индентирования это связано с дороговизной и высокой технической сложностью проведения натурных экспериментов. При этом предъявляются повышенные требования к точности решения поставленной задачи.

Практическая потребность в алгоритмическом решении плохо обусловленных обратных задач аппроксимации во многих прикладных исследованиях объясняет большой интерес специалистов к этой области и поток публикаций в специализированных периодических научных изданиях, таких как «Journal of inverse and ill-posed problems», «Inverse problems», «Inverse problems in science and engineering», «Inverse problems and imaging», «Обратные задачи и информационные технологии» и многих других. В связи с этим теоретические исследования и построение новых алгоритмов обработки данных для плохо обусловленных задач идентификации объектов являются актуальными и имеют практическую значимость.

Среди различных видов аппроксимационных моделей отдельное место занимают нейронные сети. Они обладают целым рядом уникальных возможностей, которые делают целесообразным их применение при решении задачи аппроксимации плохо обусловленных функциональных зависимостей. Среди них стоит отметить способность нейронных сетей к генерализации и адаптации к данным, эффективность при аппроксимации вектор-функций векторного аргумента. В отличие от других классических аппроксиматоров, нейронные сети менее подвержены влиянию «проклятия размерности».

Объектом исследования в диссертации являются многомерные нелинейные системы, для которых идентификация математической модели по экспериментальным данным является плохо обусловленной задачей, в частно-

сти, система взаимосвязи механических характеристик металла и параметров диаграммы индентирования.

Предметом исследования являются нейросетевые методы и алгоритмы обработки данных для решения плохо обусловленных задач идентификации объектов.

Цель и задачи исследования. Диссертация посвящена разработке нейросетевой модели с повышенной точностью и помехоустойчивостью для решения плохо обусловленных задач идентификации объектов. Достижение поставленной цели предполагает решение следующих основных задач:

1) Формирование критерия точности решения задачи идентификации объекта.

2) Построение новой нейросетевой модели для плохо обусловленной задачи идентификации объекта на основе выбранного критерия точности.

3) Разработка алгоритма обучения нейросетевой модели.

4) Создание специализированного программного обеспечения для обучения и исследования точности нейросетевой модели объекта.

5) Применение созданной модели для оценивания механических характеристик металла по результатам КИ.

6) Сравнительный анализ точности разработанного метода и других используемых в настоящее время подходов для решения плохо обусловленных задач на примере определения механических характеристик металла по результатам кинетического индентирования.

Методы исследования. Основой для проведения нейросетевой обработки данных, формирования критериев точности полученных результатов и проведения экспериментальных исследований являются: теория идентификации, теория нейронных сетей, теория аппроксимации, теория регуляризации, статистические методы анализа данных.

Научная новизна. В диссертации получены следующие результаты, характеризующиеся научной новизной:

1) Предложен математический подход к анализу априорной точности решения задачи идентификации объекта, характеризующегося неизвестной многомерной функциональной зависимостью между входными и выходными переменными.

2) Разработан новый принцип формирования апостериорного показателя точности решения плохо обусловленной обратной задачи, основанный на квадратичной мере расхождения нейросетевого решения прямой задачи и экспериментальных данных.

3) Разработана архитектура модели, представляющая собой комитет нейронных сетей с нелинейным адаптивным правилом принятия решения, использующим квантили предложенного статистического критерия точности. Архитектура комитета допускает расширение на использование в его составе не только нейросетевых, но и других типов вычислительных модулей.

4) Предложена схема обучения комитета нейронных сетей с применением бутстреппинга.

Достоверность полученных результатов подтверждается корректностью использования математического аппарата, а также результатами применения разработанных моделей к решению практической задачи оценивания механических характеристик металла.

Практическая значимость.

1) Применение комитета нейронных сетей позволило достичь требуемого уровня точности определения механических характеристик по диаграмме индентирования для сталей 20, 10ГН2МФА, Х18Н10Т, 15Х2НМФА.

2) Созданный алгоритм построения оценок механических характеристик металла использован в информационной системе обработки данных КИ прибора ТЕСТ-5У (регистрационный № 27722-09 в Государственном реестре средств измерения РФ).

3) Использование нейронных сетей позволило снизить вычислительную сложность решения прямой задачи индентирования по сравнению с методом конечных элементов. База данных нейросетевых решений прямой задачи для различных типов металлов может служить основой для приближённого решения обратной задачи индентирования.

4) На располагаемом наборе данных разработанная модель позволила добиться следующего преимущества по сравнению с наиболее распространёнными классическими нейросетевыми аппроксиматорами: уменьшение погрешности в среднем на 80% по сравнению с многослойным пер-септроном, на 30% по сравнению с бустинг-комитетом нейронных сетей, на 10% по сравнению с бэггинг-комитетом.

5) Разработанная модель комитета нейронных сетей может быть использована при решении плохо обусловленных задач в различных научных и технических приложениях.

6) Созданная в рамках диссертационной работы методика построения комитета нейронных сетей с адаптивным правилом принятия решения включена в учебный курс «Введение в теорию нейронных сетей» программы подготовки специалистов кафедры «Кибернетика» НИЯУ МИФИ.

На защиту выносятся следующие основные результаты и положения:

1) Априорная оценка точности решения обратной задачи задачи идентификации объекта, характеризующегося неизвестной многомерной функциональной зависимостью между входными и выходными переменными.

2) Принцип формирования апостериорного показателя точности решения плохо обусловленной обратной задачи, основанный на квадратичной мере расхождения нейросетевого решения прямой задачи и экспериментальных данных.

3) Архитектура комитета нейронных сетей с нелинейным адаптивным правилом принятия решения, основанным на квантилях распределения предложенного критерия точности.

4) Алгоритм обучения и функционирования комитета нейронных сетей для решения плохо обусловленных задач аппроксимации векторных функций многих переменных.

5) Схемы и результаты вычислительных экспериментов на модельных данных, демонстрирующие преимущество квантильного правила принятия решения комитетом по сравнению с общепринятыми подходами.

6) Практическое решение задачи оценивания механических характеристик металла для сталей 20, 10ГН2МФА, Х18Н10Т, 15Х2НМФА.

7) Сравнительный анализ точности определения значений механических характеристик по результатам КИ для различных нейросетевых аппрок-симационных моделей.

Апробация работы. Основные результаты диссертации докладывались на следующих всероссийских и международных семинарах и конференциях:

• Научная сессия МИФИ-2009 (Москва, НИЯУ МИФИ, 2009).

• Всероссийская научно-техническая конференция «Нейроинформатика» (Москва, НИЯУ МИФИ, 2009, 2011).

• Международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, НИУ ИТМО, 2010).

• Молодёжная Курчатовская школа (Москва, НИЦ «Курчатовский институт» 2010, 2011).

• Международная молодёжная научно-техническая конференция «Будущее технической науки» (Нижний Новгород, НГТУ им. P.E. Алексеева, 2010).

• Международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации» (Алушта, МАИ, 2010).

• International conference on adaptive and natural computing algorithms «ICANNGA'll» (Любляна, Люблянский университет, 2011).

• Международная конференция «Деформация и разрушение материалов и наноматериалов» (Москва, ИМЕТ РАН, 2011).

• Междисциплинарный научный семинар «Экобионика» (Москва, МГТУ им. Н.Э. Баумана, 2012).

Публикации результатов. Основные результаты диссертации опубликованы в 17 печатных работах, из них 3 статьи в периодических научных изданиях, рекомендованных ВАК России, 4 статьи в ведущих международных журналах, представленных в базах цитирования Scopus и Web of Science, 10 работ в статьях и материалах конференций.

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Подготовка к публикации полученных результатов проводилась совместно с соавторами. В совместных работах автору принадлежат обзоры научных трудов по методам нейросетевой обработки данных и решения плохо обусловленных задач, архитектуры нейросетевых структур, алгоритмы формирования обучающих и тестовых выборок, схемы проведения и результаты вычислительных экспериментов.

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, библиографии и трёх приложений. Общий объём диссертации — 142 страницы, включая 18 таблиц, 44 рисунка. Библиография включает 125 наименований на 11 страницах.

Содержание работы

Во Введении обосновывается актуальность темы исследования, формулируются цель и решаемые в работе задачи, отмечается научная новизна, теоретическая и практическая ценность работы, приводятся основные положения, выносимые на защиту, кратко излагается содержание диссертации.

Первая глава посвящена обзору методов нейросетевой обработки данных и идентификации систем, характеризующихся неизвестным многомерным функциональным преобразованием между входными и выходными переменными. Отмечается, что в современной науке в течение последних десятилетий неуклонно возрастает количество экспериментальных данных, требующих обработки и анализа. Поэтому особенно актуальной становится задача анализа, извлечения знаний и экспериментальных зависимостей из данных.

Приводится декомпозиция задачи извлечения зависимостей из экспериментальных данных, характеризующих объект исследования, на две задачи: прямую и обратную. Если входные и выходные переменные объекта обозначить векторами х и у, то задача восстановления зависимости между ними будет заключаться в идентификации моделей функциональных преобразований у = Г(х) (прямая задача) и х = Г-1 (у) (обратная задача) на основании экспериментально полученного набора значений. При этом считается, что один из векторов (у) является непосредственно доступным для измерения, а второй (х) представляет собой набор оцениваемых характеристик объекта. В таких условиях наибольший практический интерес представляет решение обратной задачи.

Вопрос построения приближенного решения обратной задачи в ситуации, когда известен строгий теоретический вид прямого преобразования у = {(х), является хорошо изученным. В простейшем случае, если прямое преобразование является линейным, то есть у = Ах, где А — матрица линейного оператора, решение обратной задачи основано на теории Мура-Пенроуза псевдообращения матрицы: х = А+у. В случае, когда прямое преобразование является нелинейным, применяются другие методы, например, численный метод Гаусса-Ньютона или Лэндвебера. В диссертации рассматривается построение приближённого решения обратной задачи при неизвестном виде прямого преобразования Г(х). Этот вопрос менее изучен и представляет особый интерес в приложениях.

Кроме того, на практике часто встречается ситуация, когда обратная задача является плохо обусловленной (некорректной). Для плохо обусловленных задач характерна высокая степень изменчивости модели и её чувствительность к незначительным вариациям шумов в экспериментальных данных. Кроме того, считается, что количество измерений Р мало. Всё это приводит к тому, что на практике одна модель оказывается неспособной обеспечить желаемый уровень точности для всего рассматриваемого диапазона значений исследуемых характеристик.

Классический подход к решению плохо обусловленных обратных задач основан на теории регуляризации А.Н. Тихонова. Он заключается во введении дополнительных требований к решению обратной задачи, призванных устранить её плохую обусловленность. Тихоновым А.Н. и его учениками по-

казано, что поиск регуляризоваиного (устойчивого к малым изменениям исходных данных) решения х уравнения f(x) = у с неточно известной правой частью может быть сведен к минимизации функционала

х = argmin |||f(x) - у||2 + Л Ф(х)} ,

где Ф(х) - стабилизирующий функционал, Л > 0 - параметр регуляризации. Вид стабилизующего функционала не определён однозначно.

Особое положение среди различных типов моделей функциональных преобразований занимают нейронные сети (НС). В теоретических исследованиях К. Хорника (К. Hornik), А.И. Галушкина, В. Курковой (V. Kurkova), А. Бар-рона (A. Barron) и других учёных показано, что многослойные нейронные сети (МНС) являются универсальными аппроксиматорами нелинейных функциональных зависимостей. Кроме того, для многослойных нейронных сетей разработаны быстрые методы обучения и обеспечивается способность к обобщению данных. В отличие от других аппроксиматоров, сложность структуры многослойных нейронных сетей менее зависит от размерности моделируемых векторных функций векторных аргументов. Перечисленные свойства МНС дают основание для их применения при решении плохо обусловленных задач аппроксимации функций многих переменных.

Регуляризация применима и к нейронным сетям. Наиболее распространенным приёмом является байесовская регуляризация обучения, предложенная Д. Маккеем (D. МасКау). Она сочетает в себе оригинальный подход Тихонова с методикой апостериорных вероятностей Байеса и позволяет автоматизировать выбор параметра Л. Метод байесовской регуляризации предполагает введение дополнительного члена в минимизируемый функционал ошибки обучения МНС, который отражает ограничения на формируемую сеть. В качестве дополнительного члена может быть использован стабилизирующий функционал i'(w) = | ||w||2, накладывающий штраф на модели с большими значениями компонентов вектора синаптических коэффициентов w. Математик М. Бюргер (М. Burger) продемонстрировал эквивалентность применения такого функционала в функции ошибки сети и регуляризации по Тихонову.

Как было отмечено ранее, в случае плохо обусловленной обратной задачи одна модель может оказаться неспособной обеспечить желаемый уровень точности решения. Повышение точности может быть достигнуто путём использования комитетов нейронных сетей. Комитет принимает финальное решение на основании частных решений нескольких нейронных сетей. Известным экспертом в области машинного обучения К. Бишопом (С. Bishop) показано, что результат работы комитета в целом лучше, чем результаты работы используемых сетей по отдельности. Причём этот эффект проявляется тем сильнее, чем менее коррелированы ошибки отдельных сетей.

Все перечисленные выше особенности дают основание для применения нейронных сетей и комитетов на их основе при решении плохо обусловленных задач идентификации моделей неизвестных многомерных функциональных преобразовании.

Во второй главе приведена постановка задачи идентификации моделей неизвестных функциональных зависимостей у = f(x) и х = f-1(y) на основании набора данных

©г = {(х« zM) еПгхП„,р=17р}. (1)

В выражении (1) представляет собой экспериментально полученные наблюдения истинного вектора у^: z^ = у^' + Ау(р\ где Ду(р' - центрированные случайные ошибки, распределённые по нормальному закону с нулевым математическим ожиданием и конечной дисперсией. Предполагается, что х £ ílj С МЛ/, у € Qy С обе функции f(x) и f_1(y) существуют, являются непрерывными в областях и соответственно и имеют непрерывную первую производную в них. Кроме того, для удобства вычислений считается, что вектор z является преобразованным таким образом, что его дисперсионная матрица имеет вид

D[ z] = D[A у] = £[ЛуДут] = u¡ I,

где Е— оператор математического ожидания, I— единичная матрица. Значения х(р), р = 1,.Р, предполагаются известными абсолютно точно.

Рис. 1. Схема формирования измерений для оценки точности решения обратной задачи

В диссертации показано, что в приведённых условиях можно оценить априорную ошибку Дх решения обратной задачи х. Будем считать, что нам известна функция прямого преобразования у = ¡^х). И пусть найдено некоторое решение обратной задачи, то есть построена модель Г-1 (у) функции обратного преобразования Г-1 (у) (рис. 1). Оптимальным решением обратной задачи будем считать значение х, минимизирующее квадратичный критерий ,/(х) = ||г — у||2, где у = Г(х) и х = х + Дх. Используя теорему Лагранжа о

конечных приращениях, можно показать, что

Ax=(Fr(i)F(i))"1FT(i)Ay, (2)

где F(x) — матрица Якоби размерности [N х М} производных вектор функции f(x) по аргументу х с элементами J^1, г = 1, N, j = 1, М, х = х + 0Дх, 0 G (0; 1), Дх = х — х. На практике можно приближенно оценить матрицу F(x), имея решение прямой задачи аппроксимации и, следовательно, располагая моделью f(x) функции f(x). Дисперсионная матрица вектора Дх может быть рассчитана на основании (2) с учётом статистических свойств вектора ошибок наблюдений Ду:

Я[Дх] = S(x) Sг(х)а^, S(x) = (Fr(i) F(x))Fr(5). (3)

Статистическая оценка (3) использует только априорные данные и решение хорошо обусловленной прямой задачи. Кроме того, предполагается известным точное решение прямой задачи f(x). Однако согласно схеме, представленной на рис. 1, возможно напрямую вычислить величину £ = z — у, которая даёт дополнительную информацию о точности решения обратной задачи. Используя теорему Лагранжа, е может быть представлена в виде

е = Ду - F(x)Ax. (4)

Рассматривая (4) как уравнение относительно неизвестного вектора ошибок Дх, можно получить его решение с помощью псевдообращения матрицы F(x):

Дх = (Fr(x) F(x)) 1 FT(x) (Ду - е). (5)

Сравнивая выражения (2) и (5) для априорной и апостериорной оценок ошибок Дх, можно видеть, что последнее учитывает ещё и погрешность £ восстановления наблюдений z с помощью функции прямого преобразования. На основании свойств матриц, используя выражение (4), можно оценить норму вектора Дх по следующей формуле:

|,ДХ|| < 1И + 11ДУ11

11 ||F(X)|| •

Модели функциональных преобразований Г(х) и Г-1 (у) строятся в классе многослойных нейронных сетей. Нейросетевая интерпретация теоремы Колмогорова-Арнольда о представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и операции сложения позволила заключить, что любая непрерывная функция многих переменных может быть представлена на МНС, имеющей конечное

Вектор измерений г

Оценках

Рис. 2. Архитектура комитета нейронных сетей для решения обратной задачи оценивания параметров объекта по результатам наблюдений

число элементов. Как было ранее указано, в условиях плохой обусловленности задачи аппроксимации для повышения точности нейросетевой модели и её устойчивости к ошибкам измерений целесообразно применение комитета нейронных сетей.

Одной из главных характеристик комитета является вид правила принятия общего решения на основе выходных значений отдельных сетей, входя-

щих в его состав. Стандартные правила принятия решения используют лишь общие статистические свойства множества частных оценок, полученных ней-росетями комитета, но не извлекают дополнительную информацию из различия этих свойств для разных примеров обучающей выборки. В диссертационной работе разработан оригинальный подход, позволяющий выделить для построения финальной оценки те нейронные сети комитета, которые в условиях входного вектора у формируют лучшие частные оценки вектора х. На основе критерия р= ||е|| = ||z — у|| предложено новое правило принятия решения в разработанном комитете нейронных сетей (рис. 2). Комитет состоит из К > 3 МНС, решающих обратную задачу, и одной нейронной сети для решения прямой задачи. Он функционирует следующим образом:

1) Для заданного входного вектора z нейронные сети комитета вычисляют оценки Xi, Х2,..., ха', по которым восстанавливаются входные значения Уь У21 • • • > У к с помощью нейросетевой модели прямого преобразования (рис. 2).

2) По значениям = ||z — к = 1,К, строится эмпирическая функция распределения вероятности ^"(р) и вычисляется вектор ß её признаков (например, квантилей для заданных уровней вероятности).

3) Вектор ß подаётся на вход отдельной МНС в блоке сравнения результатов (называемой квантильной сетью) для расчёта значения ро. Под ро понимается значение критерия р, соответствующее лучшему нейросете-вому решению обратной задачи.

4) Среди показателей pjt, к = 1,К, характеризующих точность частных решений нейронных сетей комитета, в блоке сравнения результатов выбираются 2 < Q < К значений, которые обеспечивают наименьшие отклонения — ро|, k = 1, Q. Соответствующие решения обратной задачи рассматриваются как лучшие.

5) Финальное решение комитета формируется как медиана множества решений, признанных лучшими на предыдущем шаге.

Отбор нескольких лучших частных решений (Q > 2) способствует устранению грубых ошибок и повышению точности финального решения обратной задачи. Разработанное правило принятия решения учитывает все комбинации компонентов векторов х*, к = 1 ,К, что позволяет расширить набор значений, на основании которых строится эмпирическая функция распределения .F*(p). Кроме того, рассмотрение комбинаций выходных значений сетей, вместо выхода одной сети, повышает устойчивость решения к случайным ошибкам, что позволяет добиться эффекта регуляризации. Для повышения

обобщающей способности комитета к данным рекомендуется использовать регуляризованные МНС.

Таблица 1. Результаты тестирования комитета НС на модельном примере

Метод принятия решения в комитете Статистические характеристики ошибок оценок Xi и Х2

Xi х2

Среднее значение Диапазон изменения Станд. откл. Среднее значение Диапазон изменения Станд. откл.

Среднее выходов сетей 0.98 0.11 - 2.45 0.57 0.41 0.08 - 1.10 0.41

Медиана выходов сетей 1.41 0.10 - 3.24 0.97 0.55 0.08 - 1.28 0.33

Квантильное решающее правило 0.67 0.10 - 2.77 0.76 0.31 0.07 - 0.98 0.27

Преимущество предложенного правила принятия решения в комитете продемонстрировано на двух модельных нелинейных задачах. В одной из них обратное преобразование имело следующий вид:

»'-'МайИ'ЙШП- <б>

где у > 0 - параметр, регулирующий крутизну функций. Фрагмент зависимости Х2 = /2(2/112/2) для случая у = 1 представлен на рис. 3. Зависимость х\ = /2(2/1,2/2) аналогична приведенной на рис. 3 и отличается поворотом на 45° относительно вертикальной оси. Анализ результатов применения комитета предложенной архитектуры к модельным задачам показал, что уровень вероятности F*(po), соответствующий наилучшему решению обратной задачи, в общем случае отличается от 0.5.

В таблице 1 показаны результаты тестирования комитета НС с различными правилами принятия решения на 50 различных наборах данных. Каждый набор состоял из обучающей и тестовой выборок, содержавших соответственно 25 и 1000 примеров, сформированных на основе зависимости (6) с добавлением случайного шума. Расчёты проведены для значения параметра у = 1. Приведённые в таблице 1 результаты подтверждают, что комитет нейронных сетей с квантильным правилом принятия решения имеет преимущество по сравнению со стандартными методами принятия решения — средним значением и медианой. В среднем на двух рассмотренных модельных примерах

использование квантильной НС, моделирующей величину ру, позволило снизить относительную ошибку на 10% по сравнению с медианным методом.

Третья глава посвящена задаче оценивания механических характеристик металла по результатам его испытаний на прочность. В ней определены понятия предела текучести сг.»г и степенного показателя упрочнения т как характеристик схематизированной диаграммы одноосного растяжения. Обоснована практическая необходимость использования альтернативных безобразцовых методов контроля состояния металла. Рассмотрен метод кинетического индентирования, его преимущества и недостатки. Сформулирована обратная задача индентирования, которая заключается в определении значений характеристик а^т и ш на основании параметров диаграммы индентирования.

Приведены результаты анализа данных для выбранного типа стали, подтверждающие плохую обусловленность обратной задачи. На основе представленного анализа определён состав вектора характеристик диаграммы индентирования г, компоненты которого представляют собой аппроксимационные коэффициенты диаграммы.

В четвёртой главе приведены описание структуры информационной системы (рис. 4), предназначенной для нейросетевой обработки данных кинетического индентирования, и результаты экспериментов. Созданная информационная система, помимо рабочего режима, может функционировать ещё в двух дополнительных режимах: обучения и верификации. В режиме обучения выполняется настройка комитета нейронных сетей для обработки экспериментальных данных заданного типа стали. При этом используются диаграммы из численной базы данных диаграмм индентирования, полученные на основе метода конечных элементов. Такой способ позволяет расширить диапазон обучающих примеров для комитета в связи с ограниченным количеством экспериментальных данных. После завершения обучения выполняется верификация полученного комитета на натурных данных и, в случае необходимости, его дообучение. В диссертации показано, что такой подход позволяет получить адекватную нейросетевую модель для оценки предела текучести и степенного показателя упрочнения на основании экспериментальных диаграмм индентирования.

-1-

-3-

Рис. 3. Пример модельного преобразования

Обработка

База данных экспериментальных -диаграмм индентиродания

Подсистема построения численных диаграмм индентирования

Феноменоло- Эксперимента-

гическое льная диаграмма

решение инйентироВания

1 ___^

МКЭ решение

Подсистема нейросетебой обработки данных индентирования

Подсистема обработки и анализа данных

Подсистема формирования Выборок

Обучение, обработка, _Верификация

-П.

База данных численных диаграмм индентиродания

Подсистема визуализации результатов

Подсистема обучения НС моделей

Подсистема эмуляции НС моделей

Значения механических характеристик

Рис. 4. Информационная система нейросетевой обработки данных кинетического инден-тирования

Таблица 2. Результаты эксперимента на помехоустойчивость МНС на одном наборе данных

Показатель точности Зашумление входных данных при моделировании % Зашумление входных данных при моделировании ш, %

1 2 5 1 2 5

Максимальная относительная ошибка. % 8.0 11.0 48.0 9.2 16.9 30.5

Средняя относительная ошибка. % 2.0 3.0 8.0 3.8 5.8 13.1

В работе исследованы натурные и численные диаграммы индентирова-ния, полученные для образцов сталей, принадлежащих к четырём различным типам: 20, 10ГН2МФА, Х18Н10Т, 15Х2НМФА. Экспериментальная база в зависимости от исследуемого типа стали составляла от 153 до 365 натурных образцов, обладающих различными значениями механических характеристик. Каждая диаграмма была аппроксимирована кубической параболой,

коэффициенты которой в результате составили компоненты соответствующего вектора Результаты предварительных исследований для диаграмм, полученных при помощи метода конечных элементов для выбранного типа стали, продемонстрировали, что одиночная МНС не способна обеспечить помехоустойчивого решения обратной задачи. При добавлении к диаграммам незначительного случайно распределённого шума погрешность определения сетью значений параметров и тп быстро достигает критических значений (см. таблицу 2). В таблице 2 иод уровнем шума, измеряемым в процентах, понимается отношение среднеквадратичного отклонения случайной ошибки измерения глубины индентирования с? к её истинному значению в каждой точке диаграммы.

Рис. 5. Распределение выходных значений сетей комитета

Переход от использования одной МНС к комитету сетей позволил улучшить помехоустойчивость получаемого решения обратной задачи. Результаты работы комитета для одного из тестовых примеров отражены на рис. 5.

Таблица 3. Результаты тестирования комитета на натурных данных

Сталь 20

Диапазон ст;т, МПа 266-323 299-364 247-300 342-411 346-420

Диапазон т, Ю-3 19-23 19-27 13-20 1-2 1-2

Погрешность оценки ст^, % 3 2 3 3 2

Погрешность оценки то, % 7 6 6 6 8

Сталь 10ГН2МФА

Диапазон с¡т, МПа 422-514 781-950 517-624 555-676 529-624

Диапазон то, 10~3 8.6-1.0 1.9-2.2 4.3-5.1 0.01-0.02 0.8-1.0

Погрешность оценки а^, % 4 6 4 5 4

Погрешность оценки то, % 11 12 8 4 12

Комитет состоял из 10 сетей, моделирующих значения величины ои стольких же — для т. То есть для каждого входного вектора признаков получалось 10x10 = 100 возможных пар значений (сг¿у, то). На рис. 5 они отмечены кружками и ромбами. Причём ромбами — отобранные при помощи разработанного квантильного метода принятия решения оценки х^, ..., x/,-Q, Q = 30, участвующие в формировании финальной оценки х; кружками — остальные 100 — Q — 70 комбинаций пар значений (од^то); крестиком — решение комитета х. Звёздочкой отмечено истинное значение вектора х = (о^г, т)Т. Линии уровня на рис. 5 отображают значения критерия р.

В таблице 3 показаны результаты тестирования для двух типов сталей. Рассматривалось пять групп сталей каждого типа, подвергшихся различной термообработке и, следовательно, характеризующихся различными диапазонами характеристик <Jix и т. Из данных, представленных в таблице 3, видно, что погрешность определения значений механических характеристик для сталей 20 и 10ГН2МФА на контрольных образцах не превысила 12%. При этом погрешность определения значения предела текучести не превысила 10%. Достигнутая точность удовлетворяет техническим требованиям и позволяет заключить, что построенная модель является адекватной реальному функциональному переходу от характеристик диаграммы индентирования к механическим характеристикам металла.

На рис. 6 показаны 5 экспериментальных диаграмм индентирования для стали Х18Н10Т, соответствующих одной и той же паре значений механических характеристик ciT = 180 МПа, т = 0.67. Результаты работы комитета нейронных сетей для указанных пяти диаграмм представлены в таблице 4. Погрешность комитета в рассмотренном примере не превысила 10% для степенного показателя упрочнения и 11% — для предела текучести.

Комитет НС также применён для распознавания типа стали по данным кинетического индентирования. Для этого требуется обучить отдельный ко-

3000

Рис. 7. Распределение параметров диаграмм индентирования для сталей 20 и Х18Н10Т

0 0.05 0.1 0.15 0.2 0.25 Глубина индентиробания, мм

Рис. 6. Серия экспериментальных диаграмм индентирования

2000 § 1500 1000

Таблица 4. Результаты тестирования комитета для т и а(Т на 5 экспериментальных диаграммах индентирования

Номер Параметр ш Параметр ст^, МПа

диаграммы Выход Истинное Ошибка, % Выход Истинное Ошибка, %

комитета значение комитета значение

1 0.62 7.7 193 7.4

2 0.66 1.4 179 0.4

3 0.63 0.67 6.0 188 180 4.7

4 0.66 1.0 163 9.4

5 0.60 9.9 198 10.1

митет для каждого рассматриваемого типа металла и дополнительный нейро-сетевой классификатор. Задачей классификатора является отнесение входного вектора признаков у к одному из рассматриваемых видов стали. Например, на рис. 7 показано распределение значений коэффициентов кубической параболы, аппроксимирующей диаграмму индентирования (значений вектора у), для стали 20 (крестики) и стали Х18Н10Т (кружки). Значения вектора у, представленные на рис. 7, успешно разделяются на два класса нейросетевым классификатором, построенным при помощи алгоритма Мезарда-Надала. Таким образом, на основании результата классификации принимается решение об использовании соответствующего комитета НС для решения обратной задачи.

В Заключении приведены основные результаты диссертационного исследования и сформулированы выводы.

Основные результаты работы

• Разработан математический подход к анализу априорной точности решения обратной задачи идентификации объектов, характеризующихся неизвестной многомерной нелинейной зависимостью между входными и выходными переменными.

• Предложен принцип формирования и вычислительная схема для апостериорного показателя точности решения плохо обусловленной обратной задачи, основанный на квадратичной мере расхождения экспериментальных данных и нейросетевого решения прямой задачи.

• Для плохо обусловленных обратных задач аппроксимации функций разработана архитектура комитета нейронных сетей с нелинейным адаптивным правилом принятия решения, использующим квантили предложенного статистического критерия точности. Архитектура комитета допускает расширение на использование в его составе не только нейросе-тевых, но и других типов аппроксиматоров. Описан алгоритм формирования выборок и обучения комитета и квантильного модуля принятия решения.

• Экспериментально показано, что предложенный апостериорный показатель точности объективно отражает погрешность решения обратной задачи. На двух модельных примерах продемонстрировано в среднем 10% преимущество квантильного правила принятия решения комитетом по сравнению с общепринятым медианным методом.

• Выполнено сравнение результатов работы созданного комитета нейронных сетей с другими нейросетевыми комитетами стандартных архитектур. На располагаемом наборе данных разработанная модель позволила добиться следующего преимущества по сравнению с наиболее распространёнными классическими нейросетевыми аппроксиматорами: уменьшение ошибки в среднем на 80% по сравнению с многослойным персеп-троном, на 30% по сравнению с бустинг-комитетом нейронных сетей, на 10% по сравнению с бэггинг-комитетом.

• Нейросетевые модели и алгоритмы использованы в разработанной информационной системе, предназначенной для обработки данных кинетического индентирования.

• Применение комитета нейронных сетей для оценивания значения предела текучести по диаграмме индентирования позволило добиться требуемого уровня точности в 10% для сталей 20, 10ГН2МФА, Х18Н10Т, 15Х2НМФА.

• Экспериментально подтверждена возможность идентификации типа стали с использованием нейросетевого классификатора.

• Разработанные принципы формирования точности оценок, построения комитета и правила принятия решения могут быть использованы при решении плохо обусловленных задач аппроксимации в различных научных и технических приложениях.

Публикации по теме диссертации

Основные результаты диссертации опубликованы в 17 печатных работах,

в том числе:

В журналах, входящих в перечень ВАК:

1. Круглов И.А. Исследование возможности восстановления диаграмм деформирования с помощью нейросетевого подхода / М.Б. Бакиров, О.А. Мишулина, И.А. Киселев, И.А. Круглов // Заводская лаборатория. Диагностика материалов, 2010. - Т. 76. №7. - С. 42-48.

2. Kruglov I.A. Neural networks committee decision making for estimation of metal's hardness properties from indentation data / O.A. Mishulina, I.A. Kruglov, M.B. Bakirov // Optical Memory and Neural Networks (Information Optics)1, 2011. - Vol. 20. No. 2. - Pp. 132-138.

3. Круглов И.А. Нейросетевое моделирование векторной функции многих переменных в условиях плохой обусловленности задачи аппроксимации / И.А. Круглов, О.А. Мишулина // Известия РАН. Теория и системы управления, 2013. - № 4. -С. 3-18.

В журналах, представленных в международной базе цитирования Scopus:

4. Kruglov I. Quantile based decision making rule of the neural networks committee for ill-posed approximation problems /1. Kruglov, O. Mishulina, B. Bakirov // Neurocomputing, 2012. - Vol. 96. - Pp. 74-82.

В журналах, представленных в международной базе цитирования Web of

Science:

5. Kruglov I.A. Neural Networks Committee for Improvement of Metal's Mechanical Properties Estimates / O.A. Mishulina, I.A. Kruglov, M.B. Bakirov // Lecture Notes in Computer Science. - Springer, 2011. - Vol. 6593. - Pp. 150-157.

6. Kruglov I.A. Investigation of the possibility of reconstructing strain diagrams using the neural network approach / M.B. Bakirov, O.A. Mishulina, I.A. Kiselev, I.A. Kruglov // Inorganic Materials, 2011. - Vol. 47. No. 15. - Pp. 71-77.

7. Kruglov I.A. Neural networks modeling of multivariable vector functions in ill-posed approximation problems / I.A. Kruglov, O.A. Mishulina // Journal of Computer and System Sciences International, 2013. - Vol. 52. No. 4. - Pp. 503-518.

1 Журнал также представлен в международной базе цитирования Scopus.

В других изданиях:

8. Круглов И.А. Проект программного комплекса моделирования пространственного энерговыделения ядерного реактора в классе нейросетевых структур / И.А. Круглов, O.A. Мишулина, Б.Е. Шумский // Научная сессия МИФИ-2009. Аннотации докладов. Том 3. Информационно-телекоммуникационные системы. — М.: МИФИ, 2009. - С. 48.

9. Круглов И.А. Применение нейросетевых структур для моделирования пространственного энерговыделения в активной зоне ядерного реактора ВВЭР-1000 / И.А. Круглов, O.A. Мишулина, Б.Е. Шумский // Научная сессия МИФИ-2009. Аннотации докладов. Том 1. Ядерная физика и энергетика. - М.: МИФИ, 2009. - С. 69.

10. Круглов И.А. Динамическая нейросетевая модель пространственного энерговыделения в активной зоне ядерного реактора ВВЭР-1000 / И.А. Круглов, O.A. Мишулина, Б.Е. Шумский // XI Всероссийская научно-техническая конференция «Ней-роинформатика-2009». Сборник научных трудов. Часть 2. - М.: МИФИ, 2009. -С. 218-226.

11. Круглов И.А. Применение нейросетевых структур для моделирования пространственного поля энерговыделения в активной зоне ВВЭР-1000 / И.А. Круглов, O.A. Мишулина, Б.Е. Шумский // Научная сессия МИФИ-2009. Сборник научных трудов. - М.: НИЯУ МИФИ, 2009. - С. 17-20.

12. Круглов И.А. Нейросетевое оценивание механических свойств металлов на основе результатов кинетического индентирования / И.А. Круглов, O.A. Мишулина // VII Молодежная Курчатовская школа. Сборник аннотаций работ. - М.: РНЦ «Курчатовский институт», 2009. - С. 125.

13. Круглов И.А. Нейросетевое интервальное оценивание механических характеристик металла по результатам кинетического индентирования / И.А. Круглов, O.A. Мишулина // Высокие технологии, исследования, промышленность. Т. 4. : Сборник трудов девятой международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности». - СПб.: Изд-во Политехнического университета, 2010. - С. 238-241.

14. Круглов И.А. Применение комитета нейронных сетей для повышения точности косвенных оценок параметров объекта // Современные технологии в задачах управления, автоматики и обработки информации. Труды XIX Международного научно-технического семинара. - М.: Издательский дом МЭИ, 2010. - С. 107.

15. Круглов И.А. Применение комитета нейронных сетей для повышения точности нейросетевых оценок механических характеристик металла / И.А. Круглов, O.A. Мишулина // VIII Молодежная Курчатовская школа. Сборник аннотаций работ. - М.: РНЦ «Курчатовский институт», 2010. - С. 82.

16. Круглов И.А. Анализ точности нейросетевого решения задачи восстановления механических характеристик металла / O.A. Мишулина, М.Б. Бакиров, И.А. Круглов // XIII Всероссийская научно-техническая конференция «Нейроинформатика-2011». Сборник научных трудов. Часть 2. — М.: НИЯУ МИФИ, 2010. - С. 163-171.

17. Круглов И.А. Применение нейросетевого подхода к восстановлению диаграммы растяжения / М.Б. Бакиров, Е.С. Крутько, И.А. Киселёв, O.A. Мишулина, И.А. Круглов //IV Международная конференция «Деформация и разрушение материалов и наноматериалов». Сборник материалов. - М.: ИМЕТ РАН, 2011. - С. 867-869.

Заказ № 50-а/10/2013 Подписано в печать 11.10.2013 Тираж 125 экз. Усл. п.л. 1,2

ООО "Цифровичок", тел. (495) 649-83-30 www.cfr.ru; е-таИ:zak@cfr.ru

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ «МИФИ»

На правах рукописи

04201365571

Круглов Игорь Александрович

Нейросетевая обработка данных для плохо обусловленных задач идентификации моделей объектов

05.13.01 - Системный анализ, управление и обработка информации (в информационных системах)

ДИССЕРТАЦИЯ

на соискание учёной степени кандидата технических наук

Научный руководитель кандидат технических наук, доцент Мишулина Ольга Александровна

Москва - 2013

Список используемых обозначений

ки - кинетическое индентирование

мкэ - метод конечных элементов

МНС - многослойная нейронная сеть

НС - нейронная сеть

РБФ - радиальные базисные функции

св - случайная величина

ско - среднеквадратичное отклонение

МАХИЕ - максимальная относительная ошибка

МБЕ - средняя относительная ошибка

Содержание

Список используемых обозначений....................................................2

Введение......................................................................................6

Глава 1. Идентификация моделей функциональных зависимостей на основании набора эмпирических данных ..............................................14

1.1. Извлечение экспериментальных зависимостей из данных. Прямая и обратная задачи............................................................................14

1.2. Идентификация моделей функциональных преобразований: классический подход................................................................................17

1.3. Идентификация моделей функциональных преобразований: нейросетевой подход................................................................................19

1.3.1. Построение решения........................................................21

1.3.2. Нейросетевые аппроксимационные модели..............................23

1.4. Плохо обусловленные задачи и их регуляризация................................27

1.5. Проблема оценки точности моделей ..............................................29

1.5.1. Бутстреппинг................................................................30

1.5.2. Кросс-вал идация............................................................32

1.6. Байесовский подход к обучению нейронных сетей..............................33

1.6.1. Обобщающая способность моделей........................................33

1.6.2. Обучение и регуляризация нейронных сетей по Байесу................36

1.6.3. Применение байесовского подхода к аппроксимации функций на за-шумлённых данных........................................................37

1.6.4. Оценка погрешности модели..............................................38

1.6.5. Выводы по байесовскому подходу........................................40

1.7. Комитеты нейронных сетей..........................................41

1.7.1. Повышение точности модели за счёт использования комитета .... 41

1.7.2. Стандартные архитектуры комитетов нейронных сетей................43

1.7.3. Метод отрицательного корреляционного обучения......................49

1.7.4. Выводы по использованию комитетов нейронных сетей................50

Выводы по первой главе..................................................................51

Глава 2. Комитет нейронных сетей для плохо обусловленных задач восста-

новления функциональных зависимостей........................................53

2.1. Постановка задачи..................................................................53

2.2. Априорная оценка точности решения обратной задачи ........................55

2.3. Апостериорная оценка точности решения обратной задачи....................57

2.3.1. Соединение решений прямой и обратной задач..........................59

2.3.2. Бутстреппинг................................................................60

2.4. Комитет нейронных сетей..........................................................61

2.4.1. Архитектура и функционирование комитета............................61

2.4.2. Алгоритм принятия решения в комитете................................63

2.4.3. Формирование обучающих и тестовых выборок........................66

2.4.4. Оценка степени корреляции результатов работы сетей в комитете . 67

2.5. Демонстрация работы комитета на модельных примерах......................68

2.5.1. Пример с одномерной зависимостью......................................68

2.5.2. Пример с многомерной зависимостью....................................74

Выводы по второй главе..................................................................81

Глава 3. Задача оценивания прочностных характеристик металла по результатам кинетического индентирования........................................83

3.1. Описание проблемной области......................................................83

3.2. Метод одноосного растяжения......................................................86

3.3. Метод кинетического индентирования............................................89

3.4. Формализация задачи ..............................................................91

3.4.1. Постановка задачи..........................................................91

3.4.2. Параметризация диаграммы индентирования ..........................92

3.5. Расчёт априорной оценки точности решения обратной задачи ................94

3.6. Исследование особенностей данных. Плохая обусловленность..................95

Выводы по третьей главе.................................100

Глава 4. Экспериментальные результаты нейросетевого оценивания значений механических характеристик металла по данным кинетического индентирования ......................................102

4.1. Информационная система нейросетевой обработки данных кинетического индентирования ......................................................................102

4.2. Результаты обучения и тестирования на МКЭ данных.............106

4.2.1. Нейросетевое решение прямой задачи..................106

4.2.2. Решение обратной задачи одним многослойным персептроном .... 107

4.2.3. Влияние структуры выборок на получаемое решение.........109

4.2.4. Комитет без квантильного решающего правила............111

4.2.5. Комитет с квантильным решающим правилом.............114

4.2.6. Сравнительные результаты тестирования различных нейросетевых моделей...................................119

4.3. Результаты обучения и тестирования на натурных данных..........120

4.3.1. Подтвержение корректности обучения на МКЭ данных........120

4.3.2. Результаты работы для четырёх типов сталей.............122

4.3.3. Классификация типов сталей.......................124

Выводы по четвёртой главе ...............................126

Заключение .........................................128

Литература..........................................132

Приложение А. Альтернативный подход к вычислению априорной оценки точности..........................................143

Приложение Б. Эффективное формирование обучающих выборок для кван-тильной сети.......................................147

Приложение В. Акты о внедрении .........................150

Введение

Актуальность работы. Задача идентификации математической модели объекта по экспериментальным данным часто возникает в различных прикладных исследованиях. Как правило, её появление связано с необходимостью определения неизвестных параметров исследуемого объекта или явления на основании доступных для измерения параметров или отклика на внешнее воздействие. Обозначим доступные для измерения выходные характеристики объекта вектором у, а определяемые на их основе при помощи косвенных измерений - вектором х. Тогда прямой задачей будем называть аппроксимацию функции у = Г(х), а обратной - построение модели преобразования х = Г-1 (у), где х и у - векторы размерностей М и N соответственно, М ^ N. Круг подобных задач аппроксимации огромен. Практические исследования по особенностям их постановки и решения ведутся в технических приложениях, в области медицины, химии, геофизических расчётов и других прикладных областях. Как правило, каждая конкретная задача аппроксимации требует разработки специального подхода к её решению на основании некоторых общих принципов, в частности, регуляризации и формирования критерия точности.

К задачам идентификации моделей обратных зависимостей относится оценивание механических характеристик металла по результатам кинетического индентирования. Решение этой практической задачи позволит осуществлять неразрушающий контроль металлических конструкций, работающих при неблагоприятных условиях или в агрессивных средах, например, корпус ядерного реактора, трубы прокачки нефти и газа, несущие конструкции мостов. В процессе эксплуатации изменяются механические характеристики металла, наблюдается хрупкость, возникают микротрещины. Для подобных установок необходимо осуществлять регулярный контроль характеристик металла для принятия решения о безопасности их эксплуатации. Всё это свидетельствует о важности и актуальности задачи оценивания механических характеристик металла в условиях эксплуатации объекта.

Одним из методов неразрушающего контроля состояния металла действующих установок является метод кинетического индентирования (КИ). Он основан на непрерывной регистрации параметров процесса упруго-пластического вдавливания индентора в исследуемый образец металла под действием нагрузки, приложенной перпендикулярно к его поверхности. В результате проведённого испытания формируется диаграмма индентиро-

вания, отражающая зависимость глубины индентирования h от приложенной к индентору силы F. Для сферического индентора зависимость F(h) с достаточной степенью точности аппроксимируется кубической параболой с нулевым свободным членом, то есть характеризуется тремя параметрами, образующими вектор у = (у\, 1/2- Уг)Т ■ Диаграмма индентирования неявно содержит информацию о стандартизованных механических характеристиках металла в исследуемой конструкции. В частности, содержит информацию о пределе текучести сгц> и показателе упрочнения гп, которые образуют вектор х = (ait, ш)т и необходимы специалистам для принятия решения о соответствии свойств металла нормативным требованиям. Для практических целей необходимо восстановление функции х = f(у) для построения оценки механических характеристик металла по результатам КИ.

Экспериментально установлено, что задача оценивания механических свойств металла по результатам КИ является плохо обусловленной. Плохо обусловленные задачи характеризуются тем, что небольшим погрешностям в исходных экспериментальных данных соответствуют значительные ошибки определения важных для специалистов характеристик исследуемого объекта. Такая ситуация может возникнуть из-за того, что функция обратного преобразования f_1(y) имеет большую производную по векторной переменной у. Причём на практике ситуация может усугубляться наличием малого объёма экспериментальных данных. В задаче кинетического индентирования это связано с дороговизной и высокой технической сложностью проведения натурных экспериментов. При этом предъявляются повышенные требования к точности решения поставленной задачи.

Практическая потребность в алгоритмическом решении плохо обусловленных обратных задач аппроксимации во многих прикладных исследованиях объясняет большой интерес специалистов к этой области и поток публикаций в специализированных периодических научных изданиях, таких как «Journal of inverse and ill-posed problems», «Inverse problems», «Inverse problems in science and engineering», «Inverse problems and imaging», «Обратные задачи и информационные технологии» и многих других. В связи с этим теоретические исследования и построение новых алгоритмов обработки данных для плохо обусловленных задач идентификации объектов являются актуальными и имеют практическую значимость.

Среди различных видов аппроксимационных моделей отдельное место занимают нейронные сети. Они обладают целым рядом уникальных возможностей, которые делают целесообразным их применение при решении задачи аппроксимации плохо обусловлен-

ных функциональных зависимостей. Среди них стоит отметить способность нейронных сетей к генерализации и адаптации к данным, эффективность при аппроксимации вектор-функций векторного аргумента. В отличие от других классических аппроксиматоров, нейронные сети менее подвержены влиянию «проклятия размерности».

Объектом исследования в диссертации являются многомерные нелинейные системы, для которых идентификация математической модели по экспериментальным данным является плохо обусловленной задачей, в частности, система взаимосвязи механических характеристик металла и параметров диаграммы индентирования.

Предметом исследования являются нейросетевые методы и алгоритмы обработки данных для решения плохо обусловленных задач идентификации объектов.

Цель и задачи исследования. Диссертация посвящена разработке нейросетевой модели с повышенной точностью и помехоустойчивостью для решения плохо обусловленных задач идентификации объектов. Достижение поставленной цели предполагает решение следующих основных задач:

1) Формирование критерия точности решения задачи идентификации объекта.

2) Построение новой нейросетевой модели для плохо обусловленной задачи идентификации объекта на основе выбранного критерия точности.

3) Разработка алгоритма обучения нейросетевой модели.

4) Создание специализированного программного обеспечения для обучения и исследования точности нейросетевой модели объекта.

5) Применение созданной модели для оценивания механических характеристик металла по результатам КИ.

6) Сравнительный анализ точности разработанного метода и других используемых в настоящее время подходов для решения плохо обусловленных задач на примере определения механических характеристик металла по результатам кинетического индентирования.

Методы исследования. Основой для проведения нейросетевой обработки данных, формирования критериев точности полученных результатов и проведения экспериментальных исследований являются: теория идентификации, теория нейронных сетей, теория аппроксимации, теория регуляризации, статистические методы анализа данных.

Научная новизна. В диссертации получены следующие результаты, характеризующиеся научной новизной:

1) Предложен математический подход к анализу априорной точности решения задачи идентификации объекта, характеризующегося неизвестной многомерной функциональной зависимостью между входными и выходными переменными.

2) Разработан новый принцип формирования апостериорного показателя точности решения плохо обусловленной обратной задачи, основанный на квадратичной мере расхождения нейросетевого решения прямой задачи и экспериментальных данных.

3) Разработана архитектура модели, представляющая собой комитет нейронных сетей с нелинейным адаптивным правилом принятия решения, использующим квантили предложенного статистического критерия точности. Архитектура комитета допускает расширение на использование в его составе не только нейросетевых, но и других типов вычислительных модулей.

4) Предложена схема обучения комитета нейронных сетей с применением бутстрепиин-га.

Практическая значимость.

1) Применение комитета нейронных сетей позволило достичь требуемого уровня точности определения механических характеристик по диаграмме индентирования для сталей 20, 10ГН2МФА, Х18Н10Т, 15Х2НМФА.

2) Созданный алгоритм построения оценок механических характеристик металла использован в информационной системе обработки данных КИ прибора ТЕСТ-5У (регистрационный № 27722-09 в Государственном реестре средств измерения РФ).

3) Использование нейронных сетей позволило снизить вычислительную сложность решения прямой задачи индентирования по сравнению с методом конечных элементов. База данных нейросетевых решений прямой задачи для различных типов металлов может служить основой для приближённого решения обратной задачи индентирования.

4) На располагаемом наборе данных разработанная модель позволила добиться следующего преимущества по сравнению с наиболее распространёнными классическими нейросетевыми аппроксиматорами: уменьшение погрешности в среднем на 80% по

сравнению с многослойным персептроном, на 30% по сравнению с бустинг-комите-том нейронных сетей, на 10% по сравнению с бэггинг-комитетом.

5) Разработанная модель комитета нейронных сетей может быть использована при решении плохо обусловленных задач в различных научных и технических приложениях.

6) Созданная в рамках диссертационной работы методика построения комитета нейронных сетей с адаптивным правилом принятия решения включена в учебный курс «Введение в теорию нейронных сетей» программы подготовки специалистов кафедры «Кибернетика» НИЯУ МИФИ.

На защиту выносятся следующие основные результаты и положения:

1) Априорная оценка точности решения обратной задачи задачи идентификации объекта, характеризующегося неизвестной многомерной функциональной зависимостью между входными и выходными переменными.

2) Принцип формирования апостериорного показателя точности решения плохо обусловленной обратной задачи, основанный на квадратичной мере расхождения нейро-сетевого решения прямой задачи и экспериментальных данных.

3) Архитектура комитета нейронных сетей с нелинейным адаптивным правилом принятия решения, основанным на квантилях распределения предложенного критерия точности.

4) Алгоритм обучения и функционирования комитета нейронных сетей для решения плохо обусловленных задач аппроксимации векторных функций многих переменных.

5) Схемы и результаты вычислительных экспериментов на модельных данных, демонстрирующие преимущество квантильного правила принятия решения комитетом по сравнению с общепринятыми подходами.

6) Практическое решение задачи оценивания механических характеристик металла для сталей 20, 10ГН2МФА, Х18Н10Т, 15Х2НМФА.

7) Сравнительный анализ точности определения значений механических характеристик