автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Квазиньютоновская оптимизация высокой точности

Введение.

Глава 1.Системный анализ и обзор методов оптимизации.

1.1 .Системный анализ проблемы оптимизации.

1.2.Задачи постановочного характера и точность средств измерений.

1.3.Машинная арифметика и анализ точности операций и процессов.

I 1.4.Масштабирование переменных, целевой функции и градиента.

1.5,Оценивание квазиньютоновского направления.

1.6.Одномерная оптимизация.

1.7,Оценивание точности решения и критерии останова

Глава 2.Постановка задачи построения системы квазиньютоновской оптимизации высокой точности ProfMiniHP.

2.1 .Математическая постановка задачи кваз и ньютоновской оптимизации высокой точности.

2.2.Алгоритмически-программная постановка задачи оптимизации высокой точности.

2.3.Постановка задачи исследования системы оптимизации высокой точности.

Глава 3.Решение задачи построения системы квазиньютоновской оптимизации высокой точности.

3.1 .Математическое решение.

3.2.Алгоритмическое решение.

3.3.Программное решение.

I Глава 4.Численные исследования программной системы ProfMiniHP квазиныотоновской оптимизации высокой точности.

4.1.Тест-функции численного исследования.

4.2.Численные исследования подсистемы дифференцирования i GradientSearch.

4.3.Численные исследования подсистемы RegulHessInvert регуляризации обратной квазиныотоновской матрицы Гессе.

4.4.Численные исследования подсистемы LineSearch оценивания шага одномерного поиска.

4.5.Численные исследования системы квазиньютоновской оптимизации высокой точности в целом.

Современные методы численной оптимизации традиционно широко применяются во многих областях человеческого знания. В последние десятилетия интерес к этим методам резко возрос в связи с серьезной математизацией теоретической и прикладной экономики. Содержание работ нобелевских лауреатов по экономике(финансам) в 90-е годы 20-го столетия, например, знаменитая теория оптимизации инвестиционного портфеля Марковитца[202], хорошо подтверждают это. Известны глубокие и интересные примеры решения сложных оптимизационных задач в технике[154], электронике[12], системах управления с участием человека[93], химической технологии[8, 62, 35], медицине[5], авиации и космонавтике[22] и т.д.

Важный аспект оптимизации связан с повышением точности ее решений. Именно это обстоятельство определяет значительный и все увеличивающийся интерес к квазиньютоновским методам, которые, как считается, могут позволить это сделать.

Эти соображения определили основные цели данной диссертационной работы, ее структуру и содержание.

В первой главе приведены результаты аналитического обзора современного состояния численных методов квазиньютоновской оптимизации, в частности, методов Давидона[142], Флетчера, Пауэлла[162], Бройдена[126], Пирсона[227], а также смежных методов адаптивного численного дифференцирования[54], одномерной оптимизации[123, 77], векторного и матричного анализом[82, 90, 18, 19], применения машинной арифметики конечной точности[86, 81, 134, 193].

Во второй главе дана постановка задачи синтеза диалоговой системы оптимизации высокой точности. Определены основные требования к создаваемой системе оптимизации, как по составу включаемых методов, так и по их программной реализации.

В третьей главе рассматривается решение поставленной задачи, охватывающее основные математические, алгоритмические и программные аспекты реализации программной системы оптимизации.

Четвертая глава посвящена численным исследованиям реализованной программной системы. В качестве тест-функции выбраны известные функции Вуда[257] и Пауэлла[233а], имеющие важные и необходимые для целей тестирования особенности. Все приводимые фрагменты результатов численных исследований представлены таблично, детально прокомментированы и завершены рейтингами как используемых квазиныотоновских, так и их сопровождающих, численных методов дифференцирования, одномерного поиска и аппроксимации начальной обратной матрицы Гессе.

Для объективного оценивания полученных результатов проведено их сравнение с результатами минимизации выбранных тест-функций известными пакетами оптимизации, входящими в состав широко распространенных коммерческих систем компьютерной математики MathCAD 8[24], MATLAB 6, Mathematica 4[25].

В заключении дана краткая характеристика проделанной работы и основных, полученных при ее выполнении, результатов.

Актуальность темы исследований. Ускоряющийся рост как общемирового, так и российского производства при все возрастающих потребностях в энергии, материалах, трудовых, информационных и интеллектуальных ресурсах, а также в условиях их все большего дефицита, весьма остро ставит проблему их оптимального использования. При этом ясно, что важнейшим аспектом оптимального решения становится его точность. Однако такой взгляд на проблему оптимизации начинает реально влиять на практику, а значит, и теорию оптимизации только в 90-е годы 20 века. Этому есть объективные причины. Действительно, прикладная оптимизация как важное научно-прикладное направление начала развиваться, по существу, после появления и относительно широкого распространения средств вычислительной техники в 50-70-х годах. При этом низкая производительность компьютеров первых поколений обусловила общепринятое понимание эффективности алгоритмов оптимизации как флоп-минимальных. Такая трактовка эффективности во многом сохраняется и сейчас, но, в основном, в приложении к задачам оптимизации большой(тысячи) и очень большой(десятки и сотни тысяч) размерности пространства независимых переменных. Вместе с тем, уже в 60-е годы начинают появляться первые теоретические[14, 39, 79, .] и прикладиые[256, 86, .] работы, в которых акцентируется вопрос о устойчивости и точности алгоритмов оптимизации. Влияние этих и многих других работ[36, 47, 51, 83, 88, 108, 131, 134, 142, 162, 167, .] привело в 80-90-х годах не только к появлению суперкомпьютеров с длиной машинного слова в 48, 64 и 128 двоичных разрядов, но и к разработке IEEE-стандарта двоичной арифметики[113, 114], в настоящее время реализованного в рабочих станциях Sun, DEC, HP и IBM, а также во всех персональных компьютерах. Платформа IEEE-арифметики в приложении к задачам оптимизации высокой точности только начинает осваиваться. Основное направление этого развития - "силовое", т.е. разработка алгоритмов, использующих как IEEE-арифметику двойной, реже, расширенной двойной точности, реализованную в компьютерах Intel Pentium, так и близкую к IEEE-стандарту арифметику двойной и дважды двойной (учетверенной, использующей переменные real* 16) точности, программно моделируемую на компьютерах Cray серий С90, J90, T3D и ТЗЕ, DEC Vax, DEC Alpha, NEC SX-4, Sun Spark и IBM RS6000[19, 32].

Однако даже акцентированного использования IEEE-арифметики недостаточно для получения оптимальных решений высокой точности. Рациональное повышение точности решений должно также опираться на системный анализ всех важнейших аспектов оптимизации, учитывая не только качество математических методов, используемых во внешней и внутренней среде проблемы[17, 38, 45, 48, 66, 108, 174, 193, 245], но и качество их алгоритмической и программной реализации[120, 121, 144, 151, 152, 190, 197, 214, 234], включая создание дружественного пользователю интерфейса.

Таким образом, системный анализ проблемы квазиныотоновской оптимизации и разработка на его основе и с применением возможностей IEEEарифметики математического, алгоритмического и программного обеспечения новой высокоточной системы квазиньютоновской оптимизации ProfMiniHP, представляется актуальной научно-прикладной задачей.

Цель работы. На основе системного анализа проблемы оптимизации и возможностей IEEE-арифметики одинарной точности, разработать математическое, алгоритмическое и программное обеспечение системы квазиныотоновской оптимизации высокой точности ProfMiniHP.

Задачи работы определялись результатами выполненного системного анализа проблемы оптимизации, из которых следует: определить основные задачи внешней среды проблемы оптимизации с акцентом на подготовку оптимизируемой задачи к решению и конкретизацию требований к точности ее численного решения, учитывающую неустранимые погрешности в априорной информации; выделить основные задачи и методы внутренней среды оптимизации, позволяющие обеспечить высокую надежность и точность оценивания квазиньютоновского направления Р и шага одномерного поиска а в направлении Р, а также момента останова процесса оптимизации; используя возможности IEEE-арифметики, модифицировать выделенные известные и разработать новые математические методы, реально обеспечивающие машинно возможную точность соответствующих вычислительных процессов и критериев принятия решений; на основе структурно-модульного подхода, разработать и протестировать алгоритмическое и программное обеспечение системы ProfMiniHP; спланировать и реализовать машинные эксперименты, позволяющие объективно оценить точность решения выбранных задач оптимизации.

Общие методы исследований включали системный, математический и статистический анализ, анализ ошибок процесса вычислений в IEEE-стандарте, численные методы, в том числе векторно-матричного анализа, методы численной одномерной минимизации унимодальных функций, методы планирования машинных экспериментов и машинного моделирования, табличный и графический анализ численных результатов.

Общая методика проведения исследований содержала вербальную постановку необходимых задач и аналитический обзор соответствующей литературы; обобщение результатов обзора и формализацию постановки; выбор математических методов и алгоритмов ее решения; изучение условий применимости выбранных методов и необходимости их модификаций или разработки; алгоритмическую и программную реализацию методов, их тестирование и отладку; проведение машинных экспериментов, позволяющих объективно оценить качество решения каждой поставленной задачи.

Научная новизна. На основе IEEE-арифметики разработаны инструменты обеспечения высокой точности вычислений: гладкий" квадратичный "регуляризатор" regiii(x)-> нивелирующий машинный нуль числа хе Я1; разрешение" res!v(x) машинного числа хеЛ1, являющееся абсолютной погрешностью представления jc в компьютере и опирающееся на машинное эпсилон sm [Форсайт и др.(М., 1980); Гольдберг(1991); Деммель(М., 2001)]; регуляризованное разрешение resiv{x) = resiv{remi{x)) машинного числа jc; регуляризованное разрешение resiv(x,f) скалярной функции /. /?'-> Я1 относительно аргумента jc; регуляризованные разрешения векторно-матричных операций, включая внешнее(скалярное) и внутреннее произведения векторов, векторную операцию saxpy(a, X,Y): R" R" ,а е Rl, X,Y е R'1 и I-нормы матрицы.

Эти reslv{-)-инструменты обобщены на случай ^-точности представления числах, где \ <d<l, и системно использованы для решения задач внутренней среды квазиньютоновской оптимизации, в том числе: оценивания квазиныотоновского направления минимизации Р: о при разработке методов адаптивного дифференцирования; о при разработке методов SVD-анализа обусловленности и положительной определенности обратной квазиныотоновской матрицы (далее — обратной квазиматрицы) Гессе Я-1 и принятия решений о ее переоценивании или регуляризации; о при разработке методов помехоустойчивого переоценивания Н~1; о при разработке методов регуляризации матрицы Я-1 по Холесскому; оценивания длины шага а в квазиньютоновском направлении Р: о при разработке нового метода обобщенной одномерной оптимизации; о при разработке новых методов трихотомии и стохастической одномерной оптимизации, поразрядного цифрового сканирования; оценивания момента останова квазиныотоновского процесса: о при разработке булевых частных критериев сходимости, опирающихся на меры относительной близости соответствующих оценок F, Р, X, VF; о при разработке нового обобщенного критерия останова. Практическая ценность. На основе IEEE-стандарта двоичной арифметики разработаны -инструменты обеспечения машинной надежности и ^-точности вычислений, которые, как представляется, полезно использовать не только при построении методов оптимизации, но и в других численных методах, например, матричном анализе, решении систем линейных алгебраических уравнений или методе наименьших квадратов. .

Разработанные новые и модифицированные известные методы численного дифференцирования, оценивания квазиныотоновского направления Р и длины шага а в направлении Р, реализованы в виде программных модулей и подсистем, что позволяет их использовать в других системах численного анализа и оптимизации.

Одна из главных целей работы - программная система ProfMiniHP, -прошла этапы автономного и детального комплексного тестирования и отладки и может реально применяться для d-{при d=l - высоко-)точного решения сложных прикладных задач оптимизации. Предложение о некоммерческом применении системы ProfMiniHP размещено на сайте кафедры САПРиПК ВолгГТУ (www.cad.vstu.ru).

Отдельные положения и результаты работы используются при преподавании общего курса "Методы оптимизации" и спецкурсов "Идентификация стохастических систем", "Управление стохастическими системами" на кафедре ТВиОУ математического факультета ВолГУ.

Достоверность результатов. Подтверждена в более чем 400 машинных экспериментах, в которых, в частности, сравнивалась точность решений, полученных системой ProfMiniHP и оптимизационными пакетами коммерческих систем Mathematica 4, MathCAD 8SE и MATLAB 6.

Объективность и содержательность результатов обеспечивалась выбором: ряда наиболее известных тест-функций[89, 20, 233а, 257] различной размерности и сложности, включая вырожденность квазиматрицы Гессе в оптимальных точках и наличие стационарных неоптимальных точек; многочисленных различных начальных точек оптимизации; по возможности, идентичных квазиныотоновских и иных методов.

В результате было установлено, что среди коммерчески поставляемых систем более высокой оказалась точность решения квазиныотоновской оптимизации пакета Optimization Toolbox системы MATLAB 6. Вместе с тем, этот пакет, несмотря на реализацию в IEEE-арифметике двойной точности, показал в целом худшую, часто — на порядки, точность решений, чем решения реализованной в одинарной точности системы ProfMiniHP. Важно, что для этого не потребовалась тонкая настройка применяемых методов системы ProfMiniHP.

Публикации. По результатам диссертации опубликовано 10 печатных работ.

Апробация работы. Основные положения и результаты диссертационных исследований докладывались и обсуждались на международных и областных научно-технических конференциях:

Информационные технологии в образовании, технике и медицине(Волгоград, 2004);

X Международная конференция и Российская научная школа. Системные проблемы надежности, качества, информационных и электронных технологий(Инноватика - 2005)(Сочи, 2005);

Ежегодная XVII Международная Интернет-конференция молодых ученых и студентов по современным проблемам машиноведения (МИКМУС-2005) (Москва, 2005);

Инфокоммуникационные технологии в науке, производстве и образовании (Инфоком-2)(Кисловодск, 2006);

IX и X межвузовские конференции студентов и молодых ученых г. Волгограда и Волгоградской области(Волгоград, 2004-2005гг.); профессорско-преподавательского состава и студентов ВолГУ (Волгоград, 2003-2006гг); и постоянно действующих семинарах:

Нелинейный анализ. Математический факультет ВолГУ. Рук. проф., д.ф,-м.н. Миклюков В.М., 2003-2006 гг.;

Системный анализ и САПР: исследования и приложения. Кафедра САПРиПК ВолгГТУ. Рук. проф., д.т.н. Камаев В.А., 2003-2006 гг.

Структура работы и объем. Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 259 названий и насчитывает 282 страницы, в том числе 242 страницы основного текста и 3 приложения.

выводы сделать уже можно. В частности, отметим частоту повторения метода DFP и особо плохие результаты, отвечающие применению метода Mtlb.

Сводная таблица 4.27 закрепляет конфигурацию методов, генерирующих не лучшие, а зачастую просто плохие результаты: DFP, RD и Mtlb. I Применим принцип дополнительности в приложении к конфигурациям

А А методов, обеспечивающих лучшие и худшие по точности оценивания X, F(X) результаты. Для этого сопоставим последние столбцы таблиц 4.25 и 4.27.

Заключение

В диссертационной работе решалась актуальная научно-прикладная задача создания математического аппарата и алгоритмически-программного обеспечения системы квазиныотоновской оптимизации высокой точности.

Важным этапом решения этой задачи явился системно-аналитический обзор проблемы квазиныотоновской оптимизации в целом, основных задач в нее входящих и математических методов эти задачи решающих. Обзор проводился с позиций анализа известных методов и отбора лучших из них по точности и надежности. Однако в случаях, когда таких методов не оказывалось, ставилась задача по подбору методов, надежных и точных потенциально, либо их разработке. В результате, объем обзора, охватившего 7 крупных разделов прикладной математики, оказался значительным. Еще более значительными оказались его результаты. Так, учет точности априорной информации, определяемый характеристиками соответствующих СИ, действительно позволит корректно определять требования к точности решения. Особо важным оказался анализ возможностей машинной IEEE-арифметики, повлекший разработку новых (•)-инструментов высокой точности вычислений. Другие интересные результаты обзора следуют из анализа методов адаптивного дифференцирования, матричного SVD-аиализа, "слабой" и "сильной" регуляризации по Холесскому и Гершгорину и, особенно, аппроксимации обратной матрицы Гессе, где удалось теоретически показать "зеркальность" процедур, оперирующих с ее прямой или обратной аппроксимациями.

Результаты системно-аналитического обзора позволили конкретизировать постановку задачи синтеза математического, алгоритмического и программного обеспечения системы квазиныотоновской оптимизации высокой точности в терминах разработанных rt^/v(-)-инструментов высокой точности вычислений. В математическом решении сформулированы новые -инструменты, охватившие основные векторно-матричные операции, включая скалярное и внешнее произведения векторов, новые типовые операции saxpy, gaxpy и т.д.

Серьезным результатом математического решения явился новый метод помехоустойчивой аппроксимации обратной матрицы Гессе в его наиболее сложном обобщенном бройденовском представлении. Также были разработаны и новые методы одномерного поиска. Среди них отметим метод трихотомии, реализующий впервые сформулированные -требования к надежности и точности его решения, а также метод поразрядного цифрового сканирования, представляющий решение только с правильными ненулевыми разрядами мантиссы, что является принципиально новым результатом в оптимизации.

Математическое решение задачи было поддержано сложным ( алгоритмическим и программным решением, что позволило создать реальную систему квазиньютоновской оптимизации высокой точности ProfMiniHP. Заметим, что работы по созданию версий этой системы ведутся с 2002г., в рамках которых с системой было произведено более тысячи машинных оптимизационных экспериментов, значительные фрагменты которых представлены в работе. В процессе объемных численных исследований системы ProfMiniHP удалось не только объективно показать ее существенные преимущества перед пакетами оптимизации известных коммерческих систем MATLAB, Mathematica, MathCAD, по и в рамках машинных оптимизационных экспериментов 2006г. подтвердить ее высокие точностные характеристики.

Таким образом, в процессе выполнения работы были последовательно реализованы основные цели, сформулированные при конкретизации темы диссертационного исследования. В рамках диссертационной работы получены математические результаты, как представляется, имеющие определенную ' теоретическую и практическую значимость. Основной прикладной результат работы: система квазиньютоновской оптимизации ProfMiniHP, — реально генерирует решения высокой точности, что позволяет ее использовать для ^ решения сложных оптимизационных задач в любой научно-прикладной сфере.

На основе полученных в диссертационной работе результатов выделены, конкретизированы и упорядочены наиболее важные и интересные перспективные направления последующих научно-прикладных работ автора.

1. Лкофф Р. Искусство решения проблем. М.: Мир, 1986.

2. Антонов А.В. Системный анализ. М.: Высшая школа, 2004. - 454с.: ил.

3. Аоки М. Введение в методы оптимизации М.: Мир, 1977, 343с.

4. Банди Б. Методы оптимизации — М.: Радио и связь, 1988, 128с.

5. Беллман Р. Математические методы в медицине. М.: Мир, 1987. - 200с., ил.

6. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы статистических оценок. М.: Статистика, 1980 - 263с., ил.

7. Боровиков В. STATISTICA: искусство анализа данных на компьютере. Для профессионалов. СПб.: Питер, 2001. — 656с.: ил.

8. Бояринов А.И., Кафаров В.В. Методы оптимизации в химической технологии. М.: Химия, 1969. - 564с.

9. Бертсекас Д. Условная оптимизация и методы множителей Лагранжа. М.: Радио и связь, 1987. - 400с.: ил.

10. Ю.Васильев Ф. П. О регуляризации неустойчивых задач минимизации. Труды матем. ин-та АН СССР, 1988, Т. 185, С. 60-65.

11. П.Васильев Ф.П. Методы оптимизации. М.: Издательство "Факториал Пресс", 2002. - 824с.

12. Влах И., Сингхал К. Машинные методы анализа и проектирования электронных схем. М.: Радио и связь, 1988. - 560с.: ил.

13. П.Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. -СПб.: Изд. СПб ГТУ, 2003. 520с.

14. Гельфанд И.М., Цейтлин М.Л. Принцип нелокального поиска в системах автоматической оптимизации. ДАН СССР, 137, №2(1961), 295-298.

15. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация М.: Мир, 1985, 509с.15а.Гилл Ф., Мюррей У. Численные методы условной оптимизации. М. Мир, 290с.

16. Годунов С.К., Рябенький B.C. Разностные схемы. М.: Наука, 1973, 400с.

17. Годунов С.К., Антонов А.Г., Кирилкж О.П., Костин В.И. Гарантированная точность решения систем линейных уравнений. Новосибирск: Наука, Сиб. отд., 1988.

18. Голуб Дж., Ван Лоун Ч. Матричные вычисления. М.: Мир, 1999. - 548с.

19. Деммель Дж. Вычислительная линейная алгебра. М.: Мир, 2001.

20. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир, 1988.

21. Дж. Ван Гиг. Прикладная общая теория систем. М.: Мир, 1981. т. 1,2

22. Дорф Р., Бишоп Р. Современные системы управления. М.: Лаборатория Базовых Знаний, 2002. — 832с.: ил.

23. Дьяконов В., Круглов В. Математические пакеты расширения MATLAB. Специальный справочник. СПб.: Питер, 2001. - 480с.: ил.

24. Дьяконов В.П. MathCAD 8: Специальный справочник. СПб.: Питер, 2000.

25. Дьяконов В.П. Mathematica 4: Учебный курс. СПб.: Питер, 2001.

26. Дьяконов В.П. MATLAB 6: Учебный курс.-СПб.: Питер, 2001. -592с.: ил.

27. Евтушенков Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. М.: Наука, 1982 - 432с.

28. Евтушенков 10.Г., Мазурик В.П. Программное обеспечение систем оптимизации. М.: Знание, 1989, 47с.

29. Емелин И.В., Красносельский М.А. Правила остановки в итерационных процедурах решения некорректных задач. — Автоматика и телемеханика, 1978, №12, с.59-63.

30. ЗО.Зиглер К. Методы проектирования программных систем. М.: Мир, 1985. -328с.: ил.

31. Йодан Э. Структурное проектирования и конструирование программ. М.: Мир, 1979.-415с.

32. Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение. М.: Мир, 2001. - 575с., ил.

33. Кепдэл М. Ранговые корреляции. М.: Статистика, 1975 - 216с., ил.

34. Киммел П. и др. Borland С++ 5. СПб: BHV, 1999. - 976с.: ил.

35. Кроу К. и др. Математическое моделирование химических производств. -М.: Мир, 1973.-391с.

36. Крылов A.M. Лекции о приближенных вычислениях. М.: Гостехиздат, 1950.

37. Кублановская В.Н. О некоторых алгорифмах для решения полной проблемы собственных значений. Журнал вычислительной математики и математической физики, т.1., №4, с.555-570, 1961.

38. Куликов А. Н., Фазылов В. Р. Выпуклая оптимизация с заданной точностью. Ж. выч. матем. и матем. физики, 1990, Т. 30, № 5, с.663-671.

39. Лаврентьев М.М. О некоторых некорректных задачах математической физики. Новосибирск, Изд. СО АН СССР, 1962.

40. Леонов А. С., Ягола А. Г. Адаптивные регуляризующие алгоритмы для решения некорректных задач. Вестник Московск. ун-та, серия 3, Физика, астрономия, 1998, № 2, С. 62-63.

41. Липаев В.В. Отладка сложных программ. М.: Энергоатомиздат, 1993

42. Липаев В.В. Проектирование программных средств. М.: Высш. шк., 1990. -303с.: ил.

43. Липаев В.В. Тестирование программ. -М.: Радио и связь, 1986

44. Майерс Г. Надежность программного обеспечения. М.: Мир, 1982 - 360с.

45. Малышев А.Н. Гарантированная точность в спектральных задачах линейной алгебры // Вычислительные методы линейной алгебры. Новосибирск: Наука. Сиб. отд., 1990, с. 19-104.

46. Марчук Г.И. Методы вычислительной математики — М.: Наука, 1989.

47. Марчук Г.И. Методы вычислительной математики Новосибирск.: Наука, 1973.

48. Марчук, Г.И., Шайдуров, В.В. Повышение точности решений разностных схем. М.: Наука, 1979, 320с.

49. Математические модели в иммунологии и медицине. Под ред. Г.И. Марчука и Л.Н. Белых.-М.: Мир, 1986.-310с., ил.

50. Моисеев Н.Н. Математические задачи системного анализа-М.: Наука, 1981.

51. Моисеев H.I I. Методы оптимизации. М.: ВЦ АН СССР, 1969.

52. Морозов В. А. Регуляризация при больших помехах. Ж. вычисл. матем. и матем. физики, 1996, Т. 36, № 9, С. 13-21.

53. Морозов В. А., Медведев Н. В., Иваницкий А. Ю. Регуляризация задач алгебры и анализа. — М.: Изд-во МГУ, 1987.

54. Мэтьюз Д.Г., Финк К.Д. Численные методы-М.: Изд. Дом "Вильямс",2001.

55. Натансон И.П. Теория функций вещественной переменной, изд. 2, Гостехиздат, 1957.

56. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. М.: Наука, 1972. — 304с.

57. Исйлор Т. Машинные имитационные эксперименты с моделями экономических систем. -М.: Мир, 1975. 500с.: ил.

58. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. -Л.: Энергоатомиздат, 1991.-304с.: ил.59.0птнер С. Системный анализ для решения деловых и промышленных проблем. М.: Сов. радио, 1969. - 216с.

59. Ортега Дж., Рейнболдт В. Итерационные методы решения нелинейных систем уравнений со многими неизвестными. М.: Мир, 1975, 558с.бКОстрем К., Виттенмарк Б. Системы управления с ЭВМ. М.: Мир, 1987. -480с., ил.

60. Островский Г.М., Волин Ю.М. Методы оптимизации сложных химико-технологических схем. М.: Химия, 1970. - 328с.

61. Отнес Р., Эноксон Л. Прикладной анализ временных рядов. Основные методы.-М.: Мир, 1982.-428с.

62. Пантелеев А.В., Летова Т.А. Методы оптимизации в примерах и задачах. — М.: Высш. шк., 2002. 544с.: ил.

63. Пакеты прикладных программ. Программное обеспечение оптимизационных задач / Под. ред. Самарского, А.А. М.: Наука, 1987, 120с.

64. Паиарин, А.И., Равшанов, И.Т., Щенников, В.В. Оптимизация обобщенных разностных схем, построенных на основе метода параметрической коррекции;

65. Науч. совет по компл. проблемы "Кибернетика" АН СССР. Препринт. - М.: 1986, 60с.

66. Полак Э. Числеиные методы оптимизации М.: Мир, 1974, 376с.

67. Пшеничный Б.Н., Данилин Ю.М. Численные методы в экстремальных задачах. М.: Наука, 1975, 320с.

68. Райе Дж. Матричные вычисления и математическое обеспечение. — М.: Мир, 1984.

69. Растригин J1. А. Системы экстремального управления. М.: Наука, 1974. -632с.: ил.

70. Растригин Л. А. Современные принципы управления сложными объектами.I- М.: Сов. радио, 1980. 232с.: ил.

71. Реклейтис, Г., Реивендран, А., Рэгсдел, К. Оптимизация в технике: в 2 кн. — М.: Мир, 1986, 349с.

72. Самарский А.А. Теория разностных схем. М.: Наука, 1977.

73. Системный анализ и принятие решений: Словарь-справочник / Под ред. В.Н. Волковой, В.Н. Козлова. М.: Высшая школа, 2004. - 616с.: ил. ( 75. Соммервил, Иан. Инженерия программного обеспечения. - М.: Изд. дом1. Вильяме, 2002.-624с.

74. Сухарев А.Г., Тимохов А.В., Федоров В.В. Курс методов оптимизации. М.: Наука, 1986, 326с.I

75. Тетерев А.Г. Методы одномерной оптимизации. Куйбышев: Изд. Куйбышевск. ун-та, 1983.

76. Тихонов А.Н. и др. Регуляризующие алгоритмы и априорная информация. -► М.: Наука, 1983,200с.

77. Тихонов А.Н. О решении некорректно поставленных задач и методе регуляризации.-ДАН СССР, 1963, 151, №3, с.501-504.

78. Уайлд Д. Дж. Методы поиска экстремума. М.: Наука, 1967.

79. Уилкинсон Дж. X. Алгебраическая проблема собственных значений. — М.: Наука, 1970.-564с.

80. Уилкинсои Дж. X., Райнш К. Справочник алгоритмов на языке ALGOL. Линейная алгебра. Пер. с англ. Под ред. д.т.н., проф. Ю.И. Топчеева. М.: "Машиностроение", 1976,390с

81. Фадеев Д.К., Фадеева В.П. Вычислительные методы линейной алгебры. -М.: Физмаггиз, 1963.

82. Фиакко А., Мак-Кормик Г. Нелинейное программирование. -М.: Мир, 1972. -240с.

83. Форсайт Дж., Малькольм М., Моулер К. Машинные методы математических вычислений -М.: Мир, 1980, 279с.

84. Форсайт Дж., Молер К. Численное решение систем линейных алгебраических уравнений. М.: Мир, 1969, 167с.

85. Хартман К., Лецкий Э., Шефер В. Планирование эксперимента в исследовании технологических процессов. М.: Мир, 1977. - 552с.

86. Хемминг Р.В. Численные методы. М.: Наука, 1968. -400с.

87. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975, 534с.

88. Хорн Р., Джонсон Ч. Матричный анализ. М.: Мир, 1989, 655с.

89. Цветков Э.И. Процессорные измерительные средства. Л.: Энергоатомиздат, 1989.— 224с., ил.

90. Шеннон Р. Имитационное моделирование систем. М.: Мир, 1978. - 418с.

91. Шеридан Т.Б., Феррелл У.Р. Системы человек-машина. М.: Машиностроение, 1980.-400с.: ил.

92. Яновский А.Г. Структурные методы анализа и синтеза программных систем. Мет. указания. Волгоград: ВолГУ, 1989. — 34с.

93. Яновский А.Г., Яновский Т.А. Библиография по методам оптимизации: теория, алгоритмы, реализация, смежные результаты // Волгоградский государственный университет. Волгоград, 2005 - 46с. - Деп. в ВИНИТИ 25.02.05 №264-В2005

94. Яновский Т.А. Сравнительные численные исследования системы квазиньютоновской оптимизации ProfMiniHP-2004 и подсистем оптимизации MATLAB 6, Mathematica 4, MathCAD 8 // Вестник ВолГУ. 2005. Ч. 2. с.23-27

95. Яновский Т.А., Камаев В.А., Яновский А.Г. Адаптивное численное дифференцирование. // Информационные технологии в образовании, технике и медицине: Материалы международной конференции. В 3-х т. Т.2./ВолгГТУ. Волгоград, 2004. - с.314-320

96. Aasen J.O.( 1971) On the Reduction of a Symmetric Matrix to Tridiagonal Form, BIT 11,233-242.

97. Aird T.J., Lynch R.E.(1975) Computable accurate upper and lower error bounds for approximate solutions of linear algebra systems, ACM Transactions on Mathematical Software, 1, pp. 217-231.

98. Altman M. Generalised gradient methods of minimizing a functional, Bull. Acad. Polon. Sci., Ser. Sci. Math. Astronom. Phys., 14, 313-318, 1966

99. Anderssen R. S. and Bloomfield P. Numerical differentiation procedures for nonexact data, Num. Math. 22, 1974

100. ANSI/IEEE, New York. IEEE Standard for Binary Floating Point Arithmetic, Std 754-1985 edition, 1985.

101. ANSI/IEEE, New York. IEEE Standard for Radix Independent Floating Point Arithmetic, Std 854-1987 edition, 1987.

102. Armijo L. Minimization of functions having Lipshitz — continuous first partial derivatives, Pacific J. Math. 16,1-3,1966

103. Automatic differentiation and iterative processes. Optimization Methods and Software, 1 (1992) 13-21.

104. Avriel M. Nonlinear Programming: Analysis and Methods, Prientice-Hall, Inc., Englewood Cliffs, New Jersey, 1976.

105. Bard Y. (1968), On a numerical instability of Davidon-like method. Math. Сотр., 22, 665-060.

106. Berman G. Minimization by successive approximation, SI AM J. Numer. Anal., 3, 123-133, 1966

107. Biegler Т., Ghattas O., Heinkenschloss M. and B. Van Bloemen Waanders, eds (2003), High performance algorithms and software for nonlinear optimization, Springer Verlag, Heidelberg, Berlin, New York.

108. Blue J. A portable FORTRAN program to find the Euclidean norm of a vector. ACM Transactions on Mathematical Software, 4:15-23, 1978.

109. Box M. J., Davies D., Swann W. H. Nonlinear Optimization Techniques, Chemical Industries Monograph 5, Oliver and Boyd, Edinburgh, 1970

110. Brent R. P. Algorithms for Minimization without Derivatives, Prentice-Hall, Inc., Englewood Cliffs, New Jersey, 1973

111. Brodlie K. W. An assessment of two approaches to variable metric methods, Math. Prog. 12, 1977.

112. Broyden C. G. (1969) A new double-rank minimization algorithm, AMS Notices 16,670.

113. Broyden C. G. Quasi-Newton methods and their application to function minimization, Mathematics of Computation 21, 1967. 577:593.

114. Broyden C.G., Dennis J.E., More J.J. On the local and superlinear convergence of quasi-Nevvton methods, J.l.M.A. 12, 223-246, 1973

115. Broyden G. G., The Convergence of a Class of Double-Rank Minimizatior Algorithms, J. Inst Math. Appl., 6, 76-90, 222-231 (1970).

116. Broyden, C. G. Quasi-Newton methods. In "Numerical Methods for Unconstrained Optimization" (W. Murray, ed.), 87-106, Academic Press, London, New York, 1972.

117. Cheng S. H., Higham N. J. (1996), A modified Cholesky algorithm based on a symmetric indefinite factorization. Numerical Analysis Report No. 289, Manchester Centre for Computational Mathematics, Manchester, England.

118. Claine A.K., Moller C.B., Stewart G.W., Wilkinson J.H. An estimate for the condition number of a matrix, SI AM. J. Numer. Anal. 16, 368-375, 1979.

119. Cody, W. J. 1988. Floating-Point Standards — Theory and Practice, in "Reliability in Computing: the role of interval methods in scientific computing", ed. by Ramon E. Moore, pp. 99-107, Academic Press, Boston, MA.

120. Coggins G. F. Univariate Search Methods, Imperial Chemical Industries Ltd., Central Instr. Lab. Res. Note 64/11, 1964

121. Colville A. R., A Comparative Study of Nonlinear Programming Codes, Tech. Rep. No. 320-2949, IBM New York Scientific Center, June 1968.

122. Conn A. R., Gould N. I. M. and Toint Ph. L. (1991), Convergence of quasi-Nevvton matrices generated by the Symmetric Rank One update, Math. Programming, 50, 177-196 (see also Math. Сотр. 50 (1988) 399:430).

123. Conn A. R., Gould N. I. M., Toint Ph. L. (1988), Testing a class of methods for solving minimization problems with simple bounds on the variables, Mathematics of Computation 50, 399-430.

124. Curry H. The method of steepest descent for nonlinear minimization problems, Quart. Appl. Math., 2, 258-261, 1944

125. Curties, A. R., Reid, J. K. On the automatic scaling of matrices for Gaussian elimination, J. Inst. Maths Applies, 10, 118-124, 1972141 .Dahlquist G., Bjorck A. (1974), Numerical Methods, Prentice-Hall Inc., Engle-wood Cliffs, New Jersey.

126. Davidon W.C. Variable metric methods for minimization, Argonne National Labs Report ANL-5990, 1959.

127. Dekker T. J. (1969), «Finding a zero by means of successive linear interpolation», in Constructive Aspects of the Fundamental Theorem of Algebra (B. Dejon and P. Henrici, eds.), pp. 37-48, Wiley Interscience, London.

128. Dennis J. E., Jr. and Schnabel R. E. A new derivation of symmetric positive definite secant updates, Report CU-CS-185-80, Department of Mathematical Sciences, Rice University, 1980

129. Dennis J. E., Jr., More J. J. A characterization of superlinear convergence and its application to quasi-Newton methods, Mathematics of Computation 28, 1974.

130. Dennis J. E., Jr., Schnabel R. E. Least change secant updates for quasi-Newton methods, SI AM Review 21, 1979.

131. Dennis J.E. A brief introduction to quasi-Newton methods, in Numerical Analysis, ed. by Golub G.H., Oliger J., AMS, Providence, R.I., 19-52, 1978.

132. Dennis, J.E., More, J.J. Quasi-Newton methods motivation and theory. SI AM Review, 1977, 19, №1,46-89.

133. Dennis J. E., Jr., Marwil E. S. (1982) Direct secant updates of matrix factorizations, Math. Comp 38, 459-474.

134. Di Pillo G. and Murli A., eds (2003), High Performance Algorithms and Software in Nonlinear Optimization, Kluwer Academic Publishers, Dordrecht, The Netherlands.

135. Dongarra J.J., Bunch J.R., Moler C.B., Stuart G.W. (1979), UNPACK Users Guide. Soc. Indust. Appl. Math., Philadelphia, 368 pages.

136. Dontchev A. L., Zolezzi T. (1993), Well-Posed Optimization Problems. Springer — Verlag, Berlin —Heidelberg.

137. Eason E. D., Fenton R. G., 'A Comparison of Numerical Optimization Methods for Engineering Design, J. Eng. Ind., Trans. ASME, 96( 1), 196—200 (1974).

138. Eason E. D., Validity of Colville's Time Standartization for Comparing Optimization Codes, ASME Des. Eng Tech. Conf., paper no. 77-DET-116, Chicago, Sept. 1977.

139. Fletcher R. (1970), A new approach to variable metric algorithms, Computer Journal 13, pp. 317-322.

140. Fletcher R. (1972), Fortran subroutines for minimization by quasi-Newton methods, AERE Rept. R. 7125.

141. Fletcher R. Factorizing symmetric indefinite matrix, Linear Algebra and its Applies. 14, pp. 257-272. 1976.

142. Fletcher R. Practical Methods of Optimization, Volume 1, Unconstrained Optimization, John Wiley and Sons, New York and Toronto, 1980

143. Fletcher R. Practical Optimization, John Wiley & Sons, New York, 1987.

144. Fletcher R. (2000), Practical Methods of Optimization, second edition.

145. Fletcher R., Powell M. J. D., A Rapidly Convergent Descent Method for Minimization, Computer J., 6, 163-168 (1963).

146. Frank P., Schnabel R.B. Calculation of the initial Hessian approximation in second algorithms, 1982.

147. Gersgorin S. Uber die Abgrenzung der Eigenwerte einer Matrix. Изв. AH СССР, 1931, т. 7, с.749-754.

148. Gilbert J.-Ch., Lemarechal C. (1989), Some numerical experiments with variablestorage quasi-Newton algorithms, Mathematical Programming, Series В 45(3), 407-435.

149. Gilbert, J.C., Nocedal, J. Automatic differentiation and the step computation in the limited memory BFGS method. Appl. Mathematics Letters, 6(1993) 47-50.

150. Gill P. E., Murray W. (1972), Quasi-Newton methods for unconstrained optimization, J. Inst. Maths Applies, 9, 91-108.

151. Gill P. E., Murray W., Picken S. M. (1972), The implementation of two modified Newton algorithms for unconstrained optimization, Nat. Phys. Lab. Rept. NAC, 24.

152. Gill P. E., Murray W., Pitfield R. A. (1972), The implementation of two revised quasi-Newton algorithms for unconstrained optimization, Nat. Phys. Lab. Rept. NAC, 11.

153. Gill P. E., Murray W., Saunders M. A. (1974), Methods for computing and modifying the LDV factors of a matrix, Nat. Phys. Lab. Rept. NAC, 56.

154. Gill P. E., Murray W., Saunders M. A. (1975), Methods for computing and modifying the LDV factors of a matrix, Math. Computation 29, pp. 1051- 1077.

155. Gill P.E., Golub G.H., Murray W., Sunders M.A. Methods for modifying matrix factorizations, Math. Сотр. 28, 505-535, 1974.

156. Gill, P.E., Leonard, M.W. Reduced-Hessian Quasi-Newton Methods for Unconstrained Optimization SIAM Journal on Optimization

157. Goldberg D. What every computer scientist should know about floating point arithmetic. ACM Computing Surveys, 23:5-4b, 1991.

158. Goldfarb D. (1970), A family of variable metric methods derived by variational means, Mathematics of Computation 24, pp, 23-26.

159. Goldfarb D. Factorized variable-metric methods for unconstrained optimization, Math. Сотр. 30, 796-811, 1976.

160. Goldfarb D., Generating Conjugate Directions without Line Searches Using Factorized Variable Metric Updating Formulas, Math. Prog., 13, 94-110 (1977).

161. Goldfeld S. M., Quandt R. E., Trotter I I. F. (1966), Maximization by quadratic hill-climbing, Econometrica 34, pp. 541-551.

162. Goldstein Л.Л., Price J. An effective algorithm for minimization, Numer. Math. 10 pp. 184-189. 1967.

163. Golub G. and Kahan W. Calculating the singular values and pseudo-inverse of a matrix. SI AM J. Numer. Anal. (Series B), 2:205-224, 1965.

164. Golub G. H., Reinsch C. (1971), «Singular value decomposition and least-squares solutions», in Handbook for Automatic Computation, Vol. II (J. H. Wilkinson and C. Reinsch, eds.), pp. 134-151, Springer-Verlag, Berlin, Heidelberg and New York.

165. Gould N.I.M., Leiffer S. An introduction to algorithms for nonlinear optimization. RAL-TR-2002-031. Computational Science and Engineering Department, Atlas Center, Rutherford Appleton Laboratory Oxfordshire OX1 Г OQX, December 17, 2002.

166. Graham S. R. (1976), A matrix factorization and its application to unconstrained minimization, Project thesis for BSc. (Hons) in Mathematics for Business, Middlesex Polytechnic, Enfield, England.

167. Greenstadt J. L. (1970), Variations on variable-metric methods, Mathematics of Computation 24, pp. 1-22.

168. Greenstadt J. L. A quasi-Newton method with no derivatives, Mathematics of Computation 26, 1972.

169. Greenstadt J., On the relative efficiencies of gradient methods. Math. Computational, 21, 1967.

170. Griewank A. O, Toint Ph. L. (1982) Local convergence analysis for partitioned quasi-Newton updates in the Broyden class, Numer. Math. 39, 429-448.

171. Griewank A. (2000), Evaluating derivatives: principles and techniques of algorithmic differentiation, number 19 in Frontiers in Applied Mathematics, SIAM, Philadelphia, USA.

172. Hebden, M. D. An algorithm for minimization using exact second derivatives, AERE ReptTP. 515, 1973

173. Johnson S. M. (1956), Optimum search for a maximum is Fibonaccian. RAND Corp. Report P-856, Santa-Monica, Calif.

174. Kahan W. Lecture Notes on the Status of IEEE Standard 754 for Binary Floating-Point Arithmetic, University of California, Berkeley CA 94720-1776. May 31, 1996.

175. Kelley, C.T., Sachs, E. W., Approximate quasi-Newton methods, Mathematical Programming, ser. B, 48 (1990), pp. 41-70.

176. Kifer J., Optimum sequential search and approximation methods and minimum regularity assumptions, G. Soc. Ind. Appl. Math. 5, 3(Sept. 1957) p. 125

177. Kifer J., Sequential minimax search for a maximum, Proc. Am. Math. Soc. 4(1953), p.502

178. Leone R. D., Murli A., Pardalos P. M. and Toraldo G., eds (1998), High Performance Algorithms and Software in Nonlinear Optimization, Kluwer Academic Publishers, Dordrecht, The Netherlands.

179. Levenberg K. A method for solution of certain problems in least squares, Quart. Appl. Math. 2, pp. 164 168, 1944.

180. Luenberger D.G.(1973) Introduction to Linear and Nonlinear Programming. Addison Wesley, Reading, Massachusetts.

181. Markowitz, H. Portfolio Selection Jounal of Finance 7, March 1952.

182. Marquardt D. An Algorithm for least squares estimation of nonlinear parameters. SI AM Journal Appl. Math., 11,431-441. 1963.

183. McCormick G. P. (1977), A modification of Armijo's step-size rule for negative curvature, Math. Prog. 13, pp. 11-115.

184. Meyer G.E., Properties of the conjugate gradient and Davidon methods, Analytical Mechanics Associates, Inc., Wesbury, New York, 1967.

185. More J. J. and Thuente D. J. (1994), Line search algorithms with guaranteed sufficient decrease, ACM Transactions on Math. Software 20(3), 286-307.

186. More J.J. (1977), «The Levenberg-Marquardt algorithm: implementation and theory», in Numerical Analysis (G.A.Watson, ed.), pp. 105-116, Lecture Notes in Mathematics 630, Springer-Verlag, Berlin, Heidelberg and New York.

187. Moriyama, H., N. Yamashita and M. Fukushima, The incremental Gauss-Newton algorithm with adaptive stepsize rule, Technical Report 2001-002, Department of Applied Mathematics and Physics, Kyoto University (2001).

188. Murray, W. The relationship between the approximate Hessian matrices generated by a class of quasi-Newton methods, Nat. Phys. Lab. Rept NAC, 12, 1972.

189. Nocedal J. and Wright S. J. (1999), Numerical optimization, Springer Verlag.21 l.Nocedal, J. with P. Bjorstad Analysis of a New Algorithm for One-dimensional Minimization (1979), Computing 22, pp. 93-100.

190. Nocedal, J., Byrd R., Liu D. On the Behavior of Broyden's Class of Quasi-Newton Methods, (1992), SIAM Journal on Optimization, 2, 4, pp. 533-557.

191. Nocedal, J., Gilbert J. C. The Limited Memory Step Computation and Automatic Differentiation, (1993), Appl. Math Letters, Vol. 6, No. 3, pp. 47-50.

192. Nocedal, J., with A. Sartenaer and C. Zhu. On the Accuracy of Nonlinear Optimization Algorithms, Technical Report OTC 98/07, Optimization Technology Center, Northwestern University, (1998) submitted for publication in SIAM J. Optimization.

193. Nocedal, J., with C. Zhu, R. Byrd and P. Lu Algorithm 778: L-BFGS-B, FORTRAN routines for large scale bound constrained optimization, (1997), ACM Transactions on Mathematical Software, Vol 23, Num. 4, pp. 550 560.

194. Nocedal, J., with M. Lalee. Automatic Column Scaling Strategies for Quasi-Newton Methods, SIAM Journal on Optimization, Vol.3, 3, 1993, pp. 637-653.

195. Nocedal, J., Yuan Y. Analysis of a Self-Scaling Quasi-Newton Method, (1993), Mathematical Programming, Vol. 61, no. 1, pp. 19-37.218.0'Leary D. P. (1980), Estimating matrix condition numbers, SIAM J. Sci. Stat. Comput. 1, pp. 205-209.

196. Oliver J. (1980), An algorithm for numerical differentiation of a function of one real variable, J. Сотр. Appl. Math. 6, pp. 145-160.

197. Oliver J., Ruffhead A. (1975), The selection of interpolation points in numerical differentiation, Nordisk Tidskr. Informationbehandling (BIT) 15, pp. 283-295.

198. Partlett B.N. and Reid J.K.(1970) "On the Solution of a System of Linear Equations Whose Matrix is Symmetric but not Definite", BIT 10, 386-397.

199. Pearson, J. On variable metric methods of minimization. Сотр. J., 1971, 12, №2, 171-178.

200. Pearson, J.D., Computer J., 13, 171(1969)

201. Phua, P. К. H. Y. L. Zeng and X. F. Ma, Restricted Scaling Algorithms for Quasi-Newton Methods. Optimization (Germany).

202. Phua, P.K.H., Chew B.W., Symmetric rank-one update and quasi-Newton methods, In International Conference on Optimisation: Techniques and Applications, 3-5 June 1992, NUS, Singapore.

203. Powell M. J. D. (1977), Restart procedures for the conjugate gradient method, Mathematical Programming 12(2), 241-254.

204. Powell M. J. D. "Some global convergence properties of a variable metric algorithm without exact line searches", in SIAM—AMS Proceedings, Volume IX, Mathematical Programming (R. C. Cottle and С. E. Lemke, eds.), Americani

205. Mathematical Society, Providence, Rhode Island, 1976.

206. Powell M. J. D. On the convergence of the variable metric algorithm, J. Inst. Maths. Applies 7, 1971.233a.Powell M. J. D., Computer J., 7, 155(1964).

207. Ragsdell К. M., The Evaluation of Optimization Software for Engineering Design, Proceedings of the U. S. Bureau of Standards/Mathematical Programming Society Conference on Testing and Validating Algorithms and Software,

208. Boulder, CO, Springer-Verlag, Lecture Notes in Economics and Mathematical Systems, Vol. 199, pp. 358—379, 1982.

209. Root R. R., Ragsdell К. M., BIAS: A Nonlinear Programming Code in Fortran IV Users Manual, Purdue Research Foundation, West Lafayette, IN, 1978.

210. Rutishauser H. (1966). "The Jacobi Method for Real Symmetric Matrices", Numer. Math. 9, 1-10.i 237.Schanno D. F., Phua К. H. (1978) Matrix conditioning and nonlinearoptimization, Math. Prog. 14, 145-160.

211. Schnabel R. В., Eskow E. (1991), A new modified Cholesky factorization. SIAM Journal on Scientific Computing, 1 1(6), 1136-1158.

212. Schnabel R.B. Convergence of quasi-Newton updates to correct derivativevalues, 1982

213. Shanno D. F. (1970), Conditioning of quasi-Newton methods for function minimization, Mathematics of Computation 24, pp. 647-657.

214. Shanno, D. F. and P. К. H. Phua, Inexact step lengths and Quasi-Newton methods. In Proceedings, International Federation for Information Processing (IFIP) Congress 77, pp. 189-193. The Netherlands, 1977.

215. Shanno, D. F. and P. К. H. Phua (1978), Numerical comparison of several variable metric algorithms, J. Optim. Theory Appl. 25, 507-518

216. Shanno, D.F. "An example of numerical nonconvergence of a variable metric method", JOTA, 46, (1), May 1985, pp. 87-94.

217. Shanno, D.F., Berg A., Cheston G. "Restarts and rotations of quasi-Newton methods," Information Processing, 74, J.L. Rosenfeld, ed., North Holland, 1974, pp. 557-561.

218. Slapnicar I. Accurate Symmetric Eigenredaction by a Jacobi Method. Ph. D. 1 thesis, Fernuniversitat Hagen, Hagen, Germany, 1992.

219. Spedicato, E. Computational experience with Quasi-Newton algorithms for minimization problems of moderately large size. In: Toward global ( optimization 2/Ed. L. Dixon - Amsterdam: North-Holl., 1978, 209-213.

220. Mathematics of Computation 33, pp. 1257-1264.

221. Stewart G. W. (1967), A modification of Davidon's minimization method to ) accept difference approximations of derivatives. J. ACM, 14, 72-83.

222. Stoer J. (1975), On the convergence rate of imperfect minimization algorithms in Broyden's p-class, Math. Prog. 9, pp. 313-385.

223. Stoer J. (1977), On the relation between quadratic termination and convergence * properties of minimization algorithms, Part I, Num. Math. 28, pp. 343-366.

224. Swann W. H., Report on the Development of A Direct Search Method of Optimization, ICI Ltd., Central Instr. Res. Lab., Res. Note, 64/3, London, 1964.

225. Tapia, R., Contreras A. Sizing the BFGS and DFP Updates: A Numerical Study, Journal of Optimization Theory and Applications, 78 (1993), 93-108.254.

226. Thomas, S. Sequential estimation techniques for Quasi-Newton algorithms. -Cornell Univ., 1975, TR 75-227.

227. Wilkinson J.H. Two algorithms based on successive linear interpolation, Tech. Report STAN-CS-67-60. Stanford, Calif.: Computer Science Department, Stanford University, 1967

228. Wodd C.F., Westinghaus Res. Lab.(cited in Colwille, IBM N.Y. Sci. Center Rept. 320-2949, June, 1968)

229. Zhu C., Byrd R. H., Lu P.and Nocedal J. (1997), Algorithm 778. L-BFGS-B: Fortran subroutines for large-scale bound constrained optimization, ACM Transactions on Mathematical Software 23(4), 550-560.

230. Smith B.T., Boyle J.M., Dongarra J.J., Moler C.B.(1972) Matrix Eigensystem Routines: EISPACK Guide, 2nd ed., Springer-Verlag, New York.i

231. Система основных математических обозначений

232. X = {Х\,.,Хп)т вектор-столбец независимых переменных Xj е R. для V/ = \,.п, т.е. X е R"

233. Хт вектор X транспонированный, т.е. вектор-строка (Х\,.,Хп)

234. У, Z, Р, S,U,A другие векторы в R"2.Матрицы=Hjj.,i = \,.,n,j = \,.,n матрица в R"x"

235. А, В, С, D, L- другие матрицы в Rnx"

236. Унитреугольная матрица нижняя или верхняя треугольная матрица с единичной главной диагональю

237. Векторно-матричные операции

238. X,Y) = XTYeRl скалярное(евклидово или внутреннее) произведение векторов X,Y е R"

239. X) (Y = XYT е R"xn диада или внешнее произведение векторов X, Y е R"

240. Z аХ + Y, Z,X,Y е R", а е R1 - векторная операция saxpy

241. Z = АХ + Y, Z,Y<=Rm, X <= R", А е Rmx" векторно-матричная операция gaxpy

242. Сиектральиое, по Холесскому и сингулярное разложение матриц1. AU = AU A, A,U е Rnxn

243. А = diag(A.,.,An), Л,- собственные значения матрицы A, U- собственныйвектор, отвечающий некоторому собственному значению Я,

244. Л/(А)} набор собственных значений матрицы А, иначе спектр матрицы А;р(А) = тах|Л,(Л)| спектральный радиус матрицы А i

245. А = LLT разложение симметричной положительно определенной матрицы А е Rnx" по Холесскому, L е Rnxn - нижняя треугольная матрица с положительными диагональными элементами, L — фактор или треугольник Холесского

246. UrAV = diag(<j\,ар) е /Гх", A, U е Rmxn, V е R"xn, р = min{w, п} -сингулярное разложение(8УО) матрицы А на сингулярные числа о*/, левые U и правые V-t сингулярные векторы5.Нормы1. Г" У/р

247. Векторные /^-нормь^нормы Гёльдера) ||Л"| = XK'I'71/7 V/=l1. Р> 1:1.. =\х\\ + . + \хп\ /]-нормал | ii | |(|д:|| +. + |х/;| ) /2-норма(евклидова) Х\\ =тах|х/| - /да-норма

248. Машинная арифметика и точность операций

249. OFL= 2127(« 1.701412с+ 38) наибольшее машинное число с плавающей точкой

250. Листинги результатов численных исследований подсистемы регуляризации ReguIHessInvert системы ProfMiniHP 1.Матрица

251. Computer System ReguIHessInvert of Hessian H regularization based on modified Cholesky LLt-factorization Authors: Timur Yanovsky, Alexander Yanovsky Volgograd State University, July 2005, Version 5.3 Date of testing: July,27th

252. Generalized diagonally start matrix Hinit with

253. Preliminary Mu and MaxAdd estimation(Control Points 1,2,3):1. Control Point 1

254. Test 1: MinDiag<-MaxPosDiag/PowDLCond? Test result: True

255. Mu and MaxDiag estimation: Mu=l.001000e+03, MaxDiag-5.001001e+06 Control Point 2

256. Test 2: MaxExoDiag*(1.0 + 2.0 *PowMachEps)>MaxDiag?1. Test result: True1. Recount of Mu, MaxDiag:1. Mu=5.006906et061. MaxDiag=l.000691e+07

257. Control Point 3 Test 3: MaxDiag=0.0? Test result: False

258. Mu-5.00690 6e+06 and MaxDiag=l.000691e+07 are not recounted Control Point 4

259. Recount of II matrix to H=H4Mu*I with Mu-5.006906e+06: Hl. [11=5.006904e+06 H [ 2 ] [2]=5.007006e+06 H [ 3] [3]=5.036906e+06 H[4] [4]=1.000691e+071. Control Point 5

260. Results of Modified Cholesky Factorization: Matrix I,: 3.161186e+030.000000e+00 2.237634e+03 0.000000e f00 0.000000e + 00 2.244305e+03 3.163369e+03 0.000000e+00 0.000000e+00 5.877971e+01 MaxAdd-4.986194e+06

261. End of Modified Cholesky Factorization

262. Estimation of Sdd, such that H+Sdd*I will be a matrixwith reliable strictly diagonally dominant (Control Points 6,7):1. Control Point 6

263. MaxEigVal, MinEigVal estimation:

264. MaxE igVa1=2.000691e + 07, MinEigVal=-4 .993096e+06

265. Control Point 7 Sdd=5.001727e+061. Control Point 8

266. Mu=min{MaxAdd,Sdd}=min(4.986194e+06,5.001727e+06)=4.986194e+061. Control Point 9

267. Recount of H matrix to H+Mu*I1. H 1 . [l]=9.993098e+061. H 2. [2]=9.993200e^61. H 3 . [3]=1.002310еЮ71. H4.[4]-1.499310e+07with Mu=4.986194e+06:1. Control Point 10

268. Results of Standard Cholesky Factorization: Matrix L: 3. 161186e + 030.000000e+00 3.161202e+03 0.000000c<00 0.000000e+00 3.163369C+03 0.000000e+00 End of Standard Cholesky Factorization3.165928e+030.000000e+00 2.232979e+031. Finish Results:

269. Mu-Perturbed positive definition and symmetric matrix Hmodi f:0.000000e+00 9. 993200еЮ6 0.000000e+00 0.000000e+00 | |Hmodif HinitI I 2: 9.993100e + 06 ||Hmodif - HinitllF: 1.998620e+07

270. End of Computer System RegulHessInvert calculation9.993098e+06 0.000000e+00 0.000000e+00 1.000000et070.000000e+00 0.000000e+00 1.002310e+07 0.000000e+001.000000e+07 0.000000e+00 О.ООООООе+ОО 1 .4 9 9310e + 07i2.Матрица Раиса НR

271. Computer System RegulHessInvert of Hessian H regularization based on modified Cholesky LLt-factorization Authors: Timur Yanovsky, Alexander Yanovsky Volgograd State University, July 2005, Version 5.3 Date of testing: July,27th

272. Preliminary Mu and MaxAdd estimation(Control Points 1,2,3):1. Control Point 1

273. Test 1: MinDiag<=MaxPosDiag/PowDLCond? Test result: True

274. Mu and MaxDiag estimation: Mu=8.7 99638e+03, MaxDiag=4.40220.e+07 Control Point 2

275. Test 2: MaxExoDiag* (1.0 + 2.0 *PowMachEps)>MaxDiag? Test result: False

276. Mu = 8.799638e-(03 and MaxDiag=4 .402201e + 07 are not recounted

277. Control Point 3 Test 3: MaxDiag=0.0? Test result: False

278. Mu=8.799638e+03 and MaxDiag=4.40220le+07 are not recounted Control Point 4

279. Recount of H matrix to H=H+Mu*I with Mu=8.799638e+03: H 1 . [11=8. 802642e + 03 11 [ 2 ] [2]=8.881089e + 03 11[3] [3]=2.873001e + 04 H [ 4] [4]=4.402201e + 071. Control Point 5

280. Results of Modified Cholesky Factorization: Matrix L: 1.232856e+027.320410e-02 1.232856e+02 2 . 199173e-01 5. 962407e-(00 1.693943e + 02 6.606680e-01 5.381160e+01 3.188090ef03 5.818522e+03 MaxAdd-б.396707e+03

281. End of Modified Cholesky Factorization

282. Estimation of Sdd, such that Jl+Sdd*I will be a matrixwith reliable strictly diagonally dominant(Control Points 6,7):1. Control Point 6

283. MaxEigVal, MinEigVal estimation:

284. MaxEigVal = 4 . 4 56909e + 07, Mi.nEigVal=-5 . 123972e + 05

285. Control Point 7 5dd=5.279624e+051. Control Point 8

286. Mu=min{MaxAdd, Sdd} =min (6. 396707e-i 03, 5.2.79624e + 05)=6.3967 07e + 03 Control Point 9

287. Recount of 11 matrix to H+Mu*I with Mu-6.396707c+03: H 1. [l]-1.519935e + 04 H [2] [2]--1.527779e + 04 H[3J [3]=3.512672e+04 H[4] [4]=4 .402841e + 071. Control Point 10

288. Results of Standard Cholesky Factorization: Matrix L: 1.23285f>e + 027 . 320410e-02 1 .236034eK)2 2.199173e-01 5.947081C+00 1.873267e+02 6.606680e-01 5.367327e+01 2.882908e+03 5.976150e+03 End of Standard Cholesky Factorization1. Finish Results:

289. Mu-Perturbed positive definition and symmetric matrix Hmodif:9.025014e+00 1.527779e+04 7.350953O+02 6.634245e+03 I I Hmodi f H i n i t; | | 2: 1.519634e404 I IHmodif - HinitMF: 3.039269e + 04

290. End of Computer System RegulHessInvert calculation1.519935e+04 9.025014e+00 2.711264e+01 8.14Ь087е+012.711264e+01 7.350953e+02 3.512672e+04 5.403651еЮЬ8. 14 5087еЮ 1 6.634245e+03 5. 403651e + 05 4 .40284 le+071. З.Матрица Гильберта Нн

291. Computer System RegulHessTnvert of Hessian H regularization based on modified Cholesky LLt-factorization Authors: Timur Yanovsky, Alexander Yanovsky Volgograd State University, July 2005, Version 5.3 Date of testing: July,27th

292. Preliminary Mu and MaxAdd estimation(Control Points 1,2,3):1. Control Point 1

293. Test 1: MinDi ag<-MaxPosDiag/PowDLCond?1. Test result: False1. Mu-O.OOOOOOelOO1. Control Point 2

294. Test 2: MaxF.xoDiag* (1.0 + 2. 0 *PowMachEps) >MaxD iag? Test result: False

295. Mu=0.OOOOOOe+OO and MaxDiag=l.OOOOOOe+OO are not recounted

296. Control Point 3 Test 3: MaxDiag=0.0? Test result: False

297. Mu=0.OOOOOOetOO and MaxDiag=l.OOOOOOe+OO are not recounted Control Point 5

298. Results of Modified Cholesky Factorization: Matrix L:

299. OOOOOOe+OO 5.000000e-01 З.ЗЗЗЗЗЗе-01 2.500000e-012.886752e-012.886751e-01 7.453570e-02 2.598076e-01 1.118033e-01 MaxAdd=0.OOOOOOe+OO

300. End of Modified Cholesky Factorization1.889883e-021. Finish Results:

301. End of Computer System RegulHessTnvert calculation

302. OOOOOOe+OO 5.000000e-01 3.333333e-01 2.500000e-01

303. Листинги полного протокола квазиньютоновского процесса оптимизации функции Вуда из начальной точки (-3.0,-1.0,-3.0,-1.0) с результатами SVD-анализа обратной квазиньютоновской матрицы Гессе

304. ProfMiniHP-2006: APPLIED NONLINEAR PROGRAMMING with used QUASI-NEWTON METHODS Date of calculations: 14.05.06

305. PRECISION CALCULATIONS answer relative machining precision equal 1.19e-07 NOT NORMALIZATION space X and FX are not normalization

306. CHOICE METHODS OF SOLVING:

307. Single of solving minimization problem for one initial point X Minimal appreciable variations method is not used

308. Gradient approximation with using centrical differences method1.itial invert quasi-Newton matrix answer I

309. Global symmetrical Broyden rank 2 recount method (gsBr2-method): Broyden symmetrica. rank 1 formula variant (gsBr2:Brl-method) Matrix with minimal strictly diagonaly dominant

310. Not normalization of vector particular derivatives Not normalization of vector direct minimization Not normalization initial step unidimensional search

311. Unidimensional search with using Brent regularization method

312. Normalization of criterions convergence with using 11 norm Switch stop-criterion on convergence FX function Switch stop-criterion on convergence vector X components Switch stop-criterion on convergence vector XDIRECT components

313. START OF SOLVING MINIMIZATION PROBLEM for Wodd test-function

314. Starting values of parameters of solving minimization problem Dimension of vector independante variable X: NX=4

315. Parameters tolerance precision of convergence:

316. TOL-0.00000012, SQTOL=3.452670e-04 , TOLGRAD=l.858136e-02

317. TOLAB3D=0.0000003 6, TOLRELD=0.00000036

318. Parameters of maximal number of iterations: ITF,RMINIMAX=50, ITERSEGMENTMAX=50, ITEROPTTMALSTEPMAX=50

319. Parameters of criteria convergence:

320. CRITCONVERG 1.—0, CRITCONVERG[2]~1, CRITCONVERG[3]=1, CRITCONVERG[4]=0, CRITCONVERG[5]=1

321. The initial coordinates of variable X: XREALl.=-3.000000e+00, X[l]=-3.000000e+00 XREAL[2]=-l.000000e+00, X[2]=-l.000000e+00 XRF.AL [ 3 ] =-3 . 000000e + 00, X [ 3 ] =-3 . 000000e +00 XREAL[4]=-l.000000e+00, X[4]=-1.000000e+00

322. Estimation of function value in the initial point: FXREAL=1.919200e+04 FX=1.919200e+04 CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM Number of cycle MINI: 1TERMINI=8

323. Number of call: NFUNM21, NGRAD=8, NDIRECT=8, NQUASIIDENTIFYHF,SSINVERT=1, HAPPROXHE3SINVERT=l, NREGULARHESS 1NVF.RT-1

324. HESSINVERT mat 9.915016е-01 8.044244е-03 8.504 696е-02 -3.349214^-02ix:8 . 04 424 4е-03 9.923856е-01 -8.050232е-02 3. 17024 Зе-028504 696е-02 -8.050232е-02 5.010653е-01 3.351707е-01-3.34 9214е-02 3 .170243е-02 3.351707е-01 8.б80072е-01

325. FULL MATRIX ANALYSIS HESSINVERT

326. Analysis of singular value decomposition(SVD) Spectral radius=1.072489e+00 Condition number=3.823890e+00

327. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

328. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

329. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

330. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but llk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

331. Function F calculation in the points X and XN: FX=4.924553e-01 FXNM.621962e-01

332. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=1, CONDCONVERG2.=1, CONDCONVERG[3]=1, CON DCONVERG[4]=1, CON DCONVERG[5]=1

333. Convergence criteria are not satisfied

334. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

335. Number of cycle MINI: ITERM1NI=16

336. Number of call: NFUN=920, NGRAD=16, ND1RECT=16, NQUAS11DENT IFYHESSINVERT = 1, NAPPROXHESSINVERT=6,NREGULARHESSINVERT=3

337. HESSINVERT mat 8.040454e-01 4.663207e-01 -9.590683e-02 -2.414 72 6e-01ix:4.663207e-01 9. 677 987e-01 -1.426875e-01 -3.584454e-01-9.590683e-02 -1.426875e-01 5.290625e-01 2.901229e-01-2.414726e-01 -3.584454e-01 2.901229e-01 8.903862e-01

338. FULL MATRIX ANALYSIS HESSINVERT

339. Analysis of singular value decomposition(SVD) Spectral radius=l.691694e+00 Condition number=4.683683e+00

340. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

341. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

342. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and 5k

343. Directs Hk*Yk and Sk are quasi-parallel for line = 4 S=6.106701e-01, CRITHYS=9.710158e-01

344. Matrix is well condition, but directions Hk'Yk and Sk are quasi-parallel Matrix regularization is not necessary

345. Function F calculation in the points X and XN: FX-8.711250e-02 FXN=8.44904le-02

346. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=1, CONDCONVERG2.=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

347. Convergence criteria are not satisfied

348. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

349. Number of cycle MINI: ITF,RMINI=24

350. Number of call: NFUN=1418, NGRAD=24, NDIRECT=24, NQUASIIDENTI FYHF,SSINVERT=1, NAPPROXHESSINVERT=10,NRF,GULARHESSINVERT=7

351. HESSINVERT mat 1.086331C+00 6.326820e-01 -2.534061e-01 -1.998979e-01ix:6.326820e-01 1.1 4354 9e+00 -1 . 425224e-01 -3.679990e-01-2.534061e-01 -1.425224e-01 8.393894e-01 4.431156e-01-1.998979e-01 -3.679990e-01 4 . 4 31156e-01 1. 011358e + 00

352. FULL MATRIX ANALYSIS HESSINVERT

353. Analysis of singular value decomposition(SVD) Spectral radius=2.086393e+00 Condition number=6.123614e+00

354. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

355. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

356. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

357. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

358. Function F calculation in the points X and XN: FX=5.501104e-02 FXN=b.334575e-02

359. Coordinates vector condition convergence CONDCONVERG: *

360. CONDCONVERG1.=1, CONDCONVERG2.=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

361. Convergence criteria are not satisfied

362. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

363. Number of cycle MINI: ITERMINI=32

364. Number of call: NFUN=1928, NGRAD=32 , NDIRF.CT=32, NQUAS 11DENTI E'YHESS INVERT=1, NAPPROXHESSINVERT=14,NREGULARHESSINVERT=ll

365. HESSINVERT mat 1.148884e+00 6.724981e-01 -2 . 717569e-01 -2.042838e-01rix:6.724981e-01 1.202282e+00 -1.618958e-01 -3.675431e-01-2.717 569e-01 -1.618958e-01 9. 023224e-01 4 . 68324 5e-01-2.042838e-01 -3 . 675431e-01 4.68324 5e-01 1.04 04 97e -t 00

366. FULL MATRIX ANALYSIS HESSINVERT

367. Analysis of sinqular value decomposition(SVD) Spectral radius=2.193164e+00 Condition number=6.001036c+00

368. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive dofinit.ies HESSINVERT

369. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definitencss I Necessary condition of matrix positive definiteness is not correctly.

370. Analysis condition of parallel direction Hk*Yk and Sk

371. Directs Hk*Yk and Sk are quasi-parallel for line = 4 S=2.3 67 4 99e-02, CRITHYS=3.525043e-02

372. Matrix is well condition, but directions Hk*Yk and Sk are quasi-parallel Matrix regularization is not necessary

373. Function F calculation in the points X and XN: FX-3.799153e-02 FXN=3.360061e-02I

374. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG 1.=1, CONDCONVERG[2]=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[51=1

375. Convergence criteria are not satisfied CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM Number of cycle MINI: ITERMINI=40

376. Number of call: NFUN=2442, NGRAD=40, NDIRECT=40, NQUASIIDENTI FY11ESSINVERT=1, NAPPROXHESSINVERT=17,NREGULARHESSINVERT=14s

377. FULL MATRIX ANALYSIS HESSINVERT

378. Analysis of singular value decomposition(SVD) Spectral radius=2.106832e+00 Condition number=5.481069e+00

379. Condition classification: HESSINVERT is perfectly conditioned matrix ► Analysis condition of positive definities HESSINVERT

380. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

381. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

382. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed J Matrix regularization is necessary

383. Function F calculation in the points X and XN: FX-2.584400e-02 FXN-2.436764e-02

384. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=1, CONDCONVERG2.=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

385. Convergence criteria are not satisfied

386. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

387. Number of cycle MINI: ITERMINI=48

388. Number of call: NFUN-2977, NGRAD=48, NDIRECT=48, NQUASIIDENTIFYHESSINVERT=1, ) NAPPROXHESSINVERT=21, NREGULARHESSIIJVERT=18

389. HESS INVERT mat 1.103903e + 00 6. 442408e-01 -2.649944e-01 -1.943223e-01ix:6.442408e-01 1.208047e+00 -1.763278e-01 -3.672384e-01-2.649944e-01 -1.763278e-01 9.41444 0e-01 4 . 9977 65e-01-1.943223e-01 -3.672384e-01 4.997765e-01 1.064285e+00

390. FULL MATRIX ANALYSIS HESSINVERT

391. Analysis of singular value decomposition(SVD) Spectral radius=2.182032e+00 Condition number=5.797901e+00

392. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

393. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

394. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

395. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

396. Function F calculation in the points X and XN: FX=1.046578e-02 FXN=7.975337e-03

397. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG 1.=1, CONDCONVERG[21=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

398. Convergence criteria are not satisfied

399. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

400. Number of cycle MINI: ITERMINI=56

401. Number of call: NFUN=3531, NGRAD=56, NDIRECT=56, NQUASIIDENTIFYHESSINVERT=1, NAPPROXHESSINVERT=25,NREGULARHESS1NVERT=21

402. HESSINVERT mat 4 . 832723e-01 5. 829767e-01 1. 730986e-01 -2 .116923e-01ix:5. 8297 67e-01 1.205529e+00 -1.867792e-01 -3.678367e-011.730986e-01 -1.867792e-01 6.420875e-01 5.166501e-01-2.116923e-01 -3.678367e-01 5.166501e-01 1 .077425e + 00

403. FULL MATRIX ANALYSIS HESSINVERT

404. Analysis of singular value decomposition(SVD) Spectral radius = l.889236e Ю0 Condition number=1.787838e+03

405. Condition classification: HESSINVERT is sutisfactorily conditioned matrix Analysis condition of positive definities HESSINVERT

406. Condition of strictly diagonally dominant matrix is not correctly for line = 1

407. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

408. Directs IIk*Yk and Sk are quasi-parallel for line = 1 S=8.712892e-04, CRITHYS=2.7262 97e-03

409. Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-paral1eI and necessary condition of positive definiteness is not executed

410. Matrix reqularization is necessary

411. Function F calculation in the points X and XN: FX=9.720814e-04 FXN-4.505124e-04

412. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

413. Convergence criteria are not satisfied

414. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

415. Number of cycle MINI: ITERMINI=64

416. Number of call: NFUN=4111, NGP.AD=64( NDIRECT=64, NQUASIIDENTIFYI1ESSINVERT-1, NAPPROXHESSINVERT=2 9,NREGULARHES3INVERT = 25

417. HESSINVERT mat 5. 694 878e-01 6.064295e-01 1. 886024e-01 -1.857822e-01ix:6.064295e-01 1.204838e+00 -1.817826e-01 -3.686597e-011.886024e-01 -1.817826e-01 5.67504 6e-01 5. 414 683e-01-1.857822e-01 -3.686597e-01 5.414 683e-01 1.095698e+00

418. FULL MATRIX ANALYSIS HESSINVERT

419. Analysis of singular value decomposition(SVD) Spectral radius=1.903561e+00 Condition number=l.812619e+03

420. Condition classification: HESSINVERT is sutisfactorily conditioned matrix Analysis condition of positive definities HESSINVERT

421. Condition of strictly diagonally dominant matrix is not correctly for line = 1

422. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

423. Directs Hk*Yk and Sk are quasi-parallel for line = 1 S=1,251033e-04, CRITHYS=1.57 8107e-03

424. Matrix is satisfactorily condition but Ilk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

425. Function F calculation in the points X and XN: FX=2.719230e-04 FXN=2.647583e-04

426. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=1, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

427. Convergence criteria are not satisfied CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM Number of cycle MINI: ITERMINI=72

428. Number of call: NFUN=4689, NGRAD=72, NDIRECT=72, NQUASIIDENTIFYHESSINVERT=1, NAPPROXHESSINVERT=32,NREGULARHESSINVERT=29

429. FULL MATRIX ANALYSIS HESSINVERT

430. Analysis of singular value decomposition(SVD) Spectral radius=1.998117e+00 Condition number-6.87 6221e+00

431. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

432. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

433. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

434. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

435. Function F calculation in the points X and XN: FX=1.152114e-04 FXN=1.138839e-04

436. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERGt2.=1, CONDCONVERG3]=1, CON DCONVERG[4]=1, CONDCONVERG[ 5 ] = 1

437. Convergence criteria are not satisfied CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

438. Number of cycle MINI: ITERMINI=80

439. Number of call: NFUN=5323, NGRAD-80, NDIRECT=80, NQUASII DENTIFYHESSINVERT~1, NAPPROXHESSINVERT=36,NREGULAR1IESSINVERT = 33

440. HESSINVERT mat 1. 003952e + 00 6.17 5112e-01 1 . 9004 35e-01 -1.960515e-01ix:6.175112e-01 1.252118e+00 -1.834280e-01 -3.772239e-011.900435e-01 -1.834280e-01 9.17 9655e-01 5.441487e-01-1.960515e-01 -3.772239e-01 5.441487e-01 1. 117769e+00

441. FULL MATRIX ANALYSIS HESSINVERT

442. Analysis of singular value decomposition(SVD) Spectral radius=2.045824e+00 Condition number=6.834 02 6e+00

443. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

444. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

445. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

446. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

447. Function F calculation in the points X and XN: FX=6.162247e-06 E'XN-5.772517e-06

448. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=1, CONDCONVERG[3]=1, CONDCONVERG [ 4]=1, CONDCONVERG[5]=1

449. Convergence criteria are not satisfied

450. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

451. Number of cycle MINI: ITERMINI=88

452. Number of call: NFUN-5958, NGRAD=88, NDIRECT=88, NQUASI IDEN'l'I FYHESSINVERT--1, NAPPR0XHESSINVERT=4 0, NREGULARHESSINVERT=37

453. FULL MATRIX ANALYSIS HESSINVERT

454. Analysis of singular value decomposition(SVD) Spectral radius=2.058647e+00 Condition number=6.874480e+00

455. Condition classification: HESSINVERT is perfectly conditioned matrix I Analysis condition of positive definities HESSINVERT

456. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

457. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

458. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed ► Matrix regularization is necessary

459. Function F calculation in the points X and XN: FX=3.621763e-06 FXN=3.544264e-06

460. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=0, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

461. Convergence criteria are not satisfied

462. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

463. Number of cycle MINI: ITERMINI=96

464. Number of call: NFUN=6573, NGRAD=96, NDIRECT=96, NQUASIIDENTI FYIIESSINVERT=1, NAPPROXHESSINVERT=4 4 , NRF,GULARIIESSINVF.RT=4 1

465. FULL MATRIX ANALYSIS HESSINVERT

466. Analysis of singular value decomposition(SVD) Spectral radius=2.058581e+00 Condition number=6.867 913e+00

467. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

468. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

469. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

470. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk arid Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

471. Function F calculation in the points X and XN: FX=7.017730e-07 FXN = 6. 885Ы0е-07

472. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=0, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

473. Convergence criteria are not satisfied

474. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

475. Number of cycle MINI: ITERMINI=104

476. Number of call: NFUN=7181, NGRAD=104, NDIRECT=104, NQUASIIDENTIFYI1ESSINVERT=1, NAPPROXHESSINVERT=4 8,NREGUI,ARHESSINVERT-4 5

477. HESSINVERT mat 1.004854e+00 6. 21932le-01 1.950739e-01 -1. 875024e-01ix:6.21932le-01 1.251617e + 00 -1.864146e-01 -3.776110e-011.950739e-01 -1.86414 6e-01 9.4 59165e-01 5.64 0828e-01-1.075024e-01 -3.77 6110e-01 5 . 640828e-01 1. 130 64 5e + 00

478. FULL MATRIX ANALYSIS HESSINVERT

479. Analysis of singular value decomposition(SVD) Spectral radius=2.057133e+00 Condition number=6.856129e+00

480. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

481. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

482. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

483. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

484. Function F calculation in the points X and XN: FX=4.24571be-07 FXN=3.946134e-07

485. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=0, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5]=1

486. Convergence criteria are not satisfied

487. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

488. Number of cycle MINI: ITERMINI=112

489. Number of call: NFUN=7806, NGRAD=112, NDIRECT=112, NQtJASIIDENTIFYHESSINVERT=l, NAPPROXHESSINVERT=52 , NREGULARHESSINVERT=4 9

490. HESSINVERT matrix: 1.007198e+00 6.244460e-01 1.953886e-01 -1.870183e-016.2444 60е-01 1.953086С-01 -1.870183е-011.251594с+00 -1.88 6232е-01 -3. 77 6162е-01-1.886232е-01 9. 424212е-01 5. 58064 2е-01-3.776162е-01 5. 580642е-01 1. 130868е + 00

491. FULL MATRIX ANALYSIS HESSINVERT

492. Analysis of singular value decomposition(SVD) Spectral radius=2.057286e+00 Condition number=6.846935e+00

493. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

494. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

495. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

496. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

497. Function F calculation in the points X and XN: FX=2.443106e-07 F'XN=2.137670e-07

498. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=0, CONDCONVERG[3]=1, CONDCONVERG \ 4]=1, CONDCONVERG[5]=1

499. Convergence criteria are not satisfied

500. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

501. Number of cycle MINI: ITERMINI=120

502. Number of call: NFUN=8435, NGRAD=120, NDIRECT=120, NQUASIIDENTIFYHESSINVERT=1, NAPPROXHE5SINVERT=5 6,NREGUI,ARHESSINVERT=53

503. HESSINVERT mat 1.006110e+00 6.20934 6e-01 1.95854le-01 -1.889255e-01ix:6.20984 6e-01 1.251524e+00 -1.90022 9e-01 -3.775645e-011.95854le-01 -1.900229e-01 9.602 61le-01 5.740339e-01-1.889255e-01 -3.775645e-01 5.7 4 038 9e-01 1.14087 4e+00

504. FULL MATRIX ANALYSIS HESSINVERT

505. Analysis of singular value decomposition(SVD) Spectral radius=2.066614e+00 Condition number=6.882211el 00

506. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

507. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

508. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

509. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condit ion but Hk*Yk and Sk are quasi—paralle1 and necessary condition of positive definiteness is not executed Matrix regularization is necessary

510. Function F calculation in the points X and XH: FX=1.295261e-07 FXN=1.131658e-07

511. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=0, CONDCONVERG[3]=1, CONDCONVERG[4]=1, CONDCONVERG[5 J =1

512. Convergence criteria are not satisfied

513. CURRENT RESULTS SOLVING OF MINIMIZATION PROBLEM

514. Number of cycle MINI: ITERMINI-128

515. Number of call: NFUN=9060, NGRAD=128, NDIRECT=128, NQUASIIDENTIFYHESSINVERT=1, NAPPROXHESSINVERT=60, NREGUI.ARHESSINVERT=57

516. HESSINVERT mat 1.00727le+00 6.124037e-01 1.9534 90e-01 -1.991734e-01ix:6.124037e-01 1. 2.51210e+00 -1.758413e-01 -3.777837e-011. 9534 90e-01 -1.758413e-01 9. 496286e-01 5.7 8092 9e-01-1.991734e-01 -3.777037e-01 5.780929e-01 1.155395e+00

517. FULL MATRIX ANALYSIS HESSINVERT

518. Analysis of singular value decomposition(SVD) Spectral radius=2.066060e+00 Condition number=6.851138e+00

519. Condition classification: HESSINVERT is perfectly conditioned matrix Analysis condition of positive definities HESSINVERT

520. Condition of strictly diagonally dominant matrix is correctly. Matrix is positive definiteness

521. Necessary condition of matrix positive definiteness is not correctly. Analysis condition of parallel direction Hk*Yk and Sk

522. Directs Hk*Yk and Sk are not quasi-parallel Matrix is satisfactorily condition but Hk*Yk and Sk are quasi-parallel and necessary condition of positive definiteness is not executed Matrix regularization is necessary

523. Function F calculation in the points X and XN: FX=5.980290e-09 FXM=3.291732e-09

524. Coordinates vector condition convergence CONDCONVERG: CONDCONVERG1.=0, CONDCONVERG2.=0, CONDCONVERG[3]=1, CONDCONVERG [ 4]=0, CONDCONVERG[5]-0

525. Convergence criteria are not satisfied

526. FINAL RESULTS SOLVING OF MINIMIZATION PROBLEM

527. Number of cycle MINI: ITERMINI=129

528. Number of call: NFUN=9121, NGRAD=129, NDIRECT=129, NQUASIIDENT1FYHESSINVERT=1, NAPPROXHESSINVERT=61, NREGULARHESSINVERT=57

529. Estimation of current point X coordinates, directions of minimization, new point XNEW coordinates: 1=1, Xl.=9.999915e-01, 1=2, X[2]=9.999835e-01, 1=3, X[3]=1.000017e+00, 1 = 4, X[4]=1.000033e + 00,

530. GRAD1.=-1.835342e-04, GRAD2.=3.990280e-04, GRAD[3]=3.130913e-04, GRAD[4]=1.552180e-04,

531. XDIRECTl.=-3.02878le-05 XDIRECT[2i=-2.72259le-0 4 XDIRECT[3]=-2.257610e-0 4 XDIRECT[4]=-2.462995e-04

532. HESSINVERT mat 4.823674e-01 6.042957e-01 -2.92 6039e-01 -1.97 7895e-01rix:6.042957e-01 1.251084e+00 -1.833785e-01 -3.777624e-01-2.926039e-01 -1.833785e-01 4.960255e-01 5.793794e-01-1.977895e-01 -3.777 624e-01 5.7 937 94e-01 1. 155391e+00

533. Estimation of final points 1=1, XN1.=1.OOOOOOe+OO, 1=2, XN2.=1.OOOOOOe+OO, 1=3, XN[3]=1.OOOOOOe+OO, 1=4, XN[4]=1.OOOOOOe+OO,1.and XREAL: XREAL1.=1.OOOOOOe+OO XREAL2.=1.OOOOOOe+OO XREAL[3]=1.OOOOOOe+OO XREAL[4]=1.OOOOOOe+OO

534. Function F calculation in the points X,XN and XREAL: t'X=3 . 291732e-09, FXN=0. 000000e +00, FXRF,AL=0 . 000000c+ 00 .