автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Методы оценивания зависимостей, использующие сингулярное разложение

ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ

На правах рукописи

МАШЕРОВ Евгений Леонидович

МЕТОДЫ ОЦЕНИВАНИЯ ЗАВИСИМОСТЕЙ, ИСПОЛЬЗУЮЩИЕ СИНГУЛЯРНОЕ РАЗЛОЖЕНИЕ. СМЕЩЕННЫЕ И НЕСМЕЩЕННЫЕ

ОЦЕНКИ

Специальность 05.13.16 — „Применение вычислительной

техники, математического моделирования и математических методов в научных исследованиях"

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва —1991

Работа выполнена в Одесском политехническом институте. Научный руководитель - кандидат технических наук Г.Н.Востров

Официальные оппоненты:

проф., доктор технических наук А.А.Дорофеюк кандидат технических наук, доцент В.В.Моттль

Ведущая организация -

Всесоюзный научно-исследовательский институт системны:

исследований

Защита состоится "_"_Г991 г. в _часов на заседяни

Специализированного Совета Д 002.68.03 при Институте пробле; управления Академии наук СССР по адресу: г.Москва, ул

Профсоюзная, дом 65.

С диссертацией можно ознакомиться в библиотеке Института пробле:

.управления . .

Автореферат разослан "_"_1ЭЭ1 г.

«

Ученый секретарь Специализированного Совета к.т.н.

С.А.Власов

3 -

Общая характеристика работы

актуальность проблемы.

Регрессионный анализ является одним из наиболее часто фименяемых методов статистического анализа, используемым в жономике, технике и других отраслях знания. При этом !бнаруживаются недостатки традиционных методов оценивания, такие, сак неустойчивость к ошибкам округления, большая ошибка щенивания, трудность проверки лежащих в основе методов оценивания федположений. Построение методов, хотя бы частично лишенных этих недостатков, способствовало бы, с одной стороны, расширению сферы фимененкя регрессионного анализа, с другой стороны, получению ювых и более точных результатов в традиционных областях его фименения.

Усовершенствованные методы оценивания линейных регрессионных годелей могут быть легко перенесены на оценивание нелинейных >ависимостей, классификацию с учителем и некоторые другие задачи, (роме того, получение новых результатов в такой разработанной збласти математической статистики, как регрессионный анализ, будет :пособствовать развитию статистики в целом.

В литературе описано большое число различных методов зценивания, имеющих цель» избавиться от указанных недостатков, зднако применение их в настоящее время ограничено. Одной из причин »того является разнообразие предложенных подходов, затрудняющее шбор одного из них, ч*о еще усугубляется отсутствием теоретических представлений о свойствах некоторых из них. Другая фичина ограниченного применения этих методов связана с ^возможностью или затруднительностью использования для проверки юлученных с их помощью моделей традиционных статистических

критериев, в изобилии разработанных для оценок метода наименьших квадратов.

Цель работы.

Цель диссертационной работы состоит в том, чтобы представить с единой точки зрения все ранее предложенные оценки регрессионных моделей, рассматривая их, как частные случаи единой оценки, различающиеся конечным набором параметров; найти оценку, наилучшую в смысле минимального среднего квадрата ошибки оценки и предложить устойчивую и эффективную в вычислительном отношении процедуру ее получения. Затем предложить способ проверки значимости Св широком смысле) полученных зависимостей, а также способ проверки предположений, лежащих в основе регрессионного анализа. Поскольку не все важные для построения такого рода оценок утверждения удается доказать аналитически, они должны быть хотя бы подтверждены имитационные экспериментом.

Методы исследования.

Для решения поставленных задач используются методы математической статистики и методы линейной алгебры, такие, как разложение матриц вида Х=5ЛС (сингулярное разложение). Для исследования точности методов применены, наряду с теоретическими исследованиями, статистическое моделирование на ЭВМ.

Научная новизна.

1. Н? основе анализа ошибок вычисления 'показаны преимущества использования сингулярного разложения для построения оценок регрессионных моделей ,

2. С использованием сингулярного разложения получены характеристики распределения оценок коэффициентов и некоторых других

- 5 ~

характеристик регрессионных моделей.

3. Предложены меры влияния отделоных наблвдений на регрессионную модель, используюцие сингулярное разложение.

4. Показано, что любая регрессионная оценка может быть представлена в общей форме введением диагональной матрицы весов. Для ряда оценок (ридж-регрессия, регрессия на главные компоненты, оценки Марквардта и т.п.) явно указала такая матрица.

5.Доказано различие ^-оценок и оценок обобщенного метода наименьших квадратов. Показана возможность их совместного использования.

6. Исследованы статистические свойства У-оценок, а также некоторых связанных с ними статистик.

7. Доказано существование матрицы ¥, доставляющей минимум одновременно среднему квадрату оиибки оценки коэффициентов и среднему квадрату ошибки оценки отклика. Показано, что эта матрица диагона.»ьна и даны явные выражения для ее элементов.

8. Предложен способ оценивания оптимальной матрицы V. Показана состоятельность ^-оценок при этом способе оценивания матрицы.

9. Предложен общий подход к оцениванию многомерных величин, основанный на свойствах ортогональных матриц и порядковых статистик.

10. Построены алгоритмы оценивания регрессионных моделей при ограничениях различного вида, использующий сингулярное разложение.

11. Построен алгоритм робастного оценивания регрессионных моделей, использующий сингулярное разложение,

12. Построен алгоритм оценивания регрессионных моделей при случайных регрессорах, использующий сингулярное разложение.

13. Построен вычислительно эффективный алгоритм реализации "скользящего экзамена".

14. Спланирован и проведен имитационный эксперимент для проверки пригодности предложенных моделей к решению задач регрессионного анализа.

Практическая ценность.

1.Разработана алгоритма к программы построения регрессионны; линейных моделей, способные аффективно работать в условия: мулътиколлинеарности и большой дисперсии помехи.

2.Разработаны алгоритмы и программы Еерификации полученных моделе! и проверки лежащих в их основе предположений.

3.Разработаны алгоритмы и программы построения нелинейны регрессионных моделей.

Реализация результатов.

Результаты работы были реализованы в виде пакета прикладные программ для микро-ЯВМ и ЕС ЗВМ и применены к задача экономического прогнозирования показателей Черноморского морскогс пароходства, исследования характеристик катализаторов и анализ; данных заболеваемости язвой желудка.

Апробоцчя работы.

Результаты работы докладывались на семинарах: "Вычислительны« науки и супер-ЭВМ", проводившемся в Институте Проблем Кибернетики; в Окном научном центре Академии Наук УССР и на кафедраэ автоматизации управления и планирования производства и прикладно! математики Одесского политехнического института.

Публикации

I -

Основные результаты работы опубликованы в 7 работах, Структура и объем работы.

Работа состоит из введения, четырех глав и заклочения, обида

объемом 122 машинописные страницы, в „том числе 6 таблиц, библиография насчитывает 51 наименование.

Содержание работы.

Звел'ение содержит постановку задачи регрессионного анализа и кречисление некоторых возникающих проблем, а также краткий обзор титературы.

Тервая глава вводит основные обозначения и определяет предпосылки зегрессионного анализа. Затем вводится понятие сингулярного зазложения матриц и рассматривается способы его вычисления. На зсноЕе анализа различных алгоритмов рекомендуется использовать алгоритм типа Голуба-Бмзингера-Райнша с указанными в работе улучшениями. На основе сингулярного разложения строятся оценки /.етода наименьших квадратов. Вводятся меры влияния отдельных элементов вектора помехи на значения коэффициентов и отклмка додели и исследуется распределение коэффициентов, отклика и коэффициентов вспомогательной ортогональной модели. Приводится шсленннй пример. Показывается, что в точной арифметике оценки, юлученные посредством сингулярного разложения матриц, эквивалентны оценкам, вычисленным традиционным, основанным на збращении матриц, путем, однако путем анализа ошибок, показано, что при использовании сингулярного разложения погрешность зкаэывается существенно меньше. Это делает возможным оценивание юделей в условиях сильной мультакопяшюарности. В условиях хе 1ктивно-пассивного эксперимента возможно, также используя сингулярное разложение, пополнить ' матрицу плана с тем, чтобы уменьшить степень мультиколлинеарности. Рассматривается также гостроен у,е оц<?нок при неполноте ранга матрицы плана.

Зторая глава вводит понятие ¥-оценок вида b=CTWA"'STy. где S,C и Л ?сть элементы сингулярного разложения матрицы плана X, a W -деагональная матрица весов. 3 ней доказывается, что многочисленные фиведенные в лит-ературе оценки могут быть представлены, как

- 8 -

частные случаи оценки общего вида.

Теорема 1.

Оценки ри.дк-регрессии, регрессии на главные компоненты, Марквардта, сжатые СДжеймса-Стейна) и МНК могут быть представлены в виде ^-оценок.

Получены матожидания и дисперсии коэффициентов модели и оценок вектора прогноза и вектора ошибок, а такхе меры влияния элемент вектора помех с на коэффициенты и отклик.

ЕСЬ^ЕССЧЛ-' 3'ту)=КСт¥/Г1 З^ЛС/З-К^'М"1 57£)=СгУСр*р

С?(Ьу) =ЕСССТ¥Л"15те)ССТУЛ"15тгЭт ^сгЧСЛ"2* С) О2Суу)=ЕСС515те)С5¥5Т£) )=о2С5КР5т5 ЕСе^СГ-УЖ/З СгСеиЗ=ЕСС5С1-Ш)5Т€)С5(Г-1П5теЗ'гЗ=аяС5С1-Юг5т)

а Ц ^

Здесь уу=ХЬу, вуку-уу. Семиинварианты распределения оценок коэффициентов и отклика модели выражаются, в предположении об одинаковости распределения элементов векторв е, как:

я

^СЬ^Се) ЕС

Приводятся выражения, с помощью которых можно охактеризовать влияние изменения отдельных переменных на оценки:

в Ь^ Л

ЭуГ п

2« 41 Г1->

Введение весов в регрессионную модель было предложено ранее для учета ьеравноточности измерений, коррелированности остатков и т. п. , что приводит к оценкам обобщенного метода наименьших квадратов Ь=СХТ{1Х)~* ХтПу. Однако предложенная в работе процедура не может быть сведена к обобщенному МНК, что следует из приведенной ниже теоремы.

■орема

.енка 01ШК и ^-оценка совпадают в том и только в том случае, если

[и совпадают с оценкой МНК.

[спользуя в качестве критерия величины,

:(сь-/ззтсь-/зэ5

суша квадрато: ошибок оценок коэффициентов (СКОК) ХСу-ХртСу-Х(ЗП

сумма квадратов ошибок оценок отклика (СКОО)

Г(Се-£ЗтСе-еЗ)

сумма квадратов ошибок оценок остатков (СКООст) жазываются теоремы, обосновывающие выбор весов V. 3.

(инимуи критериев СКОК, СКОО и СКООст достигается одновременно

при

V =-

юрема 4.

1Я каждой недиагональной матрицы весов существует диагональная приаа, при которой достигается меньшее значение критерия СКОК, горема 5

!агональные элементы матрицы V должны удовлетворять равенствам

о< 1. 1=тг

^называется, что полученные таким образом оценки состоятельны, асемотрен также подход, в котором непосредственно оценивается зличина г=¥!Зту, пр'льодяедЗ к Оценкам, близким к оценкам Дкеимса-гейна или к сочетанию оценок названного типа и байесоькх. 1енки эти могут быть получены рассмотрением векторов вида

р=Сг

не С - некоторая ортонормированная матрица, выбранная так, чтобы эреводить вектор р=$(г) в вектор т=Ст,0,...0). При этом вектор нибки т), связанный с г, переводится в вектор 0. Хотя явное эстроение матрицы С невозможно без знания р и т, однако.

- ю -

используя какой-либо критерий проверки нормальности распределение в, и усредняя по всем удовлетворяющим этому условию матрицам, получим оценку вида

1 Г г

Показано использование сингулярного разложения для оценивания I

условиях ограничений-равенств и ограничений-неравенств ч, ка»

частный случай ограничений, г,ри исключении переменных. Предложен!

варианты алгоритмов, также основанных на сингулярном разложении

матриц. В частности, для задачи исключения переменны?

/лип! Су-ХЬ)тСу-ХЬ)=Ц-=Си -V/ )а ^ 0 0

получены оценки вида

и

-IVс. а:'г,

Третья глава посвящена проверке правильности модели и лежащих в ее оснозе предположений, оцениванию в случае, когда обычные предположения регрессионного анализа нарушены , а такке проверке работоспособности предложенных методов. Для проверки правильности модели предлагается использовать "скользящий экзамен", для которого разработан алгоритм, требующий вычислительных затрат порядка ОСп) против 0(п3) при простейшей его реализации или ОСг?) в лучших известных вариантах. Он приводит к оценкам вида

Их распределение' имеет I семиинварианты

Ф 4 <1-18^)

- 15 - ; ........

состоятельность У-оценок при этом способе оценивания матрицы.

8. Предложен общий подход к. оцениванию , многомерных величин/; основанной на свойствах ортогональных :матриц и порядковых статистик. : • . /'• , ,

9. Построены алгоритмы оценивания регрессионных моделей при"; ограничениях,робастного оценивания регрессионных моделей, оценивания регрессионных моделей при случайных регрессорах,

10. Построен вычислительно эффективный . алгоритм . реализации "скользящего экзамена".

И. На основе полученных в диссертационной работе результатов разрг'Зотаны алгоритмы и программы статистического оценивания, использованные для прогнозирования экономических . показат лей Черноморского морского пароходства, для прогнозирования свойств химических катализаторов и для прогнозирования развития язвенной болезни, а также внедренные в учебный процесс. По этим работам имеются акты о внедрении. '

Список опубликованных работ по теме диссертации.

1. Машеров Е. Л., Востров Г. К. Применение смененных оценок в задачах прогнозирования и управления./ В кн. Психология и автоматизация организационного управления. -Одесса, ОПИ, 1985 г.

2. Кгшеров Е. Л., Востров Г.Н. , ГаЯдученко И. А. Прогнозирование и управление прибылью морских пароходств на основе регрессионных иоделей./ В кн. Проблемы внедрения достижений научно-технического прогресса в народное хозяйство. -М. , ЦЭМИ, 1986 г.

3. Машеров Е. Л., Востров Г. К. Применение смененных регрессионных эценок в задачах прогнозирования. Тезисы докладов Всесоюзной конференции по внедрению экономико-математических методов, и ЭВМ в " /правление производством. М., ЦЭМИ, 1985 г. ;

1. Машеров Е. Л., Крынская Л. И. Совершенствование оценки технико-экономического уровня проектируемых устройств. Тезисы юкдгдов Всесоюзной научно-технической конференции 'Организационно-экономический механизм развития работ по автоматизации управления производством". М., . ВСНТО хриборостроителей, 1938 г. . '

5. Машеров Е.Л. Об одном классе оценок регрессии. Тезисы докладов III Всесоюзной школы-семинара "Комбинаторно-статистические методы анализа и обработки информации". ОдессаД990 г.

6. Машеров ■ Е. Л;, Востров Г. Н. Взвешенные оценки параметров регрессионных моделей на основе сингулярного разложения.Тезисы докладов ' III Всесоюзной школы-семинара . "Комбинаторно-статистические методы анализа и обработки информации". Одесса,1S90

7. Машеров Е. Я., Сивый И. И. Система прогнозирования язвенной болезни. Тезисы докладов III Всесоюзной школы-семинара "Комбинаторно-статистические методы анализа и обработки информации". Одесса,1690 г. j

!

В работах С1-4] и 16—7] автором предложены методы и алгоритмы решения поставленных задач и выполнены расчеты на ЭВМ.

Введение

1. Модель регрессионного анализа и оценки наименьших квадратов.

1.1 Основные предпосылки регрессионного анализа

1.2 Сингулярное разложение матриц 12 1.3 Оценки метода наименьших квадратов.

Их построение и статистические свойства.

1.4 Оценки метода наименьших квадратов в условиях ошибок вычисления

2. Взвешенные оценки регрессионного анализа.

1.2 Включение в модель весов

1.2 Оптимальный выбор весов.

1.3 Оценивание значений оптимальных весов

1.4 Исключение переменных посредством весов

1.5 Учет ограничений общего вида

3. Методы проверки предпосылок регрессионного анализа и качества моделей.

3.1 Скользящий экзамен.

3.2 Поиск отклонений от нормальности и построение устойчивой к ним оценки

3.3 Случайные регрессоры.

3.4 Нелинейное оценивание и классификация с учителем

4. Практическое применение У-оценок

4.1 кЬитационный эксперимент для проверки работоспособности У-оценок

4.2 Имитационный эксперимент для проверки работоспособности У-оценок

4.3 Результаты приложения методов смещенного регрессионного анализа в медицинских задачах.

4.4 Результаты приложения методов смещенного регрессионного анализа в экономических задачах.

4.5 Результаты приложения методов смещенного регрессионного анализа в задаче прогнозирования дисперсности катализатора

Целью данной работы является создание новых методов и алгоритмов регрессионного анализа и разработка пакетов прикладных программ, реализующих эти методы и алгоритмы. Широкое использование регрессионного анализа в разнообразных отраслях науки и практики: экономике[91, технике!!301, медицине!!33], социальных науках!491 и т.п. определяет практическую важность работы. Теоретическая же ее значимость следует из того, что регрессионный анализ представляет собой один из наиболее разработанных разделов математической статистики, так что построение более совершенных и эффективных методов оценивания параметров регрессионных моделей по сравнению с известными, будет способствовать развитию математической статистики в целом.

В настоящее время предложен ряд оценок, отличных от традиционных, причем в имитационном эксперименте или практическом применении эти оценки показали себя лучше традиционных. К их числу следует отнести прежде всего ридж-регрессию[41], сжатые оценки[431, оценки Марквардта!46], регрессию на главные компоненты!!4], метод характеристического корня!38] и т.п. Эти оценки рассматриваются обыкновенно, как конкурирующие между собой и с методом наименьших квадратов. В работе показано, что все эти оценки, включая метод наименьших квадратов, представляют собой частные случаи оценок общего вида, получаемые соответствующим выбором параметров. Доказано, что в этом классе существует оценка, наилучшая одновременно как с точки зрения оценивания коэффициентов модели, так и с точки зрения оценивания математического ожидания вектора отклика. Разработан метод построения аппроксимации такой оценки.

- обй'ДЗ-пИшй МВгГОД ПОСТрОвй'ИЯ рШ 'рвССЙОЙНЫХ ОЦеНОК 1'реОу в i больших затрат машинного времени, чем стандартная вычислительная процедура метода наименьших квадратов, поскольку взамен обращения матриц используется сингулярное или спектральное разложение. Этот недостаток, впрочем, в условиях применения ЭВМ не столь существенный, частично компенсируется возможностью построения с минимальными вычислительными затратами семейств оценок, отличающихся различным выбором множества регрессоров. Более важное преимущество разработанного подхода состоит в высокой устойчивости к погрешностям вычисления, что оказывается особенно важным в условиях мультиколлинеарности.

Для вычисления сингулярного разложения матриц в работе представлен алгоритм, аналогичный алгоритму

Голуба-Бизингера-Райнша[37], но несколько более эффективный в вычислительном отношении. На основе этих алгоритмов разработан пакет прикладных программ, ориентированный на ЭВМ типа IBM PC.

Предложенные в работе оценки не обладают, вообще говоря, такими свойствами, как несмещенность, максимальное правдоподобие и г. п. Для обоснования целесообразности их применения был проведен имитационный эксперимент, описание и результаты которого приводятся в работе. В этом эксперименте ошибка оценки вектора коэффициентов модели и ошибка оценки вектора отклика (равная эшибке оценки вектора остатков) для предложенных оценок сравнивалась с соответствующими величинами для наиболее распространенного метода наименьших квадратов. Указанные критерии сачества моделей охватывают основные классы задач, решаемых югрессионным анализом. Результаты эксперимента в сочетании с шытом практического применения предложенных оценок позволяют елать вывод о целесообразности их применения и дальнейшего .звития.

Критерии значимости моделей, разработанные для метода .именьших квадратов, оказываются для данного класса оценок, обще говоря, непригодными, поэтому существенную часть работы ■ставляют алгоритмы проверки моделей, основанные на "скользящем замене". Эта процедура, дорогостоящая в вычислительном отношении ■и использовании сингулярного разложения матриц оказывается сьма эффективной, поскольку затраты на проверку модели малы в авнении с затратами на ее построение. Возможно применение кользящего экзамена" и к модели, полученной методом наименьших адратов или к моделям, полученным варьированием подмножества грессоров, тем самым дополняются традиционные критерии ачимости.

Полученные оценки допускают обобщение на случай оценивания и наличии ограничений-равенств и неравенств. Это позволяет фективно формализовать априорную информацию, доступную следователю.

Основное внимание в работе уделено случаю детерминированной трицы плана и нормального распределения ошибок. Однако пользование сингулярного разложения позволяет рассмотреть также один из возможных классов оценок со случайной матрицей плана, эдставляющий собой обобщение оценок метода максимального авдоподобия и оценок метода инструментальных переменных.

Отклонение от нормальности распределения вектора ошибок может цественно повлиять на поведение алгоритмов оценивания, бедствие этого в работе рассмотрены критерии проверки эмальности вектора ошибок, основанные на "скользящем экзамене", также распространение отклонений от нормальности в промежуточных окончательных результатах.

Использование сингулярного разложения и критерия "скользящего кзамена" позволило построить эффективный в вычислительном тношении алгоритм выбора наилучшего подмножества переменных.

Вопросы оценивания нелинейной регрессии и классификации с чителем рассмотрены в работе постольку, поскольку эти задачи :огут быть сведены к оцениванию Свозможно, многократному) линейных оделей.

Результаты работы прошли практическую проверку при решении кономических задач (прогнозирования, построения нормативов, .лассификации) в системе управления Черноморским морским :ароходством, а также при построении многомерных эмпирических ависимостей при решении научно исследовательских задач Одесского мзико-химического института им. А.В. Богатского АН УССР.

Заключение

В настоящей работе рассмотрены некоторые новые подходы к построению регрессионных моделей. Они объединены с теоритической точки зрения отказом от требования несмещенности и переходом к более общему критерию минимума среднего квадрата ошибки, с точки зрения же реализации - использованием сингулярного разложения в качестве инструмента, упрощающего построение методов и повышающего их численную устойчивость. Следствием этого явились, с одной > стороны, большая эффективность применения методов в условиях мультиколлинеарностиСЗб], с другой же - существенное возрастание затрат машинного времени.

Результаты имитационного эксперимента, приведенные в главе 3, вместе с приведенными в главе 4 примерами практического применения предложенных оценок, показывают возможность и целесообразность их использования для решения реальных задач. При этом особенно эффективным оказывается использование диалогового режима.

Направление дальнейшего развития описанных методов связаны, во-первых, с построением лучших, нежели приведенные, оценок | оптимальных весов, а также получением весов, оптимальных для ¡критериев, отличных от рассмотренных в диссертационной работе, | например, весов, оптимальных для задач прогнозирования или I оптимальных при наличии корреляции между элементами вектора г; во-вторых, с созданием способов учета и включения в модель априорной информации, лучших, чем введение ограничений-равенств и ограничений-неравенств, в частности, используя теорию нечетких множеств; в третьих, с совершенствованием вычислительных процедур, прежде всего процедуры сингулярного разложения, в том числе для случая разреженных матриц; в четвертых, с построением программных средств, ориентированных на пользователя с минимальным уровнем математической и тем более программистской подготовки, что особенно важно в условиях применения персональных ЭВМ. Кроме того, целесообразно более подробно рассмотреть связь между регрессионным анализом и классификацией, имея в виду как установление теоретического соответствия между методами, в частности, построение для задач классификации аналога У/-оценок, так и построение процедур анализа данных, использующих эти методы.

Предложенные методы скорее дополняют, чем заменяют более традиционные методы, такие, как метод наименьших квадратов. В ряде случаев целесообразно строить как А-оценки, как и оценки МНК, тем более что их одновременное построение возможно с минимальными дополнительными затратами. Полученное таким образом семейство оценок позволяет более глубоко рассмотреть объект исследования. При этом для получения доверительных интервалов следует использовать методы, основанные на "скользящем экзамене".

1. Айвазян С.А., Енюков И. С. , Мешалкин Л. Д. Прикладная статистика Исследование зависимостей. М.: Финансы и статистика, 1985.

2. Айвазян С. А. , Енюков И. С. , Мешалкин Л. Д. Прикладная статистика. Основы моделирования и первичная обработка данных М. : Финансы и статистика, 1983.

3. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. Пер. с англ. М.:, Наука, 1977.

4. Афифи А., Эйзен С. Статистический анализ. Подход с применением ЭВМ. Пер. с англ. М. : Мир, 1982.

5. Бард И. Нелинейное оценивание параметров. Пер. с англ. М. : Статистика, 1979.

6. Вапник В.Н. Восстаносление зависимостей по эмпирическим данным. М. : Наука, 1979.

7. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1988.

8. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Статистика, 1981.

9. Э.Джонстон. Эконометрические методы. Пер. с англ, М. : Статистика, 1980.

10. Дрейпер Н. , Смит Г. Прикладной регрессионный анализ. В 2 кн. Пер. с англ. М.: Финансы и статистика, кн.1 1986, кн.2 - 1987. Ц.Езекиел М. , Фокс К. А. Метода анализа корреляций и регрессий. Пер. с англ. М. : Статистика, 1966.

11. Кендалл М. , Стьюарт А. Теория распределений. Пер. с англ. М. : Наука, 1966.

12. Кендалл М. , Стьюарт А. Статистические выводы и связи. Пер. с англ. М.: Наука, 1973.

13. Клейнен Дж. Статистические методы в имитационном моделировании. Пер. с англ. М.: Статистика, 1978.

14. Крамер Г. Математические методы статистики. 2-е изд. Пер. с англ. М.: Мир, 1978.

15. Линник Ю. В. Метод наименьших квадратов и основы математико-статистической обработки наблюдений. М.: Физматгиз, 1958.

16. Лоусон И. , Хенсон Р. Численное решение задач метода наименьших квадратов. Пер. с англ. М.: Наука, 1986.

17. Мостеллер Ф".т', ТьклАгтЦж. Анализ данных и регрессия, вып. 1,2. М.: Финансы и статистика, 1982.

18. Мудров В.М. , Кушко В. Л. Методы обработки измерений. М.: Советское радио, 1976.

19. Парлетт П. Симметрическая проблема собственных значений. Численные методы. М.: Мир, 1983.

20. Петрович М. Л. Регрессионный анализ и его математическое обеспечение на ЕС ЭВМ. М.: Финансы и статистика, 1982.

21. Pao С. Р. Линейные статистические методы и их применения. М.: Наука,1968.

22. Себер Дж. Линейный регрессионный анализ. Пер. с англ. М. : Мир, 1980.

23. Уилкинсон Дж. , Райнш С. Справочник алгоритмов на языке АЛГОЛ. Линейная алгебра. Пер. с англ. М.: Машиностроение, 1976.

24. Фаддеев Д.К., Фаддёева В. Н. Вычислительные методы линейной алгебры. М. : Фиэматгиз, 1963.

25. Химмельблау Д. Анализ процессов статистическими методами. Пер. с англ. М. : Мир, 1973.

26. Atkinson A.C. Plots, Transformations and Regression. Oxford. 1985.

27. Belsley D. A. , Kuh E. , Welsch R.E. Regression diagnostics: Identifying influential data and source of collmearity. N.-Y. John Wiley and sons, 1980.

28. BMDP Biomedical Computer Programs. UCLA Press, 1979.

29. Daniel C. , Wood F. S. Fitting equanion to data. N.-Y. John Wiley and sons, 1971.

30. Eicker F. Asymptotic normality and consistency of the least squares estimations for families of linear regressions. Ann. Math. Stat. , 1963, v. 34.

31. Farrar D.E., Glauber R. R. Multicollinearity in regression analysis. The Review of Economics and Statictics, 1967, v. 49, П.

32. Golub G. Reinsch C. Singular value decompositions and least squares solutions. Numer. Math. , 1970, v. 14 №4.

33. Gunst R.F. , Webster I.I., Mason R.L. A comparison of least squares and latent root regression estimators. Technometrics. 1976, v. 18, №1.

34. Hawkins D.M. Identification of outliers. L. 1980.

35. Hocking R. R, , Speed F. M. , Lynn M.J. A class of biased estimators in linear regression. Technometrics, 1.976, v. 18, N'J4

36. Hoerl R. , Shuenemeyer J., Hoerl A. A simulation of biased estimation and subset selection regression techniques. Technometrics, 1986, v. 28, №4.

37. Huber P. Robustness and designs. Amsterdam: North Holland, 1975.

38. James W. , Stein C. Estimation with quadratic loss, in: Proceedings of the 4-th Berkeley Symp. Math. Stat, and Prob. , 1961, v. 1.

39. Longley J.W. An apprisal of least-squares programs for the electronic computer from the point of view the user. JASA, 1967, v. 2, №3.

40. Marquardt D. W. An algoritm for least squares estimation of nonlinear parameters. Journal Soc. of Appl. Math. , 1963, v. 2, №4

41. Marquardt D. W. , Snee R. Ridge regression in practice. American statistician, 1975, v. 29, №2.

42. Siegel J. B. Statistical Software for Microcomputers. N.-Y. ,1985.

43. Stewart G. W. Collinearity, Scaling and Rounding Error in: Computer Science and Statisitcs, Amsterdam, 1986.

44. Wetherill G.B. Regression analysis with applications. L. 1986. 50.Эфрон Б. Нетрадиционные методы многомерного статистического анализа. М.: Финансы и статистика, 1986.

45. Кнут Д. Е. Искусство программирования для ЭВМ. Т.2. Получисленные алгоритмы. М.: Мир, 1977.