автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Алгоритмы статистического анализа многофакторных объектов, описываемых линейными моделями со структурированной ошибкой

г ГБ ОД

з I т ш

На правах рукописи

Фаддеенков Андрей Владимирович

АЛГОРИТМЫ СТАТИСТИЧЕСКОГО АНАЛИЗА МНОГОФАКТОРНЫХ ОБЪЕКТОВ, ОПИСЫВАЕМЫХ ЛИНЕЙНЫМИ МОДЕЛЯМИ СО СТРУКТУРИРОВАННОЙ ОШИБКОЙ

Специальность 05.13.16 ~ применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (в области технических наук)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Новосибирск - 1999

Работа выполнена в Новосибирском государственном техническом университете

Научный руководитель: доктор технических наук, профессор

Денисов В.И.

Научный консультант: кандидат технических наук, доцент

Полетаева И.А.

Официальные оппоненты: доктор технических наук, профессор

Котюков В.И. кандидат технических наук Михайлов В.В.

Ведущая организация: Томский политехнический университет

Защита состоится " " ^л'/Сг/РЛ 2000 г. в /0 часов на заседании диссертационного совета Д063.34.03 при Новосибирском государственном техническом университете (630092, Новосибирск-92, пр. К.Маркса, 20).

С диссертацией можно ознакомиться в библиотеке Новосибирского государственного технического университета.

Автореферат разослан" У «1999 г.

Ученый секретарь

диссертационного совета Чубич В.М.

Общая характеристика работы

Высокие темпы развития современной вычислительной техники и программного обеспечения позволяют энергично развиваться такому направлению математики, как прикладная статистика.

Одно из направлений прикладной статистики - это методы анализа многофакторных объектов, включающие в себя, методы планирования и анализа экспериментов для моделей линейной регрессии с качественными и количественными переменными^ Эти методы находят применение в таких отраслях науки и техники, как сельскохозяйственные, социологические, медико-биологические исследования, оптимизация сложных технологических процессов и др.

Методам анализа многофакторных объектов посвящено достаточно большое количество работ, связанных с планированием эксперимента, оцениванием параметров и проверкой статистических гипотез. Наиболее значимые результаты в этой области принадлежат следующим авторам: ШеффеГ., РаоС.Р., ХиксуЧ., СирлуС., КлеффеДж., Бродскому В.З., Налимову В.В., Федорову В.В., Денисову В.И., Марковой Е.В., Лисен-кову А.Н., Адлеру Ю.П., Грановскому Ю.В., Попову A.A., Хабарову В.И., Полетаевой И.А., Пономареву В.В., Новикову A.C. и др.

Среди методов анализа многофакторных объектов можно выделить методы, использующие линейные модели со структурированной ошибкой, зависящей от некоторых случайных параметров. Одна из групп таких моделей - это модели со случайными факторами, получившие название моделей компонент дисперсии. Хотя методы анализа моделей со случайными факторами намного сложнее методов анализа моделй с фиксированными факторами как с алгоритмической, так и с вычислительной точки зрения, но использование таких моделей позволяет делать более общие выводы об исследуемом объекте. К сожалению, в отечественной литературе до последних нескольких лет моделям компонент дисперсии уделялось очень мало внимания, в то время, как зарубежные ученые активно исследуют эту область. Здесь также можно отметить следующих авторов: ШеффеГ., Pao С.Р., Pao Дж.Н.К., СирлС., КлеффеДж., Кох Г. Г., Хартли Г. О., Хеммерли В.Дж., Патгерсон Г.Д.,

Томсон Р., Корбейл P.P., Маркова E.B., Полетаева И.А., Новиков A.C. и др.

Цель и задачи исследований. Основной целью диссертационной работы является разработка, исследование и применение эффективных алгоритмов анализа линейной модели со случайными факторами, а также создание программной системы для анализа многофакторных объектов методами дисперсионного анализа со случайными факторами с использованием современных ЭВМ.

Для достижения поставленной цели решаются задачи:

1. разработка эффективных алгоритмов и исследование методов оценивания параметров в модели компонент дисперсии для случая произвольной структуры данных;

2. разработка методов решения задачи выбора квадратичных оценок компонент дисперсии с наименьшей дисперсией;

3. разработка и исследование алгоритмов проверки статистических гипотез и определения адекватной структуры ошибки в модели компонент дисперсии;

4. создание программной системы для анализа многофакторных объектов, включающей методы дисперсионного анализа со случайными факторами;

5. применение разработанных алгоритмов и программного обеспечения для решения практических задач в различных областях науки и техники.

Методы исследования. Для решения поставленных задач используются методы оптимизации, математической статистики, дисперсионного анализа, вычислительной математики, статистического моделирования. Научная новизна. Предложены модификации ряда алгоритмов оценивания параметров линейной модели со случайными факторами. Проведен сравнительный анализ методов оценивания параметров в моделях со случайными факторами при различных планах экспериментов и различных распределениях ошибки. Проведено сравнение точности оценивания параметров в моделях компонент дисперсии с ограничениями и без ограничений. Разработан и реализован алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией.

Исследованы условия применимости алгоритмов проверки гипотез о незначимости фиксированных и случайных факторов. Разработан алгоритм выбора структуры модели компонент дисперсии для произвольного набора данных. Разработана программная система анализа многофакторных объектов, описываемых линейными моделями со случайными факторами. Разработанные алгоритмы применены в решении двух практических задач. Основные положения, выносимые на защиту.

•алгоритмы оценивания параметров в модели компонент дисперсии; •результаты исследования методов оценивания параметров в модели компонент дисперсии; •алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией; •алгоритм выбора адекватной структуры ошибки в модели со случайными факторами; •программная система для анализа многофакторных объектов.

Обоснованность и достоверность полученных результатов обеспечивается использованием аналитических методов построения алгоритмов, а также подтверждением работоспособности алгоритмов результатами вычислительных экспериментов.

Практическая ценность и реализация результатов. Работа над интегрированной системой анализа линейных моделей и планирования экспериментов с качественными факторами проводилась в рамках госбюджетной НИР по теме "Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами".

Апробация работы. Результаты исследований, проведенных автором, докладывались и обсуждались на: третьей международной научно-практической конференции "Актуальные проблемы электронного приборостроения" АПЭП-96 (Новосибирск 1996); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1997); третьем сибирском конгрессе по прикладной и индустриальной математике ИНПРИМ-98 (Новосибирск

1998); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1999); The third Russian-Korean international Symposium on Science and Technology (KORUS'99). Публикации. По теме диссертации опубликовано 13 работ, в том числе 9 печатных и 4 отчета по НИР. В конце реферата приведен список публикаций, в которых отражены основные результаты. Личный вклад. В опубликованных работах автору принадлежат результаты, изложенные в тексте диссертации.

Структура работы. Диссертация состоит из введения, пяти глав основного содержания, заключения, списка литературы (70 источников). Общий объем - 136 страниц, включая 28 рисунков и 12 таблиц.

Глава 1. ЛИНЕЙНЫЕ МОДЕЛИ СО СТРУКТУРИРОВАННОЙ ОШИБКОЙ. СОВРЕМЕННОЕ СОСТОЯНИЕ

Первая глава носит обзорный характер. В ней вводится объект исследования, рассматриваются основные типы моделей со структурированной ошибкой и методы оценивания параметров в этих моделях.

В п. 1.1 вводится понятие многофакторной системы и определяется различие между фиксированными и случайными факторами.

Качественный фактор называется фиксированным или фактором с фиксированными уровнями, если между его уровнями предполагаются некоторые систематические различия. Как правило, эти уровни представляют собой всю совокупность значений фактора, которая полностью включается в эксперимент. Такая совокупность должна быть достаточно мала. Это требование диктуется с одной стороны ограниченными возможностями вычислительной техники, с другой стороны - трудностями в трактовке получаемых результатов.

Если генеральная совокупность уровней фактора велика или даже бесконечна, то из нее делается случайная выборка, которая включается в эксперимент. При этом выводы, полученные по результатам эксперимента, распространяются на всю совокупность. Такие факторы называются случайными или факторами со случайными уровнями.

Понятие малого или большого объема генеральной совокупности очень относительно, поэтому в качестве критерия для определения типа качественного фактора решающую роль может сыграть такой признак, как задача исследования.

Если исследователя интересуют эффекты конкретных уровней, то следует использовать постоянные факторы. Когда интерес представляет поведение всей совокупности, или конкретные уровни обезличены, целесообразно обратиться к случайным факторам.

Определившись с типами входных факторов, можно переходить к построению модели рассматриваемой системы.

В п. 1.2 рассматриваются основные типы моделей со структурированной ошибкой. Среди них можно выделить модель компонент дисперсии, которая записывается в виде

Y = XJ] + e, (1)

где Y = (yt,...,yN)7 - вектор наблюдений; /7 = - вектор

фиксированных параметров, включающий в себя генеральное среднее и векторы эффектов уровней р фиксированных факторов; X - матрица значений фиктивных переменных, соответствующих фиксированным параметрам; е= (ev...,eN)r - случайный вектор, для которого выполняется равенство

e=i/,§+...+ l/rir + e, (2)

где i=l,--,r - векторы эффектов случайных факторов; U;, i = \,...,r -матрицы значений фиктивных переменных, соответствующих г случайным факторам; £=(£•,,...,%)7 - вектор случайных ошибок.

При этом предполагается, что

£ ~(0,<г//„,),< = 1,..„г, соv(£,^) = 0,

cov(§,e) = 0, s~(Q,a2sr), где /ц-число уровней /-го случайного фактора.

Или в более сжатой форме

+... + 0-Х +а]Г), (3)

где К,= ¿ = 1,...,г.

Величины получили название компонент дисперсии.

При оценивании векторов неизвестных параметров р и а1 - {а^...,а),аге)т сначала, как правило, определяются оценки компонент дисперсии о;2,...,<7^, зная которые, мы можем вычислить оценки фиксированных параметров следующим образом:

где

Особенность моделей с качественными факторами состоит в том, что столбцы матрицы X обычно линейно зависимыи и однозначно определить ¡3 не удается. В этом случае рассматривают некоторые линейные функции от р, имеющие несмещенную оценку (функции, допускающие оценку).

В п. 1.3 рассматриваются методы оценивания параметров в модели со случайными факторами. Здесь можно отметить работы Рао Дж.Н.К., Сирла С., Кпеффе Дж., Коха Г.Г., Хартли Г.О. и Хеммерли В.Дж.

В п. 1.4 сделан обзор программного обеспечения для задачи прикладного статистического анализа многофакторных объектов со случайными факторами.

В п. 1.5 обоснованы и сформулированы основные задачи диссертационной работы.

Глава 2. МЕТОДЫ И АЛГОРИТМЫ ОЦЕНИВАНИЯ КОМПОНЕНТ ДИСПЕРСИИ

В главе рассматриваются методы и алгоритмы вычисления различных типов оценок компонент дисперсии, а также предложены модификации некоторых из этих алгоритмов, позволяющие существенно сократить вычислительные затраты. Исследованы методы оценивания

параметров в модели со случайными факторами. Даны практические рекомендации по использования этих методов.

В пп.2.1-2.8 рассмотрены алгоритмы вычисления различных типов оценок случайных параметров модели (1)43)- В частности, рассмотрены: третий алгоритм Хендерсона, предназначенный для вычисления оценок дисперсионного анализа (далее эти оценки сокращенно будем обозначать НЗ); оценки максимального правдоподобия, сокращенно - MLE (от английского "maximum likelihood estimations"); оценки ограниченного максимального правдоподобия, сокращенно - REMLE (от английского "restricted maximum likelihood estimations"); квадратичные оценки минимальной нормы, сокращенно - MINQE (от английского "minimum norm quadratic estimation"); итерационые MINQE, сокращенно - IMINQE (от английского слова "iterated").

При реализации всех перечисленных выше методов и алгоритмов оценивания возникает необходимость неоднократного вычисления и обращения матриц большой размерности (по числу наблюдений), что ведет к большим вычислительным затратам. В 1973 году Хеммерли и Хартли для алгоритмов вычисления оценок максимального правдоподобия предложили так называемую процедуру W-преобразования, которая заключается в преобразовании вычислительных схем к виду, где обращение больших матриц заменяется обращением матриц меньшей размерности (по числу случайных эффектов). Для НЗ и алгоритмов вычисления REMLE, MINQE и IMINQE автором разработаны модификации вычислительных схем, использующие идею W-преобразования.

В п.2.9 рассмотрены результаты сравнительного исследования различных методов оценивания параметров в модели (1)-(3) и алгоритм выбора квадратичной оценки с наименьней дисперсией.

Сравнение рассмотренных методов проводилось на тестовых примерах с привлечением аппарата статистического моделирования.

В качестве тестовой была выбрана модель с одним фиксированным и одним случайным факторами. Фиксированный фактор изменялся на трех уровня, а случайный - на шести. На эффекты факторов либо накладывались либо не накладывались линейные ограничения вида

= о, =о. (4)

В качестве показателей точности оценивания использовались нормированные суммы модулей отклонений от истинных значений для фиксированных и случайных параметров. Обозначим их соответственно 5, и В качестве фиксированных парамертов рассматривались функции, допускающие оценку.

В качестве распределения случайной ошибки использовалась смесь двух нормальных распределений с дисперсиями ег,2 и а\. Зафиксированное значение сг,2 соответствовало уровню шума в 5 процентов (в качестве уровня шума рассматривалось отношение интенсивности шума к интенсивности полезного сигнала, выраженное в процентах). Параметр а\ менялся таким образом, чтобы соответствовать уровню шума от 20 до 100 процентов с шагом в 10 процентов. Параметр смеси X определял долю наблюдений с дисперсией а\ в генеральной совокупности. При каждой комбинации значений параметров А и ст* проводилось по пятьдесят вычислительных экспериментов, в каждом из которых вычислялись показатели 5, и ¿>2. Итоговые показатели усреднялись по наблюдениям.

Исследования проводились с использованием различных планов эксперимента. В результате были выявлены следующие закономерности. С точки зрения точности оценивания фиксированных параметров (показатель ) качество плана эксперимента оказывает существенное влияние на все из рассмотренных методов. На сбалансированных данных оценки фиксированных параметров в среднем точнее тех же оценок, полученных на несбалансированных данных.

С точки зрения точности оценивания случайных параметров (показатель 52) качество плана эксперимента оказывает существенно меньшее влияние на большинство из рассмотренных методов.

В работе исследовалось влияние, которое оказывает введение в модель линейных ограничений вида (4). По результатам вычислительных экспериментов было получено, что при определении фиксированных параметров ввод ограничений в среднем повышает точность оценивания большинства методов. С точки зрения точности оценивания случайных

параметров картина несколько иная. Так, длят НЗ и для 11ЕМЬЕ ввод ограничений на параметры оказывает положительное влияние, в то время как методы МЬЕ, МШ(}Н, 1МГЖ)Е оказались почти нечувствительны к наличию ограничений на параметры.

В работе также проводилось сравнительное исследование всех методов оценивания между собой. При каждой комбинации уровня шума и параметра смеси Я все методы ранжировались по усредненным показателям точности. В результате каждый из них занимал место от I до 10. Результаты ранжирования позволили сделать следующие выводы. В ситуации, когда в первую очередь интересует точность оценивания фиксированных параметров и при относительно малом уровне шума целесообразнее использовать МЬЕ. При большом уровне шума, а так же при предположении, что распределение ошибки далеко от нормального, целесообразнее воспользоваться либо ЯЕМЬЕ, либо НЗ.

Таблица 1

Усредненные места по показателю для различных методов в

зависимости от у| эовня шума

Метод Уровень шума НЗ МП^Е ШШСЗЕ МЬЕ ЯЕМЬЕ

20 6 4 9 2 2

30 6 4 9 3 3

40 4 2 9 4 4

50 4 2 9 5 3

60 4 2 9 7 3

70 4 1 8 7 3

80 4 1 8 7 3

90 4 1 8 7 3

100 4 1 8 7 3

При оценивании случайных параметров при относительно большом уровне шума, а так же в случае несоблюдения предположений о нормальности целесообразнее использовать метод минимальной нормы, который оказался наиболее помехоустойчивым (см. табл. 1).

Для случая, когда исследователь затрудняется выбрать какую-либо из имеющихся оценок, автором предлагается метод, позволяющий выбрать среди заданного множества квадратичных оценок компоненты дисперсии ту, которая обладает наименьшей дисперсией.

Рассмотрим некоторую квадратичную оценку /-ой компоненты дисперсии

а/ = УТАУ. (5)

Если мы ограничимся случаем симметричного распределения и будем рассматривать оценку, инвариантную к изменениям фиксированных параметров, то дисперсия оценки (5) может быть записана в виде

чах(УтАГ)=Иг(АУ<у)\ (6)

где Уа = + ...+ сг2И;; а~ (а,2.,...,<т,2) - вектор истинных значений компонент дисперсии.

Выражение (6) несложно преобразовать к виду

^\<а(УтАУ) = атВа =

= ат

НАи^Аи^) - Гт(Аи^[Аиги?)

(7)

Анализ выражения (7) позволяет сделать вывод, что определить величину дисперсии оценки без наличия априорной информации об истинных значениях компонент дисперсии нельзя. Однако, для того, чтобы сравнить дисперсии двух различных оценок, вовсе не обязательно знать их величины. Пусть двумя разными алгоритмами получены оценки /-ой компоненты дисперсии:

о~ = УГЛ] У (8)

¿] = УтАгУ (9)

Исходя из выражения (7) запишем дисперсии этих оценок как

уаг(ст,2) = стг£, ст (10)

хтф1) = аг В2о (11)

Сравнение дисперсий (10) и (11) можно заменить анализом знака их разности

у=\ас0{)-\<хф1) = (тт{Вх -В2)ст= <ттва. (12)

В (12) возможны три ситуации:

1. если г <0 для любых значений ст, то оценка (8) лучше оценки (9) в смысле минимума дисперсии;

2. если к> 0 для любых значений а, то аналогично, оценка (9) лучше оценки (8);

3. если знак у однозначно не определен, то необходимо дальнейшее исследование.

Каждое из трех условий соответствует типу определенности матрицы С. Первое условие выполняется, если С отрицательно определена. Второе - если б положительно определена. Третьему случаю соответствует знаконеопределенная матрица б1.

Матрица С? не зависит ни от истинных значений компонент дисперсии, ни от вектора наблюдений. Это значит, что выбрать алгоритм оценивания можно, зная только план эксперимента, до того, как будут проведены наблюдения.

Рассмотрим пример сравнения оценки МШС>Е (первая оценка) и НЗ (вторая оценка). В этом случае матрица С получилась знаконеопределенная. Для такой матрицы делать вывод о соотношении дисперсий оценок в случае любых истинных значений невозможно. Единственным решением может служить численный анализ некоторого конечного множества истинных значений. Для каждого значения из этого множества можно определять знак V в (12), с учетом которого делать выводы о предпочтительности той или иной оценки, но только по рассмотренному множеству истинных значений. Результатом такого анализа может служить частота или оценка вероятности, с которой (на данном множестве истинных значений) одна оценка имеет меньшую дисперсию, чем другая.

Для рассматриваемого примера было выбрано множество истинных значений на отрезке от 0,3 до 1,7 с шагом 0,2. Результаты численного сравнения приведены в табл.2.

Таблица 2

Знак величины у при сравнении МШОЕ и НЗ для различных истинных __ значений компонент дисперсии. _

С2 0,3 0,5 0,7 0,9 1,1 1,3 1,5 1,7

(уровень шума, %)

1,53 (20%) - - - - - - -

2,30 (30%) + - - - - - - -

3,07 (40%) + + - - - - - -

3,83 (50%) + + + - - - - -

4,60 (60%) + + + - - - -

5,37 (70%) + + + + + - - -

6,13(80%) + + + + + + - -

6,90 (90%) + + + + + + - -

7,67 (100%) + + + + + + + -

Анализ табл.2 позволяет сделать вывод о том, что в среднем с ростом уровня шума дисперсия оценок НЗ превышает дисперсию оценок МШ<ЗЕ, что согласуется с ранее полученными результатами.

Глава 3. СТАТИСТИЧЕСКИЙ АНАЛИЗ МОДЕЛЕЙ КОМПОНЕНТ ДИСПЕРСИИ

Третья глава посвящена проблеме проверки статистических гипотез о незначимости фиксированных и случайных факторов и задаче определения адекватной структуры случайной части модели компонент дисперсии.

В п.3.1 рассматриваются алгоритмы проверки гипотез о незначимости фиксированных и случайных факторов в модели (1)-(3) и исследуются условия, при которых применение этих алгоритмов возможно.

В п.3.2 рассматривается предлагаемый автором алгоритм выбора структуры случайной части модели компонент дисперсии для произвольного набора данных.

Допустим, что мы не знаем истинной структуры (2), но в нашем распоряжении имеется конечное множество Ф случайных факторов, которые могут воздействовать на отклик. При этом для каждого § е Ф мы знаем соответствующую ему матрицу (/,.

Будем обозначать через 5 множество случайных факторов, которые включены в (2). Для начала считаем, что 5 пусто, то есть е = е.

1. Среди всех элементов Ф, не включенных в 5, выбираем такой

который дает наибольшее значение величины

£

¿Г

где ег/, а] - оценки компонент дисперсии, полученные для модели со структурой, состоящей из 5 и §.

2. Выбранный на шаге 1 фактор 4 включаем в множество 5.

3. Для модели, содержащей все факторы из 5, проводим оценивание параметров и исключаем из Б те факторы, для которых выполняется условие

где v - некоторая заданная положительная величина.

4. Если на шагах 2 и 3 произошло включение и исключение одного и того же фактора или все факторы из Ф уже включены в S, то останавливаем алгоритм. В противном случае переходим на шаг 1.

Варьируя порог v, экспериментатор определяет на сколько дисперсия случайного фактора, включаемого в модель, должна превышать дисперсию ошибки.

Глава 4. ПРОГРАММНАЯ СИСТЕМА СТАТИСТИЧЕСКОГО

АНАЛИЗА И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНОВ ДЛЯ ЛИНЕЙНЫХ МОДЕЛЕЙ С КАЧЕСТВЕННЫМИ ФАКТОРАМИ "SEA"

В главе 4 рассматриваются основные возможности, принципы построения и требования к ресурсам ЭВМ разработанной программной

системы анализа и планирования экспериментов для линейных моделей с качественными факторами.

Программная система "SEA" ("Statistics, Experiment, Analysis") предназначена для решении задач планирования эксперимента, оценивания параметров и проверки статистических гипотез в моделях дисперсионного анализа как с фиксированными так и со случайными факторами.

Система "SEA" разработана для работы под управлением операционных систем WINDOWS NT или WINDOWS 95-98. Она снабжена удобным пользовательским интерфейсом, облегчающим работу на всех этапах анализа от построения модели и планирования эксперимента до ввода и анализа полученных результатов.

В основу организации программной системы "SEA" положена модульная структура. Модуль является самостоятельной программой, предназначенной для решения какой-либо подзадачи (например модуль дисперсионного анализа со случайными факторами).

Глава 5. ПРИМЕНЕНИЕ МЕТОДОВ АНАЛИЗА МОДЕЛЕЙ СО СТРУКТУРИРОВАННОЙ ОШИБКОЙ В НАУЧНЫХ ИССЛЕДОВАНИЯХ

В данной главе рассматриваются две практические задачи, которые были решены с использованием разработанных алгоритмов.

Параграф 5.1 посвящен задаче прогнозирования численности населения в г.Новосибирск на период до 2000 года.

В ходе ее решения был построен ряд линейных моделей со случайными факторами. Оценки параметров этих моделей позволили построить доверительные интервалы для, так называемых, возрастных коэффициентов рождаемости. Для границ интервалов было проведено моделирование половозрастной структуры населения г.Новосибирска с использованием метода передвижки возрастов. По результатам моделирования сделан прогноз рождаемости и численности населения

г.Новосибирска до 2005 года. _ -

В п.5.2 решена задача оценивания расстояния до фронта кристализации при искусственном выращивании кристаллов в

i ?>

невесомости. Оценивание проводилось с применением модели с авторегрессионными случайными эффектами, описывающей изменение длины выращиваемого монокристалла в зависимости от температурного режима расплава.

ЗАКЛЮЧЕНИЕ

Основные результаты, полученные в диссертационной работе, могут быть сформулированы в виде следующих положений.

1. Для модели со случайными факторами предложены модификации ряда алгоритмов оценивания параметров с использованием процедуры W-преобразования.

2. Проведен сравнительный анализ методов оценивания параметров в моделях со случайными факторами при различных планах экспериментов и различных распределениях ошибки.

3. Проведено сравнение точности оценивания параметров в моделях компонент дисперсии с ограничениями и без ограничений.

4. Разработан и реализован алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией.

5. С использованием статистического моделирования для модели компонент дисперсии исследованы условия применимости алгоритмов проверки гипотез о незначимости фиксированных и случайных факторов.

6. Разработан алгоритм типа "включения-исключения" для выбора структуры модели компонент дисперсии для произвольного набора данных.

7. Разработана программная система анализа мпогофакторных объектов, описываемых линейными моделями со случайными факторами.

8. Разработанные алгоритмы применены в научных исследованиях для решения двух практических задач.

Список публикаций

1. Денисов В.И., Чистяков В.М., Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фаддеенков A.B. Прогнозирование численности населения города Новосибирска: опыт математического моделирования // Научный вестник НГТУ,- Новосибирск, 1998. -№1(4). - C.123-1J8.

2. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами /

Полетаева И.А., Еланцева И.Л., Тимофеев B.C., Фадцеенков А.В. //Отчет о НИР, НГТУ, - №ГР 01.970000 786. - Новосибирск, 1998.-58с.

3. Полетаева И.А. Фаддеенков А.В. Оценивание параметров моделей компонент дисперсии /Труды третьей международной научно-технической конференции "Актуальные проблемы электронного приборостроения" (АПЭП-96). - Новосибирск, 1996 - Т. 6 Ч. 1 - С. 111115.

4. Полетаева И.А., Тимофеев B.C., Фаддеенков А.В. Некоторые вопросы совместного использования факторного и дисперсионного анализов /Третий сибирский конгресс по прикладной и индустриальной математике (ИНПРИМ-98). - Новосибирск, 1998 - Тезисы докладов, Ч.З - С. 70.

5. Полетаева И.А., Тимофеев B.C., Фаддеенков А.В. Система планирования и анализа экспериментов с качественными факторами. //Материалы международной научно-технической конференции "Информатика и проблемы телекоммуникаций", Новосибирск 1997., С.111-112.

6. Полетаева И.А., Фаддеенков А.В. Статистический анализ моделей компонент дисперсии.// Сб. научных трудов НГТУ. - Новосибирск, 1999. №3 (16). -С.31-37.

7. Фаддеенков А.В. Исследование алгоритмов оценивания параметров и проверки статистических гипотез в моделях компонент дисперсии // Сб. научных трудов НГТУ. - Новосибирск, 1999. №1 (14). -С. 148-156.

8. Фаддеенков А.В. Методы оценивания параметров в моделях компонент дисперсии при использовании идентифицирующих ограничений //Сб. научных трудов НГТУ. - Новосибирск, 1998. №3 (12). - С.11-18.

9. Фадцеенков А.В. О методах оценивания параметров в моделях компонент дисперсии //Материалы международной научно-технической конференции «Информатика и проблемы телекоммуникаций», Новосибирск 1999., С. 132.

10.Faddeenkov A.V. About some algorithms of statistical hypothesises testing in models of analysis of variance with random factors. // Abstracts the third Russian - Korean symposium on Science and Technology. Novosibirsk, 1999, Vol. 2, P. 542.

J

ВВЕДЕНИЕ.

Глава 1. ЛИНЕЙНЫЕ МОДЕЛИ СО СТРУКТУРИРОВАННОЙ

ОШИБКОЙ. СОВРЕМЕННОЕ СОСТОЯНИЕ.

1.1. Объект исследования как многофакторная система.

1.2. Основные типы моделей со структурированной ошибкой.

1.2.1. Модель с фиксированными факторами.

1.2.2. Модель компонент дисперсии.

1.2.3. Модели компонент дисперсии и ковариации.

1.2.3.1. Случай закоррелированных уровней.

1.2.3.2. Случай закоррелированных факторов.

1.2.4. Обобщенная модель случайных эффектов.

1.2.5. Авторегрессионые случайные эффекты.

1.2.6. Общая многомерная модель.

1.3. Методы оценивания параметров в моделях компонент дисперсии и ковариации.

1.3.1. Оценки дисперсионного анализа.

1.3.2. Оценки максимального правдоподобия.

1.3.3. Оценки маргинального максимального правдоподобия.

1.3.4. Квадратичные оценки минимальной нормы и минимальной дисперсии.

1.3.5. Байесовские оценки.

1.3.6. Сравнение статистических свойств оценок.

1.4. Современное программное обеспечение прикладного статистического анализа.

1.5. Обоснование задачи и цели исследования.

Глава 2. МЕТОДЫ И АЛГОРИТМЫ ОЦЕНИВАНИЯ КОМПОНЕНТ

ДИСПЕРСИИ

2.1. Третий алгоритм Хендерсона.

2.2. Процедура \¥-преобразования для третьего алгоритма Хендерсона.

2.3. Оценки максимального правдоподобия.

2.4. Процедура \У-преобразования вычислительных схем оценок максимального правдоподобия.

2.5. Оценки ограниченного максимального правдоподобия.

2.6. Процедура ^У-преобразования вычислительных схем оценок ограниченного максимального правдоподобия.

2.7. Квадратичные оценки минимальной нормы.

2.8. Процедура "^-преобразования для МЩС)Е(1Л).

2.9. Исследование методов оценивания компонент дисперсии.

2.9.1. Показатели точности оценивания параметров.

2.9.2. Исходные данные для моделирования и обозначения.

2.9.3. Исследование влияния уровня шума и свойств плана эксперимента на точность оценивания.

2.9.4. Исследование влияния вида распределения ошибки.

2.9.5. Исследование влияния линейных ограничений на параметры модели.

2.9.6. Сравнение точности оценивания параметров по всем методам.

2.9.7. Алгоритм выбора квадратичной оценки с минимальной дисперсией.

2.10. Выводы.

Глава 3. СТАТИСТИЧЕСКИЙ АНАЛИЗ МОДЕЛЕЙ

КОМПОНЕНТ ДИСПЕРСИИ.

3.1. Проверка статистических гипотез о незначимости факторов в модели компонент дисперсии.

3.1 Л. Проверка гипотез о незначимости фиксированных факторов.

3.1.2. Проверка гипотез о незначимости случайных факторов.

3.2. Выбор структуры модели компонент дисперсии.

3.3. Выводы.

Глава 4. ПРОГРАММНАЯ СИСТЕМА СТАТИСТИЧЕСКОГО

АНАЛИЗА И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНОВ ДЛЯ ЛИНЕЙНЫХ МОДЕЛЕЙ С КАЧЕСТВЕННЫМИ ФАКТОРАМИ "SEA".

4.1. Задачи, решаемые системой.

4.2. Пользовательский интерфейс программной системы "SEA".

4.3. Принципы организации программной системы "SEA".

4.4. Технические характеристики программной системы "SEA".

4.5. Выводы.

Глава 5. ПРИМЕНЕНИЕ МЕТОДОВ АНАЛИЗА МОДЕЛЕЙ СО СТРУКТУРИРОВАННОЙ ОШИБКОЙ В НАУЧНЫХ

ИССЛЕДОВАНИЯХ.

5.1. Исследование и прогноз демографической ситуации в городе

Новосибирске.

5.1.1. Прогнозирование численности населения с использованием метода передвижки возрастов.

5.1.2. Прогнозирование возрастных коэффициентов рождаемости с использованием модели компонент дисперсии.

5.2. Один подход к оцениванию координаты линии фронта кристализации.

5.2.1. Постановка задачи.

5.2.2. Методы оценивания параметров.

5.2.2.1. Метод максимального правдоподобия.

5.2.2.2. Метод наименьших квадратов.

5.2.3. Результаты статистической обработки наблюдений.

5.3. Выводы.

Высокие темпы развития современной вычислительной техники и программного обеспечения позволяют энергично развиваться такому направлению математики, как прикладная статистика.

Одно из направлений прикладной статистики - это методы анализа многофакторных объектов, включающие в себя, методы планирования и анализа экспериментов для моделей линейной регрессии с качественными и количественными переменными. Эти методы находят применение в таких отраслях науки и техники, как сельскохозяйственные, социологические, медико-биологические исследования, оптимизация сложных технологических процессов и др.

Методам анализа многофакторных объектов посвящено достаточно большое количество работ, связанных с планированием эксперимента, оцениванием параметров и проверкой статистических гипотез. Наиболее значимые результаты в этой области принадлежат следующим авторам: Шеффе Г., Pao С.Р., Хиксу Ч., Сирлу С., Клеф-феДж., Бродскому В.З., Налимову В.В., Федорову В.В., Денисову В.И., Марковой Е.В., Лисенкову А.Н., Адлеру Ю.П., Грановскому Ю.В., Попову A.A., Хабарову В.И., Полетаевой И.А., Пономареву В.В., Новикову A.C. и др. [1, 6, 10, 12, 27, 28, 29, 30, 31, 34, 41, 42, 50, 52, 56, 67, 68, 70].

Среди методов анализа многофакторных объектов можно выделить методы, использующие линейные модели со структурированной ошибкой, зависящей от некоторых случайных параметров. Одна из групп таких моделей - это модели со случайными факторами, получившие название моделей компонент дисперсии. Хотя методы анализа моделей со случайными факторами намного сложнее методов анализа моделй с фиксированными факторами как с алгоритмической, так и с вычислительной точки зрения, но использование таких моделей позволяет делать более общие выводы об исследуемом объекте. К сожалению, в отечественной литературе до последних нескольких лет моделям компонент дисперсии уделялось очень мало внимания, в то время, как зарубежные ученые активно исследуют эту область. Здесь также можно отметить следующих авторов: Шеффе Г., Pao С.Р., РаоДж.Н.К., Сирл С., Клеффе Дж., Кох Г.Г., Хартли Г.О., Хем-мерли В.Дж., Паттерсон Г.Д., Томсон Р., Корбейл P.P., Маркова Е.В., Полетаева И.А., Новиков A.C. и др. [29, 30, 31, 36, 56, 61, 62, 63, 64, 66, 67, 68, 70].

Бурное развитие и широкое распространение вычислительной техники, а также расширение области применения методов анализа многофакторных объектов повлекли за собой появление у исследователей интереса к моделям со случайными факторами.

Все это позволило сформулировать основную задачу, решению которой посвящена данная диссертационная работа, следующим образом: разработка, исследование и использование эффективных алгоритмов оценивания параметров в линейной модели со случайными факторами, а также создание интегрированной программной системы для анализа многофакторных объектов методами дисперсионного анализа со случайными факторами с использованием современных ЭВМ.

Научная новизна заключается в следующем. Предложен и исследован ряд алгоритмов нахождения оценок параметров линейной модели со случайными факторами. Исследовано влияние, оказываемое на точность различных методов оценивания вводом в модель идентификационных ограничений. Дан ряд практических рекомендаций по использованию исследованных методов. Разработан метод решения задачи сравнения дисперсий оценок компонент дисперсии, представимых в виде квадратичных форм вектора наблюдений. Исследованы алгоритмы проверки гипотез о незначимости факторов в модели компонент дисперсии. Разработан и исследован алгоритм определения оптимальной структуры ошибки. Разработана программная система, предназначенная для анализа многофакторных объектов, куда вошли алгоритмы классического дисперсионного анализа и дисперсионного анализа со случайными факторами. С использованием разработанных алгоритмов решены две практические задачи.

На защиту выносятся: •алгоритмы оценивания параметров в модели компонент дисперсии; •результаты исследования методов оценивания параметров в модели компонент дисперсии;

•алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией; •алгоритм выбора адекватной структуры ошибки в модели со случайными факторами; •программная система для анализа многофакторных объектов.

Результаты исследований, проведенных автором, докладывались и обсуждались на: третьей международной научно-практической конференции "Актуальные проблемы электронного приборостроения" АПЭП-96 (Новосибирск 1996); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1997); третьем сибирском конгрессе по прикладной и индустриальной математике ИНПРИМ-98 (Новосибирск 1998); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1999); The third Russian-Korean international Symposium on Science and Technology (KORUS'99).

Основные результаты исследований автора опубликованы в работах [4, 13, 18, 19, 20, 37, 38, 39, 40, 47, 48, 49, 60].

По структуре диссертация состоит из введения, пяти глав основного содержания, заключения, списка литературы и приложения.

Основные результаты, полученные в диссертационной работе, могут быть сформулированы в виде следующих положений.

1. Для модели со случайными факторами предложены модификации ряда алгоритмов оценивания параметров с использованием процедуры \У-преобразования.

2. Проведен сравнительный анализ методов оценивания параметров в моделях со случайными факторами при различных планах экспериментов и различных распределениях ошибки.

3. Проведено сравнение точности оценивания параметров в моделях компонент дисперсии с ограничениями и без ограничений.

4. Разработан и реализован алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией.

5. С использованием статистического моделирования для модели компонент дисперсии исследованы условия применимости алгоритмов проверки гипотез о незначимости фиксированных и случайных факторов.

6. Разработан алгоритм типа "включения-исключения" для выбора структуры модели компонент дисперсии для произвольного набора данных.

7. Разработана программная система анализа многофакторных объектов, описываемых линейными моделями со случайными факторами.

8. Разработанные алгоритмы применены в научных исследованиях для решения задач прогнозирования половозрастной структуры населения г.Новосибирска и описания изменений одной из координат фронта кристализации при искуственном выращивании монокристаллов в условиях невесомости.

ЗАКЛЮЧЕНИЕ

1. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976.-279с.

2. Айвазян С.А., Енюков И.С., Мешалкин А.Д. Прикладная статистика: исследование зависимостей: справ.изд. М.: Финансы и статистика, 1985. -488с.

3. Айвазян С.А., Степанов B.C. Инструменты статистического анализа данных. // Мир ПК,- 1997. -№8. С.32-41.

4. Боровиков В.П., Боровиков И.П. STATISTICA Статистический анализ и обработка данных в среде WINDOWS. М.: Информационно-издательский дом "Филинъ", - 1997. - 608с."

5. Бродский В.З. Введение в факторное планирование эксперимента. М.: Наука, 1976. 233с.

6. Валентей Д.И., Кваша А .Я. Основы демографии. М.: Мысль, 1989,286 с.

7. Венецкий И.Г. Математические методы в демографии. М.: Статистика, 1971. - 380с.

8. Волков Е.А. Численные методы. М.: Наука, 1987. 248с.

9. Ю.Денисов В.И. Математическое обеспечение системы ЭВМэкспериментатор (регрессионный и дисперсионный анализы). М.: Наука, 1977. - 252с.

10. П.Денисов В.И., Полетаева И.А., Хабаров В.И. Экспертная система для анализа многофакторных объектов. Дисперсионный анализ. Прецедентный подход. Новосибирск, 1992. 127с.

11. Денисов В.И., Попов A.A. Пакет программ оптимального планирования эксперимента. М.: Финансы и статистика, 1986. 156с.

12. И.Денисов В.И., Чистяков В.М., Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фаддеенков A.B. Прогнозирование численности населения города Новосибирска: опыт математического моделирования // Научный вестник НГТУ.- Новосибирск, 1998. -№1(4). С. 123-128.

13. Дерк Л. Borland С++ 5. Справочник. // Пер. с нем.-М.: "Изд. БИНОМ", 1997.-560с.

14. Дж. Гласс, Дж. Стэнли. Статистические методы в педагогике и психологии. М. Прогресс, 1979. 496с.

15. Дрейпер Н., Смит Н. Прикладной регрессионный анализ. М.: Статистика 1973. 392с.

16. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. Киев: Наукова думка, 1985. - 216с.

17. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами/ Полетаева И.А., Тимофеев B.C., Фаддеенков A.B.// Отчет о НИР, НГТУ, Новосибирск, 1996г. - 53с.

18. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами / Полетаева И.А., Тимофеев B.C., Фаддеенков A.B. //Отчет о НИР, НГТУ, Новосибирск, 1997г. - 53с.

19. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами / Полетаева И.А., Еланцева И.Л., Тимофеев B.C.,

20. Фаддеенков A.B. // Отчет о НИР, НГТУ, №ГР 01.970000 786. -Новосибирск, 1998. - 58с.

21. Исаенко O.K., Урбах В.Ю. Разделение смеси распределений вероятностей на их составляющие //Итоги науки и техники. Сев. ТВ.МС.ТК ВИНИТИ, 1976.-Т.13. - С.37-58.

22. Канту М. DELPHI 2 для WINDOWS 95/NT. Полный курс. М.: Малип, 1997, Т.1,2.

23. Кулаичев А. П. Методы и средства анализа данных в среде WINDOWS: STADIA 6.0.-М.: Информатика и компьютеры, 1998. -270с.

24. Кулаичев А.П. Пакеты анализа данных. // Мир ПК,- 1995. -№1.-С.127-132.

25. Лисицин Д.В. Выбор структуры многомерной модели при построении зависимостей по статистическим данным. Диссертация на соискание уч. степени к.т.н., Новосибирск, 1998. 268с.

26. Лисицин Д.В. Обобщенная задача выбора структуры многомерной модели. // Труды IV международной конференции "Актуальные проблемы электронного приборостроения", Новосибирск, 1998.-Т.3,-С.69-72.

27. Маркова Е.В., Денисов В.И., Полетаева И.А., Пономарев В.В. Дисперсионный анализ и синтез планов на ЭВМ. М.: Наука, 1982.

28. Маркова Е.В., Лисенков А.Н. Комбинаторные планы в задачах многофакторного эксперимента. М.: Наука, 1979.-345с.

29. Маркова Е.В., Новиков A.C. //Вопросы кибернетики. Статистические методы в теории обеспечения эксплуатации. 1982, С. 28-49

30. Маркова Е.В., Новиков A.C. Анализ компонент дисперсии -специфика, модели, виды оценок. // Заводская лаборатория Т.50 №7 С. 40-45.

31. Маркова Е.В., Новиков A.C. Проблемы алгоритмического обеспечения анализа компонент дисперсии //Вопросы кибернетики. Статистические методы в теории обеспечения эксплуатации. 1982, - С. 45-71.

32. Мельвицкий М.Г., Верезуб H.A., Картавых A.B. и др. Выращивание монокристаллов полупроводников в космосе: результаты, проблемы, перспективы. //Кристаллография. 1997. - Е.42, №5. - С.913-923.

33. Миллер Т., Пауэл Д. и др. Использование DELPHI 3. Пер. с англ., Киев: Диалектика, 1997. 768с.

34. Налимов В.В., Голикова Т.Н. Логические основания планирования эксперимента. М.: Металлургия, 1981. 151с.

35. Областной центр город Новосибирск: информационно-аналитический сборник. - Новосибирск: НИИРУ, 1997. - 122 с.

36. Полетаева H.A. Математическое обеспечение дисперсионного анализа и планирования экспериментов с качественными факторами. Диссертация на соискание уч.степени к.т.н., Новосибирск, 1979. 186с.

37. Полетаева И.А. Фаддеенков A.B. Оценивание параметров моделей компонент дисперсии /Труды третьей международной научно-технической конференции "Актуальные проблемы электронного приборостроения" (АПЭП-96). Новосибирск, 1996 - Т. 6 Ч. 1 - С. 111115.

38. Полетаева H.A., Тимофеев B.C., Фаддеенков A.B. Система планирования и анализа экспериментов с качественными факторами. //Материалы международной научно-технической конференции

39. Информатика и проблемы телекоммуникаций", Новосибирск 1997., С.111-112.

40. Полетаева И.А., Фаддеенков A.B. Статистический анализ моделей компонент дисперсии.// Сб. научных трудов НГТУ. Новосибирск, 1999. №3(16).-С. 31-37.

41. Пономарев В.В. Диалоговая система обработки данных многооткликовых экспериментов с качественными и количественными факторами. Диссертация на соискание уч. степени к.т.н., Новосибирск, 1985. 193с.

42. Рао С.Р. Линейные статистические методы и их применение. М.: Наука, 1968. 548с.

43. Сван Т. Секреты 32-разрядного программирования в DELPHI.-Киев: Диалектика, 1997. 480с.

44. Страуструпп Б. Язык программирования С++. М.: 1991 348с.

45. Трой Д. Программирование на языке Си для персонального компьютера IBM PC: Пер. с англ. М.: Радио и связь, 1991. - 432с.

46. Тюрин Ю.Н., Макаров A.A. Статистический анализ данных на компьютере. М.: ИНФРА-М, 1998. 528с.

47. Фаддеенков A.B. Исследование алгоритмов оценивания параметров и проверки статистических гипотез в моделях компонент дисперсии // Сб. научных трудов НГТУ. Новосибирск, 1999. №1 (14). - С.148-156.

48. Фаддеенков A.B. Методы оценивания параметров в моделях компонент дисперсии при использовании идентифицирующих ограничений // Сб. научных трудов НГТУ. Новосибирск, 1998. №3 (12).-С.11-18.

49. Фаддеенков A.B. О методах оценивания параметров в моделях компонент дисперсии //Материалы международной научно-технической конференции «Информатика и проблемы телекоммуникаций», Новосибирск 1999., С. 132.

50. Федоров В.В. Теория оптимального эксперимента. М.: Наука, 1971. -182с.

51. Хальд А. Математическая статистика с техническими приложениями. М.: ИЛ, 1956. -664 с.

52. Хикс Ч. Основные принципы планирования эксперимента. М.: Мир, 1967. -406с.

53. Химмельблау Д. Прикладное нелинейное программирование. М. 1975. - 534с.

54. Хьютсон. Дисперсионный анализ. М.: Статистика, 1971. 230с.

55. Численность и половозрастной состав населения городов и районов области. Новосибирск: областной комитет государственной статистики, 1997. - 106 с.

56. Шеффе Г. Дисперсионный анализ. М.: Физматгиз, 1980. 512с.

57. Шумаков П.В. DELPHI 3 и разработка приложений баз данных. М.: Нолидж, 1998. 704с.

58. Corbeil R.R., Searle S.R. Restricted maximum likelihood (REML) estimatin of variance components in the mixed model. Technometrics, 1976, v. 18. № 1. P.31-38.

59. Eisenhart C. The assumptions underlyng analysis of variance. Biometrics, 1947. V.3.,P.l -21.

60. Faddeenkov A.Y. About some algorithms of statistical hypothesises testing in models of analysis of variance with random factors. // Abstracts the third Russian Korean symposium on Science and Technology. Novosibirsk, 1999, Vol. 2, P. 542.

61. Koch. A general approach to the estimation of. variance components. -Technometrics. v.9. №1, 1967. P.93 118.

62. Koch. Some further remark on "Anoser look of Henderson's methods of estimating variance components".- Technometrics. v. 10. №3, 1968. P.551558.

63. Hartley H.O., Rao J.N.K. Maximum likelihood estimatin for the mixed analysis of variance models. Biometrica, 1967, v.54. №1-2, P. 93-108.

64. Hemmerle W.J., Hartley H.O. Computing MLE for the mixed AOY model using W-transformation. Technometrics 1973 v. 15. №4. P. 819-831.

65. Neber J. Applied linear statistical models. Regression. Analysis of Variance and experimental designs. IRWIN, Boston 1990. 1182 p.

66. Patterson H.D., Thompson R. MLE of variance. Biometrika 1971, v.58 P. 545554.

67. Rao C.R., J.Kleffe Estimation of variance components and applications., N.Y. 1988, 374p.

68. Searle. Anoser look of Henderson's methods of estimating variance components.-.Biometrics, 1968. V.24. №4, P. 748-788.

69. SAS/STAT. User's guide release 6.03 edition. Cary: SAS Inst. Inc., 1988.-1028p.

70. Searle S.R. Linear models. 1971.-532p.