автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Выбор структуры многомерной линейной модели при построении зависимостей по статистическим данным

г ^ На правах рукописи

А

Лисицнп Даниил Валерьевич

ВЫБОР СТРУКТУРЫ МНОГОМЕРНОЙ ЛИНЕЙНОЙ МОДЕЛИ ПРИ ПОСТРОЕНИИ ЗАВИСИМОСТЕЙ ПО СТАТИСТИЧЕСКИМ

ДАННЫМ

Специальность 05.13.16- применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (в области технических наук)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Новосибирск -1998

Работа выполнена в Новосибирском государственном техническс университете

Научный руководитель доктор технических наук, профессор В.И. Денисе Научный консультант кандидат технических наук, доцент A.A. Попов

Официальные оппоненты:

доктор технических наук, профессор В.И. Котюков

кандидат технических наук A.C. Толстиков

Ведущая организация

Сибирская государственная академия телекоммуникаций и информатики г. Новосибирск

Защита состоится " 1998 года в часов на заседани

диссертационного совета Д063.34.03 при Новосибирском государственно] техническом университете (630092, Новосибирск-92, пр. К. Маркса, 20).

С диссертацией можно ознакомиться в читальном зале библиотеки НГТУ.

Автореферат разослан "j^f." ^ 1998 г.

Ученый секретарь диссертационного совета Д063.34.03 к.т.н., доцент

Г.П. Чикильдин

Общая характеристика работы

Актуальность. Математическое моделирование - важный этап изучения объекта или явления. В условиях большой сложности или недостаточно» изученности объекта исследования построение математической модели основывается на концепции "черного ящика", когда описание поведения объекта связывается с двумя группами характеристик - входных (факторы) и выходных (отклики). Отклики рассматриваются как функции факторов. Стохастический характер зависимости обусловлен наличием как ошибок измерения характеристик, так и неизвестных "латентных" воздействий. В такой ситуации построить модель можно с помощью статистических методов на основании наблюдений за поведением объекта.

При построении линейных по параметрам моделей в регрессионном анализе предполагается, что модель известна с точностью до параметров. В случае, когда неизвестна структура модели, т.е. множество регрессоров (факторов и их функции), описывающих отклики, необходимо воспользоваться какими-либо методами выбора структуры модели.

Известным приемом для уточнения структуры модели в "классическом" статистическом анализе является проверка гипотез о незначимости параметра. Однако такой подход имеет ряд недостатков, в частности, в этом случае необходимо постулировать закон распределения исследуемых величин и назначать уровень значимости.

Для выбора структуры модели разработан оптимизационный подход, основанный на поиске структуры, доставляющей экстремум критерию качества. Развитие этого подхода связано именами Н. Akaike, D.M. Allen, G.M. Furnival, M.J. Garside, R.R. Hocking, C.L. Mallows, B.H. Вапника, А.Г. Ивахненко, А.И. Орлова, И.III. Пипскера, B.C. Степашко. Метод пошаговой регрессии (М.А. Efroimson) сочетает в себе оптимизационный подход и проверку гипотез.

Сложный объект характеризуется наличием нескольких откликов, поведение которых интересует исследователя. Такие объекты называют многомерными или многооткликовыми. Для построения моделей многомерных объектов необходимо использовать многомерные методы, учитывающие существующие статистические взаимосвязи между откликами. Подобные методы разработаны для проведения проверки гипотез в "классическом" статистическом анализе (Н. Hotelling, D.N. Lawley, C.R. Rao, S.N. Roy, S.S. Wilks). Однако оптимизационный подход к выбору структуры многомерной модели разработан недостаточно.

В некоторых ситуациях среди факторов, воздействующих на отклики, могут присутствовать факторы, измеренные в качественной шкале. При построении таких моделей обычно используется проверка гипотез о незначимости факторов; в одномерном случае предлагалось также использовать оптимизационный подход к выбору структуры (A.A. Попов). В многомерном случае задача оптимизации структуры при наличии качественных и разнотипных факторов ранее не решалась.

Оптимизационный подход позволяет выделить из заданного набора регрессоров те, которые наилучшим образом описывают поведение откликов. В то же время при построении модели может быть доступна априорная информация об объекте исследования, на основании которой можно сформировать линейные ограничения-равенства на параметры модели. Например, в виде линейного ограничения можно сформулировать предположение о прохождении графика зависимости через определенную точку; можно задать линейное ограничение, отражающее незначимость различий между двумя уровнями качественного фактора; посредством наложения системы линейных ограничений можно ввести в многомерную модель общин параметр, т.е. параметр, присутствующий одновременно в уравнениях нескольких откликов. Пели ограничения соответствуют экспериментальным данным, то учет ограничений делает модель более адекватной объекту исследования. Проверку соответствия ограничений экспериментальным данным можно осуществить с помощью механизма проверки гипотез. Другой путь может состоять в использовании критериев качества при формировании оптпмалыюи системы линейных ограничений на параметры. Однако в рамках оптимизационного подхода такая задача ранее не ставилась.

Цель исследования. Данная работа направлена на разработку методов оптимизации состава регрессоров и системы линейных ограничений на параметры многомерных линейных моделей с факторами количественного и качественного типов.

Научная новизна диссертационной работы состоит в следующем:

1) сформулирована обобщенная задача выбора структуры модели, включающая, наряду с выбором состава регрессоров, выбор системы линейных ограничений на параметры модели;

2) предложены критерии качества структур для многомерных моделей;

3) построены эффективные вычислительные схемы для алгоритмов решения обобщенной задачи выбора структуры;

4) разработана методика проведения и проведено экспериментальное исследование, покачавшее работоспособность критериев и алгоритмов при выборе структур для моделей различного типа;

5) разработано программное обеспечение выбора структуры многомерной модели;

6) построены многомерные модели реальных объектов.

Практическая ценность и реализация результатов. Разработанные в

диссертации подходы позволяют эффективно решать задачу оптимизации состава регрессоров и системы линейных ограничений на параметры при построении многомерных моделей. Созданное программное обеспечение позволяет автоматизировать процесс построения многомерных моделей. Разработаны многомерные модели для реальных технологических и образовательных процессов. Полученные результаты нашли практическое применение на Новосибирском заводе химконцентратов, в отделе образования Центрального р-на г. Новосибирска, на факультете прикладной математики и информатики и на кафедрах технологии машиностроения и промышленной электроники Новосибирского государственного технического университета.

Личный вклад. Все результаты, приведенные в диссертации без ссылок на чужие работы, принадлежат лично автору.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на Российских научно-технических конференциях "Информатика и проблемы телекоммуникаций" 1994 и 1996 гг., на третьей Международной научно-технической конференции "Актуальные проблемы электронного приборостроения" АПЭП-96, на втором Сибирском конгрессе по прикладной и индустриальной математике ИНПРИМ-96, на Международной научно-технической конференции "Информатика и проблемы телекоммуникаций" 1997 г., на научных семинарах "Анализ и планирование экспериментов" кафедры прикладной математики Новосибирского государственного технического университета.

Публикации. Основные результаты диссертационной работы изложены в десяти публикациях.

Структура работы. Диссертация состоит из введения, пяти разделов, заключения, списка использованных источников из 124 названий и приложения. Работа изложена на 272 страницах, включающих 104 таблицы и 52 рисунка.

Основное содержание работы

В первом разделе излагаются состояние вопроса и обоснование задач исследования.

В подразделе 1.1 приведена типология многомерных моделей. Рассмотрены следующие типы многомерных моделей: традиционная многомерная модель (ТММ), в которой все отклики описываются идентичными множествами регрессоров; модель псевдонезависимых регрессии (МПНР), в которой отклики описываются различными множествами регрессоров. Здесь же рассмотрены особенности моделей с общими параметрами, многомерных моделей с разнотипными факторами и некоторых динамических стохастических моделей.

Традиционную многомерную линейную регрессионную модель можно представить в следующем виде:

К = (1)

где У - нх/э-матрцца п измерении р откликов системы; X - «хг-матрица значений г регрессоров; 0 - гх/ьматрица неизвестных параметров; Е -нх/7-матрица неизвестных значений /7-мерного вектора случайных возмущений (шума).

Примем предположение, что строки Е распределены независимо с нулевым вектором математического ожидания и положительно определенной дисперсионной матрицей Е размерности рхр.

Многомерную модель можно преобразовать в одномерную:

(5-' ®/„)у= (5"1 ® (Я"1 <8>/я)е, (2)

где Е = ; ® - символ кронекерова произведения; 1п - единичная

'Г 'Л гр гр

ихи-матрнна; „1' = [У| , У2 ,...,Ур ] ; У,- - /-й столбец матрицы 2. -

= 1р®Х\ ф = [(~\Т,&Т.....&1\Г\ - /-й столбец матрицы 0;

Т Т V Р б = [Е| , Е2 , ..Ер ] ; Е,- - 1-й столбец матрицы Е.

МПНР представляется в виде (1), при этом некоторые элементы матрицы <9 априорно считаются нулевыми.

В подразделе 1.2 приводится постановка задачи выбора структуры, рассматриваются известные критерии качества и алгоритмы выбора структуры. Задача выбора структуры формулируется как оптимизационная:

/ =arg min CR(f), (3)

/

где/* - оптимальная структура модели;/- структура модели; F- априорно заданное множество структур; CR(f) — критерий качества.

Во втором разделе сформулирована обобщенная задача выбора структуры модели, разработаны критерии качества структур многомерных регрессионных моделей, рассмотрены особенности выбора структуры для многомерных моделей с качественными и разнотипными факторами и для многомерных динамических стохастических моделей, излагаются методика проведения и результаты экспериментальных исследований критериев качества для моделей различных типов.

В подразделе 2.1 приводится постановка обобщенной задачи выбора структуры для многомерных моделей.

Задачу, состоящую в определении регрессоров, полезных для описания откликов, будем называть традиционной задачей выбора структуры модели. Заметим, что для ТММ исключение из модели к-го регрессора эквивалентно наложению на параметры исключающего ограничения (д. 0 — 0р, где ik - к-я единичная вектор-строка размерности г, 0р - нулевая вектор-строка размерности р. Аналогично для МПНР исключение из модели к-го регрессора, описывающего j-ii отклик, эквивалентно наложению на параметры исключающего ограничения 0дj = 0.

Для ТММ введем множество, которое состоит из wограничений общего вида, заданных на-основе априорной информации. Данное множество представим в матричном виде следующим образом;

СГ6> = Д (4)

где СТи S- известные матрицы размерности wxr и и'хр соответственно.

Аналогично для МПНР множество ограничений общего вида состоит из уравнений, приравнивающих произвольной константе произвольную линейную комбинацию ненулевых элементов матрицы 0.

В дальнейшем будем считать, что во множество ограничений общего вида не входят исключающие ограничения.

Тогда обобщенна» задача выбора структуры модели состоит в фор мироваиии совместной системы ограничений на параметры, которая явля ется подмножеством исходного множества ограничений, включающей: множество ограничений общего вида и множество исключающих ограни чений. В результате структура модели может быть представлена в вид( системы лилейных ограничений на параметры "полной" модели, вклю чающей все регрессоры. С другой стороны обобщенная задача выборг структуры модели подразумевает формирование множества (множеств регрессоров, описывающих отклики, и формирование совместной системь ограничений на параметры, являющейся подмножеством множества огра ничений общего вида. Сложностью структуры модели является число сте пеней свободы, используемых на оценивание параметров регрессии.

Введем понятие блока. Блок состоит из нескольких регрессоров и ог раничений, которые согласно априорной информации должны одновре менно присутствовать или отсутствовать в модели.

Для ТММ могут использоваться ограничения на параметры видг НОР = J, где //, Р, J - известные матрицы. Оценки параметров тако1 модели в процессе выбора структуры можно получать в результате мини мизакии остаточной суммы квадратов для модели (2) с ограничениями методом неопределенных, множителей Лагранжа. В предположении линейно! независимости столбцов матрицы X в работе показывается, что оценка, ж учитывающая коррелированность и неодинаковость дисперсий компонен тов шума, не является наилучшей несмещенной оценкой, линейной по у. С точки зрения подобия используемых методов оценивания параметров дан ную модель можно рассматривать как частный случай МПНР с ограниче ниями на параметры.

Заметим, что оценивание общих параметров в МПНР можно произ водить специальными методами (Федоров В.В., 1977), используя вспомога тельные регрессоры, вводящие в модель общие параметры.

Конструирование критериев качества, используемых при решенш обобщенной задачи выбора структуры многомерной регрессионной моде ли, проведено в подразделе 2.2. Критерии качества удобно разделить н: две группы: критерии, использующие экзаменационную выборку, и крите рни, не использующие экзаменационную выборку.

Рассмотрим критерии, использующие экзаменационную выборку

Пусть исходная выборка IV: [ У, X ] разделена на части А: [ УА, X^ ] и В

[ Yß, Хв]. Введем обозначения: &¡y, &А и &в - оценки матрицы параметров 0, вычисленные с использованием выборок IV, А и В соответственно, E~(IV), Е~(А), F?(B) — соответствующие им матрицы остаточных сумм квадратов-произведений. Оценки параметров учитывают систему наложенных ограничений.

Для симметричных и несимметричных одномерных критериев вводятся матричные аналоги (рхр-матрицы): для критериев регулярности

Reg = (УЛ - XAáB)T(YA - XAé>B) + (Yb-Xb&a)t(Yb~Xb&a), Reg(B) = (Yg — X Bé)A)T (YB - Xß&A)\ для критериев стабильности Stab = (Y-X@A)T(Y-Xé>A) + (Y-X&S)T(Y-X&ß), Stab{A) =

= (Y — Xé>.¡)^(Y — X&A); для критериев непротиворечивости

N =(&a~ób)txtx(&a-ób),n(b) =(é>A-é>B)Tx¡xB(é>A-é>B)-,

для критериев вариативности V = (&iV — &А)ТХ^Х(&в ~ &¡y),

V(B) =(é>ir -¿>A)Tx¡'xfí(é>B -¿>lvy

Также вводятся матричные аналоги для критерия скользящего кои-1 "

тропя SI - - V (Г(/) - XU)e(l])r(YU) - Хи]&щ), где Y(¿), X(¿) - i-e строки п /=1

матриц Y и X соответственно, - оценка параметров модели при исключенном /-м измерении, и для обобщенного критерия скользящего кон-1

тр0ЛЯ Gsi = -ГЛе "

»I »2 /=1

строк матриц Y и X, исключаемых из выборки при í-м удалении, -

оценка параметров модели при исключенных Y[¡\, X[j\.

В качестве критериев используются свертки матричных аналогов. Свертки в виде детерминанта (D-свертка), следа (A-свертка), максимального собственного числа (E-свертка), максимального диагонального элемента (М-свертка), произведения диагональных элементов (Р-свертка) можно рассматривать как различные принципы нахождения Парето-оптимальных решений в задачах векторной оптимизации. В результате преобразования

(2) получается свертка в виде следа матричного аналога с взвешиванием ()} (И-свертка), где £>- любой из матричных аналогов критериев. Также в результате преобразования (2) приходим к свертке в виде следа, априорно положив Е = 1р. Для критериев вариативности применяются Я-, А-, М-, Р-свертки, при этом в последних трех свертках используются абсолютные значения элементов матриц.

Можно вычислить критерий скользящего контроля для одномерной модели (2), удаляя из "одномерной" выборки по одному из нхр ее наблюдений. Такой критерий обозначим ИБ!. В предположении линейной независимости столбцов матрицы X для ТММ доказана эквивалентность критериев и сверток матрицы Я1, связанных с преобразованием (2).

Для матричного аналога критерия скользящего контроля в ТММ получена формула эффективных вычислений при условии, что на параметры модели наложена система ограничений К& = 1У, где К и V - известные матрицы:

В одномерной модели (2) аналогичная формула будет справедлива также для критерия US!.

В рамках традиционной задачи выбора структуры для одномерного случая известны некоторые соотношения между критериями качества (Ивахненко А.Г., Степашко B.C., 1985). Такие же соотношения между матричными аналогами критериев качества получены в работе для ТММ в рамках обобщенной задачи выбора структуры. Приведем основные соот-

ношения: Reg(B) = N(B) + Е?(В), Stab(A) = N(B) + + E?-(B),

V(B) = (ГА-ХА&,у)т(УА-ХлЗц,) - E2(A), Slab(A) - B(W) =

= Л/(В)- V. В МПНР подобные соотношения справедливы для сверток матричных аналогов критериев, связанных с преобразованием (2).

Каждый из матричных аналогов критериев для ТММ можно интерпретировать как матрицу остаточных сумм квадратов-произведений некоторой модели с введенными на параметры дополнительными ограниче-

(Y^-X^yfiY^-X^&yy), (5)

где С\ - верхний диагональный блок матрицы

ХТХ К71 '

к о

ниями специального вида, либо как изменение матрицы остаточных сумм квадратов-произведений некоторой модели, вызванное введением дополнительных ограничений. В МП HP подобная интерпретация возможна для матричных аналогов всех критериев за исключением критериев непротиворечивости и вариативности, для которых возможность интерпретации сохраняется только для сверток, связанных с преобразованием (2).

Рассмотрим критерии, не использующие экзаменационную выборку. Для ТММ обозначим через г количество регрессоров в полной модели, через и - количество ограничений, наложенных на параметры полной модели. Для МПНР обозначим через г'суммарное по всем откликам количество регрессоров в полной модели, через и' - количество ограничений, наложенных на г' параметров полной модели. Приведем формулы, полученные в работе, при этом первая формула соответствует ТММ, а вторая -МПНР.

Критерий Мелпоуса MC = tr\ S~XE2{ W) } + 2(r - u)p-np, MC = tr{£ E (W)} + 2(r' —!/') - np\ информационный критерий Акаике

MA1C = n log(det(- E20V))) + 2(r-v)p, MAIC=np log(/г{Г"'х n

'у

xE~(IV)}/(np)) + 2(r' — tt'); критерий финальной ошибки прогнозирования

МЕРЕ = der E\W) Г""-»У МЕРЕ = tr{^E2(W)} Пр+Г' ;

\и-г + иJ пр-г' + и'

1 2

средний квадрат ошибки MSE =-Е (I V) , MSE —

п-г + и

I -у

+ а'). На основе матрицы MSE для ТММ критерии могут быть построены в виде различных сверток.

В подразделе 2.3 излагаются методика проведения и результаты экспериментального исследования критериев качества структур многомерных регрессионных моделей для традиционной задачи выбора структуры. Изложенные здесь результаты получены совместно с канд. техн. наук, доцентом A.A. Поповым.

Критерии исследовались при шуме различного уровня, при разной степени коррелироианности компонентов шума и при различном количестве наблюдений в выборке. Уровень шума определяется как квадратный

корень из отношения дисперсии компонента шума к мощности соответствующего компонента полезного сигнала.

Обобщения критериев непротиворечивости и вариативности, как и в одномерном случае, работоспособны только при малом уровне шума. Обобщения остальных критериев работоспособны в большей степени. В целом большую работоспособность имеют критерии типа скользящего контроля и Меллоуса. На рис. 1 представлены максимальные значения уровня шума, при которых различные критерии в последовательности экспериментов выбирают истинную структуру для ТММ не менее, чем в половине случаев. Столбцам разного цвета на гистограмме соответствуют различные значения коэффициентов корреляции компонентов шума (значения указаны на рисунке). Для матричных аналогов используется Я-свертка.

81 МС БОЬ Яед N V

Рис. 1.

Среди различных сверток для матричных аналогов критериев при высокой степени коррелировашюсти компонентов шума преимущество показали детерминант и след матрицы с взвешиванием. На рис. 2 представлены максимальные значения уровня шума, при которых различные свертки матричного аналога критерия скользящего контроля в последовательности экспериментов выбирают истинную структуру для ТММ не менее, чем в половине случаев. Столбцам разного цвета на гистограмме соответствуют различные значения коэффициентов корреляции компонентов шума (значения указаны на рисунке). При отсутствии столбца на гис-

тограмме соответствующее максимальное значение уровня шума меньше 0.05.

Р* О А Р Е М

Рис. 2.

Исследование обобщений критериев Меллоуса, скользящего контроля и регулярности показало, что при малом уровне шума минимум критерия соответствует истинной структуре, а при увеличении уровня шума сложность оптимальной структуры уменьшается. Подобное свойство свидетельствует о помехоустойчивости рассматриваемых критериев.

Исследование для МПНР имело дополнительную цель: сравнить несколько подходов к выбору структуры. Первый подход предполагает выбор структуры по разработанным критериям качества структур многомерных моделей с использованием оценок Зельнера для параметров. В отличие от него при втором подходе используются оценки параметров по методу наименьших квадратов (МНК), т.е. при оценивании параметров не учитывается коррелированность и неодинаковость дисперсий компонентов шума. Третий подход является традиционным, выбор структуры здесь производится по одномерным критериям независимо для каждого отклика. В качестве значения матрицы ¿7 используется МНК-оценка по полной модели.

Выбор структуры по критериям качества структур многомерных моделей имел определенное преимущество перед традиционным подходом, особенно при высокой степени коррелированности компонентов шума, а использование оценок Зельнера имело преимущество перед использованием МНК-оценок. На рис. 3 представлены максимальные значения уровня

шума, при которых различные критерии в последовательности экспериментов выбирают истинную структуру не менее, чем в половине случаев. Столбцам разного цвета на гистограмме соответствуют различные подходы к выбору структуры. При отсутствии столбца на гистограмме соответствующее максимальное значение уровня шума меньше 0.05. Для матричных аналогов используется II-свертка.

Sl MC Stab Reg N

Рис. 3.

В подразделе 2.4 рассматривается задача выбора структуры для многомерных моделей с качественными и разнотипными факторами. Предлагаются два подхода к решению данной задачи.

Первый подход аналогичен подходу, применяемому в одномерном случае (Попов A.A., I98H), и связан с приведением исходной модели к регрессионной модели полного ранга. В результате получается модель с параметрами, интерпретируемыми как функции, допускающие оценку (ФДО). Выбор структуры с помощью критериев качества для такой модели можно рассматривать как альтернативу проверке гипотез о значимости ФДО. Присутствие в модели со структурой, оптимальной по критерию качества, данной ФДО свидетельствует о ее значимости, а отсутствие - о незпачимо-стн.

Другой подход к построению модели реализуется в рамках обобщенной задачи выбора структуры. В этом случае все фиктивные переменные, стоящие в модели при главных эффектах уровней одного качественного фактора или при взаимодействиях отдельных факторов, й соответствующие им идентифицирующие ограничения объединяются в блоки. Для по-

лучения выводов о произвольных ФДО их можно использовать при формировании ограничений, участвующих в переборе,

Экспериментальное исследование, выполненное совместно с канд. техн. наук, доцентом A.A. Поповым, подтвердило работоспособность предложенных подходов и их определенное преимущество перед проверкой гипотез.

В подразделе 2.5 рассмотрена задача выбора структуры для многомерных динамических стохастических моделей типа авторегрессии с входным сигналом (ARX-модель) и авторегрессии со скользящим средним и входным сигналом (ARMAX-модель). При выборе структуры ARX-модели используется ее представление в виде линейной регрессии. При выборе структуры ARMAX-модели используется двухэтапный метод оценивания неизвестных параметров (Лыоиг Л., 1991); в результате задача сводится к выбору структуры, имеющей тип ARX-модели, с предварительным оцениванием реализации белого шума. Результаты проведенных исследований свидетельствуют о работоспособности предложенных подходов.

В третьем разделе описываются и исследуются алгоритмы выбора структуры для многомерных моделей.

В подразделе 3.1 приводятся описание и результаты исследования алгоритмов решения традиционной задачи выбора структуры.

Алгоритмы осуществляют отбор регрессоров. Для МПНР в переборе участвуют также вспомогательные регрессоры, вводящие в модель общие параметры.

Перечислим специальные возможности всех алгоритмов: протекция регрессорам; отбор нескольких структур, наиболее качественных с точки зрения критерия; формирование последовательности структур различной сложности, имеющих лучшее качество с точки зрения критерия; вычисление значений ряда дополнительных критериев качества для структур, отобранных посредством использования днух предыдущих возможностей.

Перейдем к рассмотрению алгоритмов. При этом все алгоритмы, кроме первого, относятся к алгоритмам направленного перебора.

Алгоритм полного перевора осуществляет вычисление значений критерия для всех возможных структур »заданном диапазоне сложности.

Алгоритм включении и алгоритм исключения являются аналогами многоэтапного селекционно-комбинаторного алгоритма (Ивахненко А.Г., Степашко B.C., 1985). Алгоритмы минимизируют значение критерия за счет проведения шагов включения (исключения) регрессора, при этом на каждом шаге отбираются несколько лучших структур для дальнейшей оп-

тимизации. Имеется возможность осуществить принудительное выполнение алгоритмов до включения (исключения) последнего регрессора.

Алгоритм включеиин-исключепин, начиная с вычисления значения критерия для произвольно заданной начальной структуры, минимизирует значение критерия за счет проведения шагов включения и исключения регрессора. Алгоритм имеет дополнительную возможность провести шаги обмена присутствующего в модели регрессора на отсутствующий, при этом могут использоваться две стратегии: I) один шаг обмена проводится (если это влечет уменьшение значения критерия) только в том случае, если ни одно включение-исключение не уменьшает значение критерия, после чего необходимо вернуться к шагам включения-исключения; 2) после каждого шага включения-исключения проводится максимально возможное количество шагов обмена, ведущих к уменьшению значения критерия.

Алгоритм включения с обменами и алгоритм исключения с обменами состоят из шагов включения (исключения) регрессора, после каждого из которых проводится максимально возможное количество шагов обмена, ведущих к уменьшению значения критерия. Имеется возможность осуществлять принудительное выполнение алгоритмов до включения (исключения) последнего регрессора.

Алгоритмы включения и исключения с одной луч1пей структурой, отбираемой на каждом шаге, и остановом по достижении "локального" минимума можно рассматривать как простые стратегии направленного перебора. Остальные алгоритмы направленного перебора используют различные усложнения простых стратегий.

Для алгоритмов направленного перебора в работе получены оценки количества генерируемых структур, позволившие изучить степень полноты перебора, производимого различными алгоритмами.

С целью сравнения работоспособности описанных алгоритмов было проведено экспериментальное исследование. Изучались результаты поиска минимума обобщений критериев Меллоуса, симметричного регулярности и скользящего контроля алгоритмами направленного перебора. Исследовались ситуации, когда истинная структура входила во множество перебираемых структур и производилось планирование эксперимента.

Исследование показало, что в рассматриваемых случаях частота нахождения глобального минимума критерия в последовательности экспериментов для большинства алгоритмов достаточно высока. Все усложнения простых стратегий повышают способность алгоритмов направленного перебора находить глобальный минимум и последовательности лучших

структур различной сложности. Получаемые с помощью различных алгоритмов структуры по своему качеству часто близки к структуре, соответствующей глобальному минимуму.

В подразделе 3.2 приводятся описание и результаты исследования алгоритмов решения обобщенной задачи выбора структуры.

Модель в алгоритмах формируется путем включения или исключения следующих элементов перебора: регрессоров, ограничений на параметры из множества ограничений общего вида, блоков. В МПНР в качестве самостоятельных элементов перебора или компонентов блока могут выступать также вспомогательные регрессоры, вводящие в модель общие параметры.

Перечислим алгоритмы: алгоритм полного перебора, алгоритм включения-исключения, алгоритм включения-исключения по Е-статистике. Первые два алгоритма аналогичны одноименным алгоритмам, описанным в подразделе 3.1. Последний алгоритм аналогичен пошаговой регрессии и используется при шуме, имеющем нормальное распределение; он позволяет выбрать начальную структуру, но не формирует последовательность лучших структур различной сложности.

В алгоритме включения-исключения используются дополнительные шаги обмена. При отсутствии блоков шаг обмена - это шаг, позволяющий изменить модель, не изменяя сложность ее структуры. Обменами являются замена присутствующего в модели регрессора на отсутствующий и замена присутствующего в модели ограничения на отсутствующее. Также обменом является одновременное включение (или исключение) регрессора и ограничения. При наличии блоков обмен может изменить сложность структуры модели, однако производится по тем же правилам. Блок в правилах участвует при этом как регрессор или как ограничение в зависимости от того, регрессоров или ограничений в нем больше.

Для вычисления значений критериев и Р-статистик при переборе структур используется применение оператора выметания (Дженнрич Р.И., 1986) к матрице, которая для ТММ имеет вид:

ХТХ с ХТУ А А

А°= ст 0 = А А А

УТХ ¿Г уТу А А А,

В МПНР матрица /1° формируется аналогично для одномерной модели, полученной в результате преобразования (2), модифицированного

таким образом, чтобы организовать эффективное вычисление оценок параметров.

Обозначим через А матрицу, полученную из Ай в результате выметаний, соответствующих некоторой структуре модели. Тогда для включения (исключения) регрессора необходимо осуществить прямое (обратное) выметание матрицы А по соответствующему диагональному элементу блока А\\. Для включения (исключения) ограничения из множества ограничений общего вида необходимо осуществить прямое (обратное) выметание матрицы А по соответствующемудиагональноиу элементу блока Агг.

Рассмотрим алгоритм включения-исключения по F-статистике.

Для выбора включаемого-исключаемого элемента перебора на каждом шаге алгоритма вычисляются значения статистик проверки соответствующих гипотез. Приоритет имеют шаги, ведущие к уменьшению сложности структуры модели.

При формировании блоков используется одно из следующих правил: 1) блок содержит только регрессоры; 2) блок содержит только ограничения; 3) блок содержит регрессоры и имеющие нулевую правую часть ограничения на параметры только тех регрессоров, которые участвуют в данном блоке. Третье правило позволяет интерпретировать ограничения блока как содержащиеся во всех перебираемых структурах, тогда включение-исключение блока, сформированного по правилу 3, эквивалентно тем же действиям с блоком регрессоров.

Для ТММ вводятся yl-статистики (статистики Уилкса) включения и исключения ограничений (исключения и включения регрессоров соответственно). Фактически в алгоритме используются F-статистики, переход к которым производится в общем случае с помощью аппроксимации Pao (Pao С.Р., 1968).

Рассмотрим случаи включения и исключения блока ограничений (исключения и включения блока регрессоров соответственно) для ТММ. Обозначим / такую последовательность индексов диагональных элементов матрицы А, в порядке которой возможно сделать все выметания, ведущие к включению-исключению блока. Матрицу А, выметенную по всем диагональным элементам блока А зз, обозначим D. Тогда вычисление значений статистик Уилкса для случаев включения и исключения блока ограничений на каждом шаге алгоритма можно осуществить по следующим

формулам: Лвкл- ГТ^, Л11СК1 = ГТ—, где Щ и (lti совпадают с /-ми

/е/ "¡i leí Ъ

диагональными элементами матриц А и D, выметенных по диагональным элементам, соответствующим предыдущим индексам в последовательности I.

Работоспособность алгоритмов изучена на моделях с качественными факторами. Основные результаты исследования совпадают с результатами, полученными при исследовании алгоритмов в подразделе 3.1.

В четвертом разделе описано программное обеспечение, позволяющее эффективно решать традиционную и обобщенную задачи выбора структуры многомерной модели. Разработанные программные системы реализуют алгоритмы, описанные в третьем разделе, функционируют на платформе PC под управлением ОС WINDOWS 95 и WINDOWS NT, имеют дружественный пользовательский интерфейс и систему контекстной помощи. Программные системы включают средства, позволяющие пользователю создавать и модифицировать наборы данных, формировать раз-яичные множества элементов перебора, производить необходимые настройки для критериев и алгоритмов, просматривать результаты вычислений. Пользовательский интерфейс построен в виде многостраничного диалога, каждая страница которого предоставляет пользователю возможность работать с логически связанными между собой элементами настройки на конкретную задачу.

В пятом разделе разработанные методы и программное обеспечение выбора структуры использованы для построения моделей реальных объектов.

В подразделе 5.1 построена традиционная многомерная регрессионная модель, служащая для предсказания распределения температуры по длине слитков при индукционном нагреве. Процесс нагрева состоит из стаций основного нагрева, выдержки и дополнительного подогрева. Откликами являются значения температуры в двадцати четырех точках, распределенных по длине слитков, а факторами: время выдержки (VID); количество энергии, использованной при основном нагреве (IMPN); количество энергии, использованной при подогреве (IMPP); мощность, использованная цри основном нагреве (CAPN); мощность, использованная при подогреве (САРР); время простоя индуктора между сменами (PROST); число слитков, прокатанных после простоя (NPRO); условная длина слитка (DLINA); температура окружающей среды (Т); число слитков, прокатан-

пых после последней зачистки индуктора (NCLEAR); условное электрич( ское сопротивление слитка (IVT); масса слитка (MASSA). Регрессорами полной модели являются члены полинома второй степени от указанны факторов. В результате применения методов выбора структуры из девяш ста регрессоров в оптимальную структуру вошли следующие: IVT, 1 IMPN, NPRO, VID САРР, VID Т, CAPN DLINA, CA PN NCLEAF САРР PROST, САРР IMPP, MASSA2, MASSA IVT, MASSA NPRC DLINA2, IVT2, T2, TNCLEAR, T PROST, TIMPP, NCLEAR PROST NPRO, IMPN NPRO, IMPP2, NPRO2.

В подразделе 5.2 рассмотрена задача моделирования процесса эле> трофоретического осаждения карбидно-металлических покрытий из спи] товых суспензий на поверхности деталей. Построена трехоткликовая мс дель типа МПНР, аппроксимирующая зависимость выхода электрофор! тического осадка (кг/u2) для трех различных составов суспензии от напр: женности действующего электрического поля (Е) и времени осаждения (Т Первому отклику соответствует состав суспензии W С - Ti С - С (дисперсионная среда - пропиловый спирт), второму отклику - Ti С - Ni Mo (дисперсионная среда - пропиловый спирт), третьему отклику - WC Ti С - Со (дисперсионная среда - этиловый спирт). Регрессорами в полис модели являются члены полинома третьей степени от указанных факторо за исключением тз. Оптимальной была признана структура, не содерж щая регрессоры Е, Т, Е2, Т2 для первого отклика, Т2-для второго, ET для третьего.

В подразделе 5.3 построены многомерные модели физического и и теллектуального развития школьников. Изучалось влияние на развит] школьников традиционной и инновационной методик обучения. В качес ве откликов использовались соответствующие группы показателей разв тия. В модели физического развития присутствуют факторы качественно типа: методика обучения, номер школы, номер класса, пол. В моделях и теллектуального развития присутствуют факторы качественного типа: м тодика обучения, помер класса, пол, группа здоровья, а также ряд факт ров количественного типа.

Заключение

Основные результаты диссертационной работы состоят в следующем:

1. Сформулирована обобщенная задача выбора структуры много-ерной модели, включающая оптимизацию состава регрессоров и системы инейных ограничений на параметры.

2. Предложены критерии качества многомерных моделей с линейны-и ограничениями на параметры. Получены формулы, выражающие взаи-освязи критериев, и формулы для эффективного вычисления критериев.

3. Разработаны эффективные вычислительные схемы алгоритмов, редназначенных для решения обобщенной задачи выбора структуры мно-змерной модели.

4. Предложены подходы к выбору структуры многомерных моделей с эчественными и разнотипными факторами и к выбору структуры много-ерных динамических стохастических моделей.

5. Разработана методика проведения экспериментального исследовали критериев и алгоритмов выбора структуры многомерной модели.

6. Проведены исследования критериев и алгоритмов при выборе ■руктур различных типов. Результаты исследований свидетельствуют о лсокои работоспособности предлагаемых подходов и об их преимуществе :ред традиционными подходами.

7. Разработаны программные системы выбора структуры многомер-эй модели, функционирующие на платформе PC под управлением ОС MNDOWS 95 и WINDOWS NT.

8. Построены многомерные модели реальных технологических и об-повательных процессов.

Основные результаты диссертационной работы изложены в следую-их публикациях:

Лисицин Д.В. Оценивание модели при наличии качественных факторов и стохастической зависимости между переменными // Рос. науч.-техн. конф. "Информатика и проблемы телекоммуникаций", Новосибирск, 28 - 29 апр., 1994.: Тез. докл. - Новосибирск, 1994. - С. 134-135. Лисицин Д.В. Шаговая процедура выбора многооткликовой модели, оперирующая линейными гипотезами и ограничениями произвольного вида // Сб. науч. тр. НГТУ. - Новосибирск: НГТУ, 1995. - Вып. 2. - С. 31-34.

3. Лисицин Д.В. Алгоритмы выбора структуры для многомерных моделей// Сб. науч. тр. НГТУ. - Новосибирск: изд-во НГТУ, 1997. - Вып. 2(7).-С. 33 -38.

4. Лисицин Д.В., Попов A.A. Экспериментальное исследование критериев селекции многомерных регрессионных моделей // Рос. науч.-техн. конф. "Информатика и проблемы телекоммуникаций", Новосибирск, 25 - 26 апр., 1996.: Тез. докл. - Новосибирск, 1996. - Т. II. - С. 39 -40.

5. Лисицин Д.В., Попов A.A. Структурная оптимизация многомерных регрессионных моделей // Второй Сибирский конгресс по прикладной и индустриальной математике.: Тез. докл. - Новосибирск, 1996. - Ч. II. -С. 179.

6. Лисицин Д.В., Попов A.A. Конструирование критериев селекции многомерных регрессионных моделей // Сб. науч. тр. НГТУ. - Новосибирск: изд-во НГТУ, 1996.-Вып. 1.-С. 13-20.

7. Лисицин Д.В., Попов A.A. Исследование критериев селекции многоот-кликовых регрессионных моделей II Сб. науч. тр. НГТУ. - Новосибирск: изд-во НГТУ, 1996.-Вып. 2(4).-С. 19-28.

8. Лисицин Д.В., Попов A.A. Исследование критериев селекции многомерных моделей при наличии разнотипных факторов // Труды третьей Междунар. науч.-техн. конф. "Актуальные проблемы электронного приборостроения" АПЭП-96. - Новосибирск, 1996.-Т. 6, ч. 1.-С. 54-

9. Лисицин Д.В., Попов A.A. Исследование работоспособности критериев выбора многомерных моделей // Материалы Междунар. науч.-техн. конф. "Информатика и проблемы телекоммуникаций", Новосибирск, 24-25 апр., 1997. - Новосибирск, 1997.-С. 103- 105.

10. Лисицин Д.В., Попов A.A. Выбор структуры для многомерной динамической системы // Сб. науч. тр. НГТУ. - Новосибирск: изд-во НГТУ, 1997.-Вып. 1(6).-С. 33 -40.

58.

I ■