автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Алгоритмы непараметрического анализа линейных моделей и планирования эксперимента при наличии качественных факторов

ВВЕДЕНИЕ.

Глава 1. МЕТОДЫ СИНТЕЗА ЛИНЕЙНЫХ МОДЕЛЕЙ.

1.1. Объект исследования.

1.2. Методы определения структуры модели.

1.3. Методы планирования эксперимента при наличии в модели качественных факторов.

1.4. Методы оценивания неизвестных параметров.

1.4.1. Метод наименьших квадратов.

1.4.2. Метод наименьших модулей, Ь - оценки и М-оценки.

1.4.3. Знаковый метод.

1.4.4. Ранговый метод.

1.5. Обзор программного обеспечения для задачи прикладного статистического анализа.

1.6. Обоснование задачи и цели исследования.

Глава 2. МЕТОДЫ НЕПАРАМЕТРИЧЕСКОГО АНАЛИЗА

ЛИНЕЙНЫХ МОДЕЛЕЙ.

2.1. Оценивание неизвестных параметров.

2.1.1. Алгоритмы вычисления знаковых оценок параметров линейной модели.

2.1.1.1. Аппроксимация функции sign(x).

2.1.1.2. Итерационная схема.

2.1.1.3. Вычисление знаковых оценок при наличии повторных наблюдений в ячейке

2.1.1.4. Модель дисперсионного анализа. Функции, допускающие оценку.

2.1.2. Вычисление ранговых оценок параметров.

2.1.3. Исследование алгоритмов вычислений знаковых и ранговых оценок. Сравнение знакового и рангового методов с методом наименьших квадратов.

2.1.3.1. Показатели точности оценивания параметров.

2.1.3.2. Модель регрессионного анализа.

2.1.3.2.1. Вычислительная схема с аппроксимацией кусочно-постоянной функции sign(x}.

2.1.3.2.2. Итерационная схема вычисления знаковых оценок.

2.1.3.2.3. Исследование схемы с повторными наблюдениями в ячейках.

2.1.3.2.4. Исследование влияния аномальных наблюдений на точность знакового, рангового и МНК оценивания.

2.1.3.3. Модель дисперсионного анализа

2.2. Проверка параметрических гипотез.

2.2.1. Общая схема.

2.2.2. Гипотеза о незначимости фактора.

2.2.3. Гипотеза о незначимости парных сравнений.

2.2.4. Вычисление критических значений.

2.3. Выводы.

Глава 3. ИНТЕГРИРОВАННАЯ СИСТЕМА АНАЛИЗА ЛИНЕЙНЫХ

МОДЕЛЕЙ И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТОВ С КАЧЕСТВЕННЫМИ ФАКТОРАМИ "SEA".

3.1. Задачи, решаемые интегрированной системой "SEA".

3.2. Идеология или основной принцип построения интегрированной системы "SEA".

3.3. Структурная схема интегрированной системы " SEA ".

3.4. Организация интерфейса интегрированной системы "SEA".

3.4.1. Подсистема работы с моделью.

3.4.2. Подсистема планирования эксперимента.

3.4.3. Подсистема работы с данными.

3.4.4. Подсистема статистического анализа.

3.5. Технические характеристики, установка и эксплуатация системы "SEA".

3.6. Выводы.

Глава 4. ПРИМЕНЕНИЕ МЕТОДОВ АНАЛИЗА ЛИНЕЙНЫХ МОДЕЛЕЙ В

НАУЧНЫХ ИССЛЕДОВАНИЯХ.

4.1. Прогнозирование численности населения г. Новосибирска.

4.2. Оценивание параметров модели кинетики прямого окисления сероводорода в серу.

4.3. Выводы.

Высокие темпы развития современной вычислительной техники делают доступными для исследователя те методы, которые еще несколько лет назад считались малоперспективными в силу больших вычислительных затрат. Особенно много задач, требующих привлечения ЭВМ, в прикладной статистике.

Среди методов прикладной статистики существенное место занимает анализ многофакторных объектов. Это, в основном, методы планирования и анализа экспериментов для моделей линейной регрессии. Они находят широкое применение при естественнонаучных исследованиях, контроле качества продукции, оптимизации технологических процессов, сертификации сложных технических изделий, социологических и эконометрических исследованиях, медико-биологических исследованиях, исследованиях в демографии и др.

На сегодняшний день существует достаточно большое число интересных работ, посвященных методам анализа многофакторных объектов. Одной из основных задач, возникающих при анализе таких объектов, является задача оценивания неизвестных параметров. Классическим методом их оценивания по праву считается метод наименьших квадратов. На его основе построены методы выбора структуры модели и методы планирования экспериментов. Наиболее значимые результаты в этой области принадлежат следующим авторам: Шеффе Г., Pao С.Р., Хиксу Ч., Сирлу С., Налимову В.В., Федорову В.В., Бродскому В.З., Денисову В.И., Марковой Е.В., Лисенкову А.Н., Адлеру Ю.П., Грановскому Ю.В., Попову A.A., Хабарову В.И., Полетаевой H.A., Пономареву В.В. [11,19,20,21,49,57,62,66,67,82,86,90,95].

Однако, в последнее время, приобретают популярность работы, связанные с применением непараметрических методов к задаче анализа многофакторных объектов. Здесь можно отметить следующих авторов: Хетманспергер Т., Гаек Я., Шидак 3., Болдин М.В., Симонова Г.И., Тюрин Ю.Н. [8,17,80,81,85].

Непараметрические методы могут применяться на более широком спектре входных данных. Об актуальности этой темы и о необходимости разработки таких процедур анализа, методов и алгоритмов говорит А.И. Орлов в [61]. Это обстоятельство все больше и больше привлекает исследователей к непараметрическим методам. Наиболее широкое распространение получили знаковый и ранговый методы. При их применении делаются более слабые предположения относительно распределения ошибки наблюдений. Однако при их применении требуется решать достаточно трудоемкие оптимизационные задачи.

Все это позволило сформулировать основную задачу, решению которой посвящена данная диссертационная работа, следующим образом: разработка, исследование и использование методов знакового анализа для исследования моделей с качественными факторами, а также построение интегрированной системы для анализа многофакторных объектов методами дисперсионного и знакового анализа с использованием современных ЭВМ.

Научная новизна работы заключается в следующем. Предложен, разработан и исследован ряд алгоритмов нахождения знаковых оценок параметров однооткликовой линейной регрессионной модели. Приведены практические рекомендации по использованию исследованных методов и алгоритмов. Предложен универсальный алгоритм планирования экспериментов при наличии в модели качественных факторов. Проведено сравнение методов дисперсионного и знакового анализа при проверке параметрических гипотез в модели с качественными факторами. Создана интегрированная система, предназначенная для анализа многофакторных объектов методами дисперсионного и знакового анализа. Система дополнена алгоритмами планирования экспериментов для моделей с качественными факторами. С использованием разработанных алгоритмов знакового анализа решены две практические задачи.

На защиту выносятся:

• алгоритмы вычисления знаковых оценок параметров однооткли-ковой регрессионной модели;

• результаты исследований методов дисперсионного и знакового анализа на моделях с качественными факторами;

• алгоритм планирования экспериментов с качественными факто-рами;

• интегрированная система для анализа многофакторных объектов методами дисперсионного и знакового анализа.

Результаты исследований, проведенных автором, докладывались и обсуждались на: третьей международной научно-практической конференции "Актуальные проблемы электронного приборостроения" АПЭП-96 (Новосибирск 1996); четвертой международной научно-практической конференции "Актуальные проблемы электронного приборостроения" АПЭП-98 (Новосибирск 1998); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1997); третьем сибирском конгрессе по прикладной и индустриальной математике ИНПРИМ-98 (Новосибирск 1998), The third Russian-Korean international Symposium on Science and Technology (KORUS'99).

Основные результаты исследований автора опубликованы в работах [3,22,35,36,37,63,64,65,77,78,96,97].

По структуре диссертация состоит из введения, четырех глав основного содержания, заключения, списка литературы и приложений.

Основные результаты, полученные в диссертационной работе могут быть сформулированы в виде следующих положений.

1. Предложен и исследован ряд алгоритмов вычисления знаковых оценок параметров общей однооткликовой линейной регрессионной модели.

2. Проведено сравнение знакового и рангового методов оценивания параметров общей однооткликовой линейной регрессионной модели.

3. Исследованы методы знакового и дисперсионного анализа моделей с качественными факторами. Разработан алгоритм знакового анализа таких моделей.

4. Предложен универсальный алгоритм построения плана для любого многофакторного эксперимента.

5. Создана интегрированная система для анализа многофакторных объектов методами дисперсионного и знакового анализа.

6. Решены две практические задачи, иллюстрирующие применение разработанных алгоритмов в научных исследованиях.

ЗАКЛЮЧЕНИЕ

1. Адлер Ю.П., Маркова Ь.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976.-279с.

2. Айвазян С.А., Степанов B.C. Инструменты статистического анализа данных. // Мир ПК,- 1997. -№8. С.32-41.

3. Анализ демографической ситуации в городе Новосибирске за 1989-98 гг. и ее прогнозирование до 2005 года / Отчет по НИР, Новосибирский институт информатики и регионального управления, 1998г. Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фаддеенков A.B. 31с.

4. Андерсон Т., Введение в многомерный статистический анализ. М.:Физматгиз, 1963. 500с.

5. Андрукович П.Ф. Применение метода главных компонент в практических исследованиях. Межфакультетская лаборатория статистических выводов. М.: Изд. МГУ, 1973, вып. 36. 123с.

6. Арене X., Лейтер Ю. Многомерный дисперсионный анализ. /Пер. с нем. и предисл. Ивановой В.М. и Тюрина Ю.Н.-М.: Финансы и статистика, 1985.-(Б-чка иностр. книг для экономистов и статистиков). 230с.

7. Афифи А., Эйзен С. Статистический анализ: Подход с использованием ЭВМ / Пер. с англ. -М.:Мир, 1982. 488с.

8. Болдин М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей,- М.: Наука, Физматлит, 1997. 208с.

9. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1965. 464с.

10. Ю.Боровиков В.П., Боровиков И.П. STATISTICA.-Статистический анализ и обработка данных в среде WINDOWS. М.: Информационно-издательский дом "Филинъ", 1997. - 608с.

11. П.Бродский В.З. Введение в факторное планирование эксперимента. М.,Наука.Д976. -233с.

12. Бродский В.З. Таблицы планов эксперимента для факторных и полиномиальных моделей: Справочное изд. М., 1982.

13. Валентей Д.И., Кваша А.Я. Основы демографии. М.: Мысль, 1989. - 286 с.

14. Н.Венецкий И Г. Вариационные ряды и их характеристики. М., Статистика 1970, 159с.

15. Вощинин А.П., Бочков А.Ф., Сотиров Г.Р. Метод анализа данных при интервальной нестатистической ошибке. // Заводская лаборатория,- 1990. Т.56. №7,- С.75-81.

16. Вощинин А.П., Сотиров Г.Р. Оптимизация в условиях неопределенности М.: изд-во МЭИ(СССР). 224с.

17. Гаек Я., Шидак 3. Теория ранговых критериев. М.: 1971. 375с.

18. Демиденко Е.З. Линейная и нелинейная регрессии. -М.: Финансы и статистика, 1981. 302с.

19. Денисов В.И. Математическое обеспечение системы ЭВМ-экспериментатор (регрессионный и дисперсионный анализы). -М.: Наука, 1977. -252с.

20. Денисов В.И., Полетаева И.А., Хабаров В.И. Экспертная система для анализа многофакторных объектов. Дисперсионный анализ. Прецедентный подход. Новосибирск, 1992. 127с.

21. Денисов В.И., Попов A.A. Пакет программ оптимального планирования эксперимента. М.: Финансы и статистика, 1986. 156с.

22. Денисов В.И., Чистяков В.М., Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фадцеенков A.B. Прогнозирование численности населения города Новосибирска: опыт математического моделирования // Научный вестник НГТУ,-Новосибирск, 1998. -Nl(4).-C. 123-128.

23. Дерк Л. Borland С++ 5. Справочник. // Пер. с нем.-М.: "Изд. БИНОМ", 1997. 560с.

24. Дженнрич Р.И. Пошаговая регрессия. // Статистические методы для ЭВМ / Под ред. К. Эйнслейна, Э. Рэлстона, Г.С. Уилфа. М.: Наука, 1986. - С. 77 -94.

25. Дрейпер Н., Смит Н. Прикладной регрессионный анализ. М.: Статистика 1973. 392с.

26. Елисеева И.И., Руковишников В.О. Логика прикладного статистического анализа. М.: ФиС, 1982. 192с.

27. Епишин Ю.Г. Об оценках параметров регрессии по методу наименьших абсолютных отклонений. // Экономика и математические методы 1974., Т. 10., Вып. 5.

28. Ермаков С.М., Михайлов Г.А. Статистическое моделирование. М.: Наука, 1982.-296с.

29. Ершов A.A. Стабильные методы оценки параметров (обзор). // Автоматика и телемеханика. №8.-1978. - С.66-100.

30. Жданов А.И. Прямые рекурентные методы решения линейных задач метода наименьших квадратов. // Журнал выичслительной математики и математической физики. 1995. Т.34. №6. - С.805-814.31.3акс Л. Статистическое оценивание. М.: Статистика, 1976. 598с.

31. Иберла К. Факторный анализ / Пер. с нем. Ивановой В.М.; Предисл. Дуброва А.М.-М.:Статистика, 1980. 398с.

32. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. -Киев: Наукова думка, 1985. -216с.

33. Ивченко Г. И., Медведев Ю. И. Математическая статистика. М.: Высшая школа, 1984. 248с.

34. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами / Отчетпо НИР, НГТУ, 1996г. Полетаева И.А., Тимофеев B.C., Фаддеенков A.B. -53с.

35. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами / Отчет по НИР, НГТУ, 1997г. Полетаева И.А., Тимофеев B.C., Фаддеенков A.B. -53с.

36. Исаенко O.K., Урбах В.Ю. Разделение смеси распределений вероятностей на их составляющие // Итоги науки и техники. Сер. ТВ.МС.ТК ВИНИТИ, 1976. -Т.13. -С.37-58.

37. Канту М. DELPHI 2 для WINDOWS 95/NT. Полный курс. М.: Малип, 1997, Т. 1,2.

38. Клейман Б.С. Численно устойчивые регрессионные методы идентификации систем по неоднородным данным. Диссертация на соискание уч.степени к.т.н., Самара, 1998. 131с.

39. Корбут A.A., Финкелыитейн Ю.Ю. Дискретное программирование. Под ред. Юдина Д.Б. М., Наука, 1969. 368с.

40. Кулаичев А.П. Методы и средства анализа данных в среде WINDOWS: STADIA 6.0.-М.: Информатика и компьютеры, 1996.-257с.

41. Кулаичев А.П. Пакеты анализа данных. // Мир ПК,- 1995. -№1. С. 127132.

42. Лисицин Д.В. Выбор структуры многомерной модели при построении зависимостей по статистическим данным. Диссертация на соискание уч. степени к.т.н., Новосибирск, 1998. 268с.

43. Лисицин Д.В. Обобщенная задача выбора структуры многомерной модели. // Труды IV международной конференции "Актуальные проблемы электронного приборостроения Новосибирск, 1998.-Т.З.-С.69-72.

44. Львовский E.H. Статистические методы построения эмпирических формул.- М.: Высшая школа, 1988. 239с.

45. Маркова Е.В., Денисов В.И., Полетаева И.А. Исследование параллелепипедов и частично-ортогональных латинских кубических планов с помощью обобщенного обращения. Препринт. Научный совет по комплексной проблеме "Кибернетика" АН СССР, М.: 1977. -60с.

46. Маркова Е.В., Денисов В.И., Полетаева И.А., Пономарев В.В. Дисперсионный анализ и синтез планов на ЭВМ. М.: Наука,1982.-198с.

47. Маркова Е.В., Ежова Л.Н., Частотные конфигурации и их применение. Препринт. Научный совет по комплексной проблеме "Кибернетика" АН СССР, М.: 1979.-76с.

48. Маркова Е.В., Лисенков А.Н. Комбинаторные планы в задачах многофакторного эксперимента. М.: Наука, 1979. 345с.

49. Математическая теория планирования эксперимента./Под редакцией Ермакова С.М. М.,Наука. Главная редакция физико-математической литературы, 1983. 391с.

50. Миллер Т., Пауэл Д. и др. Использование DELPHI 3. Пер. с англ., Киев: Диалектика, 1997. 768с.

51. Моделирование, автоматизация и оптимизация наукоемких технологий / Отчет по НИР. №ГР 330/2.1. - Новосибирск 1998., Т.1 - 485с.

52. Мудров В.И., Кушко B.JI. Метод наименьших модулей. М.: 1971. 61с.

53. Мудров В.И., Кушко B.JI. Методы обработки измерений: Квазиправдоподобные оценки.-М.: Радио и связь, 1983. 304с.

54. Налимов В.В. Теория эксперимента. М.: Наука, 1971. - 208с.

55. Налимов В.В., Голикова Т.Н. Логические основания планирования эксперимента. М.: Металлургия, 1981. 151с.

56. Областной центр город Новосибирск: информационно-аналитический сборник. - Новосибирск: НИИРУ, 1997. - 122с.

57. Окунь Я. Факторный анализ. Пер с англ. М.: Статистика, 1974.-200с.

58. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория.- 1991. Т.57. №7,- С.64-66.

59. Полетаева И.А. Математическое обеспечение дисперсионного анализа и планирования экспериментов с качественными факторами. Диссертация на соискание уч.степени к.т.н., Новосибирск, 1979. 186с.

60. Полетаева И.А., Тимофеев B.C., Фаддеенков A.B. Система планирования и анализа экспериментов с качественными факторами. // Материалы международной научно-технической конференции "Информатика и проблемы телекоммуникаций", Новосибирск 1997., С.111-112.

61. Пономарев В.В. Диалоговая система обработки данных многооткликовых экспериментов с качественными и количественными факторами. Диссертация на соискание уч. степени к.т.н., Новосибирск, 1985. 193с.

62. Pao С.Р. Линейные статистические методы и их применение. М., Наука, 1968. -548с.

63. Редько М.Ю. Квазиправдоподобные -оценки для линейной регрессии. / НЭТИ, Новосибирск, 1988. 31с. // Деп. в ВИНИТИ № 4821-В88.

64. Редько М.Ю., Пономарев В.В. Вычисление мощности и F-критерия при дробных степенях свободы: алгоритмы, программы, таблицы. Новосибирск. 1987. 103с. // Деп. в ВИНИТИ №3440-В88.

65. Сван Т. Секреты 32-разрядного программирования в DELPHI.-Киев: Диалектика, 1997. 480с.

66. Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980. - 456с.

67. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания. М.: 1980. -208с.

68. Статистические методы для ЭВМ. / Под ред. Энслейна К., Рэлстона Э., Уилфа Т.С.: Пер. с англ. / Под ред. Малютова М.Б.-М.: Наука, Гл. ред. физ.-мат. лит., 1986 464с.

69. Струструпп Б. Язык программирования С++. М.: 1991. 348с.

70. Тарасенко Ф.П. Непараметрическая статистика. Томск, 1976.

71. Татевский В.М., Коптев Г.С. Элементарная теория линейных неравенств и их приложения,- М.: МГУ, 1973. 159с.

72. Тимофеев B.C. Непараметрические методы оценивания параметров линейных моделей. Сравнение с методом наименьших квадратов // Сб. научных трудов НГТУ. Новосибирск, 1998.-N2.-С. 17-26

73. Тимофеев B.C., Гаврилов К.В. К оцениванию параметров модели линейной регрессии. // Труды IV международной конференции

74. Актуальные проблемы электронного приборостроения", Новосибирск, 1998.-Т.3.-С.83-85.

75. Трой Д. Программирование на языке Си для персонального компьютера ШМ РС: Пер. с англ. М. Радио и связь, 1991. - 432с.

76. Тюрин Ю.Н. Исследование по непараметрической статистике (непараметрические методы и линейная модель). Диссертация на соискание уч.степени д.ф-м.н., М.: 1985.

77. Тюрин Ю.Н., Симонова Г.И. Знаковый анализ линейных моделей. // Обозрение прикладной и промышленной математики. Т.1, Вып.2, 1994г. -С.214-278.

78. Федоров В.В. Теория оптимального эксперимента. М.: Наука, 1971.-312с.

79. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике: подход на основе функций влияния. М.: Мир, 1989. 512с.

80. Харман Г. Современный факторный анализ. М.: Статистика, 1972-487с.

81. Хеттманспергер, Томас П. Статистические выводы, основанные на рангах / Пер. с англ. Шмерлинга Д.С.-М.: Финансы и статистика, 1987.- 333с.

82. Хикс Ч. Основные принципы планирования эксперимента. М.: Мир,1967. -406с.

83. Химмельблау Д. Прикладное нелинейное программирование. М.:1975. -534с.

84. Хьюбер П. Робастность в статистике. М. 1984. 303с.

85. Черников С.Н. Линейные неравенства. М.: Наука, 1968.

86. Шеффе Г. Дисперсионный анализ. М.,Физматгиз, 1980.-512с.

87. Шумаков П.В. БЕЬРШ 3 и разработка приложений баз данных. М.: Нолидж, 1998. 704с.

88. Юдин Д.Б., Голынтейн Е.Г. Линейное программирование. Теория и конечные методы. М.: Физматгиз.-1963. 775с.

89. Applied Linear Statistical Models: regression, analysis of variance, and experimental designs / Neter J., Wasserman W, Kutner M.H. 3rd ed. RICHARD D. IRWIN, INC. 1990. - 1181p.

90. SAS/STAT. User's guide release 6.03 edition. Cary: SAS Inst. Inc., 1988. -1028p.

91. Searle S.R. Linear models. 1971. 532p.

92. Timofeev V.S. Computing aspects of signed parametr estimation for a linear regression model. // Abstracts the third Russian Korean symposium on Science and Technology. Novosibirsk, 1999, Vol. 2, P. 541.

93. Timofeev V.S. Parametrical hypothesis testing in analysis of variance model with use signed method. // Abstracts the third Russian Korean symposium on Science and Technology. Novosibirsk, 1999, Vol. 2, P. 545.