автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методы идентификации скрытых факторных влияний на параметры развития сложных социальных и экономических систем

На правах рукописи

005003715

МАРМАЛЮК Павел Алексеевич

МЕТОДЫ ИДЕНТИФИКАЦИИ СКРЫТЫХ ФАКТОРНЫХ ВЛИЯНИЙ НА ПАРАМЕТРЫ РАЗВИТИЯ СЛОЖНЫХ СОЦИАЛЬНЫХ И ЭКОНОМИЧЕСКИХ СИСТЕМ

Специальность 05.13.10 Управление в социальных н экономических системах

2 4 НОЯ 2011

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва-2011

005003715

Работа выполнена на кафедре прикладной информатики и мультимедийных технологий факультета информационных технологий Московского городского психолого-педагогического университета

Научный руководитель доктор технических наук

Куравский Лев Семёнович

Официальные оппоненты доктор физико-математических наук,

профессор

Захаров Валерий Константинович

доктор технических наук, профессор

Горбатов Александр Вячеславович

Ведущая организация Федеральное государственное научное

учреждение «Центр информационных технологий и систем органов исполнительной власти» (ФГНУ «ЦИТИС»)

Защита диссертации состоится 19 декабря 2011 г. в 11.00 часов, аудитория 1506, на заседании диссертационного совета Д.002.086.02 при Учреждении Российской академии наук Институте системного анализа РАН по адресу: Москва 117312, просп. 60-летия Октября, 9.

С диссертацией можно ознакомиться в библиотеке Учреждении Российской академии наук Институте системного анализа РАИ.

Автореферат разослан « M » ноября 2011 г Ученый секретарь

диссертационного совета Д.002.086.02 доктор технических наук профессор

А.II. Пропой

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации

Для анализа работы исследуемой системы с целью обоснования управленческих решений, ориентированных на повышение эффективности протекающих в ней процессов, требуется большое количество результатов наблюдений. Получение этих данных производится посредством мониторинга -систематического процесса сбора количественной и качественной информации о релевантных социально-экономических характеристиках. Результаты мониторинга, как правило, представляют собой многомерную выборку временных рядов значений наблюдаемых параметров. Исследователю приходится учитывать следующие особенности многомерных данных, получаемых в процессе мониторинга:

- набор значений измеряемых параметров не всегда представляет характеристики исследуемой системы в форме, подходящей для непосредственного выявления ее текущего состояния, и не отражает представляющие интерес свойства (в то время как исследователя, прежде всего, интересуют не частные свойства объектов системы, а интегративные свойства, присущие самой системе в целом);

- отдельные параметры исследуемых социальных и экономических систем, доступные для измерения, как правило, не позволяют напрямую оценивать взаимное влияние протекающих в системе процессов и выявлять структуру этого взаимодействия, поскольку они отражают результаты действия скрытых феноменов (факторов, причин), влияние которых либо не исследовано, либо невозможно измерить непосредственно.

Учитывая данные особенности, можно утверждать, что специфика задачи управления сложными социальными и экономическими системами особенно заменю проявляется на этапе анализа информации о протекающих в них процессах: возникает необходимость конструирования и идентификации адекватной наблюдениям многопараметрической формальной модели, описывающей влияние гипотетических факторов на наблюдаемые параметры функционирования этих систем. При этом приходится иметь дело со значительными объёмами необработанных ретроспективных данных, содержащих в себе информацию о закономерностях изменения характеристик и взаимосвязей исследуемых системных процессов в зависимости от воздействия fia них различных внутрисистемных и внешних факторов, зачастую скрытых от непосредственного наблюдения.

В зависимости от конкретных целей управления, на этапе выработки, обоснования и принятия управленческих решений должны быть определены область, направление и сила существующих факторных воздействий, что невозможно без знания структуры и особенностей функционирования исследуемой системы. Поэгом> для обоснованного принятия управленческих решений и эффективной реализации

выработанных управляющих воздействий необходимо определить факторную структуру протекающих в системе процессов, а именно:

- выделить гипотетические скрытые факторы, влияющие на параметры системных процессов в течение всего периода наблюдений, определить их природу и области воздействия;

- определить функциональные зависимости параметров наблюдаемых процессов от выявленных факторов, а также взаимные связи между этими факторами.

В результате такого подхода к анализу данных мониторинга должна быть выявлена вся структура причинных связей между факторами и параметрами протекающих в системе процессов, а также, если потребуется, получены непосредственные оценки количественных характеристик факторов. Относительно небольшая, как правило, размерность пространства факторов позволяет повысить эффективность процесса принятия управленческих решений благодаря выявлению скрытых закономерностей работы системы и упрощению описания протекающих в ней процессов.

Для выявления и исследования связей системы с действием скрытых факторов, взаимное влияние которых определяет закономерности развития и изменчивость характеристик системных процессов, для определения зависимостей между выявленными факторами, а также для оценки степени их влияния на наблюдаемые параметры, в настоящее время используется подход, названный моделированием структурными уравнениями. Его основы были заложены С. Райтом, затем получили развитие в работах статистика К. Иорескога и экономистов Т. Хаавельмо и Г. Саймона. В конце XX века его основные идеи были использованы Дж. Перлом при создании методов причинного анализа.

Различные формы данного подхода включают в себя методы факторного и регрессионного анализа, представляя собой разведочные и проверочные средства статистического вывода. Они применяются как для создания научных гипотез, так и их проверки, используя статистические данные (в частности, результаты мониторинга системных процессов) и качественные предположения о причинах изменчивости наблюдаемых параметров. Проверочный анализ обычно начинается с гипотезы, которая описывает факторные влияния на наблюдаемые параметры системы и закладывается в соответствующую формализованную модель, параметры которой идентифицируются по результатам наблюдений. Идентифицированная модель позволяет восстановить эмпирические характеристики исследуемых процессов в виде теоретических оценок, по которым можно оценивать степень соответствия полученной модели имеющимся наблюдениям. В случае соответствия модели наблюдениям исследователь имеет основания сделать вывод о справедливости выдвинутой гипотезы. В противном случае следует скорректировать модель в соответствии с новой гипотезой, включив или исключив определённые компоненты:

разработаны методы структурного анализа, позволяющие подбирать оптимальные структуры моделей в рамках заданных ограничений.

Методы моделирования структурными уравнениями широко применяются б социологии, эконометрике, психологии и других областях знаний. Наиболее известны и чаще всего используются традиционные формы факторного анализа, которые обладают следующими существенными недостатками:

- для идентификации значений свободных параметров моделей необходимо численно решать трудоемкую задачу многомерной локальной оптимизации, п результате которой находится один из локальных минимумов, зависящий от начального приближения (глобальный минимум, как правило, определить нельзя);

- методы факторного анализа, как правило, требуют предположений об определённых вероятностных распределениях результатов наблюдений, степень согласованности с которыми сложно проверить из-за ограниченности выборки имеющихся данных.

Симплекс-модели факторного анализа, которые обычно применяются для анализа данных мониторинга, на практике допускают сравнительно небольшой запас свободных параметров и позволяют исследовать взаимодействие факторов только между смежными контрольными точками. Они применимы для анализа ковариационных и корреляционных матриц наблюдаемых параметров, имеющих симплексную структуру (когда корреляции между наблюдениями тем меньше, чем больше временной промежуток между ними). Вследствие указанных ограничений применение данного подхода не всегда допустимо.

Исходя из изложенного, актуальность темы определяется необходимостью разработки ориентированных на повышение эффективности управленческой аналитической работы новых подходов к выявлению скрытых факторов, влияющих на динамику релевантных характеристик социальных и экономических систем.

Целью диссертационной работы является разработка методов выявления взаимодействующих скрытых факторов, влияющих на развитие процессов в социальных и экономических системах. Для достижения поставленной цели следует устранить ограничения, налагаемые традиционными моделями и методами факторного анализа, решив следующие задачи:

1) разработать математический аппарат для факторного анализа результатов мониторинга наблюдаемых характеристик сложных социальных и экономических систем, который позволит проверять статистические гипотезы о факторной структуре наблюдаемых явлений, находить единственное оптимальное решение при идентификации свободных параметров невырожденных факторных моделей, а также оценивать степень адекватности факторных моделей наблюдениям и статистическую значимость их компонентов;

2) разработать средства для понижения размерности результатов мониторинга без значимых потерь полезной информации;

3) определить оптимальную типовую структуру факторных моделей для анализа результатов мониторинга;

4) разработать способ выявления и устранения зависимых параметров факторных моделей, приводящих к вырожденности модели и неоднозначному решению задачи оптимизации;

5) разработать критерий для оценки степени адекватности факторных моделей наблюдениям, позволяющий снять ограничения, накладываемые традиционными методами на их вероятностное распределение;

6) применить разработанный аппарат для решения ряда прикладных задач, связанных с социально-экономической тематикой.

¡Методы исследования

При решении поставленных задач использовались методы разведочного и проверочного факторного анализа, вейвлет-апализ, методы идентификации и оптимизации, а также нейронные сети.

Научная новизна диссертационного исследования определяется разработанными математическими методами формализации, моделирования, идентификации и анализа скрытых факторных влияний на параметры развития сложных социальных и экономических систем, которые качественно расширяют область практических приложений факторного анализа и устраняют ряд принципиальных ограничений существующих подходов.

На защиту выносятся следующие из полученных результатов;

1) метод выявления и исследования факторов, определяющих развитие процессов в социальных и экономических системах, согласно которому значения коэффициентов, полученные в результате дискретного вейвлет-преобразовапия временного ряда исследуемого процесса и соответствующие различным периодам наблюдений, с целью понижения размерности задачи рассматриваются как значения наблюдаемых переменных в последующем факторном анализе, который, в свою очередь, используется для выявления динамики факторных влияний и оценки показателей взаимодействий между факторами;

2) методом идентификации свободных параметров факторных моделей, который обеспечивает единственное решение и реализуется с помощью прямой (пен герационной) процедуры, опирающейся на метод максимального правдоподобия, что является альтернативой ранее использовавшемуся с указанной целью итерационному поиску локального (и, как правило, неединственного) решения задачи многомерной численной оптимизации;

3) методом оценки степени адекватности факторных моделей наблюдениям, который, опираясь на метод Монте-Карло и возможности самоорганизующихся карт

Кохопена, позволяет спять с наблюдаемых параметров существенные ограничении, накладываемые на их вероятностное распределение;

4) методом выявления зависимых свободных параметров факторной модели, используемым для устранения её возможной сингулярности, приводящей к неоднозначности решения.

Практическая ценность работы

Разработанные математические методы и модели могут применяться для анализа результатов мониторинга социальных и экономических систем с целью выявления скрытых факторов, влияющих на наблюдаемые характеристики системных процессов, для определения степени взаимодействия этих факторов, а также для оценки степени адекватности моделей наблюдениям и статистической значимости компонентов факторных моделей. Эти средства применимы к многомерным данным, на которые не налагаются ограничения, связанные с их вероятностным распределением.

Разработанный подход обладает рядом преимуществ перед аналогами:

- позволяет сравнивать влияния факторов в различные периоды времени и исследовать взаимодействие факторов модели;

- может использоваться при анализе произвольных ковариационных матриц наблюдаемых параметров;

- обеспечивает больший резерв свободных параметров моделей;

- дает возможность анализа многофакторной модели при большом числе контрольных точек;

- не требует исследования распределений исходных данных.

Разработанный подход программно реализован и может быть использован в лабораториях, исследовательских центрах, вузах, маркетинговых компаниях и государственных учреждениях для анализа данных мониторинга сложных систем, представленных в виде выборок временных рядов значений наблюдаемых параметров.

Реализация результатов работы

Разработанные методы и модели применялись при реализации исследовательских проектов Московского городского психолого-педагогическою университета, Института психологии Российской Академии наук и Российской академии государственной службы при Президенте Российской Федерации. Связь с научными программами

Часть проведённых исследовании выполнена в рамках проекта РФФИ №10-116-00423-а и Гранта Москвы ГМ-2/ВПО 2009 года. Апробация работы

Научные результаты и положения диссертационной работы докладывались и обсуждались па следующих конференциях, семинарах и выставках:

I ) IX—Xi Всероссийских выставках научно-технического творчества молодежи «НТТМ» (Москва, ВВЦ, 2009-2011, представленные результаты отмечены медалями «Лауреат ВВЦ» и «За успехи в научно-техническом творчестве»);

2) II Международной научной конференции по статистике "Statistics under one umbrella" (Dortmund. Germany, Technical University of Dortmund, 2010);

3)1 международной конференций по информационным технологиям и численным методам "INTERCOMP'll" (Vienna, Austria, Technical University of Vienne, 2011);

4) научно-практической конференции «Ситуационные центры: информационно-аналитические средства поддержки принятия решений» (Москва, Российская академия государственной службы при Президенте РФ, 2010);

5) IX Всероссийской научной конференции «Нейрокомпьютеры и их применение» (Москва, МГППУ, 2011);

6) XVII-XIX Меиедупародных конференциях "Новые информационные технологии" (Судак, 2009-2011);

7) московском городском научно-исследовательском семинаре «Математическая психология» (Москва, МГППУ, 2011);

8) IV Международной студенческой конференции "Life IT: IT meets Environmental and Sustainable Energy Technologies" (Hägen, Germany, Fern Universität, 2009);

9) VIII—X Межвузовских научно-практических конференциях студентов, аспирантов и молодых ученых "Молодые ученые - столичному образованию" (Москва, МГППУ, 2009-2011);

10) научном семинаре кафедры информационных технологий в управлении Российской академии государственной службы при Президенте РФ (Москва, декабрь 2009).

Публикации

По теме диссертационной работы опубликовано 16 печатных работ. Основное содержание диссертации отражено в 6 публикациях в рецензируемых журналах, входящих в Перечень ВАК РФ.

Структура и объем работы

Диссертация состоит из введения, четырех глав, результатов и выводов, списка использованной литературы из 120 наименований. Основная часть работы изложена па 104 страницах машинописного текста без учёта списка литературы, содержит 48 рисунков и 25 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность темы диссертационной работы, формулируются цель и задачи работы, обосновываются научная новизна и

практическая значимость полученных результатов, дается краткое о ппсанпе теоретической и методологической базы работы.

Показано, что разрабатываемые средства должны охватывать и расширяй, возможности традиционного разведочного и проверочного факторного анализа; позволять проводить анализ многомерных данных мониторинга с целью проверки гипотез о факторной структуре наблюдаемых явлений; выявлять факторы, воздействующие на наблюдаемые характеристик«, и определять степень их взаимодействия; оценивать степень адекватности прикладных факторных моделей наблюдениям, а также статистическую значимость их компонентов. Обоснована целесообразность разработки нового критерия для оценки степени адекватности факторных моделей наблюдениям, способного работать без априорных предположений о вероятностном распределении исходных данных. С учетом особенностей и ограничений применения моделей, используемых в симплекс-методе факторного анализа, показана необходимость использования более гибких факторных структур, которые позволили бы задавать взаимодействие произвольных факторов модели, а также проводить исследование факторных влияний для различных периодов наблюдений. Поскольку при решении прикладных задач исследователям часто приходится анализировать большое число наблюдаемых переменных, делается заключение об актуальности применения методов понижения размерности данных без значимых потерь полезной информации.

Первая глава отражает основные результаты работы и посвящена изложению разработанного варианта факторного анализа результатов мониторинга наблюдаемых характеристик сложных социально-экономических систем.

Основные этапы разработанного варианта анализа показаны па рисунке 1.

Рисунок 1. Основные этапы анализа.

Результаты сопоставления традиционных методов, применяемых па различных этапах решения задачи выявления факторов, влияющих на динамику процессов в исследуемой системе, и новых методов, разработанных автором, представлены в таблице I.

Таблица I. Сопоставление традиционных подходов к решению задачи и методов,

предлагаемых автором.

„V» Этапы Традиционный Проблемы, Метод решения, Преимущества

решения ПОДЛод возникающие при предложенный нового метода

залами использовании автором решения

традиционного

подхода

1 Подбор Симплекс-метод 1.Высокая Выборочный 1. Понижение

перемен- факторного размерность анализ вейвлет- размерности

ных анализа для ковариационных коэффициентов задачи.

исследования матриц.

динамики 2. Возможность

факторных 2.0тсутствие соотнесения

влияний интегральных влияния факторов с

характеристик интервалами

поведения системы. времени.

Л Разрпбо- Использование Нет проблем 11е предложен Нет преимуществ

тка путевых

модели диаграмм

Иденти- Численное Неоднозначность Неитерационная 1. Единственность

фикация решение решения. процедура получаемого

модели многомерной обусловленная идентификации решения.

задачи наличием нескольких модели

нелинейной локальных 2. Возможность

оптимизации экстремумов использовать

большее число

свободных

параметров.

I Оценка Критерий 1. Завышенные 1) Метод, 1. Отсутствие

атсква- максимального критические опирающийся на требований к

Т110СТП правдоподобия значения критерия анализ невязок распределению

модели при болыш/х переопределенной наблюдений.

объёмах выборок. системы и оценки

максимального 2. Наличие

2. Некорректность правдоподобия и процедуры оценки

критерия при 2) подход, ошибок второго

отклонениях от опирающийся на рода.

нормального метод Монте- 3. Высокая

распределения. Карло и

надежность оценок

возможности

сетей Кохонена. атекватности.

5 Оитимнз Ан&чиз При наличии Новый метод Наличие

ация значимости зависимых выявления регулярной

модели изменения свободных зависимых процедуры

критерия параметров модели свободных выявления

максимального решение задачи параметров зависимых

правдоподобия становится компонентов

неоднозначным модели

Представленное сопоставление свидетельствует о том, что содержание анализа результатов мониторинга, за исключением формы представления факторных моделей, полностью переработано.

Соответствующие различным периодам наблюдений выборки коэффициентов, полученные в результате дискретных вейвлет-преобразований временных рядов значений анализируемых системных параметров, рассматриваются как значения наблюдаемых переменных в последующем проверочном факторном анализе, позволяя выявить временцую историю факторных влияний и оценки факторных взаимодействий. Идентификация свободных параметров факторных моделей выполняется с помощью новой прямой (иеитерационной) процедуры, которая опирается на метод максимального правдоподобия и является альтернативой традиционному итерационному способу решения задач локальной оптимизации.

Представления исследуемых процессов формируются с помощью кратномасштабного вейвлет-анализа, позволяющего выявлять различия в их характеристиках при различных шкалах измерений на всём протяжении интервала наблюдений. Разложение сигнала на сумму аппроксимирующих и детализирующих составляющих производится с использованием вейвлетов Добеши, которые позволяют корректно отражать как локальные особенности процессов, так и их динамику в целом. Вейвлеты Добеши обеспечивают не только корректное представление результатов наблюдений, но и эффективную процедуру вычислений, что важно для программной или аппаратной реализации.

Предложенная процедура идентификации свободных параметров факторных моделей включает в себя следующие этапы:

- составление переопределенной системы линейных алгебраических уравнении, выражая выборочные дисперсии и ковариации через искомые показатели с использованием путевой модели дисперсионных составляющих (см. рис. 2);

- решение полученной системы прямым (пеитерационным) методом, используя одни из вариантов метода максимального правдоподобия;

- проверку адекватности пол) ченных факторных моделей наблюдениям, опираясь на статистические критерии согласия или на разработанный в рамках данной работы новый критерий адекватности, использующий метод Монте-Карло и возможности самоорганизующихся карт Кохонена;

- вывод заключений о статистической значимости различных компонентов факторной модели.

Описание моделей дисперсионных составляющих

Линейность систем алгебраических уравнений, используемых при идентификации свободных параметров, обеспечивается применением факторных моделей дисперсионных составляющих, пример одного из типовых вариантов

которых показан на рисунке 2. Состав вейвлет-коэффициентов. используемых при анализе, зависит от рассматриваемой прикладной задачи.

Са1т Сыт Ссуш

Рисунок 2. Модель дисперсионных составляющих, представленная путевой

диаграммой.

Аналитические выражения для ковариаций и дисперсий вейвлет-кгпффициентов II) в случае данного типа моделей являются линейными:

Cov(W„Wj)= Ckij, Varm=Yyk +XZC/./ •

к к к I

где А. /, / и / - индексы факторов, V* - дисперсии. С** и С*** - ковариации между факторами.

Модель дисперсионных составляющих может принимать различные формы. I [апример, при изучении факторных влияний в различных условиях может быть полезен одновременный анализ различных групп моделей (рисунок 3).

СаШ Сын Cc1N Ca« CblN Cc1N

Рисунок 3. Изучение факторных влияний в различных условиях: одновременный анализ различных групп моделей. С«»» - ковариации между факторами.

Для оценки степени соответствия факторной модели накопленным результатам наблюдений в случае их многомерного нормального распределения применяются классические статистические критерии согласия: вычисляется значение специально подобранной статистики, которая в случае соответствия модели наблюдениям

описывается распределением с числом степеней свободы, равным разности числа наблюдаемых статистик (дисперсий и ковариаций/корреляций наблюдаемых переменных) и числа свободных параметров модели (дисперсий и ковариаций/корреляций факторов).

Затем оценивается статистическая значимость отличия ковариационной матрицы наблюдаемых переменных от её прогнозируемого аналога, построенного по идентифицированной факторной модели.

Важной характеристикой возможностей практического применения факторной модели является число степеней свободы, которое выражает степень её переопределенности. Выражения этой величины через длины временных реализаций исследуемых параметров и количества факторов для различных типов моделей показаны в таблице 2.

Таблица 2. Числа степеней свободы для различных типов моделей (М -2" - длина

временной реализации исследуемого параметра, К - количество факторов).

Тип модели Число степеней свободы

Симплекс-модель М(М+1)/2 - К(ЗМ-2)

Модель путевых коэффициентов М(М+1)/2 - К(М + К-1)

Модель дисперсионных составляющих М(М+1)/2 - ( К2+К) logjM/2 -K(log2M-l)

На практике, как правило, наилучшими оказываются модели дисперсионных составляющих. Для иллюстрации этого факта на рисунке 4 представлены числа

Рисунок 4. Степень переопределённости (число степеней свободы) трехфакпюрной модели (К=3) как функция длин временных реалазацгш (М).

Если это целесообразно для решения задачи, то в модели могут быть использованы только некоторые из вейвлет-коэффициентов. В случае недостаточного

числа независимых наблюдаемых статистик для обеспечения переопределенности модели следует сократить число свободных параметров, если это допускается имеющимися результатами наблюдений (см. пример на рисунке 5).

^ ' - - »

! С С с

..I С1 с1

СО

!

: ' -

СГ • ; С3

щ

Рисунок 5. Примеры различных способов уменьшения числа свободных ковариаций в модели для обеспечения её переопределённости в случае 8-точечной временной реализации исследуемого параметра.

Интерпретация результатов анализа строится на основе полученных оценок факторных дисперсий и ковариаций, корреляций между различными факторами в одни и те же моменты времени, корреляций между одинаковыми факторами в разные моменты времени, а также оценок статистической значимости компонентов модели.

Метод идентификации свободных параметров модели

Для идентификации свободных параметров каждой наблюдаемой дисперсии и ковариации ставится в соответствие алгебраическое уравнение, которое связывает её выборочную оценку с соответствующей прогнозируемой величиной, выраженной аналитически через неопределённые дисперсии и ковариации факторов. В результате получается система, число уравнений которой равно числу наблюдаемых дисперсий и ковариаций. Для вычисления оценок максимального правдоподобия и проверки адекватности модели необходимо, чтобы значения наблюдаемых переменных описывались многомерным нормальным распределением, а число уравнений в исследуемой системе превышало число свободных параметров модели.

Представим полученную переопределенную систему п алгебраических уравнений в матричной форме:

Ах=Ь,

где А - матрица системы размерности цхт. коэффициенты которой определяются факторной моделью; Ь — вектор-столбец п выборочных дисперсий и ковариаций. определяемых результатами наблюдений: х - вектор-столбец от искомых дисперсий и ковариаций факторов модели.

Рассмотрим вектор е=Ах,-Ь, составляющий невязку псевдорешения х, переопределенной системы, полученного методом наименьших квадратов. Полагая в общем случае, что компоненты вектора невязок коррелированны, представим их

невырожденную ковариационную матрицу как а2\. Если рассматриваемая система уравнений иевырождена (т.е. ранг матрицы Л равен /;/, где т - число свободных параметров модели), вектор невязки имеет многомерное нормальное распределение, а

х. = (АТУ"'Л)"1ЛТУ1Ь

- псевдорешсние. полученное методом наименьших квадратов, то это нсевдорешепие является оценкой максимального правдоподобия, а статистика

X2 = (Ь-Ах.)тУ"'(Ь-Лх.)/а2 имеет распределение с п-т степенями свободы.

Преимуществом предложенного подхода является то, что он обеспечивает нахождение единственного решения путём прямого расчёта по матричным формулам, не сводя его, как делалось рапсе, к трудоёмкой процедуре многомерной локальной оптимизации, которая не гарантирует нахождение глобальных экстремумов.

Оценка статистической значимости компонентов модели

Как и в традиционном проверочном факторном анализе, рассматриваемый метод даёт возможность строить заключения о статистической значимости различных компонентов модели, используя статистические критерии согласия.

Для этого следует сравнить статистики X2 для полной модели, содержащей исследуемый компонент, и упрощенной модели, в которой этот компонент отсутствует. Гипотезу о том, что полная модель согласуется с результатами наблюдений, будем обозначать как ///. Выявление степени значимости исследуемого компонента производится в том случае, если отвергать гипотезу Н^ нет оснований. Сначала следует оценить свободные параметры упрощенной модели. Полученное значение статистики X2 для этой модели сравнивается с аналогичной характеристикой для полной модели. Поскольку разность указанных статистик асимптотически распределена как у} с числом степеней свободы, равным разности в числах степеней свободы для полной и упрощенной моделей, эта разность используется для проверки нулевой гипотезы Нг о том, что упрощенная модель согласуется с результатами наблюдений, против альтернативной гипотезы Нр Если гипотеза Нг не отвергается при заданном уровне значимости, то исследуемый компонент признается статистически незначимым и делается вывод о том, что имеющиеся данные не свидетельствуют о его влиянии на данную характеристику. Если гипотеза 11, отвергается (а гипотеза 11/ принимается), то можно говорить о влиянии исследуемого компонента на эту характеристику.

Оценка степени адекватности модели наблюдениям

Указанная статистика X2 позволяет, при заданных выше предположениях, проверять гипотезу о представимости выборочных дисперсий и ковариаций, составляющих вектор Ь, дисперсиями и ковариациями факторов, содержащихся в исследуемой модели. Область принятия гипотезы есть Х2<х2„-т;а < где а - уровень значимости критерия.

Однако использование метода максимального правдоподобия для идентификации значений свободных параметров и оценки степени адекватности факторных моделей предполагает проверку многомерной нормальности распределений как наблюдаемых переменных, так и компонентов вектора невязки, что является трудоёмким и зачастую невозможным из-за малых выборок исследуемых данных. Кроме того, критерий максимального правдоподобия очень чувствителен к размеру выборки: небольшие отклонения от прогнозируемых характеристик приводят к существенному ухудшению согласования модели с наблюдениями.

Для решения этой проблемы предлагается новый метод оценки адекватности моделей, который опирается на метод Монте-Карло и возможности самоорганизующихся карт признаков Кохонена. Его схема представлена па рисунке 6.

Набор случайных

ЕеКТОрОВ Н5ЕЯЗКЦ

£,=Ах.-Ахг. гдех.

- псевдорешение, х, - случайный вектор в окрестности псевдорешеш£Я

Вектор невязки псевдорешгння

Самоорганизующаяся клрга

признаков обучается с помощью векторов невязки е,-

Шбор расстояний меаду векторами

НСБЯЗКИ £ГН

цен хрдлш нейромии-победителей

Рассюлнне между вектором нсбязки псездорепзекия

непроком-пабедителем обменной сети

Параметры нормальных распределений расстояний

Показатель адекватности модели

Рисунок 6. Оценка степени адекватности факторной модели с помощью самоорганизующихся карт признаков (сетей Кохонена).

Оценка степени адекватности модели наблюдениям основывается на сравнении вектора невязки псевдорешения е=Ах,-Ь с выборкой случайных векторов невязки ег=Ах.-Ахг, где хг - выборочная оценка псевдорешения. Векторы невязки е и ег подсчитываются по рассматриваемой факторной модели.

Выборка случайных векторов невязки ег используется для обучения самоорганизующихся карт признаков подходящей размерности, а затем для получения выборок евклидовых расстояний между векторами невязки бг, используемыми в качестве входных данных, и центрами нейронов-победителей обученной сети.

Оценки статистических характеристик полученных выборок расстояний идентифицируют соответствующие распределения и позволяют вычислять вероятность превышения расстояния между вектором невязки псевдорешения е и соответствующим центром нейрона-победителя, что даёт возможность оценивать степень адекватности модели.

Распределения полученных выборок расстояний позволяют выявлять наиболее правдоподобную покомпонентную структуру отклонений от вектора невязки

между вектором невязки псевдорешения и центром радиального элемента-победителя как функция от среднего процента компонентов псесдорешения, выходящих за рамки 95% доверительных интервалов.

Алгоритм генерации выборки векторов невязки ег=А\.-Ахг представлен на рисунке 8. В соответствии с ним, дисперсии и ковариации, составляющие псевдорешспис, последовательно преобразуются в дисперсии и ковариации, близкие к соответствующим выборочным оценкам.

Выборочные оценки дисперсий вычисляются при помощи следующей формулы, полученной из выражения для распределения выборочной дисперсии нормально распределенной случайной величины:

У = Хц-!^

где Ух — это оценка выборочной дисперсии, Л' - размер генерируемой выборки векторов невязки, V - дисперсия, входящая в состав найденного оптимального псевдорешсния, ^, - значение случайной величины, распределенной как с Л-/ степенями свободы.

Факторная модель со свободными параметрами (дисперсии и ковариации), подлежащими идентификации

Выборка наблюдаемых переменных

Выборочные оценки дисперсий и ковариации

Дисперсии и ковариации наблюдаемые переменных, соответствующие псевдорешению (они выражены вектором Ь=Ах.)

ТУТ

Дисперсии и

ковариации

ид ектиф ицир ов анн ой

модели (образуют

истинное

пседорешение)

Вычисленные корреляции используются как входные параметры для генерации случайного образца псевдорешения

Выборкавекгоров невязки

е^Ахг-АХг, где х» -

истинное

псевдорешение, х^ -вектор, состоящий ю сгенерированных дисперсий и ковариации, бгагзкихк выборочным оценкам

Набор дисперсш входящих в псевдорешение

Генерация случайного образца,

распределенного как Х2№1, гдеАТ-длина образца

Набор ювариаций входящих в псевдорешение

Набор корреляций,

соответствующий

ковариадиям,

входящим в

псевдорешение,

подсчитанный через

обратное

преобразование

Фишера

Генерашя

случайного

нормально

распредзленного

образца

Заданный средний процент случайных компонентов, выходящих за рамки доверительных интервалов

Рисунок 8. Генерация выборки векторов невязки ег Ах.-Ахг, где х. - псевдорешение, хг - вектор, составленный из дисперсий и ковариации, близких к соответствующим компонентам псевдорешения. Формируемые оценки ковариации нодсчитываются через соответствующие значения выборочных корреляций, исходя из предположения, что их преобразование Фишера аппроксимируется нормальным распределением, а именно: распределение статистики

7Л/Я1±1

2 I-г 1

где г — выборочная корреляция, может быть аппроксимировано нормальным распределением с математическим ожиданием

м2Л1п1±£, 2 2 1-р

1

гдер - значение корреляции, и дисперсией, равной

N-3

Значения преобразования Фишера генерируются для каждой ковариации. входящей в пссвдорешенис, причём корреляции р заменяются соответствующими выборочными оценками. Необходимые корреляции восстанавливаются по сгенерированным значениям с помощью обратного преобразования Фишера, преобразуясь затем в ковариации. входящие в состав псевдорешепия. Вычисленные дисперсии и ковариации формируют выборки векторов невязки ег=Ах,-Ахг. необходимые для обучения сетей Кохонена.

Рассматриваемый подход позволяет определить размер выборки, необходимый для проверки гипотезы о том, что расстояние между вектором невязки псевдорешепия б и соответствующим центром нейрона-победителя обученной сети равно определенному значению для данных уровней значимости и мощности выборки. Расчётная формула выводится из сравнения соответствующих границ области принятия гипотезы:

ЛГ =

'г + г л2

Ч-а/2

-/I

^потт

где и ' это КВШГГИЛ11 стандартного нормального распределения порядков 1-

а/2 и 1-/1 соответственно; а - уровень значимости; ¡1 - вероятность ошибки второго рода; (!„„„„ - отношение отклонения истинного математического ожидания исследуемого расстояния от значения, постулируемого гипотезой, к стандартному отклонению распределения данного расстояния. Пример функциональной зависимости между г/„„„„ и N при а=/}=0,05 представлен па рисунке 9.

N

Рисунок 9. Отношение отклонения истинного математического ожидания исследуемого расстояния от значения, постулируемого гипотезой, к стандартному отклонению распределения данного расстояния ((¡„пгт) как функция размера выборки.

Выявление зависимых свободных параметров модели

Если модель, построенная для решения задачи, приводит к матрице системы линейных уравнений А, ранг которой меньше, чем число свободных параметров, то псевдорешение х.=(АтУ"1А)*1АтУ1Ь не может быть вычислено однозначно из-за вырожденности матрицы АТУ"'А. В этом случае следует уменьшить число свободных параметров модели, исключив зависимые, и обеспечить таким образом невырожденность указанной матрицы. Число подлежащих сокращению параметров равно дефекту матрицы А'\г'А. Для их определения предлагается следующий приём:

- решить алгебраическую проблему собственных значений для матрицы АТУ"'А, которая по построению симметрична и неотрицательно определена, установив подпространство, заданное собственными векторами, соответствующими ненулевым собственным значениям данной матрицы;

- провести вращение базиса полученного собственного подпространства, не выходя за его пределы, с целью достижения наибольшего соответствия между направлениями координатных осей собственного подпространства и осей исходного полного базиса, что формально приведёт к преобразованию координат базисных векторов в исходном пространстве либо в относительно большие, либо в относительно малые значения (рисунок 10).

Рисунок 10. Пример вращения базиса /¡) собственного двухмерного подпространства с целью получения наибольшего соответствия между новыми направлениями координатных осей (/¡г, /2г) собственного подпространства и осями исходного трехмерного базиса.

Оси исходного базиса, которые во всех выражениях для повёрнутых базисных векторов собственного подпространства представлены относительно малыми координатными значениями, задают направления, почти ортогональные вычисленному собственному подпространству с ненулевыми собственными значениями. Эти направления приближённо определяют подпространство,

соответствующее нулевым собственным значениям, и указывают на зависимые параметры, которые следует исключить из модели для обеспечения невырожденности матрицы. Исключение таких параметров путём выражения их через независимые характеристики или присваивание постоянных значений обычно приводит к устранснию дефекта матрицы Л'У 'Л.

Во второй, третьей и четвертой главах представлены результаты применения разработанного подхода для анализа данных мониторинга социальных и экономических систем. В ней приведены адекватные наблюдениям факторные модели, использованные для проверки гипотез о влиянии управляющих социально-экономических факторов па показатели социально-экономического и интеллектуального развития населения Российской Федерации и европейских стран.

Результаты практического применения свидетельствуют о том, что разработанный подход является эффективным инструментом для выявления управляющих факторных влияний на социальные и экономические системы, исследования факторных взаимодействий и обоснования управленческих решений.

Во второй главе изложены результаты исследования влияния фактора нравственного состояния общества на такие социально-экономические параметры, как индекс коррупции, индекс Джини (неравенство доходов) и показатель убийств, составляющие индекс нравственного состояния общества, разработанный Институтом психологии РАН. Проведенный анализ позволил статистически обосновать значимость влияния фактора нравственности путем сравнения оценок адекватности полной и сокращенных моделей, а также получить ряд полезных результатов анализа:

- найдена адекватная наблюдениям структура факторной модели (рисунок 11), отражающая влияние управляющих факторов на наблюдаемые показатели (данные по индексу коррупции, индексу Джини и показателю количества убийств в европейских странах с 1998 по 2001 год);

- проведен анализ влияния управляющих факторов на изменчивость наблюдаемых показателей, что позволило сделать ряд выводов о балансе влияний общего и специфических факторов па каждый показатель и сформулировать рекомендации, полезные для дальнейших исследований показателей нравственного состояния общества;

- факторный анализ индекса коррупции, индекса Джинн и показателя убийств в европейских странах свидетельствует о наличии статистически значимого управляющего общего фактора, действием которого обусловлена изменчивость указанных показателей, причём влияние данного фактора подвержено определённым временным изменениям.

0,4В

Рисунок 11. Модель б виде путевой диаграммы для проверки гипотезы о наличии общего фактора, влияющего на социально-экономические показатели в европейских

странах.

В третьей главе изложены результаты, полученные при исследовании влияния факторов интеллектуального и экономического развития на изменчивость показателя ВВП в европейских странах.

Для этого было построено несколько факторных моделей, позволивших исследовать такое влияние, одна из которых представлена на рисунке 12.

А Г.П«!Г;ПР, ППРЛ

Рисунок 12. Модель в виде путевой диаграммы для исследования влияния факторов

интеллектуального и экономического развития на показатели ВВП. В ходе исследования влияния указанных факторов получены следующие результаты и выводы:

- подтверждена гипотеза Линна о тесной взаимосвязи уровня экономического развития и национального интеллекта в европейских странах;

- построены четыре факторные модели, отражающие взаимную зависимость указанных факторов и их статистически значимое влияние на показатели национального интеллекта и ВВП на душу населения;

- установлены множества свободных параметров, при которых факторные модели адекватны наблюдениям, что позволило провести интерпретацию полученных оценок;

- проведена оценка сдвигов временных влияний факторов интеллектуального и экономического развития;

- показано, что влияние прироста интеллекта на ВВП наблюдается на протяжении всей жизни испытуемых и является положительным:

- показано, что наиболее значимое влияние фактора прироста интеллекта, измеренного в 20-летнем возрасте, на изменчивость прироста ВВП наблюдается по достижении испытуемыми 32-летнего возраста;

- прослежена тенденция положительного влияния прироста ВВП на прирост интеллекта, которая ослабевает со временем в связи с замедлением развития интеллекта по мере взросления испытуемых.

В четвертой главе изложены результаты, полученные при исследовании влияний факторов конъюнктуры и национального богатства на показатели ВДС (рисунок 13) в различных сферах народного хозяйства РФ в период с 2004 по 2007 год.

V ¡¡4,

I

31| , Ж,. Ж

1

Рисунок 13. Модель в виде путевой диаграммы для исследования влияния факторов конъюнктуры на изменчивость показателя ВДС в различных секторах народного

хозяйства РФ.

В ходе исследования влияния указанных факторов получены следующие результаты и выводы:

- выявлена тенденция к уменьшению дисперсий факторов конъюнктуры в течение времени, что свидетельствует о постепенном выравнивании основных показателей экономик регионов;

- исследовано скачкообразное увеличение корреляций между факторами конъюнктуры в различных сферах народного хозяйства, что может свидетельствовать

об обратно пропорциональном влиянии конъюнктур различных отраслей экономики друг на друга;

- выявлено преобладание влияния фактора конъюнктуры мирового рынка над влиянием фактора национального богатства на продукцию российского АПК;

- показано, что фактор адаптированной конъюнктуры на продукцию российской обрабатывающей промышленности подвержен влиянию фактора конъюнктуры мирового рынка на продукцию российской обрабатывающей промышленности и фактора национального богатства;

- выявлена сильная отрицательная корреляция фактора конъюнктуры мирового рынка на продукцию российского АПК и фактора конъюнктуры мирового рынка на продукцию российской обрабатывающей промышленности.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Разработан и программно реализован новый метод для выявления и анализа скрытых факторов, управляющих развитием исследуемых характеристик сложных социальных и экономических систем, который опирается на возможности вейвлет-преобразований и обучаемых факторных структур и имеет существенные преимущества перед ранее использовавшимися подходами.

2. Разработана новая прямая (неитерационная) процедура идентификации свободных параметров факторных моделей, которая является альтернативой применявшемуся ранее итерационному поиску одного из локальных решений задачи многомерной численной оптимизации, не гарантирующему единственного решения.

3. Сравнение различных видов факторных структур при анализе динамики развития управляемых социальных и экономических систем выявило преимущества путевой модели дисперсионных составляющих, что обусловлено линейностью аналитического представления дисперсий и ковариаций наблюдаемых переменных, удобного для прямых оценок свободных параметров, а также большей степенью переопределенности модели.

4. Разработан новый метод оценки степени адекватности факторных моделей наблюдениям, который опирается на метод Монте-Карло и возможности самоорганизующихся карт Кохоиена. Этот метод имеет следующие преимущества;

- отсутствие ограничений, связанных с вероятностным распределением наблюдаемых характеристик;

- наличие простой процедуры оценки статистических ошибок второго рода;

- возможность оценки наиболее вероятного процента статистически значимых отклонений компонентов вектора невязки псевдорешения;

- высокая надежность оценок адекватности вследствие неограниченного размера генерируемой выборки компонентов псевдорешения.

5. Разработан новый метол выявления зависимых свободных параметров для устранения возможной сингулярности применяемой факторной модели, приводящей к неоднозначности решения.

6. Разработанный подход показал себя эффективным инструментом для выявления взаимодействующих скрытых факторов, управляющих развитием социальных и экономических систем, при решении следующих задач:

-исследовании изменчивости социально-экономических показателей, составляющих индекс нравственного состояния общества в европейских странах; -исследовании взаимосвязи экономических показателей и показателей интеллектуального развития граждан в европейских странах; -исследовании взаимных влияний факторов социально-экономического развития субъектов РФ.

СПИСОК ПУБЛИКАЦИЙ

В рецензируемых журналах, входящих в Перечень ВАК РФ:

1. Оценка степени адекватности факторных моделей с помощью самоорганизующихся карт признаков Кохонена / Мармалюк П.А. // Нейрокомпьютеры: разработка и применение. Москва. 2010. №10. С. 53 - 62.

2. Факторный анализ результатов ветлет-преобразований лонгипнодных данных как новый метод исследования динамических характеристик сложных систем / Куравский Л.С., Мармалюк П.А., Баранов С.Н., Абрамочкина В.И., Петрова Е.А. // Нейрокомпьютеры: разработка и применение. Москва. 2009. №9. С. 5—19.

3. Применение факторного анализа результатов вейвлет-преобразований для исследования динамики психологических характеристик / Куравский Л.С., Мармалюк П.Д., Абрамочкина В.И., Петрова Е.А. // Экспериментальная психология. Москва, 2009. №1, том 2. С. 97-111.

4. Анализ показателей нравственного состояния общества в европейских странах: oifema адекватности факторной модели с использованием критерия на основе самоорганизующихся карт признаков Кохонена / Мармалюк П.А. // Экспериментальная психология. Москва, 2011. №2. С. 97-111.

5. Факторный анализ показателей нравственного состояния общества в европейских странах / Куравский Л.С., Юревич А.В., Мармалюк П.А., Иванова Е.Г. // Психологическая наука и образование. Москва, 2010. №1. С. 94-110.

6. Исследование факторных влияний на развитие психологических характеристик с применением нового подхода к оценке адекватности моделей наблюдениям / Л.С. Куравский, Д.В. Ушаков, П.А. Мармалюк, А.С. Панфилова // Информационные технологии. Москва, 2011. №11 (в печати).

В других изданиях:

7. Estimation of goodness-of-fit measures accompanying the identification of factor models / Kuravsky L.S., Baranov S.N. and Marmalyuk P.A. // In: Proc. 7th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies. Stratford-upon-Avon, England, 2010. 10 pp.

8. Estimation of goodness-of-fit measures for identification of unrestricted factor models employing arbitrarily distributed observed data / Kuravsky L.S., Marmulyuk P.A. and Panfilova A.S. // - In: Proc. 8th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Cardiff, UK, June 2011.- 19 pp.

9. Wavelet based confirmatory factor analysis of longitudinal data for studying evolution of latent factors influences / Marmalyuk P.A. // In: Proc. 2th International Conference on Statistics «DAGStat 2010: Statistics under one umbrella». Dortmund, Germany, 2010. P. 248.

10. Применение факторных моделей для определения весовых коэффициентов в когнитивных картах на основе экспертных оценок / Мармалкж П.А., Федулов Ю.Г., Куравский Л.С., Юсов А.Б. // Ситуационные центры 2010 (ситуационные центры и современные информационно-аналитические технологии поддержки принятия решений): эл. матер, науч.-практ. конф., Москва: РАГС, 2010.

11. Применение факторного анализа результатов вейвлет-преобразований для исследования динамики развития сложных систем / Мармалкж П.А. // Молодые ученые - столичному образованию: матер. 8-й городской науч.-практ. конф. молодых ученых, аспирантов и студентов учреждений высшего и среднего образования городского подчинения. Москва: МГППУ, 2009. С. 159—161.

\2. Применение сетей Кохонена для оценки степени адекватности факторных моделей / Мармалкж П.А. // Молодые ученые - столичному образованию: матер. 9-й городской науч.-практ. конф. молодых ученых, аспирантов и студентов учреждений высшего и среднего образования городского подчинения. Москва: МГППУ, 2010. С. 375-377.

13.Методы идентификации скрытых факторных влияний на характеристики процессов в сложных системах / Мармалкж П.А. // Молодые ученые - нашей новой школе: матер. 10-й юбилейной науч.-практ. межвузовской конф. молодых ученых и студентов учреждений высшего и среднего образования городского подчинения. Москва: МГППУ, 2011. С.334-336.

14.Применение факторного анатза результатов вейвлет-преобразошшй для исследования динамики развития сложных систем / Мармалюк П.А. // Новые информационные технологии: тезисы докладов XVII Междунар. студенческой конф.-шк.-сем. Москва: МИЭМ, 2009. С. 109- 110.

15. Факторный аначиз результатов вейвлет-преобразований: оценка степени адекватности моделей с помощью самоорганизующихся карт Кохонена / Мармалюк П.А. // Новые информационные технологии: тезисы докладов XVIII Междунар. студенческой конф.-шк.-сем. Москва: МИЭМ, 2010. С. 380-382

16. Конфирматорный факторный аначиз результатов вейвлет-преобразований данных мониторинга / Мармалюк П.А. // Экспериментальная психология в России: матер. Всероссийской науч. конф., Москва: Институт психологии РАН,

2010. С. 132- 139.

Диссертант

Мармалюк П.А.

Подписано в печать 11.11.2011 Усл. печ. л. 1,0. Тираж 100 экз. Заказ №3167 Отпечатано в типографии «АллА Принт» Тел. (495) 621-86-07, факс (495) 621-70-09 www.allaprint.ru

61 12-5/1587

Государственное образовательное учреждение высшего профессионального образования «МОСКОВСКИЙ ГОРОДСКОЙ ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЙ

УНИВЕРСИТЕТ»

На правах рукописи УДК 629.7.015.4:621:681.322:539.43

МАРМАЛЮК Павел Алексеевич

МЕТОДЫ ИДЕНТИФИКАЦИИ СКРЫТЫХ ФАКТОРНЫХ ВЛИЯНИЙ НА ПАРАМЕТРЫ РАЗВИТИЯ СЛОЖНЫХ СОЦИАЛЬНЫХ И ЭКОНОМИЧЕСКИХ СИСТЕМ

(05.13.10 - управление в социальных и экономических системах)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель -доктор технических наук профессор Куравский Лев Семенович

Москва-2011

ОГЛАВЛЕНИЕ

Введение...................................................................................................................3

Глава 1. Факторный анализ результатов вейвлет-преобразований данных мониторинга как новый метод исследования параметров развития сложных систем.....................................................................................................................18

1.1. Общая схема подхода....................................................................................18

1.1.1. Вейвлет-преобразование данных........................................................23

1.1.2. Используемые виды моделей..............................................................25

1.1.3. Переопределённость моделей.............................................................30

1.1.4. Идентификация моделей.....................................................................32

1.1.5. Сингулярность моделей и выявление зависимых параметров моделей............................................................................................................35

1.1.6. Оценка степени адекватности моделей: альтернативный подход ..37

1.1.7. Оценка значимости компонентов моделей........................................39

1.1.8. Оценка степени адекватности моделей при помощи самоорганизующихся карт признаков Кохонена........................................40

1.2. Заключение по главе......................................................................................46

Глава 2. Исследование динамики изменчивости социально-экономических показателей, составляющих индекс нравственного состояния общества.......48

2.1. Постановка задачи..........................................................................................48

2.2. Исходные данные...........................................................................................49

2.3. Факторная модель..........................................................................................52

2.4. Результаты и выводы.....................................................................................57

2.5. Заключение по главе......................................................................................60

Глава 3. Исследование взаимного влияния экономических показателей и показателей интеллектуального развития граждан в европейских странах... 61

3.1. Постановка задачи..........................................................................................61

3.2. Исходные данные...........................................................................................61

3.3. Факторные модели.........................................................................................65

3.4. Результаты и выводы.....................................................................................71

3.5. Заключение по главе......................................................................................86

Глава 4. Исследование изменчивости и взаимного влияния факторов социально-экономического развития субъектов РФ.........................................87

4.1. Постановка задачи..........................................................................................87

4.2. Исходные данные...........................................................................................90

4.3. Факторные модели.........................................................................................91

4.4. Результаты и выводы.....................................................................................98

4.5. Заключение по главе....................................................................................102

Основные результаты и выводы........................................................................103

Список использованной литературы.................................................................105

Введение

Совокупность всех экономических процессов, совершающихся в обществе на основе сложившихся в нём отношений собственности и хозяйственного механизма определяет экономическую систему, в которой первичную роль играет производство вкупе с распределением экономических ресурсов, обменом и потреблением результатов хозяйственной деятельности. Экономическая система неразрывно связана с социальной системой общества, которая определяется совокупностью различных социальных групп, слоев, социальных общностей, находящихся между собой в определенных отношениях и связях и образующих единое целое.

Особенностью сложно организованных социальных и экономических систем является наличие в них процессов управления, которые обеспечивают автономность этих структур и характер их функционирования. Процесс управления осуществляется целеполагающими действиями участников социально-экономических отношений и направлен на упорядочение и координацию функционирования и развития общества в интересах достижения целей, стоящих перед участниками социально-экономических отношений, включая оптимизацию и повышение эффективности определенных видов деятельности.

Сложность управленческого труда в рамках социальных и экономических систем обусловливается следующими обстоятельствами: сложностью организации и масштабами таких систем, количеством и составом решаемых проблем, количеством связей между подсистемами, разнообразием применяемых методов и организационных принципов управления, специфическим характером функционирования отдельных подсистем сложно организованной системы, а также влиянием внешних связей системы. В процессе управления указанные обстоятельства дают о себе знать уже на этапе сбора данных о процессах функционирования

системы, когда исследователю необходимо выбирать ключевые параметры системных процессов для изучения.

Предметом труда в управлении, в общем случае, является качественная и количественная ретроспективная и актуальная информация, которая без предварительной обработки не может применяться на практике. Она является основой для подготовки и обоснования управленческого решения (воздействия), служит исходным «сырьем» для преобразования в полезную информацию, которой можно руководствоваться для осуществления конкретных действий, поскольку может отражать закономерности о преобразовании во времени взаимосвязей исследуемых явлений и процессов, о непосредственном влиянии объектов системы на связанные с ее функционированием процессы и ресурсы или о проявлении действия внешних связей системы.

Для качественного проведения анализа функционирования исследуемой системы с целью подготовки, обоснования и принятия управленческих решений, ориентированных на повышение эффективности протекающих в ней процессов или достижение иных целей, требуется большое количество исходных данных об интересующих исследователя аспектах функционирования исследуемой системы. Получение необходимых для обработки данных обычно производится посредством мониторинга -систематического или непрерывного процесса сбора количественной и качественной информации о функционировании объектов системы или результатах социально-экономической деятельности.

Процесс мониторинга позволяет накапливать ретроспективную и вовремя получать текущую информацию о динамике развития характеристик протекающих в исследуемой системе процессов, что открывает простор применению современных методов обработки исходной информации, позволяющих определять тенденции изменения характеристик исследуемых процессов и получать подробные и надежные данные, которые можно

использовать для установления причин совместной изменчивости характеристик наблюдаемых процессов в течение времени.

Результатом мониторинга, в общем случае, является выборка временных рядов значений измеряемых параметров, которая может нести в себе информацию о закономерностях преобразования во времени взаимосвязей объектов исследуемой системы, о непосредственном влиянии объектов на связанные с их функционированием процессы и ресурсы, или о проявлении действия других систем (влияние внешних связей).

Основным методом исследования сложных систем является математическое моделирование, в том числе имитация процессов функционирования изучаемых систем. Для моделирования сложной системы необходимо формализовать процессы функционирования системы в рамках интересующего аспекта её функционирования, отобрать необходимые параметры, отражающие как результаты функционирования системы, так и все ресурсы, определяющие возможность протекания исследуемых процессов и затем построить математическое описание сложной системы на основе выбранных параметров. Изучение отношений между элементами и подсистемами, определение роли и места каждой подсистемы в общем процессе функционирования системы составляют предмет структурного анализа сложных систем. Методы структурного анализа позволяют выделить в сложной системе наборы подсистем, находящихся в заданных отношениях, и представить сложную систему как совокупность объектов с хорошо изученными типичными структурами. Кроме того, эти методы применяют для оценки так называемых структурных характеристик, которые в количественном виде отражают те или иные частные свойства элементов сложной системы.

Особенно остро специфика задачи управления сложными социальными и экономическими системами проявляется на этапе анализа информации о протекающих в них процессах: возникает задача конструирования и

идентификации многопараметрической формальной модели, адекватно описывающей наблюдаемые параметры функционирования этих систем. При этом приходится иметь дело со значительными объёмами необработанных ретроспективных данных, содержащих в себе информацию о закономерностях изменения характеристик и взаимосвязей исследуемых системных процессов в зависимости от воздействия на них различных внутрисистемных и внешних факторов.

Особенности обработки и последующего анализа многомерных данных, получаемых в процессе мониторинга социально-экономической системы, состоят в следующем:

- набор значений измеряемых параметров не всегда представляет характеристики исследуемой системы в форме, подходящей для непосредственного выявления текущего состояния системы, и не отражает эмерджентные свойства системы, в то время как исследователя, прежде всего, интересуют не только частные свойства объектов исследуемой системы, но и её интегративные свойства;

- по отдельным параметрам проблематично оценить взаимное влияние протекающих в системе процессов и выявить структуру этого взаимодействия;

- представляется полезным выявить несколько факторов (скрытых, неявных причин), отвечающих за изменчивость наблюдаемых параметров в течение всего времени наблюдений (измерений), а также определить их природу и диапазон воздействий, используя в дальнейшем полученную информацию для идентификации состояния системы по сокращенному набору характеристик, что упрощает дальнейший процесс принятия управленческого решения;

- обеспечивая минимальные потери полезной информации, легко измеряемые параметры желательно заменять на характеристики, которые

легко интерпретировать и использовать в дальнейшем для исследования эволюции системы;

- наиболее сложной и важной представляется задача определения функциональных зависимостей наблюдаемых параметров от выявляемых факторов.

В результате такого подхода к анализу данных мониторинга должна быть получена вся структура причинных связей между выявленными факторами и параметрами протекающих в системе процессов, а также, если потребуется, получены непосредственные оценки количественных характеристик факторов. Относительно небольшая, как правило, размерность пространства факторов позволяет повысить эффективность процесса принятия управленческих решений благодаря выявлению скрытых закономерностей работы системы и упрощению описания протекающих в ней процессов.

Для выявления и исследования связей системы с действием скрытых факторов, взаимное влияние которых определяет закономерности развития и изменчивость характеристик системных процессов, для определения зависимостей между выявленными факторами, а также для оценки степени их влияния на наблюдаемые параметры, в настоящее время используется подход, названный моделированием структурными уравнениями [31, 54, 76, 94, 108, 110], а также соответствующие виды структурных моделей [74]. Его основы были заложены генетиком С. Райтом, затем получили развитие в работах статистика К. Йорескога [89 - 91] и экономистов Т. Хаавельмо [79] и Г. Саймона [114]. В конце XX века его основные идеи были использованы Дж. Перлом при создании методов причинного анализа [85 - 87, 100, 106, 111].

Различные формы данного подхода включают в себя методы факторного [63, 71, 75] и регрессионного анализа [14, 32, 40], представляя собой разведочные и проверочные средства статистического вывода. Они

применяются как для создания научных гипотез, так и их проверки, используя статистические данные (в частности, результаты мониторинга системных процессов) и качественные предположения о причинах изменчивости наблюдаемых параметров. Проверочный анализ обычно начинается с гипотезы, которая описывает факторные влияния на наблюдаемые параметры системы и закладывается в соответствующую формализованную модель, параметры которой идентифицируются по результатам наблюдений. Идентифицированная модель позволяет восстановить эмпирические характеристики исследуемых процессов в виде теоретических оценок, по которым можно оценивать степень соответствия полученной модели имеющимся наблюдениям. В случае соответствия модели наблюдениям исследователь имеет основания сделать вывод о справедливости выдвинутой гипотезы. В противном случае следует скорректировать модель в соответствии с новой гипотезой, включив или исключив определённые компоненты: разработаны методы структурного анализа, позволяющие подбирать оптимальные структуры моделей в рамках заданных ограничений.

Методы моделирования структурными уравнениями широко применяются в экономике [1, 28, 51, 73, 77, 92, 112], социологии [11, 12, 39, 117, 119, 120], психологии [23, 29, 47], биологии и медицине [5, 16, 99, 105, 115, 116]. Наиболее известны и чаще всего используются традиционные формы разведочного и проверочного факторного анализа [53].

Разведочный факторный анализ [48, 58] предполагает наличие определённого числа некоррелированных факторов, влияющих на наблюдаемые переменные системы. Его цель заключается в выявлении небольшого числа факторов, которые с приемлемыми ошибками объясняют изменчивость наблюдений. Объектами анализа являются выборочные ковариационные или корреляционные матрицы наблюдаемых переменных. Факторы и характеристики их влияний на наблюдаемые переменные

подбираются так, чтобы получить наилучшее согласование прогнозируемых с помощью модели и выборочных ковариационных или корреляционных матриц наблюдаемых переменных.

В случае проверочного [57, 80, 113] факторного анализа предполагается наличие заранее определённой факторной модели изучаемой системы. Гипотезы о структуре модели должны основываться на анализе природы исследуемых факторов. Можно делать количественные предположения о значениях факторных нагрузок и корреляциях между факторами, а также проверять гипотезы о структуре и свойствах моделей, подбирая их оптимальные варианты.

Наиболее известны и чаще всего используются традиционные формы факторного анализа, которые обладают следующими существенными недостатками:

- для идентификации значений свободных параметров моделей необходимо численно решать трудоемкую задачу многомерной локальной оптимизации, в результате которой находится один из локальных минимумов, зависящий от начального приближения (глобальный минимум, как правило, определить нельзя) [55, 78, 81];

- методы факторного анализа, как правило, требуют предположений об определённых вероятностных распределениях результатов наблюдений [68, 83], степень согласованности с которыми сложно проверить из-за ограниченности выборки имеющихся данных [66].

Симплекс-метод проверочного факторного анализа [65, 70, 89, 101], который применяется для анализа данных мониторинга [17, 56, 88, 121], допускает сравнительно небольшой запас свободных параметров и позволяет исследовать взаимодействие факторов только между смежными контрольными точками. Он применим для анализа ковариационных и корреляционных матриц наблюдаемых параметров, имеющих симплексную структуру (когда корреляции между наблюдениями тем меньше, чем больше

временной промежуток между ними). При столь ограниченной области использования симплекс-метода и таком количестве недостатков применение данного вида анализа данных становится крайне затруднительной процедурой.

Также стоит отметить, что критерий максимального правдоподобия, который используется в традиционном факторном анализе, очень чувствителен к влиянию больших размеров выборки наблюдений [20, 33]: небольшие отклонения от ожидаемых характеристик в этом случае приводят к ухудшению согласования модели с наблюдениями.

Исходя из изложенного, актуальность темы определяется необходимостью разработки ориентированных на повышен�