Линейные регрессионные уравнения

 

тогда

	8,248413
a = (X'X)-1X'y	2,64377

 

Таким образом, оцененное  однофакторное уравнение регрессии  имеет вид

Y = 8.248 + 2.643x₁ + U.      (1.20)

Для того, чтобы оценить  качество, с которым данное уравнение  аппроксимирует исходные данные, используем коэффициент детерминации R², вычисленный по формуле (1.18):

.

Полученное значение указывает на то, что модель объясняет 99.5% исходных значений, а остальные 0.5% носят случайный характер.

Рассмотрим теперь двухфакторное  регрессионное уравнение вида (1.1)

Y = a₀ + a₁x₁ + a₂x₂ + U.

Для вычисления оценок неизвестных  коэффициентов проведем вычисления по формуле (1.12). Получим:

X	1	75,47	77,85	Y	214,21
	1	96,98	92,85		256,98
	1	112,34	121,03		301,6
	1	121,23	132,15		329,16
	1	137,83	155,82		387,84
	1	149,37	186,38		400,76
	1	173,46	208,19		450,22
	1	196,44	222,4		526,18
	1	210,58	240,18		574,65
	1	217,4	257,37		583,01

 

X'	1	1	1	1	1	1	1	1	1	1
	75,47	96,98	112,34	121,23	137,83	149,37	173,46	196,44	210,58	217,4
	77,85	92,85	121,03	132,15	155,82	186,38	208,19	222,4	240,18	257,37
X'X	10	1491,1	1694,22		(X'X)-1	1,831463	-0,05187	0,035435
	1491,1	244010,1	280143,5			-0,05187	0,002915	-0,00226
	1694,22	280143,5	322541,6			0,035435	-0,00226	0,00178
(X'X)-1X'	0,675149	0,090867	0,292638	0,225515	0,20315198	0,687415	0,21061	-0,47792	-0,58138	-0,32604
	-0,00777	0,02105	0,002152	0,002942	-0,002149365	-0,03756	-0,01661	0,018272	0,019318	0,000357
	0,00344	-0,01847	-0,00303	-0,00333	0,001282831	0,029592	0,013969	-0,01267	-0,01298	0,0022

 

тогда

a = (X'X)-1X'y=	3,914636
	2,920139
	-0,21766

 

 

 

Таким образом, оцененное  двухфакторное уравнение регрессии  имеет вид

Y = 3.915 + 2.920x₁ -0.218x₂ + U.    (1.21)

Для оценивания качества аппроксимации исходных данных моделью  вычислим по формуле (1.18) коэффициент детерминации R²:

.

Полученное значение указывает на то, что данное уравнение  объясняет 99.54% исходных значений, а остальные 0.46% носят случайный характер.

В случае трехфакторного регрессионного уравнения вида (1.1) получим следующие результаты:

a = (X'X)-1X'y	34,25753
	2,755816
	-1,16105
	1,504424

само уравнение будет  иметь вид

Y = 34.258 + 2.756x₁ - 1.161x₂ + 1.504x₃ + U,  (1.22)

а коэффициент детерминации будет  равен R² = 0.9972.

Анализируя полученные результаты можно заметить, что при добавлении факторов в модель ее адекватность повышается. Например, добавление x₂ и x₃  к исходной однофакторной модели позволило улучшить качество приближения на 70.59%, что существенно отразилось на увеличении коэффициента детерминации. Но не все факторы вносят одинаковый вклад в качество аппроксимации модели, и для определения наиболее значимых показателей проведем ниже корреляционный и регрессионный анализы изучаемой модели.

 

2. Корреляционный анализ системы

2.1 Корреляционный анализ системы

Изучение проблемы спецификации переменных (выбора факторов) следует  начинать с корреляционного анализа  связи между переменными. Будем  различать корреляционный анализ системы  «показатель-факторы» и корреляционный анализ системы «факторы».

2.2 Корреляционный анализ системы «показатель-факторы»

Запишем матрицу исходных данных в виде

.     (2.1)

Матрица имеет размерность . Тогда транспонированная матрица имеет размерность , и для матрицы размерности получаем

.

Элементы полной корреляционной матрицы 

,      (2.2)

составленной из выборочных парных коэффициентов корреляции, как нетрудно заметить, связаны с элементами матрицы  соотношениями

.        (2.3)

Будем считать, что матрица  невырождена, т.е. что определитель матрицы отличен от нуля . В этом случае существует обратная матрица

,         (2.4)

через элементы которой выражаются многие характеристики регрессионной модели. В частности, интересующие нас здесь выборочные частные коэффициенты корреляции , равны

.     (2.5)

Частный коэффициент корреляции характеризует истинную корреляцию показателя и фактора при исключении влияния других факторов.

Значимость выборочных частных  коэффициентов корреляции (2.5) проверяется по двустороннему критерию

,      (2.6)

где критическое значение вычислено по таблице Фишера-Иейтса при уровне значимости α и числе степеней свободы . Выполнение критерия (2.6) для коэффициента означает наличие стохастической связи между показателем Y и фактором X_j, и переменную следует включить в число существенных переменных.

Может случиться так, что для одного или нескольких факторов неравенство (2.6) не выполняется. В подобных ситуациях многие исследователи исключают соответствующие факторы из модели. Однако к исключению из модели переменных следует относиться осторожно. Ведь таким образом из модели может быть исключена переменная, оказывающая существенное влияние на показатель . Может случиться ситуация, когда несколько частных коэффициентов корреляции окажутся незначимыми, и исключенная вместе с другими переменная с начальными незначимым коэффициентом могла бы иметь значимый коэффициент в сокращенной модели, если бы она была там оставлена.  При изменении состава системы «показатель-факторы» будут изменяться матрицы и , а значит, другие значения будут иметь и частные коэффициенты корреляции (2.5).

Следует также иметь  в виду, что если экономическая  теория и интуиция подсказывают, что переменная должна быть в списке существенных переменных, а двухсторонний критерий (2.6) говорит об обратном, то можно использовать односторонние критерии значимости, если заранее известно направление действия (положительное или отрицательное) переменной на показатель . Использование односторонних критериев значимости вместо двусторонних  значительно уменьшает вероятность допущения ошибки второго рода.

С помощью корреляционного  анализа системы «показатель-факторы» мы только определяем кандидатов на исключение из числа объясняющих переменных. Какие из них должны быть исключены из модели может подсказать корреляционный анализ системы «факторы».

2.3 Корреляционный анализ системы «факторы»

Рассмотрим матрицу

,       (2.7)

составленную из выборочных парных коэффициентов корреляции системы «факторы». Очевидно, она симметрическая и получается из матрицы зачеркиванием первой строки и первого столбца. В предположении, что матрица невырождена , существует обратная матрица

,

через элементы которой выражаются, аналогично (2.5), выборочные частные коэффициенты корреляции системы «факторы». Имеем

.      (2.8)

Значимость коэффициентов (2.8) проверяется  по двустороннему критерию (2.6) при уровне значимости a и числе степеней свободы n-m. Если для одного или нескольких коэффициентов (2.8) выполняется (2.6), это будет означать наличие в модели проблемы мультиколлинеарности (зависимости между факторами). В этом случае спецификация переменных должна быть пересмотрена заново. Количество объясняющих переменных необходимо уменьшить.

Каким образом осуществлять новую  спецификацию переменных? Представляется разумным последовательно уменьшать количество переменных на единицу и на каждом шаге заново проводить корреляционный анализ системы “показатель-факторы” и системы “факторы”. Здесь на каждом этапе могут возникать следующие ситуации.

1) Только один из коэффициентов (2.8) оказался значимым. В этом случае из двух переменных и из модели исключается та, которой соответствует незначимый выборочный коэффициент корреляции (2.5). Случай, когда обе переменные ранее оказались существенными маловероятен. Если же обе переменные ранее попали в список кандидатов на исключение из модели, то должна сработать интуиция исследователя. Можно отработать также оба варианта.

2) Сразу несколько коэффициентов значимы. Здесь может возникнуть большая свобода в принятии решения о том, какую из переменных удалить. Если есть сомнения в правильности действий, необходимо просчитывать разные варианты.

Отметим здесь также  следующее. Мы рассмотрели корреляционный анализ  модели, исследуя только проблему спецификации переменных и считая, что спецификация уравнения модели проведена линейным образом, например, в виде

.     (2.9)

Если  выбрано нелинейное уравнение модели, то его нужно  с помощью соответствующего преобразования свести к линейному и только после этого для новых переменных проводить корреляционный анализ.

Может случиться так, что спецификация уравнения модели осуществлена неправильно, и тогда корреляционный анализ может привести к ложным выводам относительно спецификации переменных. Поэтому необходимо проверять не только значимость выборочных частных коэффициентов корреляции, но и направленность связи между переменными, согласуя ее с экономической теорией.

В решении проблемы спецификации модели может помочь регрессионный  анализ. Иногда, вместо того, чтобы исключать из модели одну из двух или нескольких переменных, следует подумать о сохранении в модели сразу всех переменных, например, путем линейного ограничения на параметры. Количество объясняющих переменных будет уменьшено, однако данные будут использованы по всем переменным. Такая процедура, как правило, приводит к повышению точности модели.

2.4 Регрессионный анализ модели

Будем исходить из линейной модели

      (2.10)

которая на базисных данных в векторной форме принимает  вид (1.9)

.         (2.11)

Оцененная регрессия 

         (2.12)

изучена нами в первой главе, где вычислены ее основные характеристики.

Вектор МНК-оценок удовлетворяет системе линейных уравнений (1.11)

         (2.13)

и может быть получен  по формуле

.        (2.14)

Оцененная ковариационная матрица оценок коэффициентов регрессии имеет вид (1.16)

       (2.15)

где –оценки дисперсии остатков, равная

, .       (2.16)

На диагонали матрицы  находятся оценки дисперсий оценок , корни из которых дают стандартные ошибки коэффициентов регрессии

, k=0, 1, …, m.      (2.17)

Оцененная ковариационная матрица значений на базисных  данных имеет вид (1.19)

.       (2.18)

На ее диагонали находятся  оценки , корни из которых представляют собой стандартные ошибки значений регрессии на базисных данных.

Регрессионный анализ  позволяет проверить значимость объясняющих переменных в уравнении регрессии. Для этого можно использовать двусторонний критерий значимости коэффициентов регрессии

      (2.19)

где - критическое значение, вычисленное по таблице Стьюдента при уровне значимости α и числе степеней свободы n-m-1. Критерий (2.19) эквивалентен критерию (2.6), и может быть осуществлена проверка результатов корреляционного анализа. В случае необходимости можно использовать односторонние критерии значимости коэффициентов регрессии, если из экономических соображений или из опытных данных имеются большие аргументы в пользу положительного или отрицательного направления действия объясняющей переменной на показатель Y.