Нелинейная регрессия

НЕЛИНЕЙНАЯ  РЕГРЕССИЯ

Если между  экономическими явлениями существуют нелинейные связи, то они выражаются с помощью соответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

• регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;

• регрессии, нелинейные по оцениваемым параметрам.

Примером  нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:

• полиномы разных степеней — , ;
• равносторонняя гипербола — .

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

• степенная — ;
• показательная — ;
• экспоненциальная — .

Нелинейная  регрессия по включенным переменным не таит каких-либо сложностей в оценке ее параметров. Она определяется, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в параболе второй степени

,

заменяя переменные , получим двухфакторное уравнение линейной регрессии:

для оценки параметров которого используется МНК.

Соответственно  для полинома третьего порядка

,

при замене , получим трехфакторную модель линейной регрессии:

.

Следовательно, полином любого порядка сводится к линейной регрессии с ее методами оценивания параметров и проверки гипотез. Как показывает опыт большинства исследователей, среди нелинейной полиномиальной регрессии чаще всего используется парабола второй степени; в отдельных случаях — полином третьего порядка. Ограничения в использовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и соответственно менее однородна совокупность по результативному признаку.

Парабола второй степени  целесообразна к применению, если для определенного интервала  значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. В этом случае определяется значение фактора, при котором достигается максимальное (или минимальное) значение результативного признака: приравниваем к нулю первую производную параболы второй степени:

, т.е.  и .

Если же исходные данные не обнаруживают изменения направленности связи, то параметры параболы второго порядка становятся трудно интерпретируемыми, а форма связи часто заменяется другими нелинейными моделями.

Применение  МНК для оценки параметров параболы второй степени приводит к следующей системе нормальных уравнений:

.

При и кривая симметрична относительно высшей точки, т. е. точки перелома кривой, изменяющей направление связи, а именно рост на падение. Такого рода функцию можно наблюдать в экономике труда при изучении зависимости заработной платы работников физического труда от возраста — с увеличением возраста повышается заработная плата ввиду одновременного увеличения опыта и повышения квалификации работника. Однако с определенного возраста ввиду старения организма и снижения производительности труда дальнейшее повышение возраста может приводить к снижению заработной платы работника.

Если параболическая форма связи демонстрирует сначала  рост, а затем снижение уровня значений результативного признака, то определяется значение фактора, при котором достигается максимум. Так, предполагая, что потребление товара А (единиц) в зависимости от уровня дохода семьи (тыс. руб.) характеризуется уравнением вида . Приравнивая к нулю первую производную , найдем величину дохода, при которой потребление максимально, т. е. при х = 3 тыс. руб.

При и парабола второго порядка симметрична относительно своей низшей точки, что позволяет определять минимум функции в точке, меняющей направление связи, т. е. снижение на рост. Так, если в зависимости от объема выпуска продукции затраты на производство характеризуются уравнением , то наименьшие затраты достигаются при выпуске продукции ед., т. е. .

Ввиду симметричности кривой парабола второй степени далеко не всегда пригодна в конкретных исследованиях. Чаще исследователь имеет дело лишь с отдельными сегментами параболы, а не с полной параболической формой. Кроме того, параметры параболической связи не всегда могут быть логически истолкованы. Поэтому если график зависимости не демонстрирует четко выраженной параболы второго порядка (нет смены направленности связи признаков), то она может быть заменена другой нелинейной функцией, например степенной. В частности, в литературе часто рассматривается парабола второй степени для характеристики зависимости урожайности от количества внесенных удобрений. Данная форма связи мотивируется тем, что с увеличением количества внесенных удобрений урожайность растет лишь до достижения оптимальной дозы вносимых удобрений. Дальнейший же рост их дозы оказывается вредным для растения, урожайность снижается. Несмотря на несомненную справедливость данного утверждения, следует отметить, что внесение в почву минеральных удобрений производится на основе учета достижений агробиологической науки. Поэтому на практике часто данная зависимость представлена лишь сегментом параболы, и позволяет использовать другие нелинейные функции.

Среди класса нелинейных функций, параметры которых без особых затруднений оцениваются МНК, следует назвать хорошо известную в эконометрике равностороннюю гиперболу:

Она может  быть использована не только для характеристики связи удельных расходов сырья, материалов, топлива с объемом выпускаемой продукции, времени обращения товаров от величины товарооборота, т.е. на микро уровне, но и на макро уровне. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соотношение между нормой безработицы и процентом прироста заработной платы :

.

Английский  экономист А. В. Филлипс. анализируя данные более чем за 100-летний период, в конце 50-х гг. XX в. установил обратную зависимость процента прироста заработной платы от уровня безработицы.

Для равносторонней гиперболы вида заменив — на , получим линейное уравнение регрессии , оценка параметров которого может быть дана МНК. Система нормальных уравнений составит:

.

При имеем обратную зависимость, которая при характеризуется нижней асимптотой, т. е. минимальным предельным значением , оценкой которого служит параметр . Так, для  кривой Филипса — величина параметра , равная 0,00679, означает, что с ростом уровня безработицы темп прироста заработной платы в пределе стремится к нулю. Соответственно можно определить тот уровень безработицы, при котором заработная плата оказывается стабильной и темп ее прироста равен нулю.

При имеем медленно повышающуюся функцию с верхней асимптотой при , т. е. с максимальным предельным уровнем , оценку которого в уравнении дает параметр .

Примером  может служить взаимосвязь доли расходов на товары длительного пользования и общих сумм расходов (или доходов). Математическое описание подобного рода взаимосвязей получило название кривых Энгеля. В 1857 г. немецкий статистик Э. Энгель на основе исследования семейных расходов сформулировал закономерность — с ростом дохода доля доходов, расходуемых на продовольствие, уменьшается. Соответственно с увеличением дохода доля доходов, расходуемых на непродовольственные товары, будет возрастать. Однако это увеличение не беспредельно, ибо на все товары сумма долей не может быть больше единицы, или 100%, а на отдельные непродовольственные товары этот предел может характеризоваться величиной параметра для уравнения вида

,

где — доля расходов на непродовольственные товары; — доходы (или общая сумма расходов как индикатор дохода).

Соответственно  можно определить границу величины дохода, дальнейшее увеличение которого не приводит к росту доли расходов на отдельные непродовольственные товары.

Вместе с  тем равносторонняя гипербола  не является единственно возможной функцией для описания кривой Энгеля. В 1943 г. Уоркинг и в 1964 г. Лизер для этих целей использовали полулогарифмическую кривую .

Заменив на , опять получим линейное уравнение: . Данная функция, как и предыдущая, линейна по параметрам и не линейна по объясняющей переменной . Оценка параметров и может быть найдена МНК. Система нормальных уравнений при этом окажется следующей

.

Возможны  и иные модели, нелинейные по объясняющим  переменным. Например, . Соответственно система нормальных уравнений для оценки параметров составит:

.

Уравнения с квадратными  корнями использовались в исследованиях урожайности, трудоемкости сельскохозяйственного производства (см. Елисеева).

Иначе обстоит дело с  регрессией, нелинейной по оцениваемым  параметрам. Данный класс нелинейных моделей подразделяется на два типа: нелинейные модели внутренне линейные и нелинейные модели внутренне нелинейные. Если нелинейная модель внутренне линейна, то она с помощью соответствующих преобразований может быть приведена к линейному виду. Если же нелинейная модель внутренне нелинейна, то она не может быть сведена к линейной функции. Например, в эконометрических исследованиях при изучении эластичности спроса от цен широко используется степенная функция:

,

где — количество; — цена; — случайная ошибка.

Данная модель нелинейна  относительно оцениваемых параметров, ибо включает параметры и неаддитивно. Однако ее можно считать внутренне линейной, ибо логарифмирование данного уравнения по основанию приводит его к линейному виду:

.

Соответственно  оценки параметров и могут быть найдены МНК. В рассматриваемой степенной функции предполагается, что случайная ошибка мультипликативно связана с объясняющей переменной . Если же модель представить в виде , то она становится внутренне нелинейной, ибо ее невозможно превратить в линейный вид.

Внутренне нелинейной будут и модели:

 или  ,

ибо эти уравнения  не могут быть преобразованы в  уравнения, линейные по коэффициентам.

Если модель внутренне нелинейная по параметрам, то для оценки параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей применяемого итеративного подхода. Модели внутренне нелинейные по параметрам могут иметь место в эконометрических исследованиях. Однако гораздо большее распространение получили модели, приводимые к линейному виду. Решение такого типа моделей реализовано в стандартных пакетах прикладных программ. Среди них, в частности, можно назвать и обратную модель вида . Обращая обе части равенства, получим линейную форму модели для переменной — .

Приводима к  линейному виду и логистическая  функция

 или  .

Обращая обе  части равенства  , после несложных преобразований получим:

, где    и .

Среди нелинейных функций, которые могут быть приведены к линейному виду, в эконометрических исследованиях очень широко используется степенная функция . Связано это с тем, что параметр в ней имеет четкое экономическое истолкование, т. е. он является коэффициентом эластичности. Величина коэффициента показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1%. Например, если зависимость спроса от цен характеризуется уравнением , то, с увеличением цен на 1%, спрос снижается в среднем на 1,13%. О правомерности подобного истолкования параметра для степенной функции можно судить, если рассмотреть формулу расчета коэффициента эластичности   ,

где  — первая производная, характеризующая соотношение приростов результата и фактора для соответствующей формы связи.

Для степенной  функции она составит . Соответственно коэффициент эластичности окажется равным:

.

Коэффициент эластичности, естественно, можно определять и при наличии других форм связи, но только для степенной функции он представляет собой постоянную величину, равную параметру . В других функциях коэффициент эластичности зависит от значений фактора .

Поскольку коэффициенты эластичности представляют экономический интерес, а виды моделей не ограничиваются только степенной функцией, приведем формулы расчета коэффициентов эластичности для наиболее распространенных типов уравнений регрессии (табл. ?????)

Таблица ???? Коэффициенты эластичности для ряда математических функций

В силу того, что коэффициент эластичности для линейной функции не является величиной постоянной, а зависит от соответствующего значения , то обычно рассчитывается средний показатель эластичности по формуле .

В моделях, нелинейных по оцениваемым параметрам, но приводимых к линейному виду, МНК применяется  к преобразованным уравнениям. Если в линейной модели и моделях, нелинейных по переменным, при оценке параметров исходят из критерия , то в моделях, нелинейных по оцениваемым параметрам, требование МНК применяется не к исходным данным результативного признака, а к их преобразованным величинам, т. е. , .

При исследовании взаимосвязей среди функций, использующих , в эконометрике преобладают степенные зависимости — это и кривые спроса и предложения, и кривые Энгеля, и производственные функции, и кривые освоения для характеристики связи между трудоемкостью продукции и масштабами производства в период освоения выпуска нового вида изделий, и зависимость валового национального дохода от уровня занятости.