Корреляционно-регрессионный анализ в Excel: инструкция выполнения. Многофакторный регрессионный анализ

Многофакторный регрессионный анализ в оценке недвижимости

Регрессия в математической статистике – это зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин.

Как известно, явления общественной жизни складываются под воздействием не одного, а целого ряда факторов , т. е. эти явления многофакторны. Между факторами существуют сложные взаимосвязи, поэтому их влияние комплексное и его нельзя рассматривать как простую сумму изолированных влияний.

Факторный анализ позволяет определить, какое влияние на изучаемый показатель оказало изменение того или иного фактора.

При моделировании функциональных факторных моделей необходимо соблюдать ряд требований:

1. Факторы, включаемые в модель, должны реально существовать и иметь конкретноефизическое значение.

2. Факторы, которые входят в систему факторного анализа, должны иметь причинно-следственную связь с изучаемым показателем.

3. Факторная модель должна обеспечивать измерение влияния конкретного фактора на общий результат.

Метод применяется для построения прогноза какого-либо показателя с учетом существующих связей между ним и другими показателями. Сначала в результате качественного анализа выделяется k факторов (X 1 , X 2 ,..., X k), влияющих на изменение прогнозируемого показателя Y , и строится чаще всего линейная регрессионная зависимость типа:

где Ai - коэффициенты регрессии, i = 1,2,...,k.

Значения коэффициентов регрессии (A 0 , A 1 , A 2 ,..., A k) определяются в результате сложных математических вычислений , которые обычно проводятся с помощью стандартных статистических компьютерных программ.

Определяющее значение при использовании данного метода имеет нахождение правильного набора взаимосвязанных признаков, направления причинно-следственной связи между ними и вида этой связи, которая не всегда линейна.

Для успешного применения данного метода необходимо выполнение трёх основных условий :

Ø наличие обширной и достоверной базы данных о сделках купли-продажи с описанием физических и экономических характеристик объектов недвижимости, участвовавших в этих сделках;

Ø наличие критерия подбора аналогов из вышеуказанной базы данных;

Ø существование методологии расчёта соответствующих поправок к стоимости выбранных аналогов.

В основном, при подборе аналогов и внесении поправок эксперты-оценщики руководствуются профессиональным опытом и интуицией , что является заведомо субъективным подходом . Привлечение современных статистических методов для обработки и анализа данных, используемых для сопоставления, позволяет снизить влияние субъективизма оценщика.

Для решения задач, связанных с обработкой и анализом статистической информации применяются методы математической статистики. Эти методы позволяют выявить закономерности на фоне случайностей, делать обоснованные выводы и прогнозы, давать оценку вероятностей их выполнения или невыполнения . В последнее время статистические методы, а в частности методы корреляционного и регрессионного анализа, находят всё более широкое применение в оценочной деятельности, правда. Оценщику, владеющему принципами, методами и навыками статистического моделирования, значительно легче обосновать результаты оценки, а также спрогнозировать рыночную стоимость на базе имеющихся данных.

После того, как выявлены наиболее существенные факторы, влияющие на стоимость рассматриваемых объектов, встает вопрос о подборе вида функциональной зависимости, т. е. виде многофакторной регрессионной модели. От правильности этого выбора зависит то, насколько построенная модель будет адекватна изучаемому явлению, т. е. будет ли она соответствовать ему при заданном уровне точности, что, в свою очередь, предопределяет практическую ценность получаемых результатов.

Запас кривых для описания статистических данных, которыми располагает математический анализ, бесконечно разнообразен . Для выбора той из них, которая наиболее адекватна не только имеющемуся эмпирическому материалу, но и истинной зависимости между изучаемым показателем и обуславливающими его факторами, исходят из соображений самого различного характера - логического, графического и статистического.

При прочих равных условиях предпочтение отдается модели, зависящей от меньшего числа параметров , т. к. для их оценки требуется меньшее количество эмпирических данных.

На практике наибольшее распространение получили линейные (1), степенные (2) и экспоненциальные (3) формы зависимости.

y = a 0 + a 1 x 1 + a 2 x 2 + … + a n x n (1)

y = a 0 x 1 a1 x 2 a2 … x n an (2)

Основная цель регрессионного анализа состоит в определении аналитической формы связи, в которой изменение результативного признака обусловлено влиянием одного или нескольких факторных признаков, а множество всех прочих факторов, также оказывающих влияние на результативный признак, принимается за постоянные и средние значения.
Задачи регрессионного анализа :
а) Установление формы зависимости. Относительно характера и формы зависимости между явлениями, различают положительную линейную и нелинейную и отрицательную линейную и нелинейную регрессию.
б) Определение функции регрессии в виде математического уравнения того или иного типа и установление влияния объясняющих переменных на зависимую переменную.
в) Оценка неизвестных значений зависимой переменной. С помощью функции регрессии можно воспроизвести значения зависимой переменной внутри интервала заданных значений объясняющих переменных (т. е. решить задачу интерполяции) или оценить течение процесса вне заданного интервала (т. е. решить задачу экстраполяции). Результат представляет собой оценку значения зависимой переменной.

Парная регрессия - уравнение связи двух переменных у и х: , где y - зависимая переменная (результативный признак); x - независимая, объясняющая переменная (признак-фактор).

Различают линейные и нелинейные регрессии.
Линейная регрессия: y = a + bx + ε
Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.
Регрессии, нелинейные по объясняющим переменным:

Регрессии, нелинейные по оцениваемым параметрам: Построение уравнения регрессии сводится к оценке ее параметров. Для оценки параметров регрессий, линейных по параметрам, Используют метод наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака у от теоретических минимальна, т.е.
.
Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно a и b:

Можно воспользоваться готовыми формулами, которые вытекают из этой системы:

Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции для линейной регрессии :

и индекс корреляции - для нелинейной регрессии:

Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации .
Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических:
.
Допустимый предел значений - не более 8-10%.
Средний коэффициент эластичности показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения:
.

Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
,
где - общая сумма квадратов отклонений;
- сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
- остаточная сумма квадратов отклонений.
Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации R 2:

Коэффициент детерминации - квадрат коэффициента или индекса корреляции.

F-тест - оценивание качества уравнения регрессии - состоит в проверке гипотезы Но о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого выполняется сравнение фактического F факт и критического (табличного) F табл значений F-критерия Фишера. F факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:
,
где n - число единиц совокупности; m - число параметров при переменных х.
F табл - это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно a принимается равной 0,05 или 0,01.
Если F табл < F факт, то Н о - гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если F табл > F факт, то гипотеза Н о не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н о о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:
; ; .
Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:



Сравнивая фактическое и критическое (табличное) значения t-статистики - t табл и t факт - принимаем или отвергаем гипотезу Н о.
Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством

Если t табл < t факт то H o отклоняется, т.е. a, b и не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х. Если t табл > t факт то гипотеза Н о не отклоняется и признается случайная природа формирования а, b или .
Для расчета доверительного интервала определяем предельную ошибку D для каждого показателя:
, .
Формулы для расчета доверительных интервалов имеют следующий вид:
; ;
; ;
Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.
Прогнозное значение определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения . Вычисляется средняя стандартная ошибка прогноза :
,
где
и строится доверительный интервал прогноза:
; ;
где .

Пример решения

Задача №1 . По семи территориям Уральского района За 199Х г. известны значения двух признаков.
Таблица 1.
Требуется: 1. Для характеристики зависимости у от х рассчитать параметры следующих функций:
а) линейной;
б) степенной (предварительно нужно произвести процедуру линеаризации переменных, путем логарифмирования обеих частей);
в) показательной;
г) равносторонней гиперболы (так же нужно придумать как предварительно линеаризовать данную модель).
2. Оценить каждую модель через среднюю ошибку аппроксимации и F-критерий Фишера.

Решение (Вариант №1)

Для расчета параметров a и b линейной регрессии (расчет можно проводить с помощью калькулятора).
решаем систему нормальных уравнений относительно а и b:
По исходным данным рассчитываем :
y x yx x 2 y 2 A i
l 68,8 45,1 3102,88 2034,01 4733,44 61,3 7,5 10,9
2 61,2 59,0 3610,80 3481,00 3745,44 56,5 4,7 7,7
3 59,9 57,2 3426,28 3271,84 3588,01 57,1 2,8 4,7
4 56,7 61,8 3504,06 3819,24 3214,89 55,5 1,2 2,1
5 55,0 58,8 3234,00 3457,44 3025,00 56,5 -1,5 2,7
6 54,3 47,2 2562,96 2227,84 2948,49 60,5 -6,2 11,4
7 49,3 55,2 2721,36 3047,04 2430,49 57,8 -8,5 17,2
Итого 405,2 384,3 22162,34 21338,41 23685,76 405,2 0,0 56,7
Ср. знач. (Итого/n) 57,89 54,90 3166,05 3048,34 3383,68 X X 8,1
s 5,74 5,86 X X X X X X
s 2 32,92 34,34 X X X X X X


Уравнение регрессии: у = 76,88 - 0,35х. С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта.
Рассчитаем линейный коэффициент парной корреляции:

Связь умеренная, обратная.
Определим коэффициент детерминации:

Вариация результата на 12,7% объясняется вариацией фактора х. Подставляя в уравнение регрессии фактические значения х, определим теоретические (расчетные) значения . Найдем величину средней ошибки аппроксимации :

В среднем расчетные значения отклоняются от фактических на 8,1%.
Рассчитаем F-критерий:

поскольку 1< F < ¥ , следует рассмотреть F -1 .
Полученное значение указывает на необходимость принять гипотезу Но о случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.
1б. Построению степенной модели предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:


где Y=lg(y), X=lg(x), C=lg(a).

Для расчетов используем данные табл. 1.3.

Таблица 1.3

Y X YX Y 2 X 2 A i
1 1,8376 1,6542 3,0398 3,3768 2,7364 61,0 7,8 60,8 11,3
2 1,7868 1,7709 3,1642 3,1927 3,1361 56,3 4,9 24,0 8,0
3 1,7774 1,7574 3,1236 3,1592 3,0885 56,8 3,1 9,6 5,2
4 1,7536 1,7910 3,1407 3,0751 3,2077 55,5 1,2 1,4 2,1
5 1,7404 1,7694 3,0795 3,0290 3,1308 56,3 -1,3 1,7 2,4
6 1,7348 1,6739 2,9039 3,0095 2,8019 60,2 -5,9 34,8 10,9
7 1,6928 1,7419 2,9487 2,8656 3,0342 57,4 -8,1 65,6 16,4
Итого 12,3234 12,1587 21,4003 21,7078 21,1355 403,5 1,7 197,9 56,3
Среднее значение 1,7605 1,7370 3,0572 3,1011 3,0194 X X 28,27 8,0
σ 0,0425 0,0484 X X X X X X X
σ 2 0,0018 0,0023 X X X X X X X

Рассчитаем С иb:


Получим линейное уравнение:.
Выполнив его потенцирование, получим:

Подставляя в данное уравнение фактические значения х, получаем теоретические значения результата. По ним рассчитаем показатели: тесноты связи - индекс корреляции и среднюю ошибку аппроксимации

Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.

. Построению уравнения показательной кривой

предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:

Для расчетов используем данные таблицы.

Y x Yx Y 2 x 2 A i
1 1,8376 45,1 82,8758 3,3768 2034,01 60,7 8,1 65,61 11,8
2 1,7868 59,0 105,4212 3,1927 3481,00 56,4 4,8 23,04 7,8
3 1,7774 57,2 101,6673 3,1592 3271,84 56,9 3,0 9,00 5,0
4 1,7536 61,8 108,3725 3,0751 3819,24 55,5 1,2 1,44 2,1
5 1,7404 58,8 102,3355 3,0290 3457,44 56,4 -1,4 1,96 2,5
6 1,7348 47,2 81,8826 3,0095 2227,84 60,0 -5,7 32,49 10,5
7 1,6928 55,2 93,4426 2,8656 3047,04 57,5 -8,2 67,24 16,6
Итого 12,3234 384,3 675,9974 21,7078 21338,41 403,4 -1,8 200,78 56,3
Ср. зн. 1,7605 54,9 96,5711 3,1011 3048,34 X X 28,68 8,0
σ 0,0425 5,86 X X X X X X X
σ 2 0,0018 34,339 X X X X X X X

Значения параметров регрессии A и В составили:


Получено линейное уравнение: . Произведем потенцирование полученного уравнения и запишем его в обычной форме:

Тесноту связи оценим через индекс корреляции :

В подразд. 10.2 была рассмотрена однофакторная линейная модель. Но чаще всего изучаемые нами природные и общественные явления зависят не от одного, а от целого ряда факторов. Корреляционная зависимость результативного признака от нескольких факторных признаков называется уравнением множественной регрессии. Рассмотрим линейную многофакторную модель, к ней часто можно свести криволинейные модели.

Главные задачи, которые стоят при построении уравнения множественной регрессии таковы:

  • 1) надо отобрать те факторные признаки, которые оказывают наибольшее влияние на признак следствия;
  • 2) правильно выбрать регрессионную модель.

Если данные пункты выполнены правильно, то все остальное дело техники. Мы рассматриваем пока линейную многофакторную регрессию, поэтому задача выбора модели перед нами не стоит, нужно только определиться с количеством факторных признаков, влияющих на признак следствие. Решение первой задачи основано на рассмотрении матрицы парных коэффициентов корреляции (о ней будет сказано ниже). Принимаются во внимание и частные коэффициенты детерминации для каждого факторного признака. Их значения говорят об объясняющей способности каждого из факторных признаков. Заметим, что уравнение многофакторной регрессии должно быть как можно проще. Чем проще тип уравнения, тем очевиднее интерпретация параметров, входящих в него, и лучше его использование с целью анализа и прогноза. Поэтому чаще всего используют линейное уравнение множественной регрессии, которое имеет вид

Параметры а р а 2 , ..., а т, Ъ уравнения множественной регрессии (10.55) можно находить по МНЕ. Затем с помощью корреляционного анализа делают проверку адекватности полученной модели и, если модель адекватна, делают ее интерпретацию. Так поступают в том случае, если заранее известно, например на основании предшествующих исследований, что все основные признаки-факторы, оказывающие влияние на результативный признак, учтены (мы не говорим о выборе типа модели, так как пока рассматриваем только линейную модель).

Если мы не уверены в том, что учтены все факторные признаки, или, наоборот, учтены лишние, сначала проводим корреляционный анализ (находим парные коэффициенты корреляции, частные коэффициенты корреляции, совокупный коэффициент множественной корреляции), а потом, уточнив модель, строим уравнение множественной линейной регрессии по МНК.

Покажем, как находятся параметры a v а 2 , ..., а т, Ъ уравнения регрессии (10.55) по МНК. Условие МНК в этом случае имеет вид

Теперь подставляем (10.55) в (10.56) и получаем

Теперь записываем необходимые условия экстремума функции, содержащей (m + 1) переменных (a v а 2 ,..., а т, Ъ).

Находим частные производные функции F по неизвестным параметрам а 1 ,а 2 ,а т,Ъ и получаем следующее:

После преобразования системы (10.59) получаем так называемую систему нормальных уравнений:

Решая систему нормальных уравнений (10.60) (они линейные), определяем неизвестные параметры множественной линейной регрессионной модели: a v а 2 , ..., а т, Ъ. Разумеется, решение системы проводят на ПЭВМ, например, методом Гаусса или одной из его модификаций (в том случае, если количество неизвестных параметров не превышает нескольких сотен). В том случае, если количество искомых параметров несколько тысяч, можно использовать итерационные методы решения системы нормальных уравнений (10.60), например, методом Якоби или методом Зейделя.

После нахождения неизвестных параметров уравнения множественной линейной регрессии надо провести проверку ее адекватности с помощью корреляционного анализа.

Так как на изучаемый результативный признак влияет не один факторный признак, а несколько факторных признаков), то появляется задача изолированного измерения тесноты связи результативного признака с каждым из признаков- факторов, а также задача определения тесноты связи между результативным признаком и всеми факторными признаками, включенными в модель множественной регрессии.

При рассмотрении линейной однофакторной модели мы находим один парный коэффициент корреляции (вернее его оценку) между признаком-следствием и факторным признаком. В случае множественной линейной модели число парных коэффициентов корреляции будет равно:

где C (2 m+1) - число сочетаний из (m + 1) по два, а (га +1)! - читается (га + 1) факториал и равно: (га + 1)! = 1-2-...-га(га + 1). Заметим, что 0! = 1. Все коэффициенты парной корреляции рассчитываются по формуле (10.15) (их называют еще коэффициентами нулевого порядка).

Найденные коэффициенты парной корреляции удобно записывать в виде матрицы коэффициентов парной корреляции. Напомним, что матрица - это прямоугольная таблица, содержащая некоторые математические объекты, в данном случае коэффициенты парной корреляции. Число строк и столбцов матрицы коэффициентов парной корреляции будет равно, т. е. она будет квадратной. Так как коэффициент парной корреляции - это симметричная мера связи (f i; - = при i*j), то матрица коэффициентов корреляции записывается или как верхняя, или как нижняя треугольная, на главной диагонали которой расположены единицы, так как и т. д. Поэтому матрица коэффициентов парной корреляции (коэффициентов нулевого порядка) имеет вид:


На основе коэффициентов нулевого порядка (см. (10.61)) можно найти коэффициенты частной корреляции первого порядка, если элиминируется (устраняется) корреляция с одной переменной. Например,

В формуле (10.62) исключаем влияние признака х.

На основе коэффициентов частной корреляции первого порядка определяют коэффициенты частной корреляции второго порядка. В этом случае элиминируется корреляция с двумя переменными, например,

В формуле (10.63) исключили влияние факторов х 2 и х 3 . На основе коэффициентов частной корреляции второго порядка находят коэффициенты частной корреляции третьего порядка и т. д. Коэффициенты частной корреляции являются мерами линейной зависимости и принимают значения от -1 до 1. Квадрат коэффициента частной корреляции называется коэффициентом частной детерминации.

Показателем тесноты связи, которая устанавливается между признаком-следствием и факторными признаками факторных признаков) является совокупный коэффициент множественной корреляции К уХ]Х2 ... Хт. Если известны парные коэффициенты корреляции, то его можно найти по формуле:

Квадрат совокупного коэффициента множественной корреляции Ry X X х , который называется совокупным коэффициентом множественной детерминации, показывает, какая доля вариации результативного признака объясняется влиянием факторных признаков, которые включены в уравнение множественной регрессии. Возможные значения -R yX]X2 ... Xm и Щ х х х могут находиться в пределах отрезка . Следовательно, чем ближе Щ Хг х 2 _ х к единице, тем вариация результативного признака в большей мере характеризуется влиянием учтенных факторных признаков.

Подробно рассмотрим частный случай линейной множественной регрессии - двухфакторную линейную регрессию и приведем конкретный числовой пример.

Уравнение двухфакторной линейной регрессии записывается следующим образом:

где - расчетные значения результативного признака;

х и, х 2 . - полученные в результате проведения статистического наблюдения значения факторных признаков;

a v а 2 , Ъ - параметры уравнения регрессии, подлежащие определению.

Для нахождения параметров уравнения регрессии вида (10.65) используем МНК. Условие МНК в данном случае имеет вид:

Функция (10.66) - функция трех независимых аргументов: a v а 2 , Ъ. Запишем необходимое условие экстремума этой функции:

После нахождения частных производных имеем:

После преобразования системы (10.68) получаем систему нормальных уравнений:

Для решения системы (10.69) используем метод Крамера (о методе Крамера можно причитать, например, в ). Для нахождения решения системы (10.69) можно применить и метод Гаусса.

Сначала находим определитель системы, который не должен равняться нулю:

Определители A v A , А 3 расписываются так же, как определитель А (эти разложения не приведены, чтобы не загромождать вывод).

Зная значение определителей А, А х, Д 2 , А, находим искомые параметры уравнения регрессии по следующим формулам:

Теперь найдем коэффициенты парной корреляции (коэффициенты нулевого порядка), их количество будет равно

Поэтому матрица коэффициентов парной корреляции (10.61) в данном случае будет иметь вид:

В нашем случае парные коэффициенты корреляции находятся по формулам:

А ковариации (корреляционные моменты) находятся из выражений:


Коэффициенты частной корреляции первого порядка в данном случае находятся по следующим формулам:

г определяется по уже приведенной формуле (10.62)


(в этой формуле исключено влияние факторного признака а^).


(в этой формуле исключено влияние результативного признака у).

Теперь по формуле (10.64) определяем совокупный коэффициент множественной корреляции. Для случая двухфакторной линейной модели формула (10.64) примет вид:

Как уже говорилось, величина Щ Х]Х. 2 называется совокупным коэффициентом множественной детерминации. Он показывает, какая часть дисперсии результативного признака у объясняется за счет двух учтенных факторных признаков и х 2 . Заметим, что на основе парных коэффициентов корреляции и средних квадратических отклонений можно определить параметры линейной двухфакторной регрессионной модели вида (10.65) (см. например ).

Теперь приведем конкретный числовой пример. Для этого используем исходные данные примера 10.2. Поместим эти данные в табл. 10.12.

По данным табл. 10.12 вычисляем коэффициенты системы нормальных уравнений (10.69):


Таблица 10.12

Преступления (у {)

Хищения оружия

Административные правонарушения (х,.)

Следовательно, система нормальных уравнений (10.69) имеет вид:

Решаем полученную систему (10.76) методом Крамера:

Теперь по формулам (10.70) находим искомые параметры уравнения регрессии:

Поэтому получаем следующее уравнение двухфакторной линейной регрессии.

Линейный многофакторный регрессионный анализ На практике при анализе результатов научных исследований часто имеет место ситуация, когда количественное изменение изучаемого явления (функции отклика) зависит не от одного, а от нескольких причин (факторов). При проведении экспериментов в такой множественной ситуации исследователь записывает показания приборов о состоянии функции отклика (y) и всех факторов, от которых она зависит (x). Результатами наблюдений являются уже не два вектор-столбца (x и y), как при проведении однофакторного регрессионного анализа, а матрица результатов наблюдений. где yi – значение функции отклика в i-ом эксперименте, Xij – значение j-го фактора на i-ом эксперименте, n – количество экспериментов, p – количество факторов Задача многофакторного линейного регрессионного анализа состоит в построении такого уравнении плоскости в (p+1)-мерном пространстве, отклонения результатов наблюдений yi от которой были бы минимальными.

Или, другими словами, следует вычислить значения коэффициентов b 0, bj в уравнении на которых достигается минимум Для отыскания минимума необходимо найти частные производные по всем неизвестным b 0, bj и приравнять их нулю. Полученные уравнения образуют систему нормальных уравнений, которая в матричной форме имеет вид где Из этого уравнения можем найти вектор-столбец коэффициентов регрессии: , каждый элемент которого можно найти по формуле: В которой cij – элементы обратной матрицы (XTX)-1.

Проверка значимости коэффициентов регрессии Проверка значимости уравнения регрессии мало отличается от соответствующей проверки однофакторной регрессии. Вычисляют остаточную дисперсию по формуле: которую сравнивают с дисперсией среднего Фишера: с помощью критерия с числом степеней свободы в числителе (n-1) и в знаменателе (n-р-1). Значимость коэффициентов регрессии b 0, bj проверяют по критерию Стьюдента: (, где - диагональные элементы матрицы).

Парные коэффициенты корреляции Корреляционный анализ начинают с вычисления парных коэффициентов корреляции, характеризующих тесноту связи между двумя величинами. В многофакторной ситуации вычисляют два типа парных коэффициентов корреляции: 1) - коэффициенты, определяющие тесноту связи между функцией отклика и одним из факторов; 2) - коэффициенты, показывающие тесноту связи между одним из факторов и фактором (). , где Значимость парных коэффициентов корреляции можно проверить по критерию Стьюдента: , где

Корреляционная матрица Значение парного коэффициента корреляции изменяется от - 1 до +1. Если, например, коэффициент - величина отрицательная, то это значит, что уменьшается с увеличением. Если положителен, то увеличивается с увеличением. Если один из коэффициентов окажется равным 1, то это означает, что факторы и функционально связаны между собой и тогда целесообразно один из них исключить из рассмотрения, причем оставляют тот фактор, у которого коэффициент больше. После вычисления всех парных коэффициентов корреляции и исключения из рассмотрения того или иного фактора можно построить матрицу коэффициентов корреляции вида:

Частные коэффициенты корреляции Используя парных коэффициентов корреляции матрицу, можно вычислить частные коэффициенты корреляции, которые показывают степень влияния одного из факторов на функцию отклика при условии, что остальные факторы закреплены на постоянном уровне. Частные коэффициенты корреляции вычисляются по формуле где - определитель матрицы, образованной из матрицы парных коэффициентов корреляции вычеркиванием 1 -й строки j-го столбца, определитель - j-ой строки j-го столбца. Как и парные коэффициенты, частные коэффициенты корреляции изменяются от -1 до +1. Значимость и доверительный интервал для коэффициентов частной корреляции определяются так же, как для коэффициентов парной корреляции с числом степеней свободы v = n – k - 2, где k = р - 1 - порядок частного коэффициента парной корреляции.

Коэффициент множественной корреляции и его значимость Для изучения тесноты связи между функцией отклика и несколькими факторами используют коэффициент множественной корреляции R. Коэффициент множественной корреляции служит и для оценки качества предсказания; R всегда положителен и изменяется от 0 до 1. Чем больше R, тем лучше качество предсказаний данной моделью опытных данных. Коэффициент множественной корреляции вычисляется по формуле Значимость коэффициента множественной корреляции проверяют по критерию Стьюдента: , где - среднеквадратическая погрешность коэффициента множественной корреляции: Значимость R можно проверить также и по критерию Фишера: Полученное значение сравнивают с табличным при выбранном уровне значимости и числах степеней свободы v 1 = n - р - 1 и v 2 = p. Если расчетное значение превышает табличное, то гипотезу o равенстве коэффициента множественной корреляции нулю отвергают и связь считают статистически значимой.

Многофакторный нелинейный регрессионный анализ Первый этап нелинейного многофакторного регрессионного анализа - получение полной квадратичной формы. Для этого определяют коэффициенты регрессии b 0, bk и bjk в полиноме Степень уравнения можно повышать до тех пор, пока уменьшается остаточная дисперсия. Задача нелинейной регрессии сводится к задаче линейной регрессии заменой переменных и т. д. Мерой тесноты связи в нелинейной зависимости служит множественное корреляционное отношение, но используя для вычисления у нелинейную форму уравнения. Сравнение множественного корреляционного отношения с коэффициентом множественной корреляции, вычисленным по линейной форме, дает некоторое представление о «кривизне» изучаемой зависимости.

Выбор оптимальной формы регрессии 1) метод полного перебора 2) метод отсеивания факторов При использовании метода исключения переменных уравнение регрессии расширяют сразу до полной квадратичной или, если возможно, до полной кубической формы. Исключение начинают с фактора, имеющего наименьший критерий Стьюдента. На каждом этапе после исключения каждого фактора для нового уравнения регрессии вычисляют множественный коэффициент корреляции, остаточную дисперсию и F-критерий Фишера. Наибольшую трудность представляет решение вопроса, на каком этапе прекратить исключение факторов. Здесь возможны следующие подходы: a) прекратить исключение факторов, когда остаточная дисперсия начнет увеличиваться; b) назначить уровень значимости (0. 05) при вычислении t-критерия Стьюдента для последнего оставляемого фактора. Во втором случае перед началом отсева факторов строят диаграмму ранжирования t-критериев Стьюдента для всех факторов расширенной модели.

3) метод включения факторов При использовании метода включения факторов в уравнение регрессии последовательно включаются факторы (наиболее значимые) пока остаточная дисперсия не увеличивается.

Пример регрессионного анализа Рассмотрим пример многофакторного регрессионного и корреляционного анализа с выбором оптимальной формы регрессии методом исключения эффектов (факторов и парных взаимодействий) на примере построения модели для вычисления ползучести бетона. В этой задаче строится зависимость удельных относительных деформаций ползучести бетона С(t, т) от десяти факторов: . В матрицу исходных данных включены результаты 367 опытов над бетонными образцами, в которых фиксировались значения у = С(t, т) , и следующих 10 факторов: -отношение массы цемента к массе заполнителя в 1 м 3 бетона (Ц/3); - расход цемента на 1 м 3 бетона (Ц); - влажность среды (W); - масштабный фактор (М); - водоцементное отношение (В/Ц); - возраст бетона в момент загружения (т); - время действия нагрузки (t - т); - нормальная густота цементного теста (НГ); - значение напряжений (); - модуль упругости заполнителя (E 3).

Решение Коэффициент корреляции близок к единице, поэтому фактор исключен из рассмотрения; На первом этапе была построена полная квадратичная модель с 54 эффектами. Критерий Фишера для этой модели получился: Затем был произведен 11 -ступенчатый отсев незначимых эффектов, в процессе которого было исключено 28 статистически незначимых по критерию Стьюдента эффектов, в результате была получена модель с 26 эффектами, для которой критерий Фишера возрос незначительно: а остальные параметры оказались хорошими Значимые, связи для наглядности удобно изображать в виде графа. Используя методы теории графов, можно построить таблицу, наглядно показывающую количество статистически значимых связей между функцией отклика и факторами. Такую таблицу называют еще матрицей смежности вершин.

В действительности на результативный признак влияет, как правило, не один фактор, а множество различных одновременно действующих факторных признаков. Так, себестоимость единицы продукции зависит от количества произведенной продукции, цены закупки сырья, заработной платы работников и производительности их труда, накладных расходов.

Количественно оценить влияние различных факторов на результат, определить форму и тесноту связи между результативным признаком у и факторными признаками x it х 2 , ...»х * можно, используя многофакторный регрессионный анализ , который сводится к решению следующих задач:

  • - построение уравнения множественной регрессии;
  • - определение степени влияния каждого фактора на результативный признак;
  • - количественная оценка тесноты связи между результативным признаком и факторами;
  • - оценка надежности построенной регрессионной модели;
  • - прогноз результативного признака.

Уравнение множественной регрессии характеризует среднее изменение у с изменением двух и более признаков-факторов: у = /(лг р x v x k).

При выборе признаков-факторов, включаемых в уравнение множественной регрессии, нужно прежде всего рассмотреть матрицы коэффициентов корреляции и выделить те переменные, для которых корреляция с результативной переменной превосходит корреляцию с другими факторами, т.е. для которых верно неравенство

объясняющие переменные, тесно связанные между собой: при г > 0,7

У" j

переменные и х } дублируют друг друга, и совместное включение их в уравнение регрессии не дает дополнительной информации для объяснения вариации у. Линейно связанные переменные называются коллинеар- ными.

Нс рекомендуется включать в круг объясняющих переменных признаки, представленные как абсолютные и как средние или относительные величины. Нельзя включать в регрессию признаки, функционально связанные с зависимой переменной у , например, те, которые являются составной частью у (скажем, суммарный доход и заработная плата).

Наиболее простым для построения и анализа является линейное уравнение множественной регрессии:

Интерпретация коэффициентов регрессии линейного уравнения множественной регрессии следующая: каждый из них показывает, на сколько единиц в среднем изменяется у при изменении.г, на свою единицу измерения и закреплении прочих введенных в уравнение объясняющих переменных на среднем уровне.

Так как все включенные переменные х х имеют свою размерность, то сравнивать коэффициенты регрессии Ь { нельзя, т.е. по величине Ъ х нельзя сделать вывод, что одна переменная влияет сильнее на г/, а другая слабее.

Параметры линейного уравнения множественной регрессии оцениваются методом наименьших квадратов (МНК). Условие МНК: или

Условие экстремума функции равенство нулю частных производных первого порядка данной функции:

Отсюда получаем систему нормальных уравнений, решение которой дает значения параметров уравнения множественной регрессии:


При записи системы уравнений можно руководствоваться следующим простым правилом: первое уравнение получается как сумма п уравнений регрессии; второе и последующее - как сумма п уравнений регрессии, все члены которой умножены на затем на х 2 и т.д.

Параметры уравнения множественной регрессии получаем через отношение частных определителей к определителю системы:

Рассмотрим построение уравнения множественной регрессии на примере линейной двухфакторной модели:

Представим все переменные как центрированные и нормированные, т.е. выраженные как отклонения от средних величин, деленные на стандартное отклонение. Обозначим преобразованные таким образом переменные буквой t

Тогда уравнение множественной регрессии примет следующий вид:

где p t и р 2 - стандартизированные коэффициенты регрессии (бс га-коэф- фициенты), определяющие, на какую часть своего среднеквадратического отклонения изменится у при изменении Xj на одно среднеквадратическое отклонение.

Уравнение регрессии (8.20) называется уравнением в стандартизованном масштабе (или стандартизированным уравнением регрессии). Оно не имеет свободного члена, поскольку все переменные выражены через отклонения от средних величин, а, как известно, а = у-Ь { х х -Ь 2 х 2 , или при k объясняющих переменных

В отличие от коэффициентов регрессии в натуральном масштабе Ьр которые нельзя сравнивать, стандартизированные коэффициенты регрессии Р; можно сравнивать, делая вывод, влияние какого фактора на у более значительно.

Стандартизированные коэффициенты регрессии находятся также с помощью МНК:

Приравняем первые частные производные нулю получим систему нормальных уравнений

Поскольку


систему можно записать иначе:


Отсюда находим p-коэффициенты и сравниваем их. Если Р,>Р 2 , то фактор Xj сильнее влияет на результат, чем фактор х 2 .

От стандартизированной регрессии можно перейти к уравнению регрессии в натуральном масштабе, т.е. получить регрессию

Коэффициенты регрессии в натуральном масштабе находятся на основе ^-коэффициентов:

После этого вычисляется совокупный коэффициент детерминации:

который показывает долю вариации результативного признака под воздействием изучаемых факторных признаков. Важно знать вклад каждой объясняющей переменной. Он измеряется коэффициентом раздельной детерминации:

Влияние отдельных факторов в уравнении множественной регрессии может быть охарактеризовано с помощью частных коэффициентов эластичности. В случае двухфакторной линейной регрессии коэффициенты эластичности рассчитываются по формулам и измеряются в процентах:

Мы разобрали технику построения уравнения множественной регрессии. Очевидно, что оценки параметров уравнения регрессии можно получить, используя только микрокалькулятор. В современных условиях построение регрессии и расчет показателей корреляции производят с помощью ПК и пакетов прикладных программ, таких как Excel либо более специализированных: Statgraphics или Statistica и др.

Чтобы выполнить построения уравнения множественной регрессии с помощью Microsoft Office Excel, надо воспользоваться инструментом анализа данных Регрессия. Выполняются действия, аналогичные расчету параметров парной линейной регрессии, рассмотренные выше, только в отличие от парной регрессии при заполнении параметра входной интервал X в диалоговом окне следует указать все столбцы, содержащие значения факторных признаков.

Рассмотрим построение множественного уравнения регрессии при двух объясняющих переменных (двухфакторная модель). Продолжая пример, введем второй фактор время, затраченное студентом в течение недели с целью получения заработка, в часах. Данные представлены в табл. 8.5.

Расчетная таблица

Таблица 8.5

Номер студента

(у -у) 2

- у) 2

Таблица 8.6

Регрессионный анализ, выполненный для двухфакторной модели с помощью Microsoft Office Excel

ВЫВОД итогов

Регрессионная статистика

Множественный R

Я-квадрат

Нормированный Я-квадрат

Стандартная ошибка

Наблюдения

Дисперсионный анализ

Значимость F

Регрессия

Коэффициент ы

Стандартная

ошибка

t-статистика

Р-значение

Нижние 95%

Верхние 95%

У-пересечение

  • 1. Введем исходные данные в таблицу Excel, как было описано в параграфе 8.3.
  • 2. Воспользуемся инструментом анализа данных Регрессия.

Полученные результаты представлены в табл. 8.6.

Как следует из итоговой табл. 8.6, уравнение регрессии имеет следующий вид:

F= 25; значимость F= 0,002, т.е. вероятность ошибки незначительна.

Согласно регрессии оценка на экзамене в среднем повысится на 0,058 балла при увеличении накопленных за семестр баллов на один балл при закреплении второй объясняющей переменной на среднем уровне; экзаменационная оценка снизится в среднем на 0,026 балла при увеличении времени, затраченного на заработок, на один час при закреплении фактора Х на среднем уровне.

3. Перейдем к уравнению в стандартизированном масштабе. Для этого определим 0-коэффициенты;

Матрицу парных коэффициентов корреляции переменных можно рассчитать, используя инструмент анализа данных Корреляция. Для этого:

  • 1) выберем Данные -> Анализ данных -> Корреляция;
  • 2) заполним диалоговое окно ввода данных и параметров вывода.

Результаты вычислений показаны в табл. 8.7.

Таблица 8.7

Матрица коэффициентов парной корреляции


Получили стандартизированное уравнение регрессии

Так как |Р,|>|Р 2 1» т0 фактор x i (сумма накопленных баллов за семестр) сильнее влияет на результат (экзаменационная оценка), чем фактор х 2 (время, затраченное студентом в течение недели с целью получения заработка). Заметим, что связь между результатом у и фактором х 2 обратная: чем больше времени студент тратит для получения заработка, тем ниже экзаменационная оценка.

  • 4. Совокупный коэффициент детерминации определяется из Регрессионной статистики (табл. 8.6): R 2 = 0,911, т.е. вариация возможной оценки на экзамене на 91,1% зависит от вариации накопленных за семестр текущих баллов и вариации времени, которое студент тратит в течение недели на заработок.
  • 5. Найдем коэффициенты раздельной детерминации:


Таким образом, за счет вариации накопленных за семестр текущих баллов объясняется 72,3% вариации оценки на экзамене, а за счет времени, затраченного в течение недели на заработок, - 18,8%. Сумма коэффициентов раздельной детерминации равна R 2 .

6. Рассчитаем частные линейные коэффициенты эластичности:


Это означает, что при увеличении накопленных за семестр баллов на 1% их среднего уровня оценка за экзамен увеличивается на 10,97% своего среднего уровня, при увеличении времени на заработок на 1% его среднего значения результат снижается на 0,07%. Очевидно, что сила влияния фактора х х сильнее, чем фактора х 2 . Аналогичные выводы о силе связи мы получили, сравнивая Р-коэффициенты.

7. Расчитаем ожидаемую оценку, которую получит студент на экзамене, если сумма накопленных в течение семестра баллов (л,) равна 85, а время, затраченное студентом в течение недели для заработка (х 2), составляет 5 ч. Воспользуемся полученным уравнением регрессии в натуральном масштабе:

Следовательно, ожидаемая экзаменационная оценка составляет четыре балла.