Как посчитать корреляцию между двумя показателями

\[ \mathrm(X_1^*, X_2^*) = \frac<1> \sum_^n x_^* x_^* = \mathrm(X_1, X_2), \] где \(X_1^*\) и \(X_2^*\) — стандартизированные величины \(X_1\) и \(X_2\) соответственно.

Корреляцию можно выразить через ковариацию:

Если внимательно всмотреться в формуле, то можно обнаружить, что корреляция это не что иное, как стандартизированное значение ковариации.

Коэффициент корреляции имеет четкие пределы изменения: \([-1; \,1]\) . Крайнее левое значение говорит о том, что присутствует полная обратная линейная взаимосвязь, крайнее правое — что присутствует полная прямая линейная взаимосвязь. Как и ковариация, корреляция ловит только линейную составляющую связи, поэтому нулевое значение корреляци показывает, что между переменными отсутствует линейная взаимосвязь. Это всё еще не значит, что связи нет вовсе.

16.2.1 Тестирование статистической значимости коэффициента корреляции

Оценку коэффициента корреляции мы получаем методом моментов, заменяя истинный момент \(\rho_\) выборочным \(r_\) :

\[ \hat \rho_ = \overline <\big( (X_— \bar X_i) (X_ — \bar X_j) \big)> = r_ \]

Если в генеральной совокупности связь между признаками отсутствует, то есть \(\rho_ = 0\) , будет ли равен нулю \(r_\) ? Можно с уверенностью сказать, что не будет, так как выборочный коэффициент корреляции — случайная величина. А мы помним, что вероятность принятия случайной величиной своего конкретного значения равна нулю.

Тогда необходимо протестировать статистическую гипотезу:

Для проверки нулевой гипотезы используется следующая статистика:

Вывод о статистической значимости коэффициента корреляции делается согласно алгоритму тестировния статистических гипотез.

16.2.2 Доверительный интервал для коэффициента корреляции

С построением интервальной оценки коэффциента корреляции возникают некоторые сложности. Наша задача состоит в том, чтобы определить в каких границах будет лежать значение истинного коэффициента корреляции с заданной вероятностью:

Нам необходимо найти статистику, закон распределения корой известен, однако ранее упомянутся статистика не подходит, так как она имеет распределение Стьюдента, когда верна нулевая гипотеза об отсутствии связи. Если же мы строим интервальную оценку, нас интересует случай наличия связи.

Такую статистику искали долго, и её удалось найти, когда ввели определённое преобразование выборочного критерия корреяции — z-преобразования Фишера:

\[ z(r_) = \frac<1> <2>\ln \frac<1 + r_><1 - r_> \thicksim \mathrm(\bar z_, \tfrac<1>), \] где \(n\) — объём выборки, а \(\bar z_\) получается расчётом по указанной формуле после подставления точечной оценки коэффициента корреляции.

Тогда интервальная оценка для величины \(z_>\) приобретает такой вид:

Далее путём обратного преобразования получаются значения границ интервала \((\rho_, \; \rho_)\) .

16.3 Ковариация и корреляция в R

Запасёмся данными. По ссылке скачается экселька.

Это данные исследования на тему дегуманизации убийц. Нас будут интересовать следующие шкалы:

• DPa — шкала «одобрения казни»
• Шкала морального возмущения:
  • GR_average — подшкала отвращения
  • AR_average — подшкала гнева
  • SR_average — подшкала презрения
  • animal_average — анималистическая дегуманизация
  • machine_average — механистическая дегуманизация

  Ковариация считается так:

  А корреляция так:

  Ещё мы можем построить соответствующий график, чтобы отобразить закономерность — диаграмма рассеяния с линией тренда:

  

  Но это мы всё получали выборочные оценки коэффициентов. А как же тестировать гипотезы?

  Легко и непринужденно! Просто дописать test в название функции:

  Что мы наблюдаем в аутпуте? Значение t-статистики, число степеней свободы, p-value для значения t-статистики, а также 95% доверительный интервал для коэффициента корреляции. Всё, что мы и хотели — за одну команду!

  16.3.1 Коэффициенты корреляции для разных шкал

  Дла разных шкал разработаны разные коэффициенты корреляции. Оценки коэффициентов будут рассчитываться по-разному, но логика тестирования статистических гипотез остаётся одинаковой.

  Переменная \(X\)	Переменная \(Y\)	Мера связи
  Интервальная или отношений	Интервальная или отношений	Коэффициент Пирсона
  Ранговая, интервальная или отношений	Ранговая, интервальная или отношений	Коэффициент Спирмена
  Ранговая	Ранговая	Коэффициент Кенделла

  В функциях cor() и cor.test() требуемый коэффициент задаётся черед аргумент method :

  16.4 Частный и множественный коэффициент корреляции

  Если у нас два признака, то с ними всё достаточно понятно. А если признаком много? Тогда у нас могут быть сложные взаимосвязи, и возможен такой случай, что некоторый признак оказывает связан как с одним, так и с другим из интересующих нас. Таким образом, мы можем наблюдать ложную корреляцию. Чтобы избавиться от влияния сторонних признаков, используюся частные коэффициенты корреляции.

  Функция cor() может возвращать не только оценку одного коэффициента корреляции, но и корреляционную матрицу, отобрадающую связи всех признаков со всеми. Например, продолжим работать со шкалой морального возмущения и изучим взаимосвязи внутри неё:

  В корреляционной матрице на главной диагонали стоят единицы, отражающай связь переменной в самой собой — разумеется, она будет абсолютно линейная.

  

  А как посчитать ковариационную матрицу?

  В общем виде корреляционная матрица имеет следующий вид:

  Матрица, как можно заметить, симметрична относительно главной диагонали, так как \(r_ = r_\) .

  Её можно визуализироать, например, так:

  

  Но можно и усовершенствовать визуализацию, отобразив сами значения:

  

  На основе этой матрицы мы можем протестировать статистическую значимость каждого из коэффициентов (не забыв про поправки на множественные сравнения!):

  Чтобы перенести их на график, нам нужно получить матрицу из p-значений:

  

  Ну, у нас ничего не поменялось, так как коэффициенты все оказались значимы. Эх…

  Но вот для примера на одно из встроенных датасетов:

  

  Итак, возвращается к частному коэффициенту корреляции. Он определяется так:

  где \(A\) — алгебраическое дополнение.

  В общем виде это осознать сложно, поэтому давайте на примере трёх признаков.

  Но слава богу, что в R это все делается в одну строку:

  Хорошо, а если нас интересует связь одного признака с несколькими сразу? Тогда нам нужен множественный коэффициент корреляции. Он также вычисляется на основе корреляционной матрицы и определяется следующим образом. Пусть нас интересует связь первого признака со всеми остальными:

  Квадрат множественонго коэффициента корреляции называется коэффициентом детерминации 1 . Он показывает, во-первых, степень тесноты связи данного признака со всеми остальными, но, кроме того, ещё и долю дисперсии данного признака, определяемую вариацией все остальных признаков, включенных в данную корреляционную модель.

  Мы подробнее его изучим в следуюшей теме, а также увидим, где нам его найти, чтобы не считать руками.

  16.5 Другие корреляции

  Можно коррелировать не только количественные и ранговые шкалы между собой, но и качественные тоже:

  Переменная \(X\)	Переменная \(Y\)	Мера связи
  Дихотомическая	Дихотомическая	\(\phi\) -коэффициент
  Дихотомическая	Ранговая	Рангово-бисериальный коэффициент
  Дихотомическая	Интервальная или отношений	Бисериальный коэффициент

  16.5.1 \(\phi\) -коэффициент

  Этот коэффициент позволяет рассчитать корреляцию между двумы дихотомическими шкалами. Он основан на расчёте статистики \(\chi^2\) .

  По двум дихотомическим переменным можно построить таблицу сопряженности. Разберемся на котиках и пёсиках:

  По данной таблице можно рассчитать критерий согласия Пирсона ( \(\chi^2\) ):

  Сам хи-квадрат тестирует гипотезу о том, что между двумя категориальными переменными нет связи. Он это делает путём сравнения теоретической и эмпирической таблицы частот.

  Эмпирическую таблицу частот мы получаем по результатам наблюдений (то, что мы делаем с помощью функции table() ):

  \(X_1\)	\(X_2\)
  \(Y_1\)	\(p_ = a\)	\(p_ = b\)
  \(Y_2\)	\(p_ = c\)	\(p_ = d\)

  Далее вычисляются теоретические частоты:

  \(X_1^*\)	\(X_2^*\)
  \(Y_1^*\)	\(\frac<(a+b) \times (a+c)>\)	\(\frac<(b+a) \times (b+d)>\)
  \(Y_2^*\)	\(\frac<(c+d) \times (a+c)>\)	\(\frac<(d+c) \times (b + d)>\)

  где \(N = a + b + c + d\) .

  Затем считаются расхождения частот, которые суммируются и получается статистика \(\chi^2\) :

  Статистика подчиняется распределению \(\chi^2\) , и чем больше значение этой статистики, тем сильнее связаны признаки. В нашем случае мы получили значение 0, что говорит о абсолютном отсутствии связи между видом животного и его размером.

  Но по значению \(\chi^2\) сложно что-то сказать о силе связи, поэтому его нормируют следующим образом, чтобы получить значения от 0 до 1, которые можно интерпретироват аналогично коэффициенту корреляции:

  Так как в нашем случае значение \(\chi^2\) было 0, то и коэффициент \(\phi\) мы получили 0.

  16.5.2 Бисериальный коэффициент корреляции

  Этот коэффициент используется для вычисления корреляции между количественной ( \(y\) ) и категориальной ( \(x\) ) шкалой и рассчитывается следующим образом:

  \[ r = \frac<\bar x_1 - \bar x_2> \sqrt<\frac>, \] где \(\bar x_1\) — среднее по элементам переменной \(y\) из группы \(x_1\) , \(\bar x_2\) — среднее по элементам \(y\) из группы \(x_2\) , \(s_y\) — стандартное отклонение по переменной \(y\) , \(n_1\) — число элементов в группе \(x_1\) , \(n_2\) — число элементов в группе \(x_2\) , \(N\) — общее число элементов.

  Важно отметить, что несмотря на то, что значение коэффициента может быть как положительным, так и отрицательным, это не влияет на интерпретацию. Это одно из исключений из общего правила.

  В R его можно вычислить так:

  16.5.3 Рангово-бисериальный коэффициент корреляции

  Если у нас не количественная, а ранговая шкала, то применяется рангово-бисериальный коэффициент:

  \[ r = \frac<2(\bar x_1 - \bar x_2)>, \] где \(\bar x_1\) — средний ранг в группе \(x_1\) , \(\bar x_2\) — средний ранг в группе \(x_2\) , \(N\) — общее количество наблюдений.

  Вы точно видели это словосочетание, когда сталкивались с линейной регресией.↩︎

  Корреляционный анализ. Подробный пример решения

  Формы проявления взаимосвязей весьма разнообразны. В качестве самых общих их видов выделяют функциональную (полную) и корреляционную (неполную) связи.
  Корреляционная связь проявляется в среднем, для массовых наблюдений, когда заданным значениям зависимой переменной соответствует некоторый ряд вероятностных значений независимой переменной. Связь называется корреляционной, если каждому значению факторного признака соответствует вполне определенное неслучайное значение результативного признака.
  Наглядным изображением корреляционной таблицы служит корреляционное поле. Оно представляет собой график, где на оси абсцисс откладываются значения X, по оси ординат – Y, а точками показываются сочетания X и Y. По расположению точек можно судить о наличии связи.
  Показатели тесноты связи дают возможность охарактеризовать зависимость вариации результативного признака от вариации признака-фактора.
  Более совершенным показателем степени тесноты корреляционной связи является линейный коэффициент корреляции. При расчете этого показателя учитываются не только отклонения индивидуальных значений признака от средней, но и сама величина этих отклонений.

  Ключевыми вопросами данной темы являются уравнения регрессионной связи между результативным признаком и объясняющей переменной, метод наименьших квадратов для оценки параметров регрессионной модели, анализ качества полученного уравнения регрессии, построение доверительных интервалов прогноза значений результативного признака по уравнению регрессии.

  Перейти к онлайн решению своей задачи
  Использование графического метода.
  Этот метод применяют для наглядного изображения формы связи между изучаемыми экономическими показателями. Для этого в прямоугольной системе координат строят график, по оси ординат откладывают индивидуальные значения результативного признака Y , а по оси абсцисс — индивидуальные значения факторного признака X .
  Совокупность точек результативного и факторного признаков называется полем корреляции.
  На основании поля корреляции можно выдвинуть гипотезу (для генеральной совокупности) о том, что связь между всеми возможными значениями X и Y носит линейный характер.
  Линейное уравнение регрессии имеет вид y = bx + a + ε
  Здесь ε — случайная ошибка (отклонение, возмущение).
  Причины существования случайной ошибки:
  1. Невключение в регрессионную модель значимых объясняющих переменных;
  2. Агрегирование переменных. Например, функция суммарного потребления – это попытка общего выражения совокупности решений отдельных индивидов о расходах. Это лишь аппроксимация отдельных соотношений, которые имеют разные параметры.
  3. Неправильное описание структуры модели;
  4. Неправильная функциональная спецификация;
  5. Ошибки измерения.
  Так как отклонения ε_i для каждого конкретного наблюдения i – случайны и их значения в выборке неизвестны, то:
  1) по наблюдениям x_i и y_i можно получить только оценки параметров α и β
  2) Оценками параметров α и β регрессионной модели являются соответственно величины а и b , которые носят случайный характер, т.к. соответствуют случайной выборке;
  Тогда оценочное уравнение регрессии (построенное по выборочным данным) будет иметь вид y = bx + a + ε, где e_i – наблюдаемые значения (оценки) ошибок ε_i, а и b соответственно оценки параметров α и β регрессионной модели, которые следует найти.
  Для оценки параметров α и β — используют МНК (метод наименьших квадратов). Решение ведем с использованием онлайн-калькулятора Уравнение регрессии .
  Система нормальных уравнений.
  a•n + b∑x = ∑y
  a∑x + b∑x 2 = ∑y•x
  Для наших данных (см. таблицу расчетов ниже) система уравнений имеет вид:
  46a + 17.3101 b = 18.3189
  17.3101 a + 7.0687 b = 7.4742
  Из первого уравнения выражаем а и подставим во второе уравнение:
  Получаем b = 1.05, a = 0.0044
  Уравнение регрессии: y = 1.05 x + 0.0044
  1. Параметры уравнения регрессии.
  Выборочные средние.

  1.1. Коэффициент корреляции
  Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

  Линейное уравнение регрессии имеет вид y = 1.05 x + 0.0044
  Коэффициентам уравнения линейной регрессии можно придать экономический смысл.
  Коэффициент b = 1.05 показывает среднее изменение результативного показателя (в единицах измерения у) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 единицу y повышается в среднем на 1.05.
  Коэффициент a = 0.0044 формально показывает прогнозируемый уровень у, но только в том случае, если х=0 находится близко с выборочными значениями.
  Но если х=0 находится далеко от выборочных значений х, то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.
  Подставив в уравнение регрессии соответствующие значения х, можно определить выровненные (предсказанные) значения результативного показателя y(x) для каждого наблюдения.
  Связь между у и х определяет знак коэффициента регрессии b (если > 0 – прямая связь, иначе — обратная). В нашем примере связь прямая.
  1.3. Коэффициент эластичности.
  Коэффициенты регрессии (в примере b) нежелательно использовать для непосредственной оценки влияния факторов на результативный признак в том случае, если существует различие единиц измерения результативного показателя у и факторного признака х.
  Для этих целей вычисляются коэффициенты эластичности и бета — коэффициенты.
  Средний коэффициент эластичности E показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения.
  Коэффициент эластичности находится по формуле:

  Коэффициент эластичности меньше 1. Следовательно, при изменении Х на 1%, Y изменится менее чем на 1%. Другими словами — влияние Х на Y не существенно.
  Бета – коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

  Т.е. увеличение x на величину среднеквадратического отклонения S_x приведет к увеличению среднего значения Y на 0.9 среднеквадратичного отклонения S_y.
  1.4. Ошибка аппроксимации.
  Оценим качество уравнения регрессии с помощью ошибки абсолютной аппроксимации. Средняя ошибка аппроксимации — среднее отклонение расчетных значений от фактических:

  Поскольку ошибка меньше 15%, то данное уравнение можно использовать в качестве регрессии.
  Дисперсионный анализ.
  Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
  ∑(y_i — y_cp) 2 = ∑(y(x) — y_cp) 2 + ∑(y — y(x)) 2
  где
  ∑(y_i — y_cp) 2 — общая сумма квадратов отклонений;
  ∑(y(x) — y_cp) 2 — сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
  ∑(y — y(x)) 2 — остаточная сумма квадратов отклонений.
  Теоретическое корреляционное отношение для линейной связи равно коэффициенту корреляции r_xy.
  Для любой формы зависимости теснота связи определяется с помощью множественного коэффициента корреляции:

  Данный коэффициент является универсальным, так как отражает тесноту связи и точность модели, а также может использоваться при любой форме связи переменных. При построении однофакторной корреляционной модели коэффициент множественной корреляции равен коэффициенту парной корреляции r_xy.
  1.6. Коэффициент детерминации.
  Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.
  Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.
  R 2 = 0.8957 2 = 0.8023
  т.е. в 80.23 % случаев изменения х приводят к изменению y. Другими словами — точность подбора уравнения регрессии — высокая. Остальные 19.77 % изменения Y объясняются факторами, не учтенными в модели.

  Посмотреть расчетную таблицу
  2. Оценка параметров уравнения регрессии.
  2.3. Анализ точности определения оценок коэффициентов регрессии.
  Несмещенной оценкой дисперсии возмущений является величина:

  S 2 _y = 0.0034 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

  S_y = 0.0583 — стандартная ошибка оценки (стандартная ошибка регрессии).
  S_a — стандартное отклонение случайной величины a.

  S_b — стандартное отклонение случайной величины b.

  2.4. Доверительные интервалы для зависимой переменной.
  Экономическое прогнозирование на основе построенной модели предполагает, что сохраняются ранее существовавшие взаимосвязи переменных и на период упреждения.
  Для прогнозирования зависимой переменной результативного признака необходимо знать прогнозные значения всех входящих в модель факторов.
  Прогнозные значения факторов подставляют в модель и получают точечные прогнозные оценки изучаемого показателя.
  (a + bx_p ± ε)
  где

  X_p = 0.3763 • 10% = 0.0376
  Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X_p = 0.0376

  Посмотреть расчетную таблицу
  С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
  2.5. Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
  1) t-статистика. Критерий Стьюдента.
  Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н₀ о случайной природе показателей, т.е. о незначимом их отличии от нуля.
  Проверим гипотезу H₀ о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H₁ не равно) на уровне значимости α=0.05.
  t_крит (n-m-1;α/2) = (44;0.025) = 2.009

  Поскольку 13.36 > 2.009, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

  Поскольку 0.14 < 2.009, то статистическая значимость коэффициента регрессии a не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента).
  Доверительный интервал для коэффициентов уравнения регрессии.
  Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
  (b — t_крит S_b; b + t_крит S_b)
  (1.0467 — 2.009 • 0.0783; 1.0467 + 2.009 • 0.0783)
  (0.8893;1.204)
  С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
  (a — t_крит S_a; a + t_крит S_a)
  (0.0044 — 2.009 • 0.0307; 0.0044 + 2.009 • 0.0307)
  (-0.0573;0.0661)
  С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
  2) F-статистика. Критерий Фишера.
  Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
  Если расчетное значение с k₁=(m) и k₂=(n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

  где m – число факторов в модели.
  Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
  1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H₀: R 2 =0 на уровне значимости α.
  2. Далее определяют фактическое значение F-критерия:

  где m=1 для парной регрессии.
  3. Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 1 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2.
  F_табл — это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости α. Уровень значимости α — вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно α принимается равной 0,05 или 0,01.
  4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
  В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
  Табличное значение критерия со степенями свободы k₁=1 и k₂=44, F_табл = 4
  Поскольку фактическое значение F > F_табл, то коэффициент детерминации статистически значим (найденная оценка уравнения регрессии статистически надежна).
  Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством:

  Проверка на наличие автокорреляции остатков.
  Важной предпосылкой построения качественной регрессионной модели по МНК является независимость значений случайных отклонений от значений отклонений во всех других наблюдениях. Это гарантирует отсутствие коррелированности между любыми отклонениями и, в частности, между соседними отклонениями.
  Автокорреляция (последовательная корреляция) определяется как корреляция между наблюдаемыми показателями, упорядоченными во времени (временные ряды) или в пространстве (перекрестные ряды). Автокорреляция остатков (отклонений) обычно встречается в регрессионном анализе при использовании данных временных рядов и очень редко при использовании перекрестных данных.
  В экономических задачах значительно чаще встречается положительная автокорреляция, нежели отрицательная автокорреляция. В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов.
  Отрицательная автокорреляция фактически означает, что за положительным отклонением следует отрицательное и наоборот. Такая ситуация может иметь место, если ту же зависимость между спросом на прохладительные напитки и доходами рассматривать по сезонным данным (зима-лето).
  Среди основных причин, вызывающих автокорреляцию, можно выделить следующие:
  1. Ошибки спецификации. Неучет в модели какой-либо важной объясняющей переменной либо неправильный выбор формы зависимости обычно приводят к системным отклонениям точек наблюдения от линии регрессии, что может обусловить автокорреляцию.
  2. Инерция. Многие экономические показатели (инфляция, безработица, ВНП и т.д.) обладают определенной цикличностью, связанной с волнообразностью деловой активности. Поэтому изменение показателей происходит не мгновенно, а обладает определенной инертностью.
  3. Эффект паутины. Во многих производственных и других сферах экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом).
  4. Сглаживание данных. Зачастую данные по некоторому продолжительному временному периоду получают усреднением данных по составляющим его интервалам. Это может привести к определенному сглаживанию колебаний, которые имелись внутри рассматриваемого периода, что в свою очередь может служить причиной автокорреляции.
  Последствия автокорреляции схожи с последствиями гетероскедастичности: выводы по t- и F-статистикам, определяющие значимость коэффициента регрессии и коэффициента детерминации, возможно, будут неверными.

  Обнаружение автокорреляции
  1. Графический метод
  Есть ряд вариантов графического определения автокорреляции. Один из них увязывает отклонения ε_i с моментами их получения i. При этом по оси абсцисс откладывают либо время получения статистических данных, либо порядковый номер наблюдения, а по оси ординат – отклонения ε_i (либо оценки отклонений).
  Естественно предположить, что если имеется определенная связь между отклонениями, то автокорреляция имеет место. Отсутствие зависимости скорее всего будет свидетельствовать об отсутствии автокорреляции.
  Автокорреляция становится более наглядной, если построить график зависимости ε_i от ε_i-1

  2. Коэффициент автокорреляции.

  Если коэффициент автокорреляции r_ei < 0.5, то есть основания утверждать, что автокорреляция отсутствует.

  3. Критерий Дарбина-Уотсона.
  Этот критерий является наиболее известным для обнаружения автокорреляции.
  При статистическом анализе уравнения регрессии на начальном этапе часто проверяют выполнимость одной предпосылки: условия статистической независимости отклонений между собой. При этом проверяется некоррелированность соседних величин ε_i.

  Посмотреть расчетную таблицу
  Для анализа коррелированности отклонений используют статистику Дарбина-Уотсона:

  Критические значения d₁ и d₂ определяются на основе специальных таблиц для требуемого уровня значимости α, числа наблюдений n = 46 и количества объясняющих переменных m=1.
  Автокорреляция отсутствует, если выполняется следующее условие:
  d₁ < DW и d₂ < DW < 4 — d₂.
  Не обращаясь к таблицам, можно пользоваться приблизительным правилом и считать, что автокорреляция остатков отсутствует, если 1.5 < DW < 2.5. Поскольку 1.5 < 2.09 < 2.5, то автокорреляция остатков отсутствует.
  Для более надежного вывода целесообразно обращаться к табличным значениям.
  По таблице Дарбина-Уотсона для n=46 и k=1 (уровень значимости 5%) находим: d₁ = 1.50; d₂ = 1.59.
  Поскольку 1.50 < 2.09 и 1.59 < 2.09 < 4 — 1.59, то автокорреляция остатков отсутствует.

  Проверка наличия гетероскедастичности.
  1) Методом графического анализа остатков.
  В этом случае по оси абсцисс откладываются значения объясняющей переменной X, а по оси ординат либо отклонения e_i, либо их квадраты e 2 _i.
  Если имеется определенная связь между отклонениями, то гетероскедастичность имеет место. Отсутствие зависимости скорее всего будет свидетельствовать об отсутствии гетероскедастичности.

  2) При помощи теста ранговой корреляции Спирмена.
  Коэффициент ранговой корреляции Спирмена.
  Присвоим ранги признаку e_i и фактору X. Найдем сумму разности квадратов d 2 .
  По формуле вычислим коэффициент ранговой корреляции Спирмена.

  Связь между признаком e_i и фактором X слабая и обратная

  Оценка коэффициента ранговой корреляции Спирмена.
  Значимость коэффициента ранговой корреляции Спирмена

  По таблице Стьюдента находим t_табл:
  t_табл (n-m-1;α/2) = (44;0.05/2) = 2.009
  Поскольку Tнабл < tтабл , то принимаем гипотезу о равенстве 0 коэффициента ранговой корреляции. Другими словами, коэффициент ранговой корреляции статистически — не значим.
  Интервальная оценка для коэффициента корреляции (доверительный интервал).

  Доверительный интервал для коэффициента ранговой корреляции
  r(-0.3194;0.2727)
  Проверим гипотезу H₀: гетероскедастичность отсутствует.
  Поскольку 2.009 > 0.16, то гипотеза об отсутствии гетероскедастичности принимается.

  2. Расчет параметров уравнения регрессии.
  Выборочные средние.

  1.1. Коэффициент корреляции
  Ковариация.
  cov(x,y)= xy — x · y = 126678.67 — 192.17·15.33 = -10736.87
  Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

  Линейный коэффициент корреляции принимает значения от –1 до +1.
  Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:
  0.1 < r_xy < 0.3: слабая;
  0.3 < r_xy < 0.5: умеренная;
  0.5 < r_xy < 0.7: заметная;
  0.7 < r_xy < 0.9: высокая;
  0.9 < r_xy < 1: весьма высокая;
  В нашем примере связь между признаком Y фактором X высокая и обратная.
  Кроме того, коэффициент линейной парной корреляции может быть определен через коэффициент регрессии b:

  1.2. Уравнение регрессии (оценка уравнения регрессии).

  Коэффициент b = -3.46 показывает среднее изменение результативного показателя (в единицах измерения у) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 единицу y понижается в среднем на -3.46.
  Коэффициент a = 1379.33 формально показывает прогнозируемый уровень у, но только в том случае, если х=0 находится близко с выборочными значениями.
  Но если х=0 находится далеко от выборочных значений х, то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.
  Подставив в уравнение регрессии соответствующие значения х, можно определить выровненные (предсказанные) значения результативного показателя y(x) для каждого наблюдения.
  Связь между у и х определяет знак коэффициента регрессии b (если > 0 – прямая связь, иначе — обратная). В нашем примере связь обратная.
  1.3. Коэффициент эластичности.
  Коэффициенты регрессии (в примере b) нежелательно использовать для непосредственной оценки влияния факторов на результативный признак в том случае, если существует различие единиц измерения результативного показателя у и факторного признака х.
  Для этих целей вычисляются коэффициенты эластичности и бета — коэффициенты.
  Средний коэффициент эластичности E показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения.
  Коэффициент эластичности находится по формуле:

  Коэффициент эластичности меньше 1. Следовательно, при изменении Х на 1%, Y изменится менее чем на 1%. Другими словами — влияние Х на Y не существенно.
  Бета – коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

  Т.е. увеличение x на величину среднеквадратического отклонения S_x приведет к уменьшению среднего значения Y на 0.74 среднеквадратичного отклонения S_y.
  1.4. Ошибка аппроксимации.
  Оценим качество уравнения регрессии с помощью ошибки абсолютной аппроксимации. Средняя ошибка аппроксимации — среднее отклонение расчетных значений от фактических:

  Поскольку ошибка меньше 15%, то данное уравнение можно использовать в качестве регрессии.
  Дисперсионный анализ.
  Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
  ∑(y_i — y_cp) 2 = ∑(y(x) — y_cp) 2 + ∑(y — y(x)) 2
  где
  ∑(y_i — y_cp) 2 — общая сумма квадратов отклонений;
  ∑(y(x) — y_cp) 2 — сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
  ∑(y — y(x)) 2 — остаточная сумма квадратов отклонений.
  Теоретическое корреляционное отношение для линейной связи равно коэффициенту корреляции r_xy.
  Для любой формы зависимости теснота связи определяется с помощью множественного коэффициента корреляции:

  Данный коэффициент является универсальным, так как отражает тесноту связи и точность модели, а также может использоваться при любой форме связи переменных. При построении однофакторной корреляционной модели коэффициент множественной корреляции равен коэффициенту парной корреляции r_xy.
  1.6. Коэффициент детерминации.
  Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.
  Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.
  R 2 = -0.74 2 = 0.5413
  т.е. в 54.13 % случаев изменения х приводят к изменению y. Другими словами — точность подбора уравнения регрессии — средняя. Остальные 45.87 % изменения Y объясняются факторами, не учтенными в модели.

  Посмотреть расчетную таблицу
  2. Оценка параметров уравнения регрессии.
  2.1. Значимость коэффициента корреляции.

  По таблице Стьюдента с уровнем значимости α=0.05 и степенями свободы k=28 находим t_крит:
  t_крит (n-m-1;α/2) = (28;0.025) = 2.048
  где m = 1 — количество объясняющих переменных.
  Если t_набл > t_критич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).
  Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически — значим
  В парной линейной регрессии t 2 _r = t 2 _b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

  2.3. Анализ точности определения оценок коэффициентов регрессии.
  Несмещенной оценкой дисперсии возмущений является величина:

  S 2 _y = 33699.64 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

  S_y = 183.57 — стандартная ошибка оценки (стандартная ошибка регрессии).
  S_a — стандартное отклонение случайной величины a.

  S_b — стандартное отклонение случайной величины b.

  2.4. Доверительные интервалы для зависимой переменной.
  Экономическое прогнозирование на основе построенной модели предполагает, что сохраняются ранее существовавшие взаимосвязи переменных и на период упреждения.
  Для прогнозирования зависимой переменной результативного признака необходимо знать прогнозные значения всех входящих в модель факторов.
  Прогнозные значения факторов подставляют в модель и получают точечные прогнозные оценки изучаемого показателя.
  (a + bx_p ± ε)
  где

  Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X_p = 211

  (1379.33 -3.46*211 ± 72.48)
  (577.53;722.49)
  С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
  Индивидуальные доверительные интервалы для Y при данном значении X.
  (a + bx_i ± ε)
  где

  Посмотреть расчетную таблицу
  С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
  2.5. Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
  1) t-статистика. Критерий Стьюдента.
  t_крит (n-m-1;α/2) = (28;0.025) = 2.048

  Поскольку 5.75 > 2.048, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

  Поскольку 11.47 > 2.048, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
  Доверительный интервал для коэффициентов уравнения регрессии.
  (-3.4565 — 2.048 • 0.6; -3.4565 + 2.048 • 0.6)
  (-4.6881;-2.2249)
  С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
  (a — t_крит S_a; a + t_крит S_a)
  (1379.3255 — 2.048 • 120.28; 1379.3255 + 2.048 • 120.28)
  (1132.9836;1625.6673)
  С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
  2) F-статистика. Критерий Фишера.

  где m – число факторов в модели.

  Проверка на наличие автокорреляции остатков.

  Рисунок – Обнаружение автокорреляции графическим методом
  Судя по графику, определенной зависимости не наблюдается.
  2. Коэффициент автокорреляции.

  Если коэффициент автокорреляции r_ei < 0.5, то есть основания утверждать, что автокорреляция отсутствует.
  Выборочные средние.

  Поскольку, r_ei < 0.1, то можно с уверенностью сказать, что автокорреляция отсутствует.
  3. Критерий Дарбина-Уотсона.

  19. Линейный коэффициент корреляции

  Эта тема планировалась более 10 лет назад и вот, наконец, я здесь…. И вы здесь! И это замечательно! Даже не то слово. Это корреляционно.

  О корреляции речь зашла в статьях об аналитической и комбинационной группировке, в результате чего перед нами нарисовались некоторые эмпирические показателями корреляции (прочитайте хотя бы «по диагонали»!). И сейчас на очереди линейный коэффициент корреляции, популярный настолько, что по умолчанию под коэффициентом корреляции понимают именно его. …Да, всё верно – существует довольно много разных коэффициентов корреляции. Однако всему своё время.

  Материал данной темы состоит из двух уровней:

  – начального, для всех – вплоть до студентов психологических и социологических факультетов, блондинок, брюнеток, школьников, бабушек, дедушек, etc и

  – продвинутого, где я разберу более редкие задачи, а некоторые даже не буду разбирать 🙂

  В результате вы научитесь БЫСТРО решать типовые задачи (видео прилагается) и для самых ленивых есть калькуляторы. И пока не запамятовал, хочу порекомендовать корреляционно-регрессионный анализ для ваших научных работ и практических исследований – наряду со статистическими гипотезами, это самая настоящая находка в плане новизны и творческих изысканий.

  Оглавление:

  и по просьбам учащихся:

  то было для «чайников», для начала достаточно…

  …И в этот момент я благоговейно улыбаюсь – как здорово, что все мы здесь сегодня собрались:

  Имеются выборочные данные по студентам: – количество прогулов за некоторый период времени и – суммарная успеваемость за этот период:
  

  И сразу обращаю внимание, что в условии приведены несгруппированные данные. Помимо этого варианта, есть задачи, где изначально дана комбинационная таблица, и их мы тоже разберём. Сначала одно, затем другое.

  1) высказать предположение о наличии и направлении корреляционной зависимости признака-результата от признака-фактора и построить диаграмму рассеяния;

  2) анализируя диаграмму рассеяния, сделать вывод о форме зависимости;

  3) найти уравнение линейной регрессии на , выполнить чертёж;

  4) вычислить линейный коэффициент корреляции, сделать вывод;

  5) вычислить коэффициент детерминации, сделать вывод;

  6) вычислить коэффициент эластичности и

  7) вычислить бета-коэффициент, с выводами, понятное дело,

  и для продвинутых читателей – проверка значимости линейной модели и иже с ней потрохами, а также вся анатомия.

  Решение:

  1) Прежде всего, повторим, что такое корреляционная зависимость. Очевидно, что чем больше студент прогуливает, тем более вероятно, что у него плохая успеваемость. Но всегда ли это так? Нет, не всегда. Успеваемость зависит от многих факторов. Один студент может посещать все пары, но все равно учиться посредственно, а другой – учиться неплохо даже при достаточно большом количестве прогулов. Однако общая тенденция состоит в том, что с увеличением количества прогулов средняя успеваемость студентов будет падать. Такая нежёсткая зависимость и называется корреляционной.

  По своему направлению зависимость бывает прямой («чем больше, тем больше») и обратной («чем больше, тем меньше»). В данной задаче мы высказали предположение о наличии обратной корреляционной зависимости – успеваемости студентов от – количества их прогулов. И что немаловажно, обосновали причинно-следственную связь (читать всем. ) между признаками.

  Проверить выдвинутое предположение проще всего графически, и в этом нам поможет:

  диаграмма рассеяния

  – это множество точек в декартовой системе координат, абсциссы которых соответствуют значениям признака-фактора , а ординаты – соответствующим значениям признака-результата . Минимальное количество точек должно равняться пяти-шести, в противном случае рассматриваемая задача превращается в профанацию. И мы «вписываемся в рамки» – объём выборки равен восьми студентам:
  
  Обратите, кстати, внимание как раз на тот момент, что при одном и том же количестве прогулов (15) двое студентов имеют существенно разные результаты.

  2) По диаграмме рассеяния хорошо видно, что с увеличением числа прогулов успеваемость преимущественно падает, что подтверждает наличие обратной корреляционной зависимости успеваемости от количества прогулов. Более того, почти все точки «выстроились» примерно по прямой, что даёт основание предположить, что данная зависимость близкА к линейной.

  И здесь я анонсирую дальнейшие действия: сейчас нам предстоит найти уравнение прямой, ТАКОЙ, которая проходит максимально близко к эмпирическим точкам, а также оценить тесноту линейной корреляционной зависимости – насколько близко расположены эти точки к построенной прямой.

  Технически существует два пути решения:

  – сначала найти уравнение прямой и затем оценить тесноту зависимости;
  – сначала найти тесноту и затем составить уравнение.

  В практически задачах чаще встречается второй вариант, но я начну с первого, он более последователен. Построим:

  3) уравнение линейной регрессии на

  Это и есть та самая оптимальная прямая , которая проходит максимально близко к эмпирическим точкам. Обычно её находят методом наименьших квадратов, и мы пойдём знакомым путём. Заполним расчётную таблицу:
  
  Обратите внимание, что в отличие от задач урока МНК у нас появился дополнительный столбец , он потребуется в дальнейшем, для расчёта коэффициента корреляции.

  Коэффициенты функции найдём из решения системы:

  Сократим оба уравнения на 2, всё попроще будет:

  Систему решим по формулам Крамера:
  , значит, система имеет единственное решение.

  И проверка forever, подставим полученные значения в левую часть каждого уравнения исходной системы:

  в результате получены соответствующие правые части, значит, система решена верно.

  Таким образом, искомое уравнение регрессии:

  Данное уравнение показывает, что с увеличением количества прогулов («икс») на 1 единицу суммарная успеваемость падает в среднем на 6,0485 – примерно на 6 баллов. Об этом нам рассказал коэффициент «а». И обратите особое внимание, что эта функция возвращает нам средние (среднеожидаемые) значения «игрек» для различных значений «икс».

  Почему это регрессия именно « на » и о происхождении самого термина «регрессия» я рассказал чуть ранее, в параграфе эмпирические линии регрессии. Если кратко, то полученные с помощью уравнения средние значения успеваемости («игреки») регрессивно возвращают нас к первопричине – количеству прогулов. Вообще, регрессия – не слишком позитивное слово, но какое уж есть.

  Найдём пару удобных точек для построения прямой:

  отметим их на чертеже (малиновый цвет) и проведём линию регрессии:
  

  Говорят, что уравнение регрессии аппроксимирует (приближает) эмпирические данные (точки), и с помощью него можно интерполировать (оценить) неизвестные промежуточные значения, так при количестве прогулов среднеожидаемая успеваемость составит балла.

  И, конечно, осуществимо прогнозирование, так при среднеожидаемая успеваемость составит баллов. Единственное, нежелательно брать «иксы», которые расположены слишком далеко от эмпирических точек, поскольку прогноз, скорее всего, не будет соответствовать действительности. Например, при значение может вообще оказаться невозможным, ибо у успеваемости есть свой фиксированный «потолок». И, разумеется, «икс» или «игрек» в нашей задаче не могут быть отрицательными.

  Второй вопрос касается тесноты зависимости. Очевидно, что чем ближе эмпирические точки к прямой, тем теснее линейная корреляционная зависимость – тем уравнение регрессии достовернее отражает ситуацию, и тем качественнее полученная модель. И наоборот, если многие точки разбросаны вдали от прямой, то признак зависит от вовсе не линейно (если вообще зависит) и линейная функция плохо отражает реальную картину.

  Прояснить данный вопрос нам поможет:

  4) линейный коэффициент корреляции

  Этот коэффициент как раз и оценивает тесноту линейной корреляционной зависимости и более того, указывает её направление (прямая или обратная). Его полное название: выборочный линейный коэффициент пАрной корреляции Пирсона 🙂

  – «выборочный» – потому что мы рассматриваем выборочную совокупность;
  – «линейный» – потому что он оценивает тесноту линейной корреляционной зависимости;
  – «пАрной» – потому что у нас два признака (бывает хуже);
  – и «Пирсона» – в честь английского статистика Карла Пирсона, это он автор понятия «корреляция».

  И в зависимости от фантазии автора задачи вам может встретиться любая комбинация этих слов. Теперь нас не застанешь врасплох, Карл.

  Линейный коэффициент корреляции вычислим по формуле:
  , где: – среднее значение произведения признаков, – средние значения признаков и – стандартные отклонения признаков. Числитель формулы имеет особый смысл, о котором я расскажу, когда мы будем разбирать второй способ решения.

  Осталось разгрести всё это добро 🙂 Впрочем, все нужные суммы уже рассчитаны в таблице выше. Вычислим средние значения:

  Стандартные отклонения найдём как корни из соответствующих дисперсий, вычисленных по формуле:

  Таким образом, коэффициент корреляции:

  И расшифровка: коэффициент корреляции может изменяться в пределах и чем он ближе по модулю к единице, тем теснее линейная корреляционная зависимость – тем ближе расположены точки к прямой, тем качественнее и достовернее линейная модель. Если либо , то речь идёт о строгой линейной зависимости, при которой все эмпирические точки окажутся на построенной прямой. Наоборот, чем ближе к нулю, тем точки рассеяны дальше, тем линейная зависимость выражена меньше. Однако в последнем случае зависимость всё равно может быть! – например, нелинейной или какой-нибудь более загадочной. Но до этого мы ещё дойдём. А у кого не хватит сил, донесём 🙂

  Для оценки тесноты связи будем использовать уже знакомую шкалу Чеддока:
  
  При этом если , то корреляционная связь обратная, а если , то прямая.

  В нашем случае , таким образом, существует сильная обратная линейная корреляционная зависимость – суммарной успеваемости от – количества прогулов.

  Линейный коэффициент корреляции – это частный аналог эмпирического корреляционного отношения. Но в отличие от отношения, он показывает не только тесноту, но ещё и направление зависимости, ну и, конечно, здесь определена её форма (линейная).

  5) Коэффициент детерминации

  – это частный аналог эмпирического коэффициента детерминации – есть квадрат коэффициента корреляции:

  – коэффициент детерминации показывает долю вариации признака-результата , которая обусловлена воздействием признака-фактора . С математическим обоснованием этого утверждения желающие могут ознакомиться в статье Однофакторная регрессия.

  В нашей задаче:
  – таким образом, в рамках построенной модели успеваемость на 51,74% зависит от количества прогулов. Оставшаяся часть вариации успеваемости (48,26%) обусловлена другими причинами.

  ! Примечание: но это не является какой-то «абсолютной истиной», это всего лишь оценка в рамках построенной модели.

  Очевидно, что линейный коэффициент детерминации может изменяться в пределах , и чем он ближе к единице, тем удачнее линейная модель приближает эмпирические данные.

  6) Вычислим коэффициент средней эластичности

  Но сначала разберёмся, что такое эластичность. Это восприимчивость. Податливость. Представьте, что уровень тревожности в обществе увеличился на 1%. А Петя стал больше тревожиться всего на 0,3%. Таким образом, Петя неэластичен к тревожности. Маша в то же время стала тревожиться больше на 5%. Таким образом, Маша эластична к тревожности.

  Иными словами, эластичность – это количество процентов, на которое изменяется признак-результат при увеличении признака-фактора на 1%. Если , то зависимый показатель неэластичен к воздействию признака-фактора. Если же – то эластичен.

  Функция эластичности имеет вид: , где – функция регрессии, а – её производная. И в подавляющем большинстве случаев эластичность зависит от значения , так, для линейной регрессии получаем: – и мы можем вычислить эластичность в той или иной точке . Но чтобы не мучиться чаще рассчитывают средний коэффициент эластичности, по формуле: .
  В нашей задаче: – таким образом, при увеличении количества прогулов на 1% успеваемость уменьшается в среднем на 0,93%.

  Можно сказать, что эластичность близкА к нейтральной – количество прогулов растёт и успеваемость падает примерно такими же темпами. Хотя, повторюсь, при различных значениях эластичность будет разной: – вот вам почва для дополнительного исследования. И это особенно актуально, если «икс» может принимать как положительные, так и отрицательные значения, вследствие чего среднее значение эластичности только собьёт с толку. Следует добавить, что в некоторых задачах эластичность вообще не имеет содержательного смысла, хотя чисто формально рассчитать её можно.

  7) Бета-коэффициент

  Это ещё один относительный показатель влияния фактора на результат. «Бета» – это количество средних квадратических отклонений, на которое меняется признак-результат при увеличении признака-фактора на одно среднее квадратическое отклонение.

  В чём смысл показателя? Давайте посмотрим на уравнение регрессии и конкретно на коэффициент . Вопрос: это много или мало? (с точки зрения влияния прогулов на успеваемость). И на самом деле ответ не очевиден. Если «а» очень великО по модулю, то это ещё не значит, что влияние существенно. И наоборот, «а» может составлять какие-то «жалкие» дробные доли, но влияние окажется ого-го! Всё относительно и всё зависит от колеблемости показателей, а эта самая колеблемость измеряется стандартными отклонениями. Которые и нужно сопоставить:

  – таким образом, при увеличении количества прогулов на одно стандартное отклонение успеваемость уменьшается примерно на 0,72 своего стандартного отклонения.

  Если какая-то причина сильно «надавливает» на следствие, то «бета» по модулю больше единицы , часто в разы больше. Если влияние умеренное, то . Ну а близкие к нулю значения говорят о практической невосприимчивости к фактору. В нашей задаче мы получили достаточно «сбалансированный» результат.

  Задание выполнено

  Но точку ставить рано. Теперь второй способ решения, в котором мы сначала находим коэффициент корреляции, а затем уравнение регрессии.

  Линейный коэффициент корреляции вычислим по формуле:
  , где – стандартные отклонения признаков .

  Член в числителе называют корреляционным моментом или коэффициентом ковариации (совместной вариации) признаков, он рассчитывается следующим образом: , где – объём статистической совокупности, а – средние значения признаков. Данный коэффициент показывает, насколько согласованно отклоняются пАрные значения от своих средних в ту или иную сторону. Формулу можно упростить, в результате чего получится ранее использованная версия, без подробных выкладок: . Но сейчас мы пойдём другим путём.

  Заполним расчётную таблицу:
  
  При этом сначала рассчитываем левые нижние суммы и средние значения признаков:
  и только потом заполняем оставшиеся столбцы таблицы. О том, как быстро выполнить эти вычисления в Экселе, будет видео ниже!

  Вычислим коэффициент ковариации:
  .

  Стандартные отклонения вычислим как квадратные корни из дисперсий:

  Таким образом, коэффициент корреляции:

  И если нам известны значения , то коэффициенты уравнения регрессии легко рассчитать по следующим формулам:

  Таким образом, искомое уравнение:

  Теперь смотрим ролик о том, как это всё быстро подсчитать и построить:

  Как вычислить коэффициент корреляции и найти уравнение регрессии? (Ютуб)

  Если под рукой нет Экселя, ничего страшного, разобранную задачу не так трудно решить в обычной клетчатой тетради. А если Эксель есть и времени нет, то можно воспользоваться моим калькулятором. Да, вы можете найти аналоги в Сети, но, скорее всего, это будет не совсем то, что нужно 😉

  Какой способ решения выбрать? Ориентируйтесь на свой учебный план и методичку. По умолчанию лучше использовать 2-й способ, он несколько короче, и, вероятно, потому и встречается чаще. Кстати, если вам нужно построить ТОЛЬКО уравнение регрессии, то уместен 1-й способ, ибо там мы находим это уравнение в первую очередь.

  Следующая задача много-много лет назад была предложена курсантам местной школы милиции (тогда ещё милиции), и это чуть ли не первая задача по теме, которая встретилась в моей профессиональной карьере. И я безмерно рад предложить её вам сейчас, разумеется, с дополнительными пунктами:)

  В результате независимых опытов получены 7 пар чисел:
  
  …да, числа могут быть и отрицательными.

  По данным наблюдений вычислить линейный коэффициент корреляции и детерминации, сделать выводы. Найти параметры линейной регрессии на , пояснить их смысл. Изобразить диаграмму рассеяния и график регрессии. Вычислить , что означают полученные результаты?

  Из условия следует, что признак , очевидно, зависит от (ибо кто ж делает бессвязные опыты). Однако помните, что корреляционная зависимость и причинно-следственная связь – это не одно и то же! (прочитайте, если до сих пор не прочитали!). Поэтому, если в задаче просто предложены два числовых ряда (без контекста), то можно говорить лишь о зависимости корреляционной, но не о причинно-следственной.

  Все данные уже забиты в Эксель, и вам осталось аккуратно выполнить расчёты. В образце я решил задачу вторым, более распространённым способом. И, конечно же, выполните проверку первым путём.

  Следует отметить, что в целях экономии места я специально подобрал задачи с малым объёмом выборки. На практике обычно предлагают 10 или 20 пар чисел, реже 30, и максимальная выборка, которая мне встречалась в студенческих работах – 100. …Соврал малость, 80.

  И сейчас я вас приглашаю на следующий урок, назову его Уравнение линейной регрессии, где мы рассчитаем и найдём всё то же самое – только для комбинационной группировки. Плюс немного глубже копнём уравнения регрессии (их два).

  Решения и ответы:

  Пример 68. Решение: вычислим суммы и средние значения признаков , и заполним расчётную таблицу:
  

  Вычислим коэффициент ковариации:
  .
  Вычислим средние квадратические отклонения:

  Вычислим коэффициент корреляции:
  , таким образом, существует сильная прямая корреляционная зависимость от.

  Вычислим коэффициент детерминации:
  – таким образом, 77,19% вариации признака обусловлено изменением признака . Остальная вариация (22,81%) обусловлена другими факторами.

  Вычислим коэффициенты линейной регрессии :

  Таким образом, искомое уравнение регрессии:

  Данное уравнение показывает, что с увеличением значения «икс» на одну единицу «игрек» увеличивается в среднем примерно на 1,32 единицы (смысл коэффициента «а»).

  При среднеожидаемое значение «игрек» составит примерно 2,62 ед. (смысл коэффициента «бэ»).

  Найдём пару точек для построения прямой:

  и выполним чертёж:
  

  Вычислим:
  – среднеожидаемое значение «игрек» при (интерполированный результат);
  – среднеожидаемое значение «игрек» при (спрогнозированный результат).

  Похожие публикации:

  1. Как активировать виндовс 11 на новом компьютере
  2. Как нарисовать на компьютере фото человека
  3. Как настроить центр управления ifeel safe smart
  4. Что было в последнем обновлении