Некоторые аспекты регрессионного анализа. Тема 4

Вопросы:

4.1. Спецификация уравнения регрессии и ошибки спецификации.
4.2. Мультиколлинеарность: способы выявления и

Модель множественной линейной регрессии в матричном виде

Уравнение множественной линейной регрессии в матричном виде

Метод наименьших квадратов

Условия теоремы Гаусса-Маркова

1. i=1,…,n
2. при i=j
3. при i≠j
4. i=1,…,n

Гомоскедастичность
Гетероскедастичность

Условия теоремы Гаусса-Маркова
при i=j
2,3
при i≠j

Условия теоремы Гаусса-Маркова

или
где I – единичная матрица

Мультиколлинеарность

Способы выявления и устранения

Признаки наличия мультиколлинеарности

1. Небольшое изменение
исходных данных сильно

Признаки наличия мультиколлинеарности

2. Стандартные ошибки
коэффициентов очень
велики (коэффициенты стат.

Признаки наличия мультиколлинеарности

3. Значения коэффициентов
неправильны с точки
зрения

Способы выявления мультиколлинеарности:

1. Вычисление матрицы парных коэффициентов корреляции для всех

Матрица парных коэффициентов корреляции

Фактор инфляции вариации

Методы устранения мультиколлинеарности:

1. Удаление коллинеарных переменных.
2. Исправление выборки (проверка ее репрезентативности).
3.

Случай 1. Исключены существенные переменные.

Случай 2. Включены несущественные переменные.

Информационные критерии

Акаике и Шварца

Информационные критерии

Хеннана-Куинна

Фиктивные переменные в регрессионных моделях

dummy

X=0 если женский
x=1 если мужской

X=0 если женский
x=1 если мужской

X=0 если женский
x=1 если мужской

неправильно

правильно

Фиктивные переменные позволяют строить и оценивать так называемые кусочно-линейные модели, которые

Пусть в момент времени tо произошли некие структурные изменения и линия

Регрессионная линия (рис) имеет коэффициент наклона β1 для t ≤ to

Тестируя стандартную гипотезу β2=0 мы проверяем предположение о том, что фактически

ГЕТЕРОСКЕДАСТИЧНОСТЬ ОСТАТКОВ

Гомоскедастичность
при i=j

Гетероскедастичность
при i=j

Последствия гетероскедастичности

Основное последствие гетероскедастичности заключается в получении неэффективных оценок параметров модели

Способы обнаружения гетероскедастичности
Графики
Тесты

Примеры гетероскедастичности

Примеры гетероскедастичности

Примеры гетероскедастичности

Тесты на гетероскедастичность

1. Бартлетта
2. Голдфелда-Квандта
3. Уайта
4. Бреуша-Пагана
5. Глейзера

Остатки:

Вне зависимости от используемых тестов необходимо сформулировать гипотезы:

при i=j

Тест Голдфелда-Куандта.

1. Упорядочить наблюдения по убыванию той независимой переменной, относительно

Тест Голдфелда-Куандта.

2. Опустить v наблюдений, оказавшихся в центре (v должно

Тест Голдфелда-Куандта.

3. Оценить отдельно обыкновенным МНК регрессии на первых (n−v)/2

Тест Голдфелда-Куандта.

4. Найти SSE1 и SSE2 – суммы квадратов остатков

Тест Голдфелда-Куандта.

6. Найти Fкр. по таблице распределения Фишера по уровню

Если Fнабл.>Fкр., то нулевая гипотеза отклоняется в пользу альтернативной о

Тест Уайта.

1. Оцениваем параметры исходной модели, получаем уравнение регрессии

Тест Уайта.

2. Находим остатки
3. Находим квадраты остатков

Тест Уайта.

4. Строим вспомогательную регрессию, в которой в качестве зависимой

Тест Уайта.

Например, для двухфакторной модели
вспомогательная регрессия будет иметь вид:

Тест Уайта.

5. Оцениваем вспомогательную регрессию и находим R2
вспомогательной регрессии.

Тест Уайта.

7. По таблице распределения Пирсона по уровню значимости α

Тест Уайта.
8. Сравниваем наблюдаемое
и критическое значения.

Тест Уайта.

Если ,
нельзя отклонить нулевую гипотезу об отсутствии гетероскедастичности.

Тест Уайта (упрощенный)

Отличается от классического вспомогательной регрессией, в которой в

Тест Уайта (упрощенный).

Тогда вспомогательная регрессия будет иметь вид:

Тест Уайта (упрощенный).

А число степеней свободы k = 2-1=1

Критерий Бартлетта.

Критерий Бартлетта.

Обобщенный МНК

Отличается от обычного МНК в изменении предположений о поведении случайной

Обобщенный МНК

Или
Обычный МНК:
при i=j
при i≠j
Обобщенный МНК:
при

Обобщенный МНК

Если есть только гетероскедастичность, то:
Обобщенный МНК:
при i=j

Обобщенный МНК

Критерий минимизации суммы квадратов ошибок МНК заменяется на другой –

Обобщенный МНК

Соответственно усложняется вид системы уравнений для определения оценок коэффициентов. ОМНК

Обобщенный МНК

Соответственно усложняется вид системы уравнений для определения оценок коэффициентов. ОМНК

Обобщенный МНК

Обобщенный МНК

Оценки МНК получаются по формуле

Оценки ОМНК получаются по формуле

Обобщенный МНК

Для применения ОМНК необходимо знать элементы матрицы Ω, что на

Взвешенный МНК

Предположим, что нам известны значения величин
Тогда исходную модель разделим

Исходная модель

где

причем

при

Взвешенный МНК

Для получения оценок неизвестных дисперсий будем предполагать, что они пропорциональны

Взвешенный МНК

Принимая различные гипотезы относительно характера гетероскедастичности, будем иметь соответствующие значения

Взвешенный МНК

Если дисперсия случайного члена пропорциональна X, так что
то

Взвешенный МНК

Если предположить, что дисперсия случайного члена пропорциональна
то необходимо преобразовать

Существуют также и другие методы коррекции модели на гетероскедастичность, в частности,

Стандартные ошибки в форме Ньюи-Веста.
Пусть в матрице ковариаций Ω ненулевые

Автокорреляция в остатках

пространственные данные –
cross-sectional data;
временные ряды данных –
time-series data

Условие отсутствия автокорреляции
при i≠j
или
где I – единичная матрица

Причины автокорреляции

Стохастические зависимости между значениями случайных ошибок – автокорреляция ошибок.
Ее

Последствия автокорреляции:
1. Выборочные дисперсии полученных оценок коэффициентов будут больше по сравнению с

Стандартные ошибки коэффициентов будут оценены неправильно, т.е. оценки коэффициентов будут неэффективны.

Можно рассматривать так называемую корреляцию сериями (автокорреляцию), когда зависимость между ошибками,

система координат
(ei; ei-s)

et

t

Пример графика остатков по наблюдениям при положительной автокорреляции

Пример графика остатков по наблюдениям при отрицательной автокорреляции

et

t

Тестирование на наличие автокорреляции.
Для проверки гипотезы о существовании линейной автокорреляции первого

Критерий Дарбина-Уотсона.

Тестирование на наличие автокорреляции.
Критерий Дарбина-Уотсона предназначен для моделей с детерминированными регрессорами

Коэффициент автокорреляции первого порядка

По таблице Дарбина-Уотсона определяются две критические точки: верхняя dU и

Границы интервала (dl и du) критических значений критерия Дарбина-Уотсона при уровне

2

4

0

dL

dU

dcrit

положительная
автокорреляция

отрицательная автокорреляция

нет автокорреляции

dcrit

Области статистических решений для критерия Дарбина-Уотсона

H0: ρ=0 (автокорреляции

Методы устранения автокорреляции
Кохрейна-Оркатта
Хилдрета-Лу
Дарбина

Запишем регрессию (1):

В момент времени t-1 имеем (2):

Умножим уравнение (2) на коэффициент автокорреляции ρ:

Вычтем уравнение (2) из уравнения (1)

Предположим, что остатки ui удовлетворяют следующему уравнению:
ui=ρui-1+ςi, i=2,...,n, (4.11)
представляющему собой авторегрессионную

Оценивание регрессии при наличии автокорреляции.

Метод 1. Отказавшись от определения величины ρ

Метод 3. Итеративная процедура Кохрейна-Оркатта.
а) Оценивается регрессия с исходными не преобразованными данными

Метод 4. Метод Хилдрета-Лу.
Основан на тех же принципах, что и