Русская Википедия:Тест Вальда

Материал из Онлайн справочника
Перейти к навигацииПерейти к поиску

Тест Ва́льда — статистический тест, используемый для проверки ограничений на параметры статистических моделей, оценённых на основе выборочных данных. Является одним из трёх базовых тестов проверки ограничений наряду с тестом отношения правдоподобия и тестом множителей Лагранжа. Тест является асимптотическим, то есть для достоверности выводов требуется достаточно большой объём выборки.

Сущность и процедура теста

Пусть имеется эконометрическая модель с вектором параметров <math>b</math>. Необходимо проверить по выборочным данным гипотезу <math>H_0:~g(b)=0</math>, где <math>g</math> — совокупность (вектор) некоторых функций параметров. Идея теста заключается в том, что если нулевая гипотеза верна, то и выборочный вектор <math>g(\hat{b})</math> должен быть в некотором смысле близок к нулю. Предполагается, что оценки параметров хотя бы состоятельны и асимптотически нормальны (таковы, например, оценки метода максимального правдоподобия), то есть

<math>\sqrt{n}(\hat {b}-b) \xrightarrow{n \rightarrow \infty} N(0,V)</math>

Отсюда, исходя из предельных теорем имеем:

<math>\sqrt{n}(g(\hat {b})-g(b)) \xrightarrow{n \rightarrow \infty} N(0,G(b)VG(b)^T)</math>

где <math>G(b)=\frac{\partial g(b)}{\partial b}</math> — якобиан (матрица первых производных) вектора <math>g(b)</math> в точке <math>b</math>.

Тогда

<math>(g(\hat {b})-g(b))^T(G(b)V_{\hat b}G^T(b))^{-1}(g(\hat {b})-g(b))\xrightarrow {n \rightarrow \infty} \chi^2(q)~,~~V_{\hat b}=V/n</math>

Если выполнена нулевая гипотеза (<math>g(b)=0</math>), то имеем

<math>W=g(\hat {b})^T(G(b)V_{\hat b}G^T(b))^{-1}g(\hat {b})\xrightarrow [H_0]{n \rightarrow \infty} \chi^2(q)~,~~V_{\hat b}=V/n</math>

Это и есть статистика Вальда. Поскольку ковариационная матрица <math>V</math>, вообще говоря, на практике неизвестна, то вместо неё используется некоторая её оценка. Также вместо неизвестных истинных значений коэффициентов <math>b</math> используют их оценки <math>\hat b</math>. Следовательно на практике мы получаем приблизительное значение <math>W</math>, поэтому тест Вальда асимптотический, то есть для правильных выводов нужна большая выборка.

Если эта статистика больше критического значения <math>\chi^2_{\alpha}(q)</math> при данном уровне значимости <math>\alpha</math>, то гипотеза об ограничениях отвергается в пользу модели без ограничений («длинная модель»). В противном случае ограничения могут иметь место, и лучше построить модель с ограничениями, называемую «короткой моделью».

Необходимо отметить, что тест Вальда чувствителен к способу формулировки нелинейных ограничений. Например, простое ограничение равенства двух коэффициентов можно сформулировать как равенство их отношения единице. Тогда результаты теста теоретически могут быть разными, несмотря на то, что гипотеза одна и та же.

Частные случаи

Если функции <math>g</math> линейны, то есть проверяется гипотеза следующего вида <math>H_0:~Ab=a</math>, где <math>A</math> — некоторая матрица ограничений, <math>a</math> — некоторый вектор, то матрица <math>G(b)</math> в данном случае - это фиксированная матрица <math>A</math>. Если речь идёт о классической линейной модели регрессии, то ковариационная матрица оценок коэффициентов равна <math>V_{\hat {b}}=\sigma^2 (X^TX)^{-1}</math>. Поскольку дисперсия ошибок <math>\sigma^2</math> неизвестна, то используют либо её состоятельную оценку <math>\hat {\sigma}^2=ESS/n</math>, либо несмещённую оценку <math>s^2=ESS/(n-k)</math>. Следовательно, статистика Вальда тогда имеет вид:

<math>W=(A\hat{b}-a)^T(A(X^TX)^{-1}A^T)^{-1}(A\hat{b}-a)/s^2</math>

В частном случае, когда матрица ограничений единичная (то есть проверяются равенства коэффициентов некоторым значениям), то формула упрощается:

<math>W=(\hat{b}-a)^T(X^TX)(\hat{b}-a)/s^2</math>

Если рассматривается только одно линейное ограничение <math>c^Tb=a</math>, то статистика Вальда будет равна

<math>W=(c^Tb-a)^2/(s^2 c^T(X^TX)^{-1}c)</math>

В данном случае статистика Вальда оказывается равной квадрату <math>t</math>-статистики.

Можно показать, что статистика Вальда для классической линейной модели выражается через суммы квадратов остатков длинной и короткой моделей следующим образом

<math>W=\frac {ESS_S-ESS_L}{ESS_L/n}</math>,

где индекс <math>L</math> относится к длинной модели (long), а <math>S</math> — к короткой (short). Если используется несмещённая оценка дисперсии ошибок, то в формуле вместо <math>n</math> необходимо использовать <math>(n-k)</math>.

В частности, для проверки значимости регрессии в целом <math>ESS_S=TSS</math>, поэтому получаем следующую формулу для статистики Вальда

<math>W=\frac {TSS-ESS}{ESS/n}=n\frac {1-ESS/TSS}{ESS/TSS}=\frac {nR^2} {1-R^2}</math>

где <math>R^2</math> — коэффициент детерминации.

Взаимосвязь с другими тестами

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM) — асимптотически эквивалентные тесты (<math>LM=LR=W</math>). Тем не менее для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство <math>LM \leqslant LR \leqslant W</math>. Тем самым тест Вальда будет чаще других тестов отвергать нулевую гипотезу об ограничениях. В случае нелинейных ограничений первая часть неравенства выполняется, а вторая — вообще говоря, нет.

Вместо теста Вальда можно использовать F-тест, статистика которого рассчитывается по формуле:

<math>F=\frac {n-k}{q} W/n</math>

или ещё проще <math>F=W/q</math>, если при расчёте статистики Вальда использовалась несмещённая оценка дисперсии. Эта статистика имеет в общем случае асимптотическое распределение Фишера <math>F(q,n-k)</math>. В случае нормального распределения данных — то и на конечных выборках.

Литература

Шаблон:Rq