Русская Википедия:Модель бинарного выбора
Модель бинарного выбора — применяемая в эконометрике модель зависимости бинарной переменной (принимающей всего два значения — 0 и 1) от совокупности факторов. Построение обычной линейной модели для таких зависимых переменных теоретически некорректно, так как условное математическое ожидание таких переменных равно вероятности того, что зависимая переменная примет значение 1, а линейная модель допускает в том числе отрицательные значения и значения выше 1 (притом что вероятность должна быть от 0 до 1). Поэтому обычно используются некоторые интегральные функции распределения. Чаще всего используются нормальное распределение (пробит), логистическое распределение (логит) , распределение Гомперца (гомпит).
Сущность модели
Пусть переменная <math>Y</math> является бинарной, то есть может принимать только два значения, которые для упрощения предполагаются равными <math>1</math> и <math>0</math>. Например, <math>Y</math> может означать наличие/отсутствие каких-либо условий, успех или провал чего-либо, ответ да/нет в опросе и т. д. Пусть также имеется вектор регрессоров (факторов) <math>X</math>, которые оказывают влияние на <math>Y</math>.
Регрессионная модель имеет дело с условным по факторам математическим ожиданием зависимой переменной, которое в данном случае равно вероятности того, что зависимая переменная равна 1. В самом деле, по определению математического ожидания и с учетом всего двух возможных значений имеем:
- <math> E(Y\mid X=x)=1 \cdot P(Y=1 \mid X=x)+0 \cdot P(Y=0 \mid X=x) =P(Y=1 \mid X=x)=p(x) </math>
В связи с этим применение, например, стандартной модели линейной регрессии <math>y=x^Tb+\varepsilon</math> теоретически некорректно хотя бы потому, что вероятность по определению принимает ограниченные значения от 0 до 1. В связи с этим разумно моделировать <math>p(x)</math> через интегральные функции тех или иных распределений.
Обычно предполагается, что имеется некая скрытая (не наблюдаемая) "обычная" переменная <math>Y^*</math>, в зависимости от значений которой наблюдаемая переменная <math>Y</math> принимает значение 0 или единица:
- <math>Y=
\begin{cases} 1, Y^*>0\\ 0, Y^*<0 \end{cases} </math>
Предполагается, что скрытая переменная зависит от факторов <math>X</math> в смысле обычной линейной регрессии <math>y^*=x^Tb+\varepsilon</math>, где случайная ошибка имеет распределение <math>F</math>. Тогда
<math>p(x)=P(Y^*>0|X=x)=P(x^Tb+\varepsilon>0)=P(\varepsilon>-x^Tb)=1-F(-x^Tb)</math>
Если распределение симметричное, то можно записать
<math>p(x)=F(x^Tb)</math>
Экономическая интерпретация
Ещё одно обоснование заключается в использовании понятия полезности альтернатив — не наблюдаемой функции <math>U(y,x)</math>, то есть фактически двух функций <math>U_1(x)=x^Tb_1+\varepsilon_1</math> и <math>U_0(x)=x^Tb_0+\varepsilon_0</math> соответственно для двух альтернатив. Логично предположить, что если при заданных значениях факторов полезность одной альтернативы больше полезности другой, то выбирается первая и наоборот. В связи с этим разумно рассмотреть функцию разности полезностей альтернатив <math>\Delta U(x)=U_1(x)-U_0(x)=x^T(b_1-b_0)+(\varepsilon_1-\varepsilon_0)=x^Tb+\varepsilon</math>. Если она больше нуля, то выбирается первая альтернатива, если меньше или равна нулю — то вторая. Таким образом, функция разности полезностей альтернатив здесь выполняет роль той самой скрытой переменной. Наличие случайной ошибки в моделях полезностей позволяет учесть не абсолютную детерминированность выбора (по крайней мере не детерминированность данным набором факторов, хотя элемент случайности выбора есть при любом наборе факторов).
Модели по видам распределений
Пробит. В пробит-модели в качестве <math>F</math> используется интегральная функция стандартного нормального распределения <math>\Phi</math>:
- <math>p(x)=1-\Phi(-x^Tb)=\Phi(x^Tb)</math>
Логит. В логит-модели используется CDF логистического распределения:
- <math>p(x)=1-e^{-x^Tb}/(1+e^{-x^Tb})=e^{x^Tb}/(1+e^{x^Tb})</math>
Гомпит. Используется распределение экстремальных значений - распределение Гомперца:
- <math>p(x)=1-(1-e^{e^{-x^Tb}})=e^{e^{-x^Tb}}</math>
Оценка параметров
Оценка обычно производится методом максимального правдоподобия. Пусть имеется выборка объёма <math>n</math> факторов <math>X</math> и зависимой переменной <math>Y</math>. Для данного номера наблюдения используем индекс <math>t</math>. Вероятность получения в наблюдении <math>t</math> значения <math>y_t</math> можно смоделировать следующим образом:
- <math>P(Y=y_t) = p^{y_t}(x_t)(1-p(x_t))^{1-y_t} = (1-F(-x^T_tb))^{y_t}F^{1-y_t}(-x^T_tb)</math>
В самом деле, если <math>y_t=1</math>, то второй множитель очевидно равен 1, а первый как раз <math>p(x_t)</math>, если же <math>y_t=0</math>, то первый множитель равен единице, а второй — <math>(1-p(x_t))</math>. Предполагается, что данные независимы. Поэтому функцию правдоподобия можно получить как произведение вышеуказанных вероятностей:
- <math>L(b)=\prod^n_{t=1} (1-F(-x^T_tb))^{y_t}F^{1-y_t}(-x^T_tb)</math>
Соответственно логарифмическая функция правдоподобия имеет вид:
- <math> l(b)=\sum^n_{t=1} y_t \ln (1-F(-x^T_tb))+(1-y_t)\ln F(-x^T_tb)</math>
Максимизация данной функции по неизвестным параметрам позволяет получить состоятельные, асимптотически эффективные и асимптотически нормальные оценки параметров. Последнее означает, что:
- <math>\sqrt{n}(\hat b - b)\ \xrightarrow{d}\ \mathcal{N}(0,\,\Omega^{-1}),</math>
где <math>\Omega^{-1}</math> — асимптотическая ковариационная матрица оценок параметров, которая определяется стандартным для метода максимального правдоподобия способом (через гессиан или градиент логарифмической функции правдоподобия в оптимальной точке).
Показатели качества и тестирование модели
- Статистика отношения правдоподобия
- <math>LR= 2(l_1-l_0)</math>,
где <math>l_1, l_0</math> — значения логарифмической функции правдоподобия оцененной модели и ограниченной модели, в которой <math>p(x)</math> является константой (не зависит от факторов x, исключая константу из множества факторов).
Данная статистика, как и в общем случае использования метода максимального правдоподобия, позволяет тестировать статистическую значимость модели в целом. Если её значение достаточно большое (больше критического значения распределения <math>\chi^2(k)</math>, где <math>k</math>-количество факторов (без константы) модели), то модель можно признать статистически значимой.
Также используются аналоги классического коэффициента детерминации, например:
- Псевдо-коэффициент детерминации:
- <math>R^2_{pseudo} = 1-\frac {1}{1+LR/n}=\frac {LR}{LR+n}</math>
- Коэффициент детерминации МакФаддена (индекс отношения правдоподобия):
- <math>R^2_{McFadden}=LRI = 1-l_1/l_0</math>
Оба показателя меняются в пределах от 0 до 1.
- Информационные критерии: информационный критерий Акаике (AIC), байесовский информационный критерий Шварца (BIC, SC), критерий Хеннана-Куина (HQ).
Важное значение имеет анализ доли правильных прогнозов в зависимости от выбранного порога классификации (с какого уровня вероятности принимается значение 1). Обычно применяется ROC-кривая для оценки качества модели и показатель AUC - площадь под ROC-кривой.
- Статистика Хосмера-Лемешоу (H-L, HL, Hosmer-Lemeshow). Для расчета данной статистики выборка разбивается на несколько подвыборок, по каждой из которых определяются — фактическая доля данных со значением зависимой переменной 1, то есть фактически среднее значение зависимой переменной по подвыборке
- <math>p_j=\overline{y}_j=\sum^{n_j}_{i=1} {y}_{ij}/n_j</math>
- и предсказанная средняя вероятность по подруппе
- <math>\overline{\hat p}_j=\sum^{n_j}_{i=1}\hat {p}_{ij}/n_j</math>.
- Тогда значение статистики HL определяется по формуле
- <math>HL=\sum^J_{j=1}\frac {n_j(p_j-\overline {\hat{p}}_j)^2}{\overline {\hat{p}}_j (1-\overline {\hat{p}}_j)}</math>
Точное распределение данной статистики неизвестно, однако авторы методом симуляций установили, что оно аппроксимируется распределением <math>\chi^2(J-2)</math>.
- Статистика Эндрюса (Andrews)
См. также
Литература
- Greene, William H. (1997) Econometric Analysis, 3rd edition, Prentice-Hall.
- Andrews, Donald W.K. (1988) “Chi-Square Diagnostic Tests for Econometric Models: Theory,” Econometrica, 56, 1419–1453.
- Andrews, Donald W.K. (1988) “Chi-Square Diagnostic Tests for Econometric Models: Introduction and Applications,” Journal of Econometrics, 37, 135–156.
- Hosmer, David W. Jr. and Stanley Lemeshow (1989) Applied Logistic Regression, John Wiley & Sons.
