Русская Википедия:Пробит-регрессия

Материал из Онлайн справочника
Перейти к навигацииПерейти к поиску

Про́бит-регрессия (пробит-модель, Шаблон:Lang-en) — применяемая в различных областях (эконометрика, токсикология и др.) статистическая (нелинейная) модель и метод анализа зависимости качественных (в первую очередь — бинарных) переменных от множества факторов, основанная на нормальном распределении (в отличие от, например, аналогичной логит-регрессии, основанной на логистическом распределении). В экономике (эконометрике) пробит-модели (наряду с логит-, гомпит- и др.) используются в моделях бинарного выбора или в моделях множественного выбора между различными альтернативами, для моделирования дефолтов компаний, в страховании жизни - для оценки вероятности смерти в зависимости от возраста и пола и т. д. В токсикологии пробит-регрессия используется для оценки влияния дозы или концентрации тех или иных веществ на биологические объекты.

Пробит-модель позволяет оценить вероятность того, что анализируемая (зависимая) переменная примет значение 1 при заданных значениях факторов (то есть это оценка доли "единиц" при данном значении факторов). В пробит-модели пробит-функция от вероятности моделируется как линейная комбинация факторов (включая константу). Пробит-функцией принято называть функцию, обратную к интегральной функции (CDF) стандартного нормального распределения, то есть функцию, определяющую квантиль стандартного нормального распределения для заданной вероятности <math>x_q=\Phi^{-1}(q)</math>.

Термин «probit» как производное от Шаблон:Lang-en предложил (впервые использовал) Честер Блисс (Chester Ittner Bliss [1899—1979])[1] в своей статье, посвященной количественному анализу смертельного действия ядов на примере действия никотина на щавелевую тлю (Aphis rumicis L.)[1]. С тех пор метод пробит-анализа особенно популярен в токсикологии. Само использование функции нормального распределения для описания зависимости «доза — эффект» восходит к английскому математику J. W. Trevan который показал, что интенсивность клеточного ответа на данную дозу лекарственного вещества подчиняется распределению Гаусса[2].

Сущность модели

Пробит-модель является частным случаем модели бинарного выбора в которой используется нормальное распределение. А именно, пусть зависимая переменная <math>Y</math> является бинарной, то есть может принимать только два значения, которые для упрощения предполагаются равными <math>1</math> и <math>0</math>. Например, <math>Y</math> может означать наличие/отсутствие каких-либо условий, успех или провал чего-либо, ответ да/нет в опросе и т. д. Пусть также имеется вектор регрессоров (факторов) <math>X</math>, которые оказывают влияние на <math>Y</math>. В пробит-модели предполагается, что вероятность того, что <math>Y=1</math> определяется нормальным распределением, таким образом пробит-модель имеет вид:

<math> p(x)=P(Y=1 \mid X=x)= \Phi(x^Tb)</math>

где <math>\Phi</math> — интегральная функция распределения (CDF) стандартного нормального распределения, <math>b</math> — неизвестные параметры, которые требуется оценить.

Использование именно стандартного нормального распределения не ограничивает общности модели, так как возможное ненулевое среднее учтено в константе, которая обязательно присутствует в числе факторов, а возможная неединичная дисперсия учитывается за счет соответствующего нормирования всех коэффициентов b.

Как и в общем случае модели бинарного выбора в основе модели лежит предположение о наличии некоторой скрытой (ненаблюдаемой) переменной <math>Y^*</math>, в зависимости от значений которой наблюдаемая переменная <math>Y</math> принимает значение <math>0</math> или <math>1</math>:

<math>Y=

\begin{cases} 1, Y^*>0\\ 0, Y^*<0 \end{cases} </math>

Предполагается, что скрытая переменная зависит от факторов <math>X</math> в смысле обычной линейной регрессии <math>y^*=x^Tb+\varepsilon</math>, где случайная ошибка в данном случае имеет стандартное нормальное распределение <math>N(0,1)</math>. Тогда

<math>p(x)=P(Y^*>0|X=x)=P(x^Tb+\varepsilon>0)=P(\varepsilon>-x^Tb)=1-\Phi(-x^Tb)=\Phi(x^Tb)</math>

Последнее равенство следует из симметричности нормального распределения.

Также модель может быть обоснована через полезность альтернатив — не наблюдаемой функции <math>U(y,x)</math>, то есть фактически двух функций <math>U_1(x)=x^Tb_1+\varepsilon_1</math> и <math>U_0(x)=x^Tb_0+\varepsilon_0</math> соответственно для двух альтернатив. Функция разности полезностей альтернатив здесь выполняет роль той самой скрытой переменной.

Оценка параметров

Оценка обычно производится методом максимального правдоподобия. Пусть имеется выборка объёма <math>n</math> факторов <math>X</math> и зависимой переменной <math>Y</math>. Для данного номера наблюдения используем индекс <math>t</math>. Логарифмическая функция правдоподобия имеет вид:

<math> l(b)=\sum^n_{t=1} (y_t \ln \Phi (x^T_tb)+(1-y_t)\ln(1-\Phi(x^T_tb))</math>

Максимизация данной функции по неизвестным параметрам позволяет получить состоятельные, асимптотически эффективные и асимптотически нормальные оценки параметров. Последнее означает, что:

<math>\sqrt{n}(\hat b - b)\ \xrightarrow{d}\ \mathcal{N}(0,\,\Omega^{-1}),</math>

где <math>\Omega^{-1}</math> — асимптотическая ковариационная матрица оценок параметров, которая определяется стандартным для метода максимального правдоподобия способом (через гессиан или градиент логарифмической функции правдоподобия в оптимальной точке):

<math>\Omega = \operatorname{E}\bigg[ \frac{\varphi^2(X'b)}{\Phi(X'b)(1-\Phi(X'b))}XX' \bigg] </math>,

где <math>\varphi</math> — функция плотности вероятности (PDF) стандартного нормального распределения.

Матрица <math>\Omega</math> неизвестна и используется её состоятельная оценка:

<math>\hat{\Omega} =\frac{1}{n} \sum^n_{t=1}\bigg[ \frac{\varphi^2(x^T_tb)}{\Phi(x^T_tb)(1-\Phi(x^T_tb))}x_tx^T_t \bigg] </math>

Обычно оценка модели производится в специализированных (статистических, эконометрических) программных продуктах, например, Statistica, EViews, Matrixer, R[3], SPSS и др.[4], хотя возможна «ручная» оценка, например в MS Office Excel, используя встроенный «Поиск решения» для максимизации логарифмической функции правдоподобия.

Показатели качества и тестирование модели

Для оценки качества построенной пробит-регрессии применяются стандартные для моделей бинарного выбора статистики:

  • Псевдо-коэффициент детерминации (<math>R^2_{pseudo})</math>
  • Коэффициент детерминации МакФаддена (индекс отношения правдоподобия)(<math>R^2_{McFadden},LRI </math>)
  • Статистика Хосмера-Лемешоу (Hosmer-Lemeshow, <math>HL</math>).
  • Статистика Эндрюса (Andrews)

Важное значение имеет анализ доли правильных прогнозов. В частности анализируется доля правильных и (или) неправильных прогнозов для значения каждого из значений зависимой переменной (0 и 1).

Примеры

Токсикология

Рассмотрим пробит-модель на примере действия инсектицида на насекомых[5][6]. Зависимой бинарной переменной является переменная, принимающая значение 1, если данное насекомое погибло, и 0 в противном случае. В выборке <math>n</math> насекомых реакция на инсектицид одних насекомых не зависит от реакции других. В качестве фактора модели выступает «измеритель» дозы <math>x=\lg(d)</math>, где <math>d</math>-доза инсектицида. Вероятность того, что случайно отобранное из совокупности насекомое погибнет за данное время, равна

<math>p(x) = \Phi(\alpha+\beta x)</math>.

Если параметры модели <math>\alpha</math> и <math>\beta</math> известны (обозначим оценки <math>a</math> и <math>b</math> соответственно), то уровень дозы <math>x_p</math>, при котором погибает некоторый процент насекомых, находится из уравнения

<math>a+bx_p=\Phi^{-1}(p)=q_p \Rightarrow x_p=(q_p-a)/b</math>,

где <math>q_p</math> — квантиль уровня <math>p</math> стандартного нормального распределения.

В частности, для уровня дозы <math>x_{50}</math>, при которой погибает 50 % насекомых, <math>\lg d_{50}=x_{50}=-a/b \Rightarrow d_{50}=10^{-a/b}</math>. Эту величину в токсикологии принято обозначать ЛД50.

Можно также построить приблизительный доверительный интервал для <math>x_p</math> следующим образом: <math>x_p\pm 2 \sigma_{x_p}</math>. Дисперсию <math>\sigma^2_{x_p}</math> можно оценить приблизительно следующим образом:

<math>\sigma^2_{x_p}=(\sigma^2_a+2 x_p \sigma_{ab}+x^2_p \sigma^2_b)/b^2</math>,

где <math>\sigma^2_a, \sigma^2_b</math> — оценка дисперсии оценок параметров модели, <math>\sigma_{ab}</math> — оценка ковариации между оценками параметров.

Более точный доверительный интервал можно оценить исходя теоремы Феллера, в соответствии с которой 95%-е доверительные границы для <math>x_p</math> являются корнями <math>\lambda_1</math>, <math>\lambda_2</math> квадратного уравнения

<math>\lambda^2(b^2-t^2\sigma^2_b)-2\lambda(b^2x_p+t^2\sigma_{ab})+(b^2x^2_p-t^2\sigma^2_a)=0</math>,

где <math>t=t_{95}</math> — 95%-я точка распределения Стьюдента.

Вариации и обобщения

На практике встречаются ситуации, когда необходимо исследовать не две альтернативы, а несколько альтернатив. Если эти альтернативы неупорядоченные, то говорят о множественной (multinominal) пробит-модели. В случае упорядоченных альтернатив (например, 5-балльная оценка качества услуги или товара) говорят о порядковой или упорядоченной (ordered) пробит-модели.

См. также

Примечания

Шаблон:Примечания

Литература

Партнерские ресурсы
Криптовалюты
Магазины
Хостинг
Разное

  1. ↑ 1,0 1,1 Шаблон:Статья
  2. ↑ Trevan, J.W. 1927. The error of determination of toxicity. Proc. Royal Soc. 101B: 483—514. цитировано по Альберт А. Избирательная токсичность. Физико-химические основы терапии. Пер. с англ. В 2 томах. Т. 1. — М: Медицина, 1989, С. 247. ISBN 5-225-01519-0
  3. ↑ Шаблон:Cite web
  4. ↑ en:Comparison_of_statistical_packages#Regression
  5. ↑ Шаблон:Книга
  6. ↑ Справочник по прикладной статистике. В 2-х т. Т. 1: Пер. с англ. / Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистика, 1989. — 510 с. — ISBN 5-279-00245-3
Источник — http://wikihandbk.com/ruwiki/index.php?title=Русская_Википедия:Пробит-регрессия&oldid=10649014