Русская Википедия:Парадокс Линдли
Парадокс Линдли — это контринтуитивная ситуация в статистике, при которой байесовский и Шаблон:Не переведено 5 подходы к задаче проверки гипотез дают различные результаты при определённых выборах априорного распределения. Проблема разногласия между двумя подходами обсуждалась в книге Гарольда Джеффриса 1939 годаШаблон:Sfn. Проблема стала известна как парадокс Линдли после того, как Деннис Линдли высказал несогласие с парадоксом в статье 1957Шаблон:Sfn.
Хотя ситуация описывается как парадокс, различие байесовского и частотного подходов можно объяснить как использования их для ответа на фундаментально различные вопросы, а не действительного разногласия между двумя методами.
Как бы то ни было, для большого класса априорные разности между частотным и байесовским подходами вызваны сохранением уровня значимости. Как Линдли понял: «теория не может обосновать практику сохранения уровня значимости» и даже «некоторые вычисления, сделанные профессором Пирсоном в обсуждении этой статьи подчёркивают, насколько уровень значимости может меняться с изменением размера выборки, если потери и априорные вероятности остаются неизменными»Шаблон:Sfn. Фактически, если критичное значение растёт с ростом размера выборки достаточно быстро, рассогласование между частотным и байесовским подходами становится ничтожнымШаблон:SfnШаблон:Sfn.
Описание парадокса
Рассмотрим результат <math> x</math> некоторого эксперимента с двумя возможными объяснениями, гипотезами <math> H_0</math> и <math> H_1</math>, и некоторым априорным распределением <math> \pi</math>, представляющим неопределённость, какая гипотеза более точна перед рассмотрением <math> x</math>.
Парадокс Линдли обнаруживается в случае:
- Результат <math> x</math> оказывается «значимым» для частотного теста гипотезы <math> H_0</math>, показывающим значимое свидетельство к отбрасыванию гипотезы <math> H_0</math>, скажем, на уровне 5 %.
- Апостериорная вероятность гипотезы <math> H_0</math>, задаваемая результатом <math> x</math> высока, что убедительно свидетельствует о том, что гипотеза <math>H_0</math> больше согласуется с <math> x</math>, чем гипотеза <math> H_1</math>.
Эти результаты могут случиться в одно и то же время, если <math> H_0</math> очень специфично, <math> H_1</math> более размыто, а априорное распределение не даёт предпочтения ни одному из них, как показано ниже.
Численный пример
Мы можем проиллюстрировать парадокс Линдли численным примером. Представим себе город, в котором родились 49581 мальчиков и 48870 девочек за определённый период времени. Наблюдаемая доля <math> x</math> мальчиков составляет 49581/98451 ≈ 0,5036. Мы предполагаем, что число рождений мальчиков является биномиальной переменной с параметром <math> \theta</math>. Мы хотим проверить, равно ли <math> \theta</math> 0,5 или другому значению. То есть наша нулевая гипотеза гласит: <math> H_0: \theta=0,5</math>, а альтернативной гипотезой будет <math> H_1: \theta \neq 0,5</math>.
Частотный подход
Частотный подход проверки <math> H_0</math> заключается в вычислении p-значения, вероятности наблюдения доли мальчиков не менее <math>x</math> в предположении, что гипотеза <math>H_0</math> верна. Поскольку число рождений большое, мы можем использовать нормальную аппроксимацию для доли рождения мальчиков <math> X \sim N(\mu, \sigma^2)</math>, с <math> \mu = np = n\theta = 98451 \times 0,5 = 49225,5</math> и <math> \sigma^2 = n\theta (1-\theta) = 98451\times0,5\times0,5 = 24612,75</math> для вычисления
- <math> \begin{align}P(X \geq x \mid \mu=49225,5) = \int_{x = 49581}^{98451}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(\frac{u-\mu}{\sigma})^2/2}du \\
=\int_{x = 49581}^{98451}\frac{1}{\sqrt{2\pi(24612,75)}}e^{-\frac{(u-49225,5)^2}{24612,75}/2}du \approx 0,0117.\end{align} </math>
Мы также будем удивлены, если рассмотрим рождение 48870 девочек, то есть <math> x\approx 0,4964</math>, так что частотный тест обычно осуществаляет двухстороннюю проверку, для которой p-значение было бы <math> p \approx 2\times 0,0117 = 0,0235</math>. В обоих случаях p-значение меньше уровня значимости <math>\alpha</math> в 5%, так что частотный подход отвергает гипотезу <math> H_0</math> как несогласующуюся с наблюдаемыми данными.
Байесовский подход
Предполагая, что нет причин для предпочтения одной гипотезы другой, байесовский подход заключается в назначении априорных вероятностей <math> \pi(H_0) = \pi(H_1) = 0,5</math>, однородного распределения для <math> \theta</math> для гипотезы <math>H_1</math> и, затем, вычисления апостериорной вероятности для <math> H_0</math> с помощью теоремы Байеса,
- <math> P(H_0 \mid k) = \frac{P(k \mid H_0) \pi(H_0)}{P(k \mid H_0) \pi(H_0) + P(k \mid H_1) \pi(H_1)}.</math>
После наблюдения рождения <math> k = 49581</math> мальчиков из <math> n = 98451</math> новорождённых мы можем вычислить апостериорную вероятность каждой гипотезы с помощью функции распределения масс для биномиальной переменной,
- <math>\begin{align}
P(k \mid H_0) & = {n\choose k}(0,5)^k(1-0,5)^{n-k} \approx 1,95 \times 10^{-4} \\
P(k \mid H_1) & = \int_0^1 {n\choose k}\theta^k (1-\theta)^{n-k} d\theta = {n\choose k} \mathrm{\Beta}(k + 1, n - k + 1) = 1 / (n + 1) \approx 1,02 \times 10^{-5}
\end{align}</math> где <math> \mathrm{\Beta}(a,b)</math> является бета-функцией.
Из этих значений мы находим апостериорную вероятность <math>P(H_0 \mid k) \approx 0,95</math>, которая строго предпочитает <math> H_0</math> перед <math> H_1</math>.
Два подхода, частотный и байесовский, оказываются в конфликте, а это и есть «парадокс».
Примирение байесовского и частотного подходов
Однако, по меньшей мере, в примере Линдли, если мы возьмём последовательность уровней значимости <math>\alpha_n</math>, таких, что <math>\alpha_n=n^{-k}</math> с <math>k > \tfrac{1}{2}</math>, то апостериорная вероятность нулевой гипотезы стремится к 0, что согласуется с отказом от нулевой гипотезыШаблон:Sfn. В нашем числовом примере, если принять <math>k > \tfrac{1}{2}</math>, в результате получим уровень значимости 0,00318, так что частотный подход не будет отбрасывать нулевую гипотезу, которая в общих чертах согласуется с байесовским подходом.
Если используется информативное априорное распределение и проверка гипотезы, более похожей на гипотезу в частотном подходе, парадокс исчезает.
Например, если мы вычисляем апостериорное распределение <math>P(\theta \mid x, n)</math>, используя однородное априорное распределение с <math> \theta</math> (то есть <math>\pi(\theta \in [0,1]) = 1</math>), мы получим
- <math> P(\theta \mid k, n) = \mathrm{\Beta}(k + 1, n - k + 1).</math>
Если мы используем это для проверки вероятности, что новорождённый более вероятно будет мальчиком, чем девочкой, то есть <math>P(\theta > 0,5 \mid k, n)</math>, мы получим:
<math> \int_{0,5}^1 \mathrm{\Beta}(49582, 48871) \approx 0,983.</math>
Другими словами, очень похоже, что пропорция рождения мальчиков выше 0,5.
Ни один из анализов не даёт оценку Шаблон:Не переведено 5 прямо, но оба могут быть использованы для определения, например, является ли доля рождений мальчиков выше некоторого определённого порога.
Отсутствие действительного парадокса
Явное расхождение между двумя подходами вызвано комбинацией факторов. Во-первых, частотный подход проверяет <math>H_0</math> выше без учёта <math>H_1</math>. Байесовский подход вычисляет <math> H_0</math> как альтернативу к <math> H_1</math> и находит, что первая гипотеза больше согласуется с наблюдениями. Это потому, что последняя гипотеза существенно более размыта, так как значение <math>\theta</math> может быть любым в интервале <math> [0, 1]</math>, что приводит к очень низкой апостериорной вероятности. Чтобы понять, почему, полезно рассмотреть две гипотезы как генераторы наблюдений:
- В гипотезе <math> H_0</math> мы выбираем <math> \theta\approx0,500</math> и задаём вопрос, насколько правдоподобно видеть 49581 мальчика при 98451 новорождённом.
- В гипотезе <math> H_1</math> мы выбираем <math> \theta</math> случайно между 0 и 1 и задаём тот же вопрос.
Большинство возможных значений для <math>\theta</math> при гипотезе <math> H_1</math> очень плохо поддерживаются наблюдениями. По существу, явное несогласие между методами вообще не является несогласием, а являются двумя различными утверждениями относительно данных:
- Частотный подход находит, что <math> H_0</math> плохо объясняется наблюдениями.
- Байесовский подход находит, что гипотеза <math> H_0</math> существенно лучше объясняется наблюдениями, чем гипотеза <math> H_1</math>.
Отношение пола новорождённых в 50/50 (мальчиков/девочек) согласно частотному тесту неправдоподобно. Всё же отношение 50/50 является лучшим приближением, чем большинство, но не все другие отношения. Гипотеза <math> \theta \approx 0,504</math> подходила бы наблюдениям много лучше, чем все другие отношения, включая <math> \theta \approx 0,500</math>.
Например[1], из этого выбора гипотезы и априорной вероятности следует утверждение: «Если <math> \theta</math> > 0,49 и <math> \theta</math> < 0,51, то априорная вероятность <math>\theta</math> быть ровно 0,5 равна 0,50/0,51 <math>\approx</math> 98 %». Если дано такое сильное предпочтение для <math>\theta=0,5</math>, легко видеть, что байесовский подход высказывается в пользу <math>H_0</math>, учитывая, что <math>x\approx 0,5036</math>, даже когда наблюдаемое значение <math>x</math> лежит в <math>2,28\sigma</math> от 0,5. Отклонение более <math>2\sigma</math> от <math>H_0</math> считается значимым в частотном подходе, но значимость отклоняется априорной вероятностью в байесовском подходе.
Если смотреть в другую сторону, мы можем видеть, что априорное распределение существенно плоским с дельта-функцией в точке <math> \theta = 0,5</math>. Ясно, что является сомнительным. Фактически, если вы попробуете нарисовать вещественные числа как непрерывные, будет логично предположить, что невозможно для заданного параметра <math>P(\theta = 0,5) = 0</math>.
Более реалистичное распределение для <math>\theta</math> на альтернативной гипотезе даёт менее удивительные результаты для апостериорной вероятности гипотезы <math> H_0</math>. Например, если мы заменим <math> H_1</math> на <math> H_2: \theta = x</math>, то есть оценку максимального правдоподобия для <math> \theta</math>, апостериорная вероятность гипотезы <math> H_0</math> будет только 0,07 по сравнению с 0,93 для гипотезы <math> H_2</math> (конечно, нельзя использовать в действительности оценку максимального правдоподобия как часть априорного распределения).
Современное обсуждение
Парадокс продолжает активно обсуждатьсяШаблон:SfnШаблон:SfnШаблон:Sfn.
См. также
Примечания
Литература
- ↑ Данный раздел в английской версии подвергается критике как требующий полной переработки.
