Русская Википедия:Коэффициент Байеса

Материал из Онлайн справочника
Перейти к навигацииПерейти к поиску

Коэффицие́нт Ба́йеса — байесовская альтернатива проверке статистических гипотезШаблон:SfnШаблон:Sfn. Байесовское сравнение моделей — метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделямиШаблон:Sfn. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нетШаблон:Sfn. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.

Определение

Коэффициент Байеса является отношением правдоподобия для предельного правдоподобия двух гипотез, обычно нулевой гипотезы и альтернативнойШаблон:Sfn.

Апостериорная вероятность <math>\Pr(M|D)</math> модели Шаблон:Math, задаваемой данными Шаблон:Math, определяется теоремой Байеса:

<math>\Pr(M|D)=\frac{\Pr(D|M)\Pr(M)}{\Pr(D)}.</math>

Ключевой зависящий от данных член <math>\Pr(D|M)</math> является правдоподобием модели Шаблон:Math с учётом данных Шаблон:Math и он представляет вероятность того, что некоторые данные получены в предположении принятия модели Шаблон:Math. Правильное вычисление этого члена является ключом байесовского сравнения моделей.

Если дана задача выбора модели, в которой мы должны выбрать между двумя моделями на основе наблюдаемых данных Шаблон:Math, относительная правдоподобность двух различных моделей Шаблон:Math и Шаблон:Math, параметризованных векторами параметров <math> \theta_1 </math> и <math> \theta_2 </math>, определяется коэффициентом Байеса Шаблон:Math, определяемым как

<math> K=\frac{\Pr(D|M_1)}{\Pr(D|M_2)}

= \frac{\int \Pr(\theta_1|M_1)\Pr(D|\theta_1,M_1)\,d\theta_1} {\int \Pr(\theta_2|M_2)\Pr(D|\theta_2,M_2)\,d\theta_2} = \frac{\Pr(M_1|D)}{\Pr(M_2|D)}\frac{\Pr(M_2)}{\Pr(M_1)}. </math>

Если две модели априори одинаково вероятны, так что <math>\Pr(M_1)=\Pr(M_2),</math> коэффициент Байеса равен отношению апостериорных вероятностей моделей Шаблон:Math и Шаблон:Math. Если вместо интеграла коэффициента Байеса используется правдоподобие, соответствующее максимальной оценке правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия. В отличие от теста отношения правдоподобия, байесовское сравнение моделей не зависит от какого-либо конкретного набора параметров, так как оно вычисляется в результате интегрирования по всем параметрам в каждой модели (с учётом априорных вероятностей). Однако преимущество использования коэффициентов Байеса заключается в том, что они автоматически и вполне естественным образом включают штраф за избыточное включение структуры моделиШаблон:Sfn. Это ограждает от переобучения. В случае моделей, у которых явный вид функции правдоподобия неизвестен или её вычисление слишком затратно, для байесовского выбора модели могут быть использованы Шаблон:Не переведено 5 Шаблон:Sfn, хотя следует принять во внимание, что приближённая байесовская оценка коэффициентов Байеса часто смещенаШаблон:Sfn.

Другие подходы:

Интерпретация

Значение Шаблон:Math означает, что гипотеза Шаблон:Math сильнее поддерживается данными, чем гипотеза Шаблон:Math. Заметим, что классическая проверка статистических гипотез принимает по умолчанию одну гипотезу (или модель) («нулевая гипотеза»), и рассматривает только свидетельства против неё. Гарольд Джеффрис приводит таблицу для интерпретации полученного значения Шаблон:MathШаблон:Sfn:

Шаблон:Math dHart битов Весомость доказательств

Шаблон:Чередующиеся строки таблицы

Второй столбец даёт соответствующие веса поддержки в единицах Шаблон:Не переведено 5 (известных также как Шаблон:Не переведено 5), биты добавлены в третьем столбце для ясности. Согласно И. Дж. Гуду, люди в повседневной жизни едва могут разумно оценить разницу в степени доверия гипотезе, соответствующую изменению веса на 1 децибан или 1/3 бита (например, отношение исходов 4:5 в 9 испытаниях с двумя возможными исходами)Шаблон:Sfn.

Альтернативную широко цитируемую таблицу предложили Касс и Рафтери (1995)Шаблон:Sfn:

Шаблон:Math Шаблон:Math Весомость доказательств

Шаблон:Чередующиеся строки таблицы

Использование коэффициентов Байеса или классической проверки статистических гипотез происходит в контексте вывода, а не принятия решений в условиях неопределённости. То есть мы только хотим найти, какая гипотеза верна, а не принимаем действительное решение на основе этой информации. Частотная статистика делает строгое различие между этими двумя подходами, поскольку классические методы проверки гипотез не когерентны в байесовском смысле. Байесовские процедуры, включая коэффициенты Байеса, когерентны, так что нет необходимости делать это различие. Вывод тогда просто рассматривается как частный случай принятия решения в условиях неопределённости, в котором конечным действием является возврат значения. Для принятия решений статистики, использующие байесовский подход, могут использовать коэффициент Байеса вместе с априорным распределением и функцией потерь. В контексте вывода функция потерь примет вид Шаблон:Не переведено 5. Использование Шаблон:Не переведено 5, например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака — Лейблера.

Пример

Предположим, что у нас есть случайная величина, которая принимает значение либо успех, либо неудача. Мы хотим сравнить модель Шаблон:Math, где вероятность успеха равна Шаблон:Math, и другую модель Шаблон:Math, в которой значение Шаблон:Math неизвестно, и мы принимаем в качестве априорного распределения для Шаблон:Math однородное распределение на [0,1]. Мы делаем 200 испытаний и получаем 115 успехов и 85 неудач. Правдоподобие может быть вычислено согласно биномиальному распределению:

<math>{{200 \choose 115}q^{115}(1-q)^{85}}.</math>

Тогда мы имеем для гипотезы Шаблон:Math

<math>P(X=115 \mid M_1)={200 \choose 115}\left({1 \over 2}\right)^{200}=0,005956...,\,</math>

тогда как для Шаблон:Math

<math>P(X=115 \mid M_2)=\int_{0}^1{200 \choose 115}q^{115}(1-q)^{85}dq={200 \choose 115} \times \int_{0}^1q^{115}(1-q)^{85}dq={200 \choose 115} \times </math> <math>\Beta(116,86)</math> <math>={200 \choose 115} \times </math> <math>\Gamma(116) \times \Gamma(86) \over \Gamma(116 + 86)</math> <math>=\frac {200!} { {115!} \times {85!} } \times \frac { {115!} \times {85!} } {201!}={1 \over 201}=0,004975....</math>

Отношение этих величин составляет 1,197…, следовательно, различие «едва заслуживает внимания», хотя выбор склоняется слегка в сторону Шаблон:Math.

Проверка этих статистических гипотез на основе Шаблон:Не переведено 5 Шаблон:Math (рассматривается здесь как нулевая гипотеза) даст совершенно другой результат. Такая проверка утверждает, что гипотеза Шаблон:Math должна быть отброшена на уровне значимости 5 %, поскольку вероятность получения 115 или более успехов из выборки в 200 элементов при Шаблон:Math равна 0,0200, а Шаблон:Не переведено 5 получения экстремума в 115 или более даёт 0,0400. Заметим, что 115 отличается от 100 более чем на два стандартных отклонения. Таким образом, в то время как проверка статистической гипотезы на основе частотного вывода даёт статистическую значимость на уровне 5 %, коэффициент Байеса вряд ли примет это как экстремальный результат. Заметим, однако, что неоднородное априорное распределение (например, такое, которое отражает ожидание, что числа успешных и неуспешных исходов будут одного порядка величины) может привести к коэффициенту Байеса, который больше согласуется с проверкой на основе частотного вывода.

В классическом тесте отношения правдоподобия была бы найдена оценка максимального правдоподобия для Шаблон:Math, равная Шаблон:Frac = 0,575, откуда

<math>\textstyle P(X=115 \mid M_2)={{200 \choose 115}q^{115}(1-q)^{85}}=0,056991</math>

(вместо усреднения по всем возможным Шаблон:Math). Это даёт отношение правдоподобия 0,1045 и указывает на гипотезу Шаблон:Math.

Шаблон:Math является более сложной моделью, чем Шаблон:Math, поскольку имеет свободный параметр, который позволяет описывать данные более согласованно. Способность коэффициентов Байеса учитывать это является причиной, почему байесовский вывод выдвигается как теоретическое обоснование и обобщение бритвы Оккама, в котором уменьшаются ошибки первого рода[1].

С другой стороны, современный метод относительного правдоподобия принимает во внимание число свободных параметров моделей, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель Шаблон:Math имеет 0 параметров, а потому её значение информационного критерия Акаике (AIC) равно 2 · 0 − 2 ln 0,005956 ≈ 10,2467. Модель Шаблон:Math имеет 1 параметр, а потому её значение AIC равно 2 · 1 − 2 ln 0,056991 ≈ 7,7297. Следовательно, Шаблон:Math с меньшей вероятностью минимизирует потерю информации, чем M2, примерно в exp((7,7297 − 10,2467)/2) ≈ 0,284 раза. Таким образом, Шаблон:Math слегка предпочтительнее, но Шаблон:Math отбрасывать нельзя.

Приложение

  • Коэффициент Байеса был применён для упорядочения динамической экспрессии генов вместо Шаблон:Math-значенияШаблон:Sfn.

См. также

Статистические показатели

Примечания

Шаблон:Примечания

Литература

Шаблон:Refbegin

Шаблон:Refend

Ссылка

Шаблон:Rq

Партнерские ресурсы
Криптовалюты
Магазины
Хостинг
Разное

  1. ↑ Шаблон:Cite web
Источник — http://wikihandbk.com/ruwiki/index.php?title=Русская_Википедия:Коэффициент_Байеса&oldid=10184593