Русская Википедия:Распределение Дирихле
В теории вероятностей и математической статистике распределение Дирихле (по имени Иоганна Петера Густава Лежён-Дирихлe), часто обозначаемое <math>\mathrm{Dir}(\alpha)</math>— это семейство непрерывных многомерных вероятностных распределений параметризованных вектором α неотрицательных вещественных чисел. Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из <math>K</math> взаимоисключающих событий равна <math>x_i</math> при условии, что каждое событие наблюдалось <math>\alpha_i-1</math> раз.
Функция плотности вероятности
Функция плотности вероятности для распределения Дирихле порядка K естьШаблон:Sfn:
- <math>f(x_1, \dots, x_K; \alpha_1, \dots, \alpha_K) =\frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K x_i^{\alpha_i - 1} </math>
где <math>x_i \ge 0</math>, <math>\sum_{i=1}^K x_i = 1</math>, <math>\alpha_i > 0</math>, а <math>{\mathrm{B}(\alpha)} =\frac{\prod\limits_{i=1}^K \Gamma(\alpha_i)}{\Gamma\left(\sum\limits_{i=1}^K \alpha_i\right)}
</math> — многомерная бета-функция, где <math>\alpha=(\alpha_1,\ldots,\alpha_K). </math>
Свойства
Пусть <math>X = (X_1, \ldots,X_K)\sim\operatorname{Dir}(\alpha)</math> и <math>\alpha_0 =\sum_{i=1}^K\alpha_i,</math> тогдаШаблон:Sfn
- <math>\mathrm{E}[X_i \mid \alpha] = \frac{\alpha_i}{\alpha_0},</math>
- <math>\mathrm{Var}[X_i \mid \alpha] = \frac{\alpha_i(\alpha_0-\alpha_i)}{\alpha_0^2 (\alpha_0+1)},</math>
- <math>\mathrm{Cov}[X_iX_j \mid \alpha] = \frac{- \alpha_i\alpha_j}{\alpha_0^2 (\alpha_0+1)}.</math>
Модой распределения является вектор <math>x=(x_1,...,x_K)</math> с
- <math> x_i = \frac{\alpha_i - 1}{\alpha_0 - K}, \quad \alpha_i > 1. </math>
Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению, а именно: если
- <math>\beta \mid X=(\beta_1, \ldots, \beta_{K}) \mid X \sim\operatorname{Mult}(X),</math>
где βi — число вхождений i в выборку из n точек дискретного распределения на {1, …, K} определенного через X, то
- <math>X \mid \beta \sim \operatorname{Dir}(\alpha + \beta).</math>
Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры, X, дискретного вероятностного распределения, имея набор из n выборок. Очевидно, если априорное распределение обозначено как Dir(α), то Dir(α + β) есть апостериорное распределение после серии наблюдений с гистограммой β.
Связи с другими распределениями
Если для <math>i\in\{1,2,\ldots,K\},</math>
- <math>Y_i\sim\operatorname{Gamma}(\textrm{shape}=\alpha_i,\textrm{scale}=1)</math> независимо, то
- <math>V=\sum_{i=1}^KY_i\sim\operatorname{Gamma}(\textrm{shape}=\sum_{i=1}^K\alpha_i,\textrm{scale}=1),</math>
и
- <math>(X_1,\ldots,X_K) = (Y_1/V,\ldots,Y_K/V)\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_K).</math>
Несмотря на то, что Xi не являются независимыми друг от друга, они могут быть сгенерированы из набора из <math>K</math> независимых гамма случайных величин. К несчастью, так как сумма <math>V</math> теряется в процессе формирования X = (X1, …, XK), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.
Генерация случайных чисел
Метод построения случайного вектора <math>x=(x_1, \ldots, x_K)</math> для распределения Дирихле размерности K с параметрами <math>(\alpha_1, \ldots, \alpha_K)</math> следует непосредственно из этой связи. Сначала получим K независимых случайных выборок <math>y_1, \ldots, y_K</math> из гамма-распределений, каждое из которых имеет плотность
- <math> \frac{y_i^{\alpha_i-1} \; e^{-y_i}}{\Gamma (\alpha_i)},</math>
а затем положим
- <math>x_i = y_i \left/\sum_{j=1}^K y_j\right..</math>
Наглядная трактовка параметров
В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1,0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α / α0 определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α0.
См. также
Примечания
Литература
