Русская Википедия:Многомерное нормальное распределение

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Файл:MultivariateNormal.png

Пример выборки из многомерного нормального распределения в пределах 3 сигм двух частных распределений

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения. Случайный вектор, имеющий многомерное нормальное распределение, называется гауссовским вектором.

Определения

Случайный вектор <math>\mathbf{X} = (X_1,\ldots, X_n)^{\top}: \Omega \to \mathbb{R}^n</math> имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

• Произвольная линейная комбинация компонентов вектора <math>\sum\limits_{i=1}^n a_i X_i</math> имеет нормальное распределение или является константой (это утверждение работает только если математическое ожидание равно 0).
• Существуют вектор независимых стандартных нормальных случайных величин <math>\mathbf{Z}=(Z_1,\ldots, Z_m)^{\top}</math>, вещественный вектор <math>\mathbf{\mu} = (\mu_1,\ldots, \mu_n)^{\top}</math> и матрица <math>\mathbf{A}</math> размерности <math>n \times m</math>, такие что:

<math>\mathbf{X} = \mathbf{A} \mathbf{Z} + \mathbf{\mu}</math>.

• Существуют вектор <math>\mathbf{\mu} \in \mathbb{R}^n</math> и неотрицательно определённая симметричная матрица <math>\mathbf{\Sigma}</math> размерности <math>n \times n</math>, такие что характеристическая функция вектора <math>\mathbf{X}</math> имеет вид:

<math>\phi_{\mathbf{X}}(\mathbf{u}) = e^{i \mathbf{\mu}^{\top} \mathbf{u} - \frac{1}{2}\mathbf{u}^{\top} \Sigma \mathbf{u}},\; \mathbf{u} \in \mathbb{R}^n</math>.

Плотность невырожденного нормального распределения

• Если рассматривать только распределения с невырожденной ковариационной матрицей, то эквивалентным будет также следующее определение:

Существует вектор <math>\mathbf{\mu} \in \mathbb{R}^n</math> и положительно определённая симметричная матрица <math>\mathbf{\Sigma}</math> размерности <math>n \times n</math>, такие что плотность вероятности вектора <math>\mathbf{X}</math> имеет видШаблон:Sfn::

<math>f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi )^{n/2} \vert \Sigma \vert^{1/2}} e^{-\frac{1}{2}(\mathbf{x} - \mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} - \mathbf{\mu})},\; \mathbf{x} \in \mathbb{R}^n</math>,

где <math>\vert \Sigma\vert </math> — определитель матрицы <math>\Sigma</math>, а <math>\Sigma^{-1}</math> — матрица обратная к <math>\Sigma</math>

• Вектор <math>\mathbf{\mu}</math> является вектором средних значений <math>\mathbf{X}</math>, а <math>\Sigma</math> — его ковариационная матрица.
• В случае <math>n = 1</math>, многомерное нормальное распределение сводится к обычному нормальному распределению.
• Если случайный вектор <math>\mathbf{X}</math> имеет многомерное нормальное распределение, то пишут <math>\mathbf{X} \sim \mathcal{N}(\mathbf{\mu},\Sigma)</math>.

Двумерное нормальное распределение

Частным случаем многомерного нормального распределения является двумерное нормальное распределение. В этом случае имеем две случайные величины <math>X_1, X_2</math> с математическими ожиданиями <math>\mu_1, \mu_2</math>, дисперсиями <math>\sigma^2_1, \sigma^2_2</math> и ковариацией <math>\sigma_{12}</math>. В этом случае ковариационная матрица имеет размер 2, её определитель равен

<math>

\mathrm{det} \Sigma= \sigma^2_1 \sigma^2_2-\sigma^2_{12} =\sigma_1^2\sigma_2^2 (1-\rho^2), </math>

где <math> \rho = \frac{\sigma_{12}}{\sigma_1\sigma_2}</math> — коэффициент корреляции случайных величин.

Тогда плотность двумерного невырожденного (коэффициент корреляции по модулю не равен единице) нормального распределения можно записать в виде:

<math>

f(x_1,x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp \left\{ -\frac{1}{2(1-\rho^2)}\left[ \frac{(x_1-\mu_1)^2}{\sigma_1^2}-\rho \frac{2(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2} +\frac{(x_2-\mu_2)^2}{\sigma_2^2}\right] \right\}</math>.

В том случае, если <math>X \sim \mathcal{N}(\mu_1,\sigma^2_1), Y \sim \mathcal{N}(\mu_2,\sigma^2_2), cov(X,Y)=\sigma_{12}</math> (то есть <math>X, Y</math> являются зависимыми), их сумма все еще распределена нормально, но в дисперсии появляется дополнительное слагаемое <math> 2\sigma_{12}</math>: <math>X+Y \sim \mathcal{N}(\mu_1+\mu_2,\sigma^2_1+\sigma^2_2+2\sigma_{12})</math>.

Свойства многомерного нормального распределения

• Если вектор <math>\mathbf{X} = (X_1,\ldots, X_n)^{\top}</math> имеет многомерное нормальное распределение, то его компоненты <math>X_i, i=1,\ldots, n,</math> имеют одномерное нормальное распределение. Обратное верно при независимости компонент.
• Если случайные величины <math>X_1,\ldots,X_n</math> имеют одномерное нормальное распределение и совместно независимы, то случайный вектор <math>\mathbf{X} = (X_1,\ldots, X_n)^{\top}</math> имеет многомерное нормальное распределение. Матрица ковариаций <math>\Sigma</math> такого вектора диагональна.
• Если <math>\mathbf{X} = (X_1,\ldots, X_n)^{\top}</math> имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если некоторые случайные величины <math>X_i,\; i = 1 , \ldots, n</math> имеют одномерные нормальные распределения и попарно не коррелируют, то отсюда не следует, что они независимы и имеют многомерное нормальное распределение.

Пример. Пусть <math>X \sim \mathcal{N}(0,1)</math>, а <math>\alpha = \pm 1</math> с равными вероятностями и независима от указанной нормальной величины. Тогда если <math>Y = \alpha X \sim \mathcal{N}(0,1)</math>, то корреляция <math>X</math> и <math>Y</math> равна нулю. Однако, эти случайные величины зависимы и в силу первого утверждения абзаца не имеют многомерного нормального распредедения.

• Многомерное нормальное распределение устойчиво относительно линейных преобразований. Если <math>\mathbf{X} \sim \mathcal{N}(\mathbf{\mu},\Sigma)</math>, а <math>\mathbf{A}</math> — произвольная матрица размерности <math>m \times n</math>, то

<math>\mathbf{A}\mathbf{X} \sim \mathrm{N}\left(\mathbf{A}\mathbf{\mu},\mathbf{A}\Sigma \mathbf{A}^{\top}\right).</math>

Таким преобразованием и сдвигом любое невырожденное нормальное распределение можно привести к вектору независимых стандартных нормальных величин.

Моменты многомерного нормального распределения

Пусть <math>X</math> — центрированные (с нулевым математическим ожиданием) случайные величины имеющие многомерное нормальное распределение, тогда моменты <math>\mu_{i_1i_2i_3...i_k}=E(X_{i_1} X_{i_2}X_{i_3}...X_{i_k})</math> для нечетных <math>k</math> равно нулю, а для четных <math>k=2m</math> вычисляется по формуле

<math>\sum \sigma_{i_{t_1}i_{t_2}}\sigma_{i_{t_3}i_{t_4}}\sigma_{i_{t_4}i_{t_5}}...\sigma_{i_{t_{k-1}}i_{t_k}}</math>

где суммирование осуществляется по всевозможным разбиениям индексов на пары. Количество множителей в каждом слагаемом равно <math>m</math>, количество слагаемых равно <math>\frac {(2m)!}{2^{m}m!}=\frac {(2m-1)!}{2^{m-1}(m-1)!}</math>

Например, для моментов четвертого порядка в каждом слагаемом по два множителя и общее количество слагаемых будет равно <math>4!/(2^2\cdot 2!)= (1\cdot 2\cdot 3\cdot 4)/(4\cdot 2\cdot 1)=3</math>. Соответствующая общая формула для моментов четвертого порядка имеет вид:

<math>\mu_{ijkm}=E(X_{i} X_{j}X_{k}X_{m})=\sigma_{ij}\sigma_{km}+\sigma_{ik}\sigma_{jm}+\sigma_{im}\sigma_{kj}</math>

В частности если <math>i=j=k=m</math>

<math>\mu_{iiii}=E(X^4_i)=3 {\sigma}_{ii}^2=3{\sigma}_i^4</math>

При <math>i=j\not = k=m</math>

<math>\mu_{iijj}=E(X^2_iX^2_j)={\sigma}_{ii}{\sigma}_{jj}+2{\sigma}_{ij}={\sigma}^2_{i}{\sigma}^2_{j}+2{\sigma}_{ij}</math>

При <math>i=j=k \not=m</math>

<math>\mu_{iiij}=E(X^3_iX_j)={\sigma}_{ii}{\sigma}_{ij}+{\sigma}_{ii}{\sigma}_{ij}+{\sigma}_{ij}{\sigma}_{ii}=3{\sigma}_{ij}{\sigma}_{ii}=3{\sigma}^2_{i}{\sigma}_{ij}</math>

Условное распределение

Пусть случайные векторы <math>X</math> и <math>Y</math> имеют совместное нормальное распределение с математическими ожиданиями <math>\mu_X, \mu_Y</math>, ковариационными матрицами <math>V_X, V_Y</math> и матрицей ковариаций <math>C_{XY}</math>. Это означает, что объединенный случайный вектор <math> \boldsymbol Z = \begin{bmatrix}

\boldsymbol X \\
\boldsymbol Y

\end{bmatrix} </math> подчиняется многомерному нормальному распределению с вектором математического ожидания <math> \boldsymbol \mu_{Z} = \begin{bmatrix}

\boldsymbol \mu_X \\
\boldsymbol \mu_Y

\end{bmatrix} </math> и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы

<math>

\boldsymbol V_Z = \begin{bmatrix}

\boldsymbol V_X & \boldsymbol C_{XY} \\
\boldsymbol C_{YX} & \boldsymbol V_{Y}

\end{bmatrix} </math>, где <math>C_{YX}=C^T_{XY}</math>.

Тогда случайный вектор <math>Y</math> при заданном значении случайного вектора <math>X</math> имеет (многомерное) нормальное условное распределение со следующим условным математическим ожиданием и условной ковариационной матрицей

<math> E(Y|X=x)=\mu_Y+C_{YX}V^{-1}_X(x-\mu_X), \qquad V(Y|X=x)=V_Y-C_{YX}V^{-1}_XC_{XY}</math>.

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора <math>Y</math> от заданного значения x случайного вектора <math>X</math>), причем матрица <math>C_{XY}V^{-1}</math> — матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора <math>Y</math> на вектор <math>X</math>. В случае если <math>Y</math> — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу дисперсия случайной ошибки регрессии <math>Y</math> на вектор <math>X</math>)

Литература

• Шаблон:Книга