Русская Википедия:Ковариационная матрица

Материал из Онлайн справочника
Перейти к навигацииПерейти к поиску

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)

Определения

  • Пусть <math>\mathbf{X}:\Omega \to \mathbb{R}^n</math>, <math>\mathbf{Y}:\Omega \to \mathbb{R}^m</math> — два случайных вектора размерности <math>n</math> и <math>m</math> соответственно. Пусть также случайные величины <math>X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m</math> имеют конечный второй момент (дисперсию), то есть <math>X_i,Y_j \in L^2</math>. Тогда матрицей ковариации векторов <math>\mathbf{X},\mathbf{Y}</math> называется
<math>\Sigma = \mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbb{E}\left[(\mathbf{X} - \mathbb{E}\mathbf{X})(\mathbf{Y} - \mathbb{E}\mathbf{Y})^{\top}\right],</math>

то есть

<math>\Sigma = (\sigma_{ij})</math>,

где

<math>\sigma_{ij} = \mathrm{cov}(X_i,Y_j) \equiv \mathbb{E}\left[(X_i - \mathbb{E}X_i) (Y_j - \mathbb{E}Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m</math>,
<math>\mathbb{E}</math> — математическое ожидание.

Свойства матриц ковариации

  • Сокращённая формула для вычисления матрицы ковариации:
<math>\mathrm{cov}(\mathbf{X}) = \mathbb{E}\left[\mathbf{X} \mathbf{X}^{\top}\right] - \mathbb{E}[\mathbf{X}] \cdot \mathbb{E}\left[\mathbf{X}^{\top}\right]</math>.
<math>\mathrm{cov}(\mathbf{X}) \ge 0</math>.
  • Смена масштаба:
<math>\mathrm{cov}\left(\mathbf{a}^{\top} \mathbf{X}\right) = \mathbf{a}^{\top} \mathrm{cov}(\mathbf{X}) \mathbf{a},\; \forall \mathbf{a} \in \mathbb{R}^n</math>.
  • Если случайные векторы <math>\mathbf{X}</math> и <math>\mathbf{Y}</math> нескоррелированы (<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}</math>), то
<math>\mathrm{cov}(\mathbf{X} + \mathbf{Y}) = \mathrm{cov}(\mathbf{X}) + \mathrm{cov}(\mathbf{Y})</math>.
<math>\mathrm{cov}\left(\mathbf{A} \mathbf{X} + \mathbf{b}\right) = \mathbf{A} \mathrm{cov}(\mathbf{X}) \mathbf{A}^{\top}</math>,

где <math>\mathbf{A}</math> — произвольная матрица размера <math>n \times n</math>, а <math>\mathbf{b}\in \mathbb{R}^n</math>.

<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathrm{cov}(\mathbf{Y},\mathbf{X})^{\top}</math>
  • Матрица ковариации аддитивна по каждому аргументу:
<math>\mathrm{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \mathrm{cov}(\mathbf{X}_1,\mathbf{Y}) + \mathrm{cov}(\mathbf{X}_2,\mathbf{Y})</math>,
<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}_1 + \mathbf{Y}_2) = \mathrm{cov}(\mathbf{X},\mathbf{Y}_1) + \mathrm{cov}(\mathbf{X},\mathbf{Y}_2)</math>.
  • Если <math>\mathbf{X}</math> и <math>\mathbf{Y}</math> независимы, то
<math>\mathrm{cov}(\mathbf{X},\mathbf{Y}) = \mathbf{0}</math>.

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы <math>X</math> и <math>Y</math> имеют совместное нормальное распределение с математическими ожиданиями <math>\mu_X, \mu_Y</math>, ковариационными матрицами <math>V_X, V_Y</math> и матрицей ковариаций <math>C_{XY}</math>. Это означает, что объединенный случайный вектор <math> \boldsymbol Z = \begin{bmatrix} 

\boldsymbol X \\
\boldsymbol Y

\end{bmatrix} </math> подчиняется многомерному нормальному распределению с вектором математического ожидания <math> \boldsymbol \mu_{Z} = \begin{bmatrix} 

\boldsymbol \mu_X \\
\boldsymbol \mu_Y

\end{bmatrix}, </math> и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

<math> \boldsymbol V_Z = \begin{bmatrix} 

\boldsymbol V_X & \boldsymbol C_{XY} \\
\boldsymbol C_{YX} & \boldsymbol V_{Y}

\end{bmatrix} </math> где <math>C_{YX}=C^T_{XY}</math>

Тогда случайный вектор <math>Y</math> при заданном значении случайного вектора <math>X</math> имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

<math> E(Y|X=x)=\mu_Y+C_{YX}V^{-1}_X(x-\mu_X), \qquad V(Y|X=x)=V_Y-C_{YX}V^{-1}_XC_{XY}</math>

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора <math>Y</math> от заданного значения x случайного вектора <math>X</math>), причем матрица <math>C_{XY}V^{-1}</math> - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора <math>Y</math> на вектор <math>X</math>.

В случае если <math>Y</math> - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии <math>Y</math> на вектор <math>X</math>)

Примечания

Шаблон:Примечания

Партнерские ресурсы
Криптовалюты
Магазины
Хостинг
Разное

  1. ↑ 1,0 1,1 Шаблон:Книга
Источник — http://wikihandbk.com/ruwiki/index.php?title=Русская_Википедия:Ковариационная_матрица&oldid=10138479