Русская Википедия:Дельта-метод (статистика)

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Шаблон:Значения Дельта-метод (в статистике) — вероятностное распределение функции от асимптотически нормальной статистической оценки при известной асимптотической дисперсии этой оценки.

Одномерный дельта-метод

Хотя дельта-метод легко обобщается до многомерного случая, аккуратное обоснование этой техники проще продемонстрировать в одномерной постановке задачи. Грубо говоря, если существует последовательность случайных величин Шаблон:Mvar , удовлетворяющая:

<math>{\sqrt{n}[X_n-\theta]\,\xrightarrow{D}\,\mathcal{N}(0,\sigma^2)}</math>

где θ и σ² - конечные константы, а <math>\xrightarrow{D}</math> обозначает сходимость по распределению, то верно:

<math>{\sqrt{n}[g(X_n)-g(\theta)]\,\xrightarrow{D}\,\mathcal{N}(0,\sigma^2[g'(\theta)]^2)}</math>

для любой функции g, такой, что  Шаблон:Math существует, принимает ненулевые значения, и полиномиально ограничена случайной величиной.

Доказательство в одномерном случае

Демонстрация этого результата довольно очевидна в предположении, что Шаблон:Math непрерывна. 

По формуле Лагранжа: <math>g(X_n)=g(\theta)+g'(\tilde{\theta})(X_n-\theta),</math>

где <math>\tilde{\theta}</math> лежит между Шаблон:Mvar и θ.

Поскольку  <math>X_n\,\xrightarrow{P}\,\theta</math> и<math>X_n < \tilde{\theta} < \theta </math>, то <math>\tilde{\theta} \,\xrightarrow{P}\,\theta</math> , и поскольку Шаблон:Math непрерывна, применение теоремы о непрерывном отображении даёт:

<math>g'(\tilde{\theta})\,\xrightarrow{P}\,g'(\theta),</math>

где <math>\xrightarrow{P}</math> обозначает сходимость по вероятности.

Перестановка слагаемых и умножение на  <math>\sqrt{n}</math> даёт <math>\sqrt{n}[g(X_n)-g(\theta)]=g' \left (\tilde{\theta} \right )\sqrt{n}[X_n-\theta].</math>

Так как <math>{\sqrt{n}[X_n-\theta] \xrightarrow{D} \mathcal{N}(0,\sigma^2)}</math> по предположению, то применение теоремы Слуцкого даёт <math>{\sqrt{n}[g(X_n)-g(\theta)] \xrightarrow{D} \mathcal{N}(0,\sigma^2[g'(\theta)]^2)}.</math>

Это завершает доказательство.

Доказательство с явным порядком приближения

Как вариант, можно добавить ещё один шаг в конце, чтобы выразить степень приближения.

<math>

\begin{align} \sqrt{n}[g(X_n)-g(\theta)]&=g' \left (\tilde{\theta} \right )\sqrt{n}[X_n-\theta]=\sqrt{n}[X_n-\theta]\left[ g'(\tilde{\theta} )+g'(\theta)-g'(\theta)\right]\\ &=\sqrt{n}[X_n-\theta]\left[g'(\theta)\right]+\sqrt{n}[X_n-\theta]\left[ g'(\tilde{\theta} )-g'(\theta)\right]\\ &=\sqrt{n}[X_n-\theta]\left[g'(\theta)\right]+O_p(1)\cdot o_p(1)\\ &=\sqrt{n}[X_n-\theta]\left[g'(\theta)\right]+o_p(1) \end{align} </math> Это говорит о том, что ошибка аппроксимации сходится к 0 по вероятности.

Многомерный дельта-метод

По определению, состоятельная оценка B сходится по вероятности к своему истинному значению β, и зачастую можно применить центральную предельную теорему, чтобы получить асимптотически нормальную оценку:

<math>\sqrt{n}\left(B-\beta\right)\,\xrightarrow{D}\,N\left(0, \Sigma \right),</math>

где n -- число наблюдений и Σ -- (симметричная, положительно определённая) ковариационная матрица. Предположим, мы хотим оценить дисперсию скалярной функции h от оценки B. Возьмём первых два члена ряда Тейлора и используя векторную нотацию градиента, мы можем оценить h(B) как

<math>h(B) \approx h(\beta) + \nabla h(\beta)^T \cdot (B-\beta)</math>

что означает, что дисперсия h(B) примерно

<math>\begin{align}

\operatorname{Var}\left(h(B)\right) & \approx \operatorname{Var}\left(h(\beta) + \nabla h(\beta)^T \cdot (B-\beta)\right) \\

& = \operatorname{Var}\left(h(\beta) + \nabla h(\beta)^T \cdot B - \nabla h(\beta)^T \cdot \beta\right) \\
& = \operatorname{Var}\left(\nabla h(\beta)^T \cdot B\right) \\
& = \nabla h(\beta)^T \cdot \operatorname{Cov}(B) \cdot \nabla h(\beta) \\
& = \nabla h(\beta)^T \cdot \frac{\Sigma}{n} \cdot \nabla h(\beta)

\end{align}</math>

Можно использовать формулу конечных приращений (для действительнозначных функций нескольких переменных), чтобы увидеть, что это не влияет на приближения в первом порядкеШаблон:?.

Дельта метод утверждает, что

<math>\sqrt{n}\left(h(B)-h(\beta)\right)\,\xrightarrow{D}\,N\left(0, \nabla h(\beta)^T \cdot \Sigma \cdot \nabla h(\beta)\right)</math>

или в одномерном случае:

<math>\sqrt{n}\left(h(B)-h(\beta)\right)\,\xrightarrow{D}\,N\left(0, \sigma^2 \cdot \left(h^\prime(\beta)\right)^2 \right).</math>