Русская Википедия:Теорема Рао — Блэквелла — Колмогорова
Теорема Рао — Блэквелла — Колмогорова — утверждение в математической статистике, на основе которого можно улучшать статистические оценки параметров.
Пусть <math>X_1, \ldots, X_n</math> — последовательность независимых одинаково распределённых случайных величин с распределением, зависящим от некоторого неизвестного параметра <math>\theta \in \Theta.</math> Пусть <math>\hat{\theta}(X)</math> — некоторая статистическая оценка этого неизвестного параметра с конечной матрицей вторичных моментов, а <math>T = \mathrm{T}(X)\;</math> — достаточная статистика для параметра <math>\theta.</math> Тогда существует <math>\hat{\theta}_{1}(X) = \textrm{E}[\hat{\theta}(X)|T(X)]</math> и кроме того <math>\hat{\theta}_{1}(X)</math> является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть для любого вектора z необходимой размерности выполняется неравенство:
- <math>z \textrm{E}[(\hat{\theta}_{1}(X)-\theta)^{T}(\hat{\theta}_{1}(X)-\theta)] z^T\leqslant z \textrm{E}[(\hat{\theta}(X)-\theta)^{T}(\hat{\theta}(X)-\theta)] z^T.</math>
Равенство выполняется лишь тогда, когда <math>\hat{\theta}</math> является измеримой функцией от T.
Доказательство
Доказательство для случая когда параметр является одним числом, то есть его размерность равна единице. Тогда
- <math>\operatorname{E} [\hat{\theta}_1(X)-\theta]^2 = \operatorname{E} \left[\textrm{E}(\hat{\theta}(X)|T(X)) -\theta \right]^2
= \operatorname{E} \left[\textrm{E}(\hat{\theta}(X) - \theta |T(X)) \right]^2
\leqslant \operatorname{E} \left[\textrm{E}((\hat{\theta}(X) - \theta)^2 |T(X)) \right] = \operatorname{E}(\hat{\theta}(X)-\theta)^2.</math>
Неравенство следует из того, что для любой случайной величины W, <math>\operatorname{var} W = \operatorname{E} W^2 -(\operatorname{E} W)^2 ] \geqslant 0,</math> если взять <math>W = \textrm{E}(\hat{\theta}(X) - \theta |T(X)).</math> Отсюда также видим, что равенство выполняется лишь когда <math>\operatorname{var}\, W = 0,</math> то есть когда <math>\hat{\theta}(X) - \theta</math> принимает одно значение для каждого значения T, то есть <math>\hat{\theta}(X)</math> является функцией от T.
См. также
Литература
- Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
- Nikulin, M.S. (2001), "Rao–Blackwell–Kolmogorov theorem", in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1556080104
