Русская Википедия:Неравенство Крамера — Рао
Неравенство Краме́ра — Ра́о — неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.
Названо по именам шведского математика Харальда Крамера и индийского математика Кальямпуди Рао, но независимо от них устанавливалось также Фреше, Шаблон:Нп2, Шаблон:Нп2 и Сильверстоуном (Шаблон:Lang-en2). Известно обобщение в квантовой теории оценивания — квантовое неравенство Крамера — Рао.
Формулировка
Для статистической модели <math>(X,\,B,\,P_\theta)</math>, <math>x = (x_1,\dots,\,x_n)</math> — выборка размера <math>n</math>, — определена функция правдоподобия <math>L(\theta,\,x) = L(\theta,\;x_1,\,x_2,\dots\,x_n)</math> и выполнены следующие условия (условия регулярности):
- <math>L_{}^{} > 0</math> и везде дифференцируема по <math>\theta_{}^{}</math>;
- функция <math>U(\theta,\,x) = \frac{\partial \ln L(\theta,\,x)}{\partial \theta}</math> (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера);
- для любой статистики <math>\widehat{\theta}(x)</math> с конечным вторым моментом имеет место равенство:
- <math>\frac{\partial}{\partial \theta} \int\limits_X \widehat{\theta}(x)\, L(\theta,\,x)\, dx = \int\limits_X \widehat{\theta}(x)\, \frac{\partial}{\partial \theta} L(\theta,\,x)\, dx</math>.
Если при этих условиях дана статистика <math>\widehat{\theta}(x)</math>, которая несмещённо оценивает дифференцируемую функцию <math>\tau(\theta)</math>, то справедливо следующее неравенство:
- <math>\mathrm{D}_\theta \big(\widehat{\theta}(x)\big) \geqslant \frac{(\tau'(\theta))^2}{n I(\theta)}</math>, где <math>I(\theta)=M\left ( \frac {d \ln L(\theta, x)}{d\theta} \right )^2</math>;
а равенство достигается тогда и только тогда, когда:
- <math>\frac {d \ln L(\theta, x)}{d\theta} = a(\theta)(\widehat{\theta}(x)-\tau(\theta)) </math>.
Здесь <math>I^{}(\theta)</math> — количество информации по Фишеру в одном наблюдении, а <math>L(\theta, t)</math> — плотность распределения генеральной совокупности <math>X</math> в случае непрерывной статистической модели и вероятность события <math>(X=t)</math> в случае дискретной статистической модели.
Частный случай
Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а <math>\widehat{\theta}(x)</math> — несмещённая оценка параметра <math>\theta</math>, то:
- <math>\mathrm{D}_\theta\,\widehat{\theta}(x)\geqslant\frac{1}{I_n(\theta)}</math>.
Равенство в этом неравенстве достигается тогда и только тогда, когда <math>\hat \theta (x)-\theta=a(\theta)U(\theta,x)</math>.
Применение
Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.
Литература
- Математическая статистика, под ред. В. С. Зарубина, серия «Математика в техническом университете», вып. XVII, М., МГТУ, 2002
