Русская Википедия:Информация Фишера
Информа́ция Фи́шера — математическое ожидание квадрата относительной скорости изменения условной плотности вероятности <math>p(x|\theta)</math>Шаблон:Sfn. Эта функция названа в честь описавшего её Рональда Фишера.
Определение
Пусть <math>f(\theta,\;x_1,\dots,\,x_n)</math> — плотность распределения для данной статистической модели. Тогда если определена функция
- <math>I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;x_1,\dots,\,x_n)}{\partial \theta}\right)^2,\;L=\sum_{i=1}^n\ln f(\theta,x_i)</math>,
где <math>L(\theta,\;x_1,\dots,\,x_n)</math> — логарифмическая функция правдоподобия, а <math>\mathbb{E}_\theta</math> — математическое ожидание по <math>x</math> при данном <math>\theta</math>, то она называется информацией Фишера для данной статистической модели при <math>n</math> независимых испытаниях.
Если <math>\ln f(x;\theta)</math> дважды дифференцируем по <math>\theta</math>, и при определенных условиях регулярности, информацию Фишера можно переписать как [1]
- <math>I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2
= - \mathbb{E}_\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\right) </math>
Для регулярных моделей: <math>\mathbb{E}_\theta \left(\frac{\partial L(\theta,\;x_1,\dots,\,x_n)}{\partial \theta}\right) = 0</math> (В этом и состоит определение регулярности).
В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.
Фишеровским количеством информации, содержащемся в одном наблюдении называют:
- <math>I_i(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,x_i)}{\partial \theta}\right)^2</math>.
Для регулярных моделей все <math>I_i(\theta)</math> равны между собой.
Если выборка состоит из одного элемента, то информация Фишера записывается так:
- <math>I(\theta) = \mathbb{E}_\theta \left(\frac{\partial \ln f(\theta,\,x)}{\partial \theta}\right)^2</math>.
Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для <math>n</math> независимых испытаний <math>I_n(\theta) = nI(\theta)</math>.
Свойства
- Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин <math>\xi_1(\theta,\,x),\dots,\,\xi_n(\theta,\,x)</math> (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.
Сохранение информации достаточной статистикой
В общем случае, если <math>T = t(X)</math> — статистика выборки X, то
- <math> I_T(\theta)\leq I_X(\theta) </math>
Причем равенство достигается тогда и только тогда, когда T является достаточной статистикой.
Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика <math>T(X)</math> достаточна для параметра <math>\theta</math>, то существуют функции g и h такие, что:
- <math> f(X;\theta) = g(T(X), \theta) h(X)</math>
Равенство информации следует из:
- <math> \frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right]
= \frac{\partial}{\partial\theta} \ln \left[g(T(X);\theta)\right] </math>
что следует из определения информации Фишера и независимости <math>h(X)</math> от <math>\theta</math>.
См. также
Другие меры, используемые в теории информации:
Примечания
Литература
Шаблон:Перевести Шаблон:Нет иллюстрации Шаблон:Нет ссылок
- ↑ Шаблон:Книга , eq. (2.5.16).
