Наблюдаемая информация
Матрица вторых производных логарифмической функции правдоподобия

В статистике наблюдаемая информация , или наблюдаемая информация Фишера , является отрицательной второй производной ( матрица Гессе ) «логарифма правдоподобия » (логарифма функции правдоподобия ). Это основанная на выборке версия информации Фишера .

Определение

Предположим, что мы наблюдаем случайные величины , независимые и одинаково распределенные с плотностью f ( X ; θ), где θ — (возможно, неизвестный) вектор. Тогда логарифм правдоподобия параметров при данных равен Х 1 , … , Х н {\displaystyle X_{1},\ldots ,X_{n}} θ {\displaystyle \тета} Х 1 , … , Х н {\displaystyle X_{1},\ldots ,X_{n}}

ℓ ( θ | Х 1 , … , Х н ) = ∑ я = 1 н бревно ⁡ ф ( Х я | θ ) {\displaystyle \ell (\theta |X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}\log f(X_{i}|\theta )} .

Мы определяем наблюдаемую информационную матрицу как θ ∗ {\displaystyle \тета ^{*}}

Дж. ( θ ∗ ) = − ∇ ∇ ⊤ ℓ ( θ ) | θ = θ ∗ {\displaystyle {\mathcal {J}}(\theta ^{*})=-\left.\nabla \nabla ^{\top }\ell (\theta )\right|_{\theta =\theta ^{ *}}}
= − ( ∂ 2 ∂ θ 1 2 ∂ 2 ∂ θ 1 ∂ θ 2 ⋯ ∂ 2 ∂ θ 1 ∂ θ п ∂ 2 ∂ θ 2 ∂ θ 1 ∂ 2 ∂ θ 2 2 ⋯ ∂ 2 ∂ θ 2 ∂ θ п ⋮ ⋮ ⋱ ⋮ ∂ 2 ∂ θ п ∂ θ 1 ∂ 2 ∂ θ п ∂ θ 2 ⋯ ∂ 2 ∂ θ п 2 ) ℓ ( θ ) | θ = θ ∗ {\displaystyle =-\left.\left({\begin{array}{cccc}{\tfrac {\partial ^{2}}{\partial \theta _{1}^{2}}}&{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{p}}}\\{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{2}^{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{p}}}\\\vdots &\vdots &\ddots &\vdots \\{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{p}^{2}}}\\\end{array}}\right)\ell (\theta )\right|_{\theta =\theta ^{*}}}

Поскольку обратная матрица информации является асимптотической ковариационной матрицей соответствующей оценки максимального правдоподобия , наблюдаемая информация часто оценивается по оценке максимального правдоподобия с целью проверки значимости или построения доверительного интервала . [1] Свойство инвариантности оценок максимального правдоподобия позволяет оценивать наблюдаемую информационную матрицу до ее инвертирования.

Альтернативное определение

Эндрю Гельман , Дэвид Дансон и Дональд Рубин [2] вместо этого определяют наблюдаемую информацию в терминах апостериорной вероятности параметров : п ( θ | у ) {\displaystyle p(\theta |y)}

я ( θ ) = − г 2 г θ 2 бревно ⁡ п ( θ | у ) {\displaystyle I(\theta )=-{\frac {d^{2}}{d\theta ^{2}}}\log p(\theta |y)}

Информация о Фишере

Информация Фишера — это ожидаемое значение наблюдаемой информации при условии единичного наблюдения, распределенного в соответствии с гипотетической моделью с параметром : я ( θ ) {\displaystyle {\mathcal {I}}(\theta)} Х {\displaystyle X} θ {\displaystyle \тета}

я ( θ ) = Э ( Дж. ( θ ) ) {\displaystyle {\mathcal {I}}(\theta)=\mathrm {E} ({\mathcal {J}}(\theta))} .

Сравнение с ожидаемой информацией

Сравнение наблюдаемой информации с ожидаемой информацией остается активной и продолжающейся областью исследований и дискуссий. Эфрон и Хинкли [3] предоставили частотное обоснование предпочтения наблюдаемой информации ожидаемой информации при использовании нормальных приближений к распределению оценки максимального правдоподобия в однопараметрических семействах при наличии вспомогательной статистики, которая влияет на точность MLE. Линдси и Ли показали, что матрица наблюдаемой информации дает минимальную среднеквадратичную ошибку в качестве приближения истинной информации, если игнорируется член ошибки . [4] В случае Линдси и Ли матрица ожидаемой информации по-прежнему требует оценки при полученных оценках ML, что вносит случайность. О ( н − 3 / 2 ) {\displaystyle O(n^{-3/2})}

Однако, когда основное внимание уделяется построению доверительных интервалов , сообщаются результаты, согласно которым ожидаемая информация превосходит наблюдаемый аналог. Юань и Сполл показали, что ожидаемая информация превосходит наблюдаемый аналог для построений доверительных интервалов скалярных параметров в смысле среднеквадратической ошибки . [5] Этот вывод был позже обобщен на многопараметрические случаи, хотя утверждение было ослаблено до ожидаемой информационной матрицы, работающей по крайней мере так же хорошо, как и наблюдаемая информационная матрица. [6]

Смотрите также

Ссылки

  1. ^ Додж, И. (2003) Оксфордский словарь статистических терминов , OUP. ISBN  0-19-920613-9
  2. ^ Гельман, Эндрю ; Карлин, Джон; Стерн, Хэл; Дансон, Дэвид ; Вехтари, Аки; Рубин, Дональд (2014). Байесовский анализ данных (3-е изд.). С. 84.
  3. ^ Эфрон, Б.; Хинкли , Д.В. (1978). «Оценка точности оценки максимального правдоподобия: наблюдаемая и ожидаемая информация Фишера». Biometrika . 65 (3): 457– 487. doi :10.1093/biomet/65.3.457. JSTOR  2335893. MR  0521817.
  4. ^ Линдсей, Брюс Г.; Ли, Бинг (1 октября 1997 г.). «Об оптимальности второго порядка наблюдаемой информации Фишера». Анналы статистики . 25 (5). doi : 10.1214/aos/1069362393 .
  5. ^ Юань, Сянъюй; Сполл, Джеймс С. (июль 2020 г.). «Доверительные интервалы с ожидаемой и наблюдаемой информацией Фишера в скалярном случае». Американская конференция по контролю (ACC) 2020 г. стр.  2599–2604 . doi :10.23919/ACC45564.2020.9147324. ISBN 978-1-5386-8266-1. S2CID  220888731.
  6. ^ Цзян, Сиханг; Сполл, Джеймс К. (24 марта 2021 г.). «Сравнение ожидаемой и наблюдаемой информации Фишера при интервальной оценке». 55-я ежегодная конференция по информационным наукам и системам (CISS) 2021 г. стр.  1– 6. doi :10.1109/CISS50987.2021.9400253. ISBN 978-1-6654-1268-1. S2CID  233332868.
Получено с "https://en.wikipedia.org/w/index.php?title=Наблюдаемая_информация&oldid=1182977712"