Алгоритм подсчета очков

Алгоритм подсчета очков , также известный как подсчет очков Фишера , [1] представляет собой форму метода Ньютона , используемую в статистике для численного решения уравнений максимального правдоподобия , названную в честь Рональда Фишера .

Эскиз вывода

Пусть будут случайными величинами , независимыми и одинаково распределенными с дважды дифференцируемой плотностью вероятности , и мы хотим вычислить оценку максимального правдоподобия (ОМП) для . Сначала предположим, что у нас есть начальная точка для нашего алгоритма , и рассмотрим разложение Тейлора функции оценки , , около : И 1 , … , И н {\displaystyle Y_{1},\ldots ,Y_{n}} ф ( у ; θ ) {\displaystyle f(y;\theta)} θ ∗ {\displaystyle \тета ^{*}} θ {\displaystyle \тета} θ 0 {\displaystyle \тета _{0}} В ( θ ) {\displaystyle V(\theta)} θ 0 {\displaystyle \тета _{0}}

В ( θ ) ≈ В ( θ 0 ) − Дж. ( θ 0 ) ( θ − θ 0 ) , {\displaystyle V(\theta)\approx V(\theta _{0}) - {\mathcal {J}}(\theta _{0})(\theta -\theta _{0}),\,}

где

Дж. ( θ 0 ) = − ∑ я = 1 н ∇ ∇ ⊤ | θ = θ 0 бревно ⁡ ф ( И я ; θ ) {\displaystyle {\mathcal {J}}(\theta _{0})=-\sum _{i=1}^{n}\left.\nabla \nabla ^{\top }\right|_{\theta =\theta _{0}}\log f(Y_{i};\theta )}

— это наблюдаемая информационная матрица в . Теперь, установив , используя это и переставив, мы получаем: θ 0 {\displaystyle \тета _{0}} θ = θ ∗ {\displaystyle \тета =\тета ^{*}} В ( θ ∗ ) = 0 {\displaystyle V(\theta ^{*})=0}

θ ∗ ≈ θ 0 + Дж. − 1 ( θ 0 ) В ( θ 0 ) . {\displaystyle \theta ^{*}\approx \theta _{0}+{\mathcal {J}}^{-1}(\theta _{0})V(\theta _{0}).\,}

Поэтому мы используем алгоритм

θ м + 1 = θ м + Дж. − 1 ( θ м ) В ( θ м ) , {\displaystyle \theta _{m+1}=\theta _{m}+{\mathcal {J}}^{-1}(\theta _{m})V(\theta _{m}),\,}

и при определенных условиях регулярности можно показать, что . θ м → θ ∗ {\displaystyle \theta _{m}\rightarrow \theta ^{*}}

Оценка Фишера

На практике обычно заменяется на информацию Фишера , таким образом давая нам алгоритм подсчета очков Фишера : Дж. ( θ ) {\displaystyle {\mathcal {J}}(\theta )} я ( θ ) = Э [ Дж. ( θ ) ] {\displaystyle {\mathcal {I}}(\theta)=\mathrm {E} [{\mathcal {J}}(\theta)]}

θ м + 1 = θ м + я − 1 ( θ м ) В ( θ м ) {\displaystyle \theta _{m+1}=\theta _{m}+{\mathcal {I}}^{-1}(\theta _{m})V(\theta _{m})} ..

При некоторых условиях регулярности, если является состоятельной оценкой , то (коррекция после одного шага) является «оптимальной» в том смысле, что ее распределение ошибок асимптотически идентично распределению истинной оценки максимального правдоподобия. [2] θ м {\displaystyle \theta _{м}} θ м + 1 {\displaystyle \theta _{m+1}}

Смотрите также

Ссылки

  1. ^ Лонгфорд, Николас Т. (1987). «Быстрый алгоритм подсчета для оценки максимального правдоподобия в несбалансированных смешанных моделях с вложенными случайными эффектами». Biometrika . 74 (4): 817–827. doi :10.1093/biomet/74.4.817.
  2. ^ Ли, Бин; Бабу, Г. Джогеш (2019), «Байесовский вывод», Springer Texts in Statistics , Нью-Йорк, штат Нью-Йорк: Springer New York, Теорема 9.4, doi : 10.1007/978-1-4939-9761-9_6, ISBN 978-1-4939-9759-6, S2CID  239322258 , получено 2023-01-03

Дальнейшее чтение

  • Jennrich, RI & Sampson, PF (1976). "Ньютон-Рафсон и связанные с ним алгоритмы для оценки компонента дисперсии максимального правдоподобия". Technometrics . 18 (1): 11–17. doi :10.1080/00401706.1976.10489395 (неактивен 2024-09-12). JSTOR  1267911.{{cite journal}}: CS1 maint: DOI неактивен по состоянию на сентябрь 2024 г. ( ссылка )
Взято с "https://en.wikipedia.org/w/index.php?title=Scoring_algorithm&oldid=1245412676"