Алгоритм Берндта–Холла–Холла–Хаусмана

Алгоритм Берндта-Холла-Хаусмана ( BHHH ) — это числовой алгоритм оптимизации , аналогичный алгоритму Ньютона-Рафсона , но он заменяет наблюдаемую отрицательную матрицу Гессе внешним произведением градиента . Это приближение основано на равенстве информационной матрицы и, следовательно, действительно только при максимизации функции правдоподобия . ^[1] Алгоритм BHHH назван в честь четырех создателей: Эрнста Р. Берндта, Бронвина Холла , Роберта Холла и Джерри Хаусмана . ^[2]

Если нелинейная модель подгоняется под данные , часто требуется оценить коэффициенты посредством оптимизации . Ряд алгоритмов оптимизации имеют следующую общую структуру. Предположим, что оптимизируемая функция — это Q ( β ). Тогда алгоритмы являются итеративными, определяющими последовательность приближений, β _{k ,} заданную как

${\displaystyle \beta _{k+1}=\beta _{k}-\lambda _{k}A_{k}{\frac {\partial Q}{\partial \beta }}(\beta _{k }),}$,

где — оценка параметра на шаге k, а — параметр (называемый размером шага), который частично определяет конкретный алгоритм. Для алгоритма BHHH λ _k определяется вычислениями в рамках заданного итеративного шага, включающего линейный поиск до тех пор, пока не будет найдена точка β _{k +1} , удовлетворяющая определенным критериям. Кроме того, для алгоритма BHHH Q имеет вид${\displaystyle \beta _{k}}$${\displaystyle \лямбда _{k}}$

${\displaystyle Q=\sum _{i=1}^{N}Q_{i}}$

и A рассчитывается с использованием

${\displaystyle A_{k}=\left[\sum _{i=1}^{N}{\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k}){\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k})'\right]^{-1}.}$

В других случаях, например, Ньютон–Рафсон , может иметь другие формы. Алгоритм BHHH имеет то преимущество, что при соблюдении определенных условий сходимость итеративной процедуры гарантирована. ^{[ необходима цитата ]}${\displaystyle A_{k}}$

• Алгоритм Дэвидона–Флетчера–Пауэлла (DFP)
• Алгоритм Бройдена–Флетчера–Гольдфарба–Шанно (BFGS)

• В. Мартин, С. Херн и Д. Харрис, Эконометрическое моделирование с временными рядами , Глава 3 «Численные методы оценки». Cambridge University Press, 2015.
• Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. С. 137–138. ISBN 0-674-00560-0.
• Гилл, П.; Мюррей, У.; Райт, М. (1981). Практическая оптимизация . Лондон: Harcourt Brace.
• Гурьеру, Кристиан; Монфорт, Ален (1995). «Градиентные методы и оценка МЛ». Статистика и эконометрические модели . Нью-Йорк: Cambridge University Press. С.  452–458 . ISBN 0-521-40551-3.
• Харви, AC (1990). Эконометрический анализ временных рядов (второе издание). Кембридж: MIT Press. стр.  137–138 . ISBN 0-262-08189-X.