Гамильтониан (теория управления)

Гамильтониан — это функция, используемая для решения задачи оптимального управления для динамической системы . Его можно понимать как мгновенное приращение лагранжева выражения задачи, которая должна быть оптимизирована за определенный период времени. ^[1] Вдохновленный гамильтонианом классической механики, но отличающийся от него , гамильтониан теории оптимального управления был разработан Львом Понтрягиным как часть его принципа максимума . ^[2] Понтрягин доказал, что необходимым условием решения задачи оптимального управления является то, что управление должно быть выбрано таким образом, чтобы оптимизировать гамильтониан. ^[3]

Рассмотрим динамическую систему дифференциальных уравнений первого порядка${\displaystyle n}$

${\displaystyle {\dot {\mathbf {x} }}(t)=\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)}$

где обозначает вектор переменных состояния, а вектор переменных управления. После того, как начальные условия и элементы управления заданы, можно найти решение дифференциальных уравнений, называемое траекторией . Задача оптимального управления состоит в выборе (из некоторого набора ) так, чтобы максимизировать или минимизировать определенную целевую функцию между начальным временем и конечным временем (где может быть бесконечность ). В частности, цель состоит в оптимизации по индексу производительности, определенному в каждый момент времени,${\displaystyle \mathbf {x} (t)=\left[x_{1}(t),x_{2}(t),\ldots ,x_{n}(t)\right]^{\mathsf {T}}}$${\displaystyle \mathbf {u} (t)=\left[u_{1}(t),u_{2}(t),\ldots ,u_{r}(t)\right]^{\mathsf {T}}}$${\displaystyle \mathbf {x} (t_{0})=\mathbf {x} _{0}}$${\displaystyle \mathbf {u} (t)}$ ${\displaystyle \mathbf {x} (t;\mathbf {x} _{0},t_{0})}$${\displaystyle \mathbf {u} (t)}$${\displaystyle {\mathcal {U}}\subseteq \mathbb {R} ^{r}}$${\displaystyle \mathbf {x} (t)}$${\displaystyle t=t_{0}}$${\displaystyle t=t_{1}}$${\displaystyle t_{1}}$${\displaystyle I(\mathbf {x} (t),\mathbf {u} (t),t)}$

${\displaystyle \max _{\mathbf {u} (t)}J}$, с${\displaystyle J=\int _{t_{0}}^{t_{1}}I[\mathbf {x} (t),\mathbf {u} (t),t]\,\mathrm {d} t}$

в соответствии с приведенными выше уравнениями движения переменных состояния. Метод решения включает определение вспомогательной функции, известной как гамильтониан управления

который объединяет целевую функцию и уравнения состояния подобно лагранжиану в статической задаче оптимизации, за исключением того, что множители, называемые переменными состояния , являются функциями времени, а не константами.${\displaystyle \mathbf {\lambda } (t)}$

Цель состоит в том, чтобы найти оптимальную функцию политики управления и, вместе с ней, оптимальную траекторию переменной состояния , которые по принципу максимума Понтрягина являются аргументами, максимизирующими гамильтониан,${\displaystyle \mathbf {u} ^{\ast }(t)}$${\displaystyle \mathbf {x} ^{\ast }(t)}$

${\displaystyle H(\mathbf {x} ^{\ast }(t),\mathbf {u} ^{\ast }(t),\mathbf {\lambda } (t),t)\geq H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}$для всех${\displaystyle \mathbf {u} (t)\in {\mathcal {U}}}$

Необходимые условия первого порядка для максимума задаются формулой

${\displaystyle {\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {u} }}=0\quad }$что является принципом максимума,

${\displaystyle {\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {\lambda } }}={\dot {\mathbf {x} }}(t)\quad }$которая генерирует функцию перехода состояния ,${\displaystyle \,\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)={\dot {\mathbf {x} }}(t)}$

${\displaystyle {\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {x} }}=-{\dot {\mathbf {\lambda } }}(t)\quad }$который генерирует уравнения состояния ${\displaystyle \,{\dot {\mathbf {\lambda } }}(t)=-\left[I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)\right]}$

Вместе уравнения состояния и состояния описывают динамическую систему Гамильтона (опять же аналогичную, но отличную от гамильтоновой системы в физике), решение которой включает двухточечную граничную задачу , учитывая, что существуют граничные условия, включающие две различные точки во времени, начальное время ( дифференциальные уравнения для переменных состояния) и конечное время ( дифференциальные уравнения для переменных состояния; если не указана конечная функция, граничные условия имеют вид , или для бесконечных временных горизонтов). ^[4]${\displaystyle 2n}$${\displaystyle n}$${\displaystyle n}$${\displaystyle \mathbf {\lambda } (t_{1})=0}$${\displaystyle \lim _{t_{1}\to \infty }\mathbf {\lambda } (t_{1})=0}$

Достаточным условием максимума является вогнутость гамильтониана, вычисленного в решении, т.е.

${\displaystyle H_{\mathbf {uu} }(\mathbf {x} ^{\ast }(t),\mathbf {u} ^{\ast }(t),\mathbf {\lambda } (t),t)\leq 0}$

где — оптимальное управление, а — результирующая оптимальная траектория для переменной состояния. ^[5] В качестве альтернативы, согласно результату Олви Л. Мангасаряна , необходимые условия достаточны, если функции и являются вогнутыми по и . ^[6]${\displaystyle \mathbf {u} ^{\ast }(t)}$${\displaystyle \mathbf {x} ^{\ast }(t)}$${\displaystyle I(\mathbf {x} (t),\mathbf {u} (t),t)}$${\displaystyle \mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)}$${\displaystyle \mathbf {x} (t)}$${\displaystyle \mathbf {u} (t)}$

Задача ограниченной оптимизации , подобная той, что изложена выше, обычно предполагает выражение Лагранжа, а именно:

${\displaystyle L=\int _{t_{0}}^{t_{1}}I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\left[\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)-{\dot {\mathbf {x} }}(t)\right]\,\mathrm {d} t}$

где сравнивается с множителем Лагранжа в статической задаче оптимизации, но теперь, как отмечено выше, является функцией времени. Чтобы исключить , последний член в правой части можно переписать с использованием интегрирования по частям , так что${\displaystyle \mathbf {\lambda } (t)}$${\displaystyle {\dot {\mathbf {x} }}(t)}$

${\displaystyle -\int _{t_{0}}^{t_{1}}\mathbf {\lambda } ^{\mathsf {T}}(t){\dot {\mathbf {x} }}(t)\,\mathrm {d} t=-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathbf {x} (t_{0})+\int _{t_{0}}^{t_{1}}{\dot {\mathbf {\lambda } }}^{\mathsf {T}}(t)\mathbf {x} (t)\,\mathrm {d} t}$

которое можно подставить обратно в выражение Лагранжа, чтобы получить

${\displaystyle L=\int _{t_{0}}^{t_{1}}\left[I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)+{\dot {\mathbf {\lambda } }}^{\mathsf {T}}(t)\mathbf {x} (t)\right]\,\mathrm {d} t-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathbf {x} (t_{0})}$

Чтобы вывести условия первого порядка для оптимума, предположим, что решение найдено и лагранжиан максимизирован. Тогда любое возмущение или должно привести к снижению значения лагранжиана. В частности, полная производная подчиняется${\displaystyle \mathbf {x} (t)}$${\displaystyle \mathbf {u} (t)}$${\displaystyle L}$

${\displaystyle \mathrm {d} L=\int _{t_{0}}^{t_{1}}\left[\left(I_{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)\right)\mathrm {d} \mathbf {u} (t)+\left(I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+{\dot {\mathbf {\lambda } }}(t)\right)\mathrm {d} \mathbf {x} (t)\right]\mathrm {d} t-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathrm {d} \mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathrm {d} \mathbf {x} (t_{0})\leq 0}$

Для того чтобы это выражение было равно нулю, необходимы следующие условия оптимальности:

${\displaystyle {\begin{aligned}\underbrace {I_{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)} _{={\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {u} }}}&=0\\\underbrace {I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)} _{={\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {x} }}}+{\dot {\mathbf {\lambda } }}(t)&=0\end{aligned}}}$

Если и начальное значение , и конечное значение фиксированы, т. е . , то не требуется никаких условий на и . Если конечное значение свободно, как это часто бывает, то дополнительное условие необходимо для оптимальности. Последнее называется условием трансверсальности для задачи с фиксированным горизонтом. ^[7]${\displaystyle \mathbf {x} (t_{0})}$${\displaystyle \mathbf {x} (t_{1})}$${\displaystyle \mathrm {d} \mathbf {x} (t_{0})=\mathrm {d} \mathbf {x} (t_{1})=0}$${\displaystyle \mathbf {\lambda } (t_{0})}$${\displaystyle \mathbf {\lambda } (t_{1})}$${\displaystyle \mathbf {\lambda } (t_{1})=0}$

Видно, что необходимые условия идентичны указанным выше для гамильтониана. Таким образом, гамильтониан можно понимать как устройство для генерации необходимых условий первого порядка. ^[8]

Когда задача формулируется в дискретном времени, гамильтониан определяется как:

${\displaystyle H(x_{t},u_{t},\lambda _{t+1},t)=\lambda _{t+1}^{\top }f(x_{t},u_{t},t)+I(x_{t},u_{t},t)\,}$

и уравнения состояния являются

${\displaystyle \lambda _{t}={\frac {\partial H}{\partial x_{t}}}}$

(Обратите внимание, что дискретный по времени гамильтониан во времени включает в себя переменную регрессии во времени ^[9]. Эта небольшая деталь имеет важное значение, так как при дифференцировании по мы получаем член, включающий в правой части уравнений регрессии. Использование неправильного соглашения здесь может привести к неверным результатам, т. е. уравнению регрессии, которое не является обратным разностным уравнением).${\displaystyle t}$${\displaystyle t+1.}$${\displaystyle x}$${\displaystyle \lambda _{t+1}}$

Из принципа максимума Понтрягина можно вывести специальные условия для гамильтониана. ^[10] Когда конечное время фиксировано и гамильтониан не зависит явно от времени , тогда: ^[11]${\displaystyle t_{1}}$${\displaystyle \left({\tfrac {\partial H}{\partial t}}=0\right)}$

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))=\mathrm {constant} \,}$

или если терминальное время свободно, то:

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))=0.\,}$

Далее, если конечное время стремится к бесконечности , то применяется условие трансверсальности гамильтониана. ^[12]

${\displaystyle \lim _{t\to \infty }H(t)=0}$

Уильям Роуэн Гамильтон определил гамильтониан для описания механики системы. Это функция трех переменных, связанная с лагранжианом как

${\displaystyle {\mathcal {H}}(p,q,t)=\langle p,{\dot {q}}\rangle -L(q,{\dot {q}},t)}$

где - лагранжиан , экстремум которого определяет динамику ( не лагранжиан, определенный выше), а - переменная состояния. Лагранжиан оценивается с представлением производной по времени эволюции состояния и , так называемый " сопряженный импульс ", относится к нему как${\displaystyle L}$${\displaystyle q}$${\displaystyle {\dot {q}}}$${\displaystyle p}$

${\displaystyle p={\frac {\partial L}{\partial {\dot {q}}}}}$.

Затем Гамильтон сформулировал свои уравнения, описывающие динамику системы следующим образом:

${\displaystyle {\frac {d}{dt}}p(t)=-{\frac {\partial }{\partial q}}{\mathcal {H}}}$

${\displaystyle {\frac {d}{dt}}q(t)=~~{\frac {\partial }{\partial p}}{\mathcal {H}}}$

Гамильтониан теории управления описывает не динамику системы, а условия экстремизации некоторой ее скалярной функции (лагранжиана) относительно управляющей переменной . Как обычно определяется, это функция 4 переменных${\displaystyle u}$

${\displaystyle H(q,u,p,t)=\langle p,{\dot {q}}\rangle -L(q,u,t)}$

где — переменная состояния, а — управляющая переменная по отношению к той, которую мы экстремизируем.${\displaystyle q}$${\displaystyle u}$

Соответствующие условия для максимума:

${\displaystyle {\frac {dp}{dt}}=-{\frac {\partial H}{\partial q}}}$

${\displaystyle {\frac {dq}{dt}}=~~{\frac {\partial H}{\partial p}}}$

${\displaystyle {\frac {\partial H}{\partial u}}=0}$

Это определение согласуется с определением, данным в статье Сассмана и Виллемса. ^[13] (см. стр. 39, уравнение 14). Сассман и Виллемс показывают, как можно использовать гамильтониан управления в динамике, например, для задачи брахистохроны , но не упоминают предыдущую работу Каратеодори по этому подходу. ^[14]

В экономике целевая функция в задачах динамической оптимизации часто напрямую зависит от времени только через экспоненциальное дисконтирование , так что она принимает вид

${\displaystyle I(\mathbf {x} (t),\mathbf {u} (t),t)=e^{-\rho t}\nu (\mathbf {x} (t),\mathbf {u} (t))}$

где называется функцией мгновенной полезности или функцией удачи. ^[15] Это позволяет переопределить гамильтониан как где${\displaystyle \nu (\mathbf {x} (t),\mathbf {u} (t))}$${\displaystyle H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)=e^{-\rho t}{\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}$

${\displaystyle {\begin{aligned}{\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))\equiv &\,e^{\rho t}\left[I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)\right]\\=&\,\nu (\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\mu } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)\end{aligned}}}$

который называется текущим значением Гамильтона, в отличие от текущего значения Гамильтона, определенного в первом разделе. Наиболее примечательно, что переменные costate переопределяются как , что приводит к измененным условиям первого порядка. ${\displaystyle H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}$${\displaystyle \mathbf {\mu } (t)=e^{\rho t}\mathbf {\lambda } (t)}$

${\displaystyle {\frac {\partial {\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}{\partial \mathbf {u} }}=0}$,

${\displaystyle {\frac {\partial {\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}{\partial \mathbf {x} }}=-{\dot {\mathbf {\mu } }}(t)+\rho \mathbf {\mu } (t)}$

что следует непосредственно из правила продукта . С экономической точки зрения представляют собой текущие теневые цены на капитальные блага .${\displaystyle \mathbf {\mu } (t)}$${\displaystyle \mathbf {x} (t)}$

В экономике модель Рэмси –Касса–Купманса используется для определения оптимального поведения сбережений для экономики. Целевая функция – это функция общественного благосостояния ,${\displaystyle J(c)}$

${\displaystyle J(c)=\int _{0}^{T}e^{-\rho t}u(c(t))dt}$

максимизироваться путем выбора оптимального пути потребления . Функция указывает полезность репрезентативного агента потребления в любой заданный момент времени. Фактор представляет собой дисконтирование . Задача максимизации подчиняется следующему дифференциальному уравнению для интенсивности капитала , описывающему временную эволюцию капитала на эффективного работника:${\displaystyle c(t)}$${\displaystyle u(c(t))}$${\displaystyle c}$${\displaystyle e^{-\rho t}}$

${\displaystyle {\dot {k}}={\frac {\partial k}{\partial t}}=f(k(t))-(n+\delta )k(t)-c(t)}$

где - потребление периода t, - капитал периода t на одного работника (при ), - производство периода t, - темп прироста населения, - норма амортизации капитала, агент дисконтирует будущую полезность по ставке , при и .${\displaystyle c(t)}$${\displaystyle k(t)}$${\displaystyle k(0)=k_{0}>0}$${\displaystyle f(k(t))}$${\displaystyle n}$${\displaystyle \delta }$${\displaystyle \rho }$${\displaystyle u'>0}$${\displaystyle u''<0}$

Здесь, — переменная состояния, которая развивается согласно приведенному выше уравнению, а — управляющая переменная. Гамильтониан становится${\displaystyle k(t)}$${\displaystyle c(t)}$

${\displaystyle H(k,c,\mu ,t)=e^{-\rho t}u(c(t))+\mu (t){\dot {k}}=e^{-\rho t}u(c(t))+\mu (t)[f(k(t))-(n+\delta )k(t)-c(t)]}$

Условия оптимальности:

${\displaystyle {\frac {\partial H}{\partial c}}=0\Rightarrow e^{-\rho t}u'(c)=\mu (t)}$

${\displaystyle {\frac {\partial H}{\partial k}}=-{\frac {\partial \mu }{\partial t}}=-{\dot {\mu }}\Rightarrow \mu (t)[f'(k)-(n+\delta )]=-{\dot {\mu }}}$

в дополнение к условию трансверсальности . Если мы допустим , то логарифмическое дифференцирование первого условия оптимальности относительно дает${\displaystyle \mu (T)k(T)=0}$${\displaystyle u(c)=\log(c)}$${\displaystyle t}$

${\displaystyle -\rho -{\frac {\dot {c}}{c(t)}}={\frac {\dot {\mu }}{\mu (t)}}}$

Подставляя это уравнение во второе условие оптимальности, получаем

${\displaystyle \rho +{\frac {\dot {c}}{c(t)}}=f'(k)-(n+\delta )}$

которое известно как правило Кейнса-Рэмси , устанавливающее условие потребления в каждом периоде, соблюдение которого обеспечивает максимальную полезность в течение жизни.

• Леонард, Даниэль; Лонг, Нго Ван (1992). «Принцип максимума». Оптимальная теория управления и статическая оптимизация в экономике . Нью-Йорк: Cambridge University Press. С. 127–168. ISBN 0-521-33158-7.
• Такаяма, Акира (1985). «Развитие теории оптимального управления и ее применения». Математическая экономика (2-е изд.). Нью-Йорк: Cambridge University Press. С. 600–719. ISBN 0-521-31498-4.
• Wulwick, Nancy (1995). "Гамильтонов формализм и теория оптимального роста". В Rima, IH (ред.). Измерение, квантификация и экономический анализ . Лондон: Routledge. ISBN 978-0-415-08915-9.