Теория двойного контроля

Теория двойного управления — это раздел теории управления , который занимается управлением системами, характеристики которых изначально неизвестны. ^[1]^[2] Она называется двойной , потому что при управлении такой системой цели контроллера двояки:

(1) Действие : максимально эффективно контролировать систему на основе текущих знаний о системе.
(2) Исследование : экспериментировать с системой, чтобы узнать о ее поведении и лучше контролировать ее в будущем.

Эти две цели могут частично конфликтовать. В контексте обучения с подкреплением это известно как компромисс между исследованием и эксплуатацией (например, Многорукий бандит#Эмпирическая мотивация ).

Теория дуального управления была разработана Александром Ароновичем Фельдбаумом в 1960 году. Он показал, что в принципе оптимальное решение может быть найдено с помощью динамического программирования , однако это часто нецелесообразно; в результате был разработан ряд методов проектирования неоптимальных дуальных регуляторов.

Пример

Используя аналогию : если вы ведете новую машину, вы хотите добраться до места назначения дешево и плавно, но вы также хотите увидеть, насколько хорошо машина разгоняется, тормозит и рулится, чтобы лучше почувствовать, как ею управлять, поэтому вы выполните несколько тестовых маневров для этой цели. Аналогично двойной контроллер введет так называемый зондирующий (или разведывательный) сигнал в систему, который может ухудшить краткосрочную производительность, но улучшит управление в будущем.

Ссылки

^ Feldbâum, Ά. Á. (1963-06-01). "Проблемы теории двойного управления". Тома трудов IFAC . 2-й Международный конгресс IFAC по автоматическому и дистанционному управлению: теория, Базель, Швейцария, 1963. 1 (2): 541–550. doi :10.1016/S1474-6670(17)69687-3. ISSN 1474-6670.
^ Чэнь, Вэнь-Хуа; Родс, Каллум; Лю, Цуньцзя (01.11.2021). «Двойной контроль за эксплуатацией и разведкой (DCEE) в автономном поиске» (PDF) . Automatica . 133 : 109851. doi :10.1016/j.automatica.2021.109851. ISSN 0005-1098. S2CID 228372721.

Фельдбаум, А.А. (апрель 1961) [сентябрь 1960 (на русском языке, с. 1240–1249)]. «Теория двойного управления, часть I». Автоматика и телемеханика . 21 (9): 874–880.
Фельдбаум, А.А. (май 1961) [ноябрь 1960 (на русском языке, с. 1453–1464)]. «Теория двойного управления, часть II». Автоматика и телемеханика . 21 (11): 1033–1039.
Виттенмарк, Б. (июнь 1995 г.). «Адаптивные методы двойного управления: обзор». Лундский университет: 67–72. CiteSeerX 10.1.1.25.7446 . {{cite journal}}: Цитировать журнал требует |journal=( помощь )

[1] Feldbâum, Ά. Á. (1963-06-01). "Проблемы теории двойного управления". Тома трудов IFAC . 2-й Международный конгресс IFAC по автоматическому и дистанционному управлению: теория, Базель, Швейцария, 1963. 1 (2): 541–550. doi :10.1016/S1474-6670(17)69687-3. ISSN 1474-6670.

[2] Чэнь, Вэнь-Хуа; Родс, Каллум; Лю, Цуньцзя (01.11.2021). «Двойной контроль за эксплуатацией и разведкой (DCEE) в автономном поиске» (PDF) . Automatica . 133 : 109851. doi :10.1016/j.automatica.2021.109851. ISSN 0005-1098. S2CID 228372721.