Учитель заставляет
Принудительное обучение — это алгоритм для обучения весов рекуррентных нейронных сетей (RNN). [1] Он включает в себя подачу наблюдаемых значений последовательности (т. е. образцов истинности) обратно в RNN после каждого шага, тем самым заставляя RNN оставаться близкой к последовательности истинности. [2]
Термин «принуждение учителя» можно мотивировать, сравнивая RNN с человеком-студентом, сдающим многочастный экзамен, где ответ на каждую часть (например, математический расчет) зависит от ответа на предыдущую часть. В этой аналогии, вместо того, чтобы оценивать каждый ответ в конце, с риском того, что студент провалит каждую отдельную часть, даже если он допустил ошибку только в первой, учитель записывает оценку за каждую отдельную часть, а затем сообщает студенту правильный ответ, который будет использоваться в следующей части. [3]
Использование внешнего сигнала учителя отличается от рекуррентного обучения в реальном времени (RTRL). [4] Сигналы учителя известны из сетей осцилляторов . [5] Обещание заключается в том, что принуждение учителя помогает сократить время обучения. [6]
Термин «принуждение учителя» был введен в 1989 году Рональдом Дж. Уильямсом и Дэвидом Зипсером, которые сообщили, что этот метод уже «часто использовался в динамических контролируемых учебных задачах» примерно в то время. [7] [2]
В статье NeurIPS 2016 был представлен связанный метод «профессорского форсинга». [2]
Смотрите также
Ссылки
- ^ Джон Ф. Колен; Стефан К. Кремер (15 января 2001 г.). Полевое руководство по динамическим рекуррентным сетям. John Wiley & Sons. стр. 202–. ISBN 978-0-7803-5369-5.
- ^ abc Lamb, Alex M; Goyal, Anirudh; Zhang, Ying; Zhang, Saizheng; Courville, Aaron C; Bengio, Yoshua (2016). "Professor Forcing: A New Algorithm for Training Recurrent Networks". Достижения в области нейронных систем обработки информации . 29. Curran Associates, Inc. arXiv : 1610.09038 .
- ^ Вонг, Ваньшунь (2019-10-15). «Что такое принуждение учителя?». На пути к науке о данных . Получено 2022-03-25 .
- ^ Чжан, Мин (31 июля 2008 г.). Искусственные нейронные сети высшего порядка для экономики и бизнеса. IGI Global. стр. 195–. ISBN 978-1-59904-898-7.
- ^ Ив Шовен; Дэвид Э. Румельхарт (1 февраля 2013 г.). Обратное распространение: теория, архитектура и приложения. Psychology Press. стр. 473–. ISBN 978-1-134-77581-1.
- ^ Джордж Бекей; Кеннет И. Голдберг (30 ноября 1992 г.). Нейронные сети в робототехнике. Springer Science & Business Media. стр. 247–. ISBN 978-0-7923-9268-2.
- ^ Уильямс, Рональд Дж.; Зипсер, Дэвид (июнь 1989 г.). «Алгоритм обучения для непрерывно работающих полностью рекуррентных нейронных сетей». Neural Computation . 1 (2): 270– 280. CiteSeerX 10.1.1.52.9724 . doi :10.1162/neco.1989.1.2.270. ISSN 0899-7667. S2CID 14711886.
