Имитирующее обучение

Имитационное обучение — это тип социального обучения , при котором новые модели поведения приобретаются посредством имитации . ^[1] Имитация помогает в общении , социальном взаимодействии и способности модулировать свои эмоции для учета эмоций других людей и является «необходимой для здорового сенсомоторного развития и социального функционирования». ^[1] Способность сопоставлять свои действия с действиями других людей встречается у людей и животных; ^[1] имитационное обучение играет важную роль в культурном развитии людей. ^[2] Имитационное обучение отличается от наблюдательного обучения тем, что требует дублирования поведения, демонстрируемого моделью, тогда как наблюдательное обучение может происходить, когда обучающийся наблюдает нежелательное поведение и его последующие последствия и в результате учится избегать этого поведения.

На самом базовом уровне исследования, проведенные AL Saggerson, David N. George и RC Honey, показали, что голуби способны выучить базовый процесс, который приведет к выдаче вознаграждения, наблюдая за голубем-демонстратором. ^[3] Голубя-демонстратора обучили клевать панель в ответ на один стимул (например, красный свет) и запрыгивать на панель в ответ на второй стимул (например, зеленый свет). После того, как у голубя-демонстратора установилось мастерство в выполнении этой задачи, других голубей-учеников поместили в камеру наблюдения с видеонаблюдением. После каждого второго наблюдаемого испытания этих голубей-учеников по отдельности помещали в ящик голубя-демонстратора и предлагали им тот же тест. Голуби-ученики продемонстрировали компетентное выполнение задания, и, таким образом, был сделан вывод, что голуби-ученики сформировали ассоциацию реакция-результат во время наблюдения. Однако исследователи отметили, что альтернативная интерпретация этих результатов может заключаться в том, что обучающиеся голуби вместо этого приобрели ассоциации «результат-реакция», которые направляли их поведение, и что необходимы дополнительные испытания, чтобы установить, является ли это допустимой альтернативой.

Аналогичное исследование было проведено Чеслером, который сравнил котят, обучающихся нажимать рычаг для получения еды после того, как увидел, как это делает их мать, с котятами, которые этого не делали. ^[4] Был представлен стимул в виде мерцающего света, после чего котенок должен был нажать рычаг, чтобы получить пищевое вознаграждение. Эксперимент проверял реакции трех групп котят: тех, которые наблюдали за действиями своей матери, прежде чем попытаться выполнить задачу, тех, которые наблюдали за действиями незнакомой самки, и тех, у которых не было демонстратора, и которым приходилось выполнять задачу методом проб и ошибок ( контрольная группа ). Исследование показало, что котята, наблюдавшие за своей матерью, прежде чем попытаться выполнить задачу, приобрели реакцию нажатия рычага быстрее, чем котята, наблюдавшие реакцию незнакомой самки. Котята, выполнявшие задачу методом проб и ошибок, так и не приобрели реакцию. Этот результат говорит о том, что котята обучались, подражая модели. В исследовании также высказывается предположение о том, что главенство имитационного обучения, в отличие от ошибок в конце эксперимента , было обусловлено социальной и биологической реакцией на мать (тип ошибки обучения ).

Происходит ли истинное подражание у животных — это спорная тема. Чтобы действие было примером имитационного обучения, животное должно наблюдать и воспроизводить определенный шаблон движений, созданный моделью. Некоторые исследователи предложили доказательства того, что истинное подражание не происходит у не-приматов, и что продемонстрированное наблюдательное обучение включает менее когнитивно сложные средства, такие как усиление стимула. ^{[5] [6]}

Шимпанзе более склонны к обучению путем подражания, чем путем истинного подражания. Исключением являются прирученные шимпанзе , которые воспитываются так, как будто они дети. В одном исследовании Баттельмана и др. было обнаружено, что прирученные шимпанзе ведут себя подобно маленьким детям и подражают даже тем действиям, которые не были инструментальными для достижения желаемой цели. ^[7] В других исследованиях истинного подражания прирученные шимпанзе даже имитировали поведение модели через некоторое время после того, как изначально наблюдали за ней. ^{[8] [9]}

Имитационное обучение хорошо задокументировано у людей; их часто используют в качестве контрольной группы в исследованиях имитационного обучения у приматов. ^{[8] [9]} Исследование Хорнера и Уайтена сравнило действия (некультурных) шимпанзе с действиями человеческих детей и обнаружило, что дети чрезмерно имитировали действия сверх необходимости. ^[10] В исследовании детям и шимпанзе в возрасте от 3 до 4 лет показали серию действий, чтобы открыть непрозрачную коробку-головоломку с наградой внутри. Два из действий были необходимы, чтобы открыть коробку, но одно не было, однако это не было известно испытуемым. Демонстратор выполнил все три действия, чтобы открыть коробку, после чего и шимпанзе, и дети попытались выполнить задачу. И дети, и шимпанзе скопировали все три поведения и получили награду внутри коробки. Следующая фаза исследования включала прозрачную коробку вместо непрозрачной. Благодаря прозрачности этого ящика было ясно видно, что одно из трех действий не было необходимым для получения награды. Шимпанзе не выполняли ненужное действие и выполняли только два действия, необходимые для достижения желаемой цели. Маленькие дети имитировали все три действия, несмотря на то, что они могли выборочно игнорировать нерелевантные действия.

Одно из объяснений этого заключается в том, что люди следуют условностям. Исследование Клегга и Легара проверило это, продемонстрировав метод изготовления ожерелья маленьким детям. ^[11] В демонстрациях модель добавляла шаг, который не был необходим для достижения конечной цели завершения ожерелья. В одной демонстрации модель использовала языковую подсказку, чтобы сообщить детям, что изготовление ожерелья является инструментальным, например: «Я собираюсь сделать ожерелье. Давайте посмотрим, что я делаю. Я собираюсь сделать ожерелье». ^[12] В другой демонстрации модель использовала языковые подсказки, чтобы дать понять, что они делают ожерелье в соответствии с условностью, например: «Я всегда делаю это так. Все всегда делают это так. Давайте посмотрим, что я делаю. Все всегда делают это так». ^[12] В обычных условиях дети копировали модель с большей точностью, включая ненужный шаг. В инструментальных условиях они не копировали ненужный шаг. Исследование предполагает, что дети различают, когда следует подражать, рассматривая условность как существенную причину для копирования поведения, чтобы соответствовать условности. Принятие подсказок для правильного поведения из действий других, вместо использования независимого суждения, называется предвзятостью конформизма .

Недавние исследования показали, что люди также подвержены другим предубеждениям при выборе поведения для подражания. Люди подражают людям, которых они считают успешными в той области, в которой они также хотят быть успешными (предубеждение успеха), а также уважаемым, престижным людям, у которых другие предпочитают учиться (предубеждение престижа). ^[13] В исследовании Чудека и др. использовался сигнал внимания, чтобы указать детям, что конкретная модель престижна. ^[14] В эксперименте с двумя моделями, играющими с игрушкой разными способами, престиж был указан двумя наблюдателями, наблюдавшими за престижной моделью в течение 10 секунд. Исследование показало, что дети уловили сигнал, который означал престиж, и предпочли подражать престижной модели. Исследование предполагает, что такие предубеждения помогают людям улавливать прямые и косвенные сигналы того, что человек обладает знаниями, которые стоит изучить.

Эти сигналы могут привести к тому, что люди будут имитировать вредное поведение. Самоубийства-подражатели происходят, когда человек, пытающийся совершить самоубийство, копирует метод попытки самоубийства, о которой он слышал или видел в СМИ, со значительным ростом попыток, наблюдаемых после самоубийств знаменитостей (см. Эффект Вертера ). Самоубийства могут распространяться через социальные сети как эпидемия из-за больших групп людей, имитирующих поведение модели или группы моделей (см. Вызов Blue Whale ).

Инициативное обучение может использоваться в робототехнике в качестве альтернативы традиционному обучению с подкреплением . Традиционные алгоритмы обучения с подкреплением начинаются с выполнения случайных действий и самостоятельно выясняют правильную последовательность действий для достижения цели. Однако этот подход может потерпеть неудачу в робототехнике, где функция вознаграждения может быть крайне разреженной (например, робот либо преуспевает, либо терпит неудачу, без промежуточных вариантов). Если для успеха роботу необходимо выполнить сложную последовательность действий, алгоритм обучения с подкреплением может испытывать трудности в обучении. Имитационное обучение может использоваться для создания набора успешных примеров для алгоритма обучения с подкреплением, чтобы он мог учиться, имея исследователя-человека, который будет вручную управлять роботом и записывать выполненные действия. Эти успешные примеры могут направить алгоритм обучения с подкреплением на правильный путь лучше, чем выполнение чисто случайных действий. ^[15]