Эффект визуального доминирования Колавита

Эффект визуального доминирования Колавиты относится к явлению, при котором участники исследования чаще реагируют на визуальный компонент аудиовизуального стимула, когда им предъявляют бимодальные стимулы . ^[1]

Исследования показали, что зрение является наиболее доминирующим чувством для людей ^[2] , которые не страдают от сенсорных проблем (например, слепота , катаракта ). Теоретики предположили, что эффект визуального доминирования Колавиты демонстрирует смещение в сторону визуальной сенсорной информации, поскольку наличие слуховых стимулов обычно игнорируется во время аудиовизуальных событий . ^[3]

Фрэнсис Б. Колавита, в честь которого назван эффект визуального доминирования Колавиты, был первым, кто продемонстрировал это явление в 1974 году. Первоначальные эксперименты Колавиты показали, что визуальное доминирование для аудиовизуальных событий сохраняется при ряде условий, что впоследствии было подтверждено другими исследователями как устойчивый эффект.

В 1974 году Колавита провел эксперимент, который предоставил доказательства визуального доминирования у людей при выполнении задания на аудиовизуальное различение. ^[4]

В своем эксперименте Колавита (1974) предъявлял участникам слуховой ( тон ) или визуальный (свет) стимул, на который им было поручено реагировать нажатием «тональной клавиши» или «световой клавиши» соответственно. ^[4] На протяжении всего эксперимента случайным образом предъявлялись унимодальные слуховые пробы, унимодальные визуальные пробы и небольшое количество аудиовизуальных бимодальных проб. ^[4]

Колавита обманывал участников, сообщая им, что бимодальные испытания в эксперименте произошли «случайно». ^[4] Во время тренировочных испытаний Колавита «случайно» предъявлял аудиовизуальные стимулы, а затем привлекал внимание участников к тому, что только что произошло, и извинялся за такую ​​«случайность». ^[4] Кроме того, участников не проинструктировали о том, как реагировать на такие испытания или будут ли подобные испытания происходить снова. ^[5]

Результаты показали, что участники имели почти одинаковое время реакции на слуховые и зрительные стимулы в одномодальных испытаниях. ^[4] Кроме того, Колавита обнаружила, что участники нажимали «световую клавишу» в большинстве бимодальных испытаний. Это было расценено как доказательство визуального доминирования, поскольку участники не признавали наличие слухового стимула в большинстве бимодальных испытаний. ^{[4] [5]} Однако из-за обмана Колавиты о «случайном» возникновении бимодальных испытаний исследователи предположили, что эффекты ожидания экспериментатора , требования к задачам или методологические проблемы могли способствовать эффекту визуального доминирования, о котором сообщалось в первоначальном исследовании Колавиты. ^[6] Тем не менее, последующие эксперименты прекратили использование обмана и продолжают демонстрировать надежный эффект визуального доминирования Колавиты. ^[5]

Например, Синнетт и его коллеги провели эксперимент, в котором они предоставили участникам три клавиши ответа, по одной для каждого типа ответа (унимодальный визуальный, унимодальный слуховой и бимодальный аудиовизуальный); вместо всего двух, и они попросили участников нажимать бимодальную клавишу при ответе на аудиовизуальные стимулы. ^[6] Эта новая манипуляция привела к значительному снижению эффекта Колавиты, поскольку ошибки в бимодальных испытаниях были совершены только в небольшом количестве испытаний. ^[6] В другом эксперименте Синнетт и его коллеги провели заранее определенную задачу по обнаружению цели, в которой слуховые цели встречались чаще, чем визуальные или бимодальные цели. Это привело к устранению эффекта Колавиты. Авторы предположили, что это было связано с введением предвзятости в сторону слуховых стимулов. ^[7] Нго и ее коллеги провели похожее исследование, в котором результаты были воспроизведены, поскольку их выводы показали, что при соответствующих условиях и требованиях к задаче эффект Колавиты может быть обращен вспять. ^[8] Кроме того, Синнетт и его коллеги отмечают, что животные и люди больше полагаются на слуховые стимулы в ситуациях сильного возбуждения и при столкновении с потенциальными угрозами, ^[7] что может означать, что эффект Колавиты зависит от ситуации и контекста.

Колавита также варьировала интенсивность зрительных и слуховых стимулов, чтобы определить, приведет ли сопоставление интенсивности обоих стимулов или увеличение интенсивности только слухового стимула к уменьшению возникновения эффекта Колавиты. ^[4] Однако ни одна из экспериментальных манипуляций относительно интенсивности стимулов не уменьшила возникновение эффекта Колавиты. ^[4] Дальнейшие исследования были проведены для повторения эксперимента Колавиты и расширения эффекта Колавиты на более сложные стимулы. Например, Синнетт, Спенс и Сото-Фарако провели эксперимент в 2007 году, в котором в качестве стимулов вместо света и тона использовались изображения и звуки. ^[6] Обоснованием использования более сложных стимулов было то, что этот тип стимулов увеличит перцептивную нагрузку, требуя больше ресурсов внимания. ^[9] Результаты этого исследования показали, что эффект Колавиты продолжает возникать, когда стимулы становятся более сложными.

По мнению Харчера-О'Брайена и его коллег, эффекты Колавиты и визуального доминирования можно в целом отнести к дисбалансу в способности доступа к ресурсам обработки, а именно между зрением и другими сенсорными модальностями. Неспособность стимула получить доступ к осознанию, когда одновременно предъявляются несколько стимулов, может привести к сенсорному доминированию. ^[1] В течение десятилетий ведутся непрерывные дебаты о том, происходит ли эффект Колавиты на сенсорном уровне или на уровне внимания, включая экзогенное (непроизвольное или рефлекторное) или эндогенное (произвольное) внимание. Исследования показали неубедительные результаты относительно этого спора.

Познер и коллеги провели исследование, чтобы изучить происхождение и значение визуального доминирования. ^[2] Они предположили, что ресурсы внимания эндогенно (добровольно) смещены в сторону зрения, чтобы компенсировать низкую способность оповещения визуальных сигналов. Познер и коллеги предположили, что визуальные стимулы не оповещают внимание автоматически, в то время как другие сенсорные модальности делают это. Для того чтобы визуальный стимул служил эффективным механизмом оповещения, человек должен обрабатывать его посредством активного внимания. ^[2] Следовательно, когда внимание направлено на зрение, механизмы внимания к другим сенсорным модальностям снижаются. Низкая способность оповещения визуальных сигналов компенсируется смещением внимания человека в сторону визуальных модальностей. Познер и коллеги (1976) рассматривают это как эндогенную (добровольную) стратегию реагирования на окружающую среду. ^[2]

Напротив, Коппен и Спенс предполагают, что смещение внимания в сторону зрительной модальности может быть экзогенно (рефлекторно) опосредовано. ^[5] То есть, визуальные стимулы могут на самом деле привлекать внимание человека более эффективно, чем стимулы из других сенсорных модальностей.

Коппен и Спенс (2007a) исследовали, какую роль играет экзогенное (рефлексивное) внимание в сенсорной модальности, и обнаружили, что эффект Колавиты можно регулировать (но не прекращать) в зависимости от того, на какой сенсорной модальности (слух или зрение) люди фокусируют свое экзогенное внимание. ^[5] Визуальные стимулы были более эффективны в захвате внимания, чем слуховые стимулы. Таким образом, Коппен и Спенс предполагают, что эффект Колавиты может отражать различия в экзогенных качествах захвата внимания визуальными и слуховыми стимулами. ^[5]

Синнетт, Спенс и Фарако (2007) провели эксперимент, в котором отметили, что при манипулировании вниманием в направлении слухового стимула эффект Колавиты можно было уменьшить, но не обратить вспять, чтобы создать слуховое доминирование. ^[6] В результате они предположили, что визуальное доминирование не может быть основано исключительно на механизмах внимания, а должно происходить на сенсорном уровне. Эта неспособность обратить вспять эффект Колавиты, когда внимание направлено на слуховой стимул, предполагает, что визуальное доминирование может включать в себя врожденные предубеждения в сторону визуальных модальностей. В одном из своих экспериментов, чтобы уменьшить величину визуального доминирования, Синнетт и его коллеги (2007) создали сильное смещение в сторону слуховой модальности. ^[6] Для этого они увеличили долю слуховых целей, что привело к более быстрому времени реакции на унимодальные слуховые цели, чем на унимодальные визуальные цели. ^[6] Участники показали небольшую (незначительную) предвзятость в сторону создания более ошибочных унимодальных слуховых ответов, и не наблюдалось никакого обращения эффекта Колавиты. Эти результаты подтверждают утверждение, что визуальное доминирование происходит на сенсорном уровне, до вовлечения внимания. ^[6]

Другая теория, которая использовалась для объяснения эффекта Колавиты, — это «Неудача связывания». ^[8] Эта теория предполагает, что участники связывают вместе визуальные и слуховые компоненты аудиовизуального стимула, что может помешать обработке слухового компонента аудиовизуального стимула. ^[8] Это происходит потому, что визуальный компонент сам по себе предоставляет достаточно информации об аудиовизуальном стимуле. ^[8] Эта теория применима только тогда, когда представленные визуальные и слуховые стимулы конгруэнтны. Когда они неконгруэнтны, визуальный компонент не является точным представлением слухового компонента. В этом случае неконгруэнтность может действовать как сигнал, информирующий участников о том, что произошла бимодальная цель. ^[8]

Было показано, что эффект Колавиты зависит от факторов, которые способствуют интермодальному связыванию слуховых и зрительных стимулов во время восприятия. Эти факторы интереса представляют собой пространственное и временное совпадение между слуховыми и зрительными стимулами, которые модулируют эффект Колавиты посредством временного разделения и временного порядка.

Например, результаты эксперимента, проведенного Коппеном и Спенсом (2007b), показали больший эффект Колавиты, когда слуховые и зрительные стимулы предъявлялись ближе друг к другу во времени. ^[7] Когда стимулы предъявлялись дальше во времени, эффект Колавиты снижался. ^[7] Их результаты также показали, что эффект Колавиты был наибольшим, когда зрительный стимул предъявлялся до слухового стимула во время бимодальных испытаний. ^[7] И наоборот, эффект Колавиты был обращен или снижен, когда слуховой стимул предшествовал визуальному стимулу. Кроме того, Коппен и Спенс провели эксперимент, в котором участники показали значительно больший эффект Колавиты, когда слуховые и зрительные стимулы предъявлялись из одного и того же пространственного местоположения, а не из разных мест. ^[10] Основываясь на этих результатах, Коппен и его коллеги предположили, что «эффект единства» может адекватно объяснить роль пространственного и временного совпадения между стимулами в модуляции эффекта Колавиты. ^[11] Согласно эффекту единства, межсенсорное смещение больше, когда участники бессознательно связывают два сенсорных события и верят, что воспринимается один унимодальный объект, а не два отдельных события.

Исследования показали, что мультисенсорные сигналы от объекта могут иметь определенные семантические особенности, которые могут способствовать кросс-модальному связыванию сенсорной информации. Синнетт и его коллеги провели эксперимент с использованием значимых стимулов, и их результаты показали, что эффект Колавиты продолжал существовать при использовании сложных и значимых стимулов. ^[6]

Кроме того, исследование, проведенное Лориенти и коллегами, показало, что при определенных условиях ответы на аудиовизуальные стимулы могут зависеть от семантической конгруэнтности или неконгруэнтности. В частности, их результаты показали, что участники быстрее реагировали на конгруэнтные слуховые и визуальные стимулы, чем на неконгруэнтные стимулы. ^[12] Кроме того, Коппен, Альсиус и Спенс провели исследование, в котором изучали, будет ли эффект Колавиты модулироваться семантической конгруэнтностью между визуальным и слуховым стимулом, используя стимулы со схожим семантическим значением и сложностью. ^[11] Результаты этого исследования показали, что семантическая конгруэнтность не влияла на величину эффекта Колавиты в экспериментах, однако она оказала значительное влияние на результаты участников в задании на ускоренное различение. Участники продемонстрировали закономерность, отражающую трудности с разделением слухового стимула от визуального, когда эти стимулы имели конгруэнтное семантическое значение и предъявлялись одновременно. ^[11] Для неконгруэнтных стимулов у участников наблюдалось более быстрое время реакции, что также можно объяснить ранее упомянутой теорией «Нарушения связывания». ^[11]

Предыдущие исследования показали, что люди с одним глазом имеют улучшенное пространственное зрение, подразумевая, что зрение в оставшемся рабочем глазу компенсирует потерю одновременного использования обоих глаз. ^[13] Кроме того, люди, которые потеряли способность использовать одну сенсорную систему, развивают улучшенную способность в использовании оставшихся чувств. Считается, что неповрежденные сенсорные системы могут адаптироваться и компенсировать потерю одного из чувств. Однако мало что известно о кросс-сенсорной адаптации в случаях частичной сенсорной депривации в процессе развития, таких как монокулярная энуклеация, когда у людей один глаз хирургическим путем удаляется в раннем возрасте. ^[13]

В эксперименте Моро и Стивс проверили, демонстрируют ли участники с одним глазом эффект визуального доминирования Colavita, и сравнили их результаты с бинокулярными наблюдателями (использование обоих глаз) и монокулярными (с повязкой на глазу) контрольными участниками. ^[13] В своем эксперименте Моро и Стивс использовали задачу обнаружения и различения стимулов, которая имела три условия: унимодальные визуальные цели, унимодальные слуховые цели и бимодальные (визуальные и слуховые, представленные вместе) цели. Оба участника, как бинокулярные, так и монокулярные, продемонстрировали эффект визуального доминирования Colavita; однако группа с монокулярной энуклеацией этого не продемонстрировала. ^[13] Моро и Стивс продемонстрировали, что люди с одним глазом демонстрируют эквивалентную слуховую и визуальную обработку по сравнению с бинокулярными и монокулярными наблюдателями, когда их попросили различить звуковые, визуальные и бимодальные стимулы. ^[13]

Отсутствие визуального доминирования у энуклеированных участников не может быть связано с общим снижением визуального ввода, поскольку монокулярная контрольная группа с глазной повязкой показала те же результаты, что и нормальная бинокулярная контрольная группа . ^[13] Моро и Стивс пришли к выводу, что у людей с одним глазом развивается непредвзятое распределение сенсорных ресурсов, которое уделяет меньше внимания зрению при предъявлении бимодальных стимулов. ^[13] Хотя отсутствие эффекта Колавиты у людей с одним глазом начинает изучать возможность того, что снижение визуального доминирования потенциально позволяет адаптировать другие чувства, такие как слух.

Исследования показали, что зрение является наиболее доминирующим чувством из пяти чувств, которыми обладают люди. Зрение может доминировать над слухом при оценке локализации, над осязанием при оценке формы и над проприоцепцией при попытке определить положение своей конечности в пространстве. ^[1] Восприятие слуховых стимулов людьми часто находится под влиянием визуальных стимулов. Визуальное доминирование было продемонстрировано в мультисенсорной иллюзии, называемой эффектом Мак-Гурка , когда визуальный стимул в паре с неконгруэнтным слуховым стимулом приводит к неправильному восприятию слуховой информации, в результате чего люди слышат звук, отличный от реального слухового сигнала. ^[4] По словам Познера и коллег, зрительная система людей не способна должным образом предупреждать их о возможных угрозах. ^[2] Поэтому возможно, что визуальное доминирование является результатом попытки системы внимания компенсировать неправильные возможности оповещения зрительной системы. ^[2]

Исследования показали, что зрение также является доминирующей модальностью у ряда других видов животных; считается, что это связано с тем, что большая часть биологически важной информации воспринимается визуально. Эффекты визуального доминирования над слухом были зарегистрированы у коров , ^[14] крыс, ^[15] и голубей . ^[16] Например, Миллер провел эксперимент, в котором его результаты показали эффект визуального доминирования у крыс. ^[15] В этом эксперименте крыс обучали нажимать на рычаг в ответ на визуальный (свет) и слуховой (тон) стимулы, которые могли быть представлены по отдельности или одновременно. Результаты этого эксперимента показали, что показатели реакции крыс были более частыми на рычаге «свет», чем на рычаге «тон», когда оба стимула были представлены одновременно. ^[15]

Также было показано, что зрение является доминирующей модальностью у голубей, согласно исследованию Рэндича, Клиена и ЛоЛордо. ^[16] Голубей обучали выполнять задачу слухо-зрительного различения, нажимая две разные педали, одну при предъявлении слухового тона, а другую при наличии красного света. Результаты этого эксперимента показали, что голуби продемонстрировали эффект визуального доминирования Колавиты. При предъявлении бимодального (слухового и зрительного) стимула голуби всегда реагировали на визуальный стимул, что подразумевало визуальное доминирование. Кроме того, в последующем задании Рэндич и его коллеги ^[16] задерживали предъявление зрительного стимула относительно слухового стимула. Зрительные реакции на педали у голубей по-прежнему происходили с интервалом задержки менее 500 мс, показывая, что визуальное доминирование все еще преобладало, когда начало зрительного стимула было отложено.

Траектория развития сенсорного доминирования и мультисенсорных взаимодействий все еще остается не охарактеризованной. Было проведено много экспериментов, изучающих сенсорное доминирование у взрослых людей, животных моделей и даже младенцев , но наблюдается нехватка информации, охватывающей возрастной диапазон позднего детства и подросткового возраста . В то время как визуальное доминирование преобладает у взрослых, было показано, что младенцы и маленькие дети демонстрируют слуховое доминирование.

Lewkowicz (1988a-1988b) предъявлял 6- и 10-месячным детям аудиовизуальные соединения, различающиеся по временным характеристикам (т. е. скорости или продолжительности предъявления стимулов) либо визуального, либо слухового компонента. ^[17] Результаты показали, что младенцы (особенно в возрасте 6 месяцев) обнаруживали временные изменения в слуховой, но не визуальной модальности, что указывает на слуховое доминирование у младенцев. Lewkowicz (1988a) предполагает, что слуховое доминирование в раннем развитии может быть признаком онтогенетически асинхронного развития сенсорных систем. ^[17] Кроме того, важно отметить, что слуховая система начинает реагировать на внешний сигнал задолго до рождения. Зрительная система является наименее стимулируемым чувством in utero на протяжении всей беременности, поскольку она получает только очень низкую интенсивность света. Это говорит о том, что зрительные рецепторы начнут полностью стимулироваться только после рождения. ^[18]

Дальнейшие поведенческие исследования показали, что это слуховое доминирование сохраняется до 4 лет. ^[19] Нава и Павани (2013) исследовали развитие мультисенсорных взаимодействий в трех группах детей школьного возраста (6-7, 9-10 и 10-11 лет соответственно), используя парадигму Колавита, с целью прямой оценки того, сохраняется ли слуховое доминирование после 4 лет, и изучения того, когда начинает проявляться зрительное доминирование, подобное взрослому. ^[20] Они обнаружили, что слуховое доминирование сохраняется до 6 лет, и что переход к зрительному доминированию начинается в школьном возрасте. В частности, Эксперимент 1 показал, что дети в возрасте от 6 до 7 лет не проявляют эффекта Колавита, подразумевающего слуховое доминирование. Дети в возрасте от 9 до 10 лет и дети в возрасте от 11 до 12 лет продемонстрировали визуальное доминирование, подобное взрослому эффекту Колавиты, что говорит о том, что сенсорное доминирование претерпевает изменения в процессе развития в позднем детстве. Нава и Павани (2013) предполагают, что визуальное доминирование начинает проявляться в возрасте от 9 до 10 лет и закрепляется к 11–12 годам. ^[20]

Такая модель сенсорного доминирования предполагает постепенное изменение мультисенсорного восприятия в процессе развития, при этом консолидация обработки мультисенсорных сигналов, подобной взрослой, начинается с позднего детства, когда слуховое доминирование сменяется визуальным. ^[20]

• визуальный захват