Эффект снижения

Эффект спада может возникнуть, когда научные утверждения получают со временем все меньшую поддержку. Термин был впервые описан парапсихологом Джозефом Бэнксом Райном в 1930-х годах для описания исчезновения экстрасенсорного восприятия (ЭСВ) психических экспериментов, проведенных Райном в ходе обучения или времени. В более общем термине Кронбах в своей обзорной статье о науке «За пределами двух дисциплин научной психологии» назвал это явление «распадом обобщений». ^[1] Этот термин был снова использован в статье 2010 года Джона Лерера , опубликованной в The New Yorker . ^[2]

В своей статье Лерер приводит несколько примеров, где эффект снижения предположительно проявляется. В первом примере, разработка антипсихотических препаратов второго поколения, показывает, что первые тесты продемонстрировали резкое снижение психиатрических симптомов у испытуемых. ^[2] Однако после повторных тестов этот эффект снизился, и в конечном итоге не удалось документально подтвердить, что эти препараты имели лучший эффект, чем антипсихотики первого поколения.

Известный пример эффекта спада можно увидеть в ранних экспериментах, проведенных профессором Джонатаном Скулером, изучающим влияние вербализации на невербальное познание. В первоначальной серии исследований Скулер обнаружил доказательства того, что вербальное повторение ранее увиденных лиц или цветов заметно ухудшало последующее распознавание. ^[3] Это явление называется вербальным затмением . Хотя эффекты вербального затмения неоднократно наблюдались Скулером, а также другими исследователями, их также оказалось довольно сложно воспроизвести. ^{[2] [4] [5]} Эффекты вербального затмения в различных областях изначально было легко обнаружить, но затем их стало все труднее воспроизвести, что указывает на эффект спада в этом явлении. Теперь Скулер стал одним из наиболее выдающихся исследователей, изучающих эффект спада. Он утверждал, что рассмотрение эффекта спада может потребовать серьезного пересмотра научного процесса, при котором ученые регистрируют свои протоколы перед проведением своих исследований, а затем, независимо от результата, сообщают о своих выводах в открытом доступе (например, «Проект Implicit» Брайана Носека). ^[6] В настоящее время Скулер работает с Фондом Фетцера над организацией крупной встречи ученых из разных дисциплин для рассмотрения альтернативных объяснений эффекта спада и подходов к его тщательному изучению. ^[7]

В 1991 году датский зоолог Андерс Мёллер обнаружил связь между симметрией и сексуальным предпочтением самок птиц в природе. Это вызвало огромный интерес к теме, и было опубликовано множество последующих исследований. Через три года после первоначального открытия 90% исследований подтвердили гипотезу Мёллера. Однако тот же результат был опубликован всего в четырех из восьми исследовательских работ в 1995 году и только в третьей за следующие три года. ^[8]

Исследование, опубликованное в 2022 году, сообщило, возможно, об одном из самых ярких примеров эффекта спада в области экологии, где размеры эффекта опубликованных исследований, проверяющих влияние закисления океана на поведение рыб, снизились на порядок за десятилетие исследований по этой теме. ^[9]

Эффект спада имеет разные типы, каждый из которых имеет разные причины.

Если первоначальная публикация является ложноположительной, т. е. нулевая гипотеза верна, но первоначальная публикация ошибочно отвергла ее, то последующие попытки репликации обязательно обнаружат, что размер эффекта не сильно отличается от нуля. Это простейший тип эффекта снижения. ^[10]

Например, статистически значимые явления в парапсихологии являются ложноположительными, как и облегченная коммуникация. Оценочные эффекты этих явлений становятся ближе к нулю с большим количеством экспериментальных данных, давая эффект снижения. ^[10]

Если бы в первоначальной публикации был обнаружен подлинный эффект, но не были выявлены некоторые соответствующие переменные, то размер эффекта мог бы быть меньше. ^[10]

Конкретно рассмотрим этот пример. Эффект зависит от того, где — стандартный гауссовский шум. Предположим, что в первоначальной публикации из-за экспериментальной установки , поэтому в первоначальной публикации ошибочно считалось, что .${\displaystyle Y}$${\displaystyle X,Z}$${\displaystyle Y=X+Z+\epsilon }$${\displaystyle \epsilon \sim {\mathcal {N}}(0,1)}$${\displaystyle Z=X}$${\displaystyle Y=2X+\epsilon}$

В попытке репликации неконтролируемая переменная больше не коррелирует с , а изменяется независимо в соответствии с . Теперь репликация обнаруживает, что где . Таким образом, коэффициент регрессии более снизился на 50%.${\displaystyle Z}$${\displaystyle X}$${\displaystyle Z\sim {\mathcal {N}}(0,1)}$${\displaystyle Y=X+\epsilon '}$${\displaystyle \epsilon '\sim {\mathcal {N}}(0,2)}$${\displaystyle Y}$${\displaystyle X}$

Реальным примером является препарат Тимолол для лечения глаукомы . Его эффект неуклонно снижался. ^[11] Это было объяснено тем, что в ранних исследованиях использовались пациенты с запущенной глаукомой, тогда как в более поздних исследованиях использовались пациенты с менее запущенной стадией. Поскольку менее больные пациенты имеют меньше возможностей для улучшения, размер эффекта Тимолола снизился.

Одним из объяснений эффекта является регрессия к среднему значению , также известная как «раздутое снижение». ^[10] Это статистическое явление, происходящее, когда переменная является экстремальной в первых экспериментах, а в последующих экспериментах имеет тенденцию к регрессии к среднему значению, хотя это не объясняет, почему последовательные результаты снижаются линейно, а не колеблются вокруг истинного среднего значения, как можно было бы ожидать. ^[5]

Это особенно вероятно, когда первоначальное исследование было остановлено рано, когда «размер эффекта явно достаточно большой». Если остановить сбор данных, как только размер эффекта превысит пороговое значение, которое выше истинного размера эффекта, то последующие повторения обязательно будут регрессировать к среднему значению. ^[12]

Если истинный размер эффекта мал, но первоначальное исследование имеет низкую мощность (т. е. малый размер выборки), то нулевая гипотеза будет отклонена только в том случае, если оценка эффекта далека от нуля, как показано на рисунке. Это означает, что последующие повторения с большими размерами выборки обнаружат оценки эффекта, которые ближе к истинному эффекту, который ближе к нулю, чем первоначальная оценка. ^[10]

Другой причиной может быть предвзятость публикации : ученые и научные журналы предпочитают публиковать положительные результаты экспериментов и тестов, а не нулевые результаты, особенно с новыми идеями. ^[2] В результате журналы могут отказаться публиковать статьи, которые не доказывают, что идея работает. Позже, когда идея будет принята, журналы могут отказаться публиковать статьи, которые ее поддерживают. ^[13]

В дебатах, последовавших за оригинальной статьей, Лерер ответил на некоторые вопросы, заявив, что научные наблюдения могут быть сформированы ожиданиями и желаниями человека, иногда даже бессознательно, тем самым создавая предвзятость в сторону желаемого результата. ^[8] Это известно как эффект экспериментатора. Например, в парапсихологии «эффект экспериментатора» используется для объяснения того, как экспериментатор, который не верит в пси, не обнаружит никаких доказательств существования пси, в то время как тот же эксперимент, проведенный экспериментатором, который верит в пси, обнаружит их. ^[14]

Значительным фактором, способствующим эффекту спада, также может быть размер выборки научного исследования, поскольку меньший размер выборки, скорее всего, даст более экстремальные результаты, предполагая значительный прорыв, но также и более высокую вероятность ошибки. Типичными примерами этого эффекта являются опросы общественного мнения, где те, которые включают большее количество людей, ближе к реальности, чем те, которые имеют небольшой пул респондентов. ^[15] Это предположение, по-видимому, не объясняет наблюдаемое снижение с течением времени независимо от размера выборки. Исследователь Джон Иоаннидис предлагает некоторое объяснение. Он утверждает, что ранние исследования, как правило, невелики и более склонны к весьма положительным результатам, подтверждающим первоначальную идею, включая ранние подтверждающие исследования. Позже, по мере проведения более крупных исследований, они часто показывают регрессию к среднему значению и неспособность повторить ранние преувеличенные результаты. ^{[16] [17] [18]}

В репортаже 2012 года шоу National Public Radio "On The Media" ^[19] были представлены ученые, которые изучают другой вариант: что акт наблюдения за вселенной изменяет вселенную, и что повторное измерение может фактически сделать предыдущие результаты недействительными. Другими словами, антипсихотические препараты изначально работали , но чем больше мы измеряли их эффективность, тем больше менялись законы, управляющие этими препаратами, и они переставали быть эффективными. Автор научной фантастики Джефф Райман более подробно исследует эту идею и ее возможные последствия в своем рассказе 2012 года What We Found ^[20] , который получил премию Nebula Award за лучшую повесть в 2012 году. ^[21]

Другая причина некоторых эффектов снижения может заключаться в том, что некоторые исследователи склонны публиковать более крупные размеры эффекта, чем другие. Например, наряду с предвзятостью публикации и эффектами размера выборки, эффект снижения эффектов закисления океана на поведение рыб ^[9] был в значительной степени обусловлен выдающимися размерами эффекта, о которых сообщили два конкретных исследователя из той же лаборатории, которые в настоящее время находятся под следствием за потенциальную научную недобросовестность и фабрикацию данных . ^[22]

Несколько комментаторов оспорили точку зрения Джона Лерера о том, что эффект упадка является проблемной стороной явления, как это представлено в его статье в New Yorker . «Эффект упадка вызывает беспокойство, потому что он напоминает нам, как трудно что-либо доказать. Нам нравится притворяться, что наши эксперименты определяют для нас истину. Но часто это не так. То, что идея истинна, не означает, что ее можно доказать. И то, что идею можно доказать, не означает, что она истинна. Когда эксперименты проведены, нам все равно приходится выбирать, во что верить». ^[2]

Стивен Новелла также оспаривает точку зрения Лерера на эффект спада, утверждая, что Лерер концентрируется на новых открытиях на переднем крае научных исследований и применяет выводы ко всем областям науки. Новелла указывает, что большинство примеров, используемых Лерером, взяты из медицины, психологии и экологии, научных областей, наиболее подверженных влиянию сложного человеческого аспекта, и что нет большого количества доказательств эффекта спада в других областях науки, таких как физика. ^[23]

Другой ученый, Пол Закари Майерс , также оспаривает точку зрения Лерера о том, что эффект спада является удивительным явлением в науке, утверждая, что: «Это совсем не удивительно. Это то, чего мы ожидаем, и есть много очень веских причин для сдвига». ^[24]

Заявления Лерера о сложности доказательства чего-либо и предвзятости публикаций находят поддержку у Джерри А. Койна . Койн считает, что в области генетики и эволюционной биологии почти никакие исследования не воспроизводятся, и существует дополнительная мотивация для публикации положительных результатов исследований. Однако он также оспаривает подход Лерера к применению выводов во всех областях науки, заявляя, что в физике, химии или молекулярной биологии предыдущие результаты постоянно повторяются другими для того, чтобы прогрессировать в собственных исследованиях. ^[25]

Одно из опасений, которое некоторые ^[26] выразили, заключается в том, что статья Лерера может еще больше подогреть скептицизм людей по отношению к академической науке. Долгое время считалось, что статья Лерера изначально намекала на то, что академическая наука не так жестка, как людям хотелось бы верить. Особенно концовка статьи расстроила многих ученых и привела к широкой критике статьи. Лерер заканчивает статью словами: «То, что идея верна, не означает, что ее можно доказать. И то, что идею можно доказать, не означает, что она верна. Когда эксперименты проведены, нам все равно придется выбирать, во что верить». Это расстроило ученых в научном сообществе. Многие написали Лереру и подвергли сомнению его планы. Некоторые охарактеризовали утверждение Лерера как «абсурдное», в то время как другие утверждали, что Лерер пытается использовать предвзятость публикации в качестве оправдания того, чтобы не верить во что-либо. ^[26]

В ответ на многочисленные комментарии, полученные Лерером после публикации статьи, Лерер опубликовал комментарий в своем блоге The Frontal Cortex ^[8] , где он отрицал, что он каким-либо образом неявно подвергает сомнению науку и научные методы. В том же комментарии в блоге Лерер заявил, что он не подвергает сомнению фундаментальные научные теории, такие как теория эволюции путем естественного отбора и глобальное потепление, назвав их «двумя наиболее надежными и широко проверенными теориями современной науки».

Дальнейшее разъяснение было опубликовано в качестве последующей заметки в The New Yorker . ^[8] В этой заметке, озаглавленной «Больше мыслей об эффекте упадка», Лерер пытается в основном ответить критикам, приводя примеры, когда научные исследования как потерпели неудачу, так и увенчались успехом. В качестве примера Лерер использует вступительную речь Ричарда Фейнмана в Калтехе в 1974 году в качестве отправной точки. В своей вступительной речи Фейнман использовал эксперимент Роберта Милликена и Харви Флетчера с каплей масла для измерения заряда электрона, чтобы проиллюстрировать, как выборочное освещение может исказить научные результаты. С другой стороны, Фейнман находит утешение в том факте, что другие ученые будут повторять эксперименты других ученых, и, следовательно, в конце концов истина восторжествует.

Лерер снова использует последующую заметку, чтобы отрицать, что его первоначальным намерением было поддержать людей, отрицающих хорошо проверенные научные теории, такие как естественный отбор и изменение климата. Вместо этого он хочет, чтобы «мы потратили больше времени на рассмотрение ценности антипсихотиков второго поколения или истинности последнего исследования генной ассоциации». В других частях последующей заметки Лерер кратко обсуждает некоторые из творческих отзывов, которые он получил, чтобы уменьшить предвзятость публикации. Он не дает явной поддержки какой-либо конкретной идеи. Последующая статья заканчивается тем, что Лерер снова заявляет, что эффект снижения является проблемой в сегодняшней науке, но что наука в конечном итоге найдет инструмент для решения этой проблемы.

• Наука о карго-культе
• Эффект сотой обезьяны
• Кризис репликации