Закон Гудхарта
Поговорка о статистических мерах

Закон Гудхарта — это пословица, которую часто формулируют так: «Когда мера становится целью, она перестает быть хорошей мерой». [1] Он назван в честь британского экономиста Чарльза Гудхарта , которому приписывают выражение основной идеи пословицы в статье 1975 года о денежно-кредитной политике в Соединенном Королевстве: [2]

Любая наблюдаемая статистическая закономерность будет иметь тенденцию разрушаться, как только на нее будет оказано давление в целях контроля. [3]

Он использовался для критики британского правительства Тэтчер за попытку проводить денежно-кредитную политику на основе целевых показателей для широких и узких денег [4] , но закон отражает гораздо более общее явление. [5]

Приоритет и предыстория

Чарльз Гудхарт, в честь которого названа пословица, выступает с речью в 2012 году

С этой идеей связано множество концепций, по крайней мере одна из которых предшествует утверждению Гудхарта. [6] Примечательно, что закон Кэмпбелла, вероятно, имеет приоритет, как утверждал Джефф Родамар, поскольку различные формулировки датируются 1969 годом. [7] Другие ученые в то время имели схожие идеи. Книга Джерома Равеца 1971 года «Научные знания и их социальные проблемы » [8] также предшествует Гудхарту, хотя в ней не сформулирован тот же закон. Он обсуждает, как системы в целом могут быть обмануты, фокусируется на случаях, когда цели задачи сложны, замысловаты или едва уловимы. В таких случаях лица, обладающие навыками для надлежащего выполнения задач, стремятся к собственным целям в ущерб поставленным задачам. Когда цели конкретизируются в виде метрик, это можно рассматривать как эквивалент утверждения Гудхарта и Кэмпбелла.

Вскоре после публикации Гудхарта другие предложили тесно связанные идеи, включая критику Лукаса (1976). Применительно к экономике этот закон также подразумевается в идее рациональных ожиданий , теории в экономике, которая утверждает, что те, кто знает о системе поощрений и наказаний, будут оптимизировать свои действия в рамках этой системы, чтобы достичь желаемых результатов. Например, если сотрудник вознаграждается количеством проданных автомобилей каждый месяц, он будет стараться продать больше автомобилей, даже в убыток.

Хотя закон возник в контексте рыночных реакций, он имеет глубокие последствия для выбора целей высокого уровня в организациях. [3] Йон Даниэльссон формулирует закон как

Любая статистическая связь будет нарушена при использовании в политических целях.

И предложил вывод для использования в моделировании финансовых рисков :

Модель риска перестает работать при использовании в целях регулирования. [9]

Марио Бьяджоли связал эту концепцию с последствиями использования показателей цитирования для оценки важности научных публикаций: [10] [11]

Все метрики научной оценки неизбежно будут злоупотребляться. Закон Гудхарта [...] гласит, что когда характеристика экономики выбирается в качестве индикатора экономики, то она неизбежно перестает функционировать как этот индикатор, потому что люди начинают играть с ней.

Обобщение

Более поздние авторы обобщили точку зрения Гудхарта о денежно-кредитной политике в более общую поговорку о мерах и целях в системах учета и оценки. В главе книги, опубликованной в 1996 году, Кит Хоскин написал:

«Закон Гудхарта» — что каждая мера, которая становится целью, становится плохой мерой — неумолимо, хотя и с сожалением, становится признанным одним из главных законов нашего времени. С сожалением, поскольку этот закон непреднамеренных последствий кажется таким неизбежным. Но он так делает, я полагаю, потому что это неизбежное следствие изобретения современности: подотчетности. [12] [ необходима полная цитата ]

В статье 1997 года, посвященной работе Хоскина и других ученых по финансовому учету и оценкам в образовании, антрополог Мэрилин Стратерн сформулировала закон Гудхарта следующим образом: «Когда мера становится целью, она перестает быть хорошей мерой», и связала это мнение с историей бухгалтерского учета, уходящей корнями в Великобританию 1800-х годов:

Когда мера становится целью, она перестает быть хорошей мерой. Чем больше оценка экзамена 2.1 становится ожиданием, тем хуже она становится как дискриминатор индивидуальных результатов. Хоскин описывает это как «закон Гудхарта» после наблюдения последнего за инструментами денежного контроля, что привело к необходимости изобретения других устройств для денежной гибкости. Однако цели, которые кажутся измеримыми, становятся заманчивыми инструментами для улучшения. Связь улучшения с соизмеримым ростом породила практику широкого применения. Именно это смешение «есть» и «должно быть», наряду с методами количественной письменной оценки, привело, по мнению Хоскина, к модернистскому изобретению подотчетности. Это было впервые сформулировано в Британии около 1800 года как «ужасная идея подотчетности» (Ref. 3, p. 268). [1]

Примеры

  • Декларация Сан-Франциско об оценке исследований осуждает несколько проблем в науке, и, как объясняет закон Гудхарта, одна из них заключается в том, что измерение стало целью. Корреляция между индексом Хирша и научными наградами снижается с момента широкого использования индекса Хирша. [13]
  • Мера вымирания Международного союза охраны природы (МСОП) может быть использована для отмены мер защиты окружающей среды , что привело к тому, что МСОП стал более консервативным в маркировке чего-либо как вымершего. [14] [15]
  • В здравоохранении неправильное применение показателей может привести к неблагоприятным результатам. Например, больницы, стремящиеся сократить продолжительность пребывания (LOS), могут непреднамеренно выписывать пациентов преждевременно, что приводит к увеличению числа экстренных повторных госпитализаций. [16] [ самоопубликованный источник ]
  • По словам Тома и Дэвида Чиверса в книге « Как читать цифры» , закон применялся к реакции британского правительства на пандемию COVID-19, когда оно объявило о цели в 100 000 тестов на COVID-19 в день — изначально это была цель по фактически проведенным тестам, а затем — по максимальной мощности для проведения тестов. Количество полезных диагностических тестов было намного ниже, чем число, о котором сообщило правительство, когда оно объявило о достижении цели. [17]
  • В телесериале HBO The Wire Роланд «Презбо» Прызбылевски проводит параллели между политикой государственных школ по обучению по результатам теста и улучшением статистики преступлений путем переклассификации этих преступлений как «обман статистики». Он отмечает, что обе они являются примерами стратегий, которые неэффективны для существенного улучшения обучения и общественной безопасности соответственно, поскольку они обслуживают неэффективные показатели результатов стандартизированных тестов и зарегистрированных показателей преступности. [18] [ самоизданный источник ]

Смотрите также

  • Закон Кэмпбелла – «Чем больше какой-либо количественный социальный показатель используется для принятия социальных решений, тем больше он будет подвержен коррупционному давлению»
  • Эффект кобры — когда стимулы, призванные решить проблему, в конечном итоге вознаграждают людей за усугубление проблемы
  • Предвзятость подтверждения — тенденция искать и вспоминать информацию, которая подтверждает или подкрепляет предыдущие убеждения.
  • Игра с системой – манипулирование правилами и процедурами для получения желаемого результата
  • Эффект Хоторна – когда люди изменяют аспект своего поведения в ответ на осознание того, что за ними наблюдают.
  • Критика Лукаса – замечание о том, что наивно пытаться предсказать последствия изменения экономической политики исключительно на основе взаимосвязей, наблюдаемых в исторических данных.
  • Отношение «карта–территория» — тип ошибки овеществления , при котором модель путают с моделируемым объектом.
  • Ошибка Макнамары – игнорирование качественных показателей на том основании, что их невозможно измерить
  • Фиксация на метриках  – тенденция лиц, принимающих решения, уделять чрезмерно большое внимание выбранным метрикам.
  • Коллапс модели  – деградация моделей ИИ, обученных на синтетических данных.
  • Переобучение — анализ, который слишком близко или точно соответствует определенному набору данных.
  • Принцип Питера – продвижение по службе осуществляется на основе успеха на предыдущих должностях, а не роли на новой должности.
  • Овеществление (заблуждение)  – заблуждение, заключающееся в том, что абстракция рассматривается как реальная вещь.
  • Рефлексивность (социальная теория)  – круговые связи между причиной и следствием
  • Спецификационные игры – поведение искусственного интеллекта, направленное на получение плохо определенной награды, а не на достижение предполагаемого результата.
  • Суррогат — в бизнесе, когда мера интересующей конструкции развивается, чтобы заменить эту конструкцию.

Ссылки

  1. ^ ab Strathern, Marilyn (1997). «Улучшение рейтингов»: аудит в системе британских университетов. European Review . 5 (3). John Wiley & Sons : 305– 321. doi :10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4. S2CID  145644958.
  2. ^ Гудхарт, Чарльз (1975). «Проблемы денежно-кредитного управления: опыт Великобритании». Статьи по денежной экономике . Статьи по денежной экономике 1975; 1; 1. - [Сидней]. - 1975, стр. 1-20. Том 1. Сидней: Резервный банк Австралии.
  3. ^ ab Goodhart, Charles (1975). "Проблемы денежно-кредитного управления: опыт Великобритании". В Courakis, Anthony S. (ред.). Инфляция, депрессия и экономическая политика на Западе . Totowa, New Jersey: Barnes and Noble Books (опубликовано в 1981 году). стр. 116. ISBN 0-389-20144-8.
  4. ^ Смит, Дэвид (1987). Взлет и падение монетаризма . Лондон: Penguin Books . ISBN 9780140227543.
  5. ^ Манхейм, Дэвид; Гаррабрант, Скотт (2018). «Категоризация вариантов закона Гудхарта». arXiv : 1803.04585 [cs.AI].
  6. ^ Манхейм, Дэвид (29 сентября 2016 г.). «Слишком мощные показатели поглощают недоопределенные цели». ribbonfarm . Получено 26 января 2017 г.
  7. ^ Родамар, Джеффри (28 ноября 2018 г.). «Должен быть закон! Кэмпбелл против Гудхарта». Значимость . 15 (6): 9. doi : 10.1111/j.1740-9713.2018.01205.x .
  8. ^ Равец, Джером Р. (1971). Научное знание и его социальные проблемы . Нью-Брансуик, Нью-Джерси: Transaction Publishers. С.  295–296 . ISBN 1-56000-851-2. OCLC  32779931.
  9. ^ Даниэльссон, Йон (июль 2002 г.). «У короля нет одежды: пределы моделирования риска». Журнал банковского дела и финансов . 26 (7): 1273– 1296. CiteSeerX 10.1.1.27.3392 . doi :10.1016/S0378-4266(02)00263-7. 
  10. ^ Бьяджоли, Марио (12 июля 2016 г.). «Остерегайтесь читов в игре цитирования» (PDF) . Nature . 535 (7611): 201. Bibcode :2016Natur.535..201B. doi : 10.1038/535201a . PMID  27411599.
  11. ^ Варела, Диего; Бенедетто, Джакомо; Санчес-Сантос, Хосе Мануэль (30 декабря 2014 г.). «Редакционное заявление: Уроки закона Гудхарта для управления журналом». Европейский журнал правительства и экономики . 3 (2): 100–103 . doi : 10.17979/ejge.2014.3.2.4299 . hdl : 2183/23376 . S2CID  152551763 . Проверено 8 февраля 2022 г.
  12. ^ Хоскин, Кит (1996). «Ужасная идея ответственности»: вписывание людей в измерение объектов .
  13. ^ Колтун, В.; Хафнер, Д. (2021). «Индекс Хирша больше не является эффективным коррелятом научной репутации». PLOS ONE . ​​16 (6): e0253397. arXiv : 2102.03234 . Bibcode :2021PLoSO..1653397K. doi : 10.1371/journal.pone.0253397 . PMC 8238192 . PMID  34181681. Наши результаты показывают, что использование индекса Хирша при ранжировании ученых следует пересмотреть, и что дробные меры распределения, такие как h-frac, предоставляют более надежные альтернативы. Сопутствующая веб-страница
  14. ^ Mooers, Arne (2022-05-23). ​​«Когда вид действительно вымер?». The Conversation . Получено 2023-06-23 .
  15. ^ Мартин, TE; Беннетт, GC; Фэрберн, A.; Мурс, AO (март 2023 г.). «Потерянные таксоны и их последствия для сохранения». Animal Conservation . 26 (1): 14– 24. Bibcode :2023AnCon..26...14M. doi :10.1111/acv.12788. ISSN  1367-9430. S2CID  248846699.
  16. ^ Бабар, Султан М. (2023-11-08). «Эффект кобры в здравоохранении: закон Гудхарта и ловушки ошибочных показателей». Moving Medicine Forward (блог) . Получено 2024-09-25 .
  17. ^ Чиверс, Том; Чиверс, Дэвид (2021). "22: Закон Гудхарта". Как читать числа . Weidenfeld & Nicolson . ISBN 9781474619974.
  18. ^ Реванка, Рошан (20 января 2016 г.). "Juking the Stats". Medium . Получено 14 августа 2024 г. .

Дальнейшее чтение

  • Chrystal, K. Alec; Mizen, Paul D. (12 ноября 2001 г.). «Закон Гудхарта: его происхождение, значение и последствия для денежно-кредитной политики» (PDF) . Получено 3 июля 2020 г. .
  • Манхейм, Дэвид (9 июня 2016 г.). «Закон Гудхарта и почему измерение — это сложно». ribbonfarm . Получено 3 июля 2020 г. .
  • Мэлоун, Кенни; Гонсалес, Сара; Горовиц-Гази, Алекси; Голдмарк, Алекс (21 ноября 2018 г.). «Законы офиса». Planet Money (подкаст). NPR . Получено 3 июля 2020 г. .
  • Мюллер, Джерри З. (2018). Тирания метрик. Princeton University Press. ISBN 978-0-691-19126-3.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Goodhart%27s_law&oldid=1272540663"