Аудит чувствительности

Аудит чувствительности — это расширение анализа чувствительности для использования в политически значимых модельных исследованиях. [1] Его использование рекомендуется — в частности, в рекомендациях Европейской комиссии по оценке воздействия [2] и Европейскими академиями наук [3] — когда анализ чувствительности (SA) модельного исследования призван продемонстрировать надежность доказательств, предоставленных моделью, в контексте, в котором вывод используется в политике или процессе принятия решений.

Подход

В условиях, когда научная работа вливается в политику, фрейминг анализа, его институциональный контекст и мотивы его автора могут стать весьма релевантными, и чистый SA - с его фокусом на количественной неопределенности - может быть недостаточным. Акцент на фрейминге может, среди прочего, вытекать из релевантности исследования политики для различных избирательных округов, которые характеризуются различными нормами и ценностями, и, следовательно, разной историей о том, «в чем проблема», и, прежде всего, о том, «кто рассказывает историю». Чаще всего фрейминг включает неявные предположения, которые могут быть политическими (например, какую группу нужно защищать) вплоть до технических (например, какую переменную можно рассматривать как константу).

Чтобы должным образом учесть эти проблемы, аудит чувствительности расширяет инструменты анализа чувствительности , чтобы обеспечить оценку всего процесса генерации знаний и моделей. Он черпает вдохновение из NUSAP [4], метода , используемого для передачи качества количественной информации с генерацией «родословных» чисел. Аналогичным образом аудит чувствительности был разработан для предоставления родословных моделей и выводов на основе моделей. Аудит чувствительности особенно подходит в состязательном контексте, где не только характер доказательств, но и степень определенности и неопределенности, связанных с доказательствами, является предметом партийных интересов. Это настройки, рассматриваемые в постнормальной науке [5] или в науке режима 2 [6] . Постнормальная наука (ПНС) — это концепция, разработанная Сильвио Фунтовичем и Джеромом Равецом , [5] [7] [8], которая предлагает методологию исследования, которая подходит, когда «факты неопределенны, ценности спорны, ставки высоки, а решения срочные» (Фунтович и Равец, 1992: [8] 251–273). Режим 2 науки, введенный в 1994 году Гиббонсом и др., относится к режиму производства научных знаний, который обусловлен контекстом, сфокусирован на проблеме и является междисциплинарным. Аудит чувствительности состоит из семи пунктов контрольного списка:

1. Используйте математику мудро: Спросите, используется ли сложная математика, когда более простая математика могла бы выполнить эту работу. Проверьте, не растягивается ли модель за пределы ее предполагаемого использования.

2. Ищите предположения: выясните, какие предположения были сделаны в исследовании, и посмотрите, были ли они четко сформулированы или скрыты.

3. Избегайте «мусора на входе — мусора на выходе». Проверьте, не были ли данные, используемые в модели, сфальсифицированы, чтобы результаты выглядели более определенными, чем они есть на самом деле, или не были ли они сделаны чрезмерно неопределенными, чтобы избежать регулирования.

4. Подготовьтесь к критике: Лучше обнаружить проблемы в своем исследовании до того, как это сделают другие. Проведите тщательные проверки на неопределенность и чувствительность перед публикацией.

5. Будьте прозрачны: Не держите свою модель в секрете. Сделайте ее ясной и понятной для общественности.

6. Сосредоточьтесь на правильной проблеме: убедитесь, что ваша модель решает правильную проблему, а не просто решает проблему, которой на самом деле не существует.

7. Проводите тщательный анализ: проводите углубленные тесты для измерения неопределенности и чувствительности, используя лучшие доступные методы.

Вопросы, решаемые аудитом чувствительности

Эти правила призваны помочь аналитику предвидеть критику, в частности, касающуюся вывода на основе модели, входящего в оценку воздействия. Какие вопросы и возражения может получить разработчик модели? Вот возможный список:

  • Вы рассматривали X как константу, хотя мы знаем, что ее неопределенность составляет не менее 30%.
  • Достаточно 5% ошибки в X, чтобы сделать ваше утверждение о Z хрупким.
  • Ваша модель — всего лишь одна из возможных моделей. Вы пренебрегли неопределенностью модели.
  • Вы инструментально максимизировали свой уровень уверенности в результатах
  • Ваша модель — черный ящик . Почему я должен доверять вашим результатам?
  • Вы искусственно раздули неопределенность
  • Ваше фрейминг не является социально устойчивым
  • Вы отвечаете на неправильный вопрос.
  • Ваши сценарии охватывают лишь ограниченный набор возможных вариантов развития/эволюции системы.

Аудит чувствительности в Руководящих принципах Европейской комиссии

Аудит чувствительности описан в Руководящих принципах Европейской комиссии по оценке воздействия. [2] Соответствующие выдержки из них (стр. 392):

«[…]если между заинтересованными сторонами существуют серьезные разногласия относительно характера проблемы, … то аудит чувствительности является более подходящим, но анализ чувствительности по-прежнему рекомендуется как один из этапов аудита чувствительности».
«Аудит чувствительности, […] — это более широкое рассмотрение влияния всех типов неопределенности, включая структурные допущения, заложенные в модель, и субъективные решения, принятые при формулировании проблемы».
«Конечная цель — открыто и честно сообщить, в какой степени конкретные модели могут быть использованы для поддержки политических решений и каковы их ограничения».
«В целом аудит чувствительности подчеркивает идею честного сообщения о том, в какой степени можно доверять результатам модели, принимая во внимание, насколько это возможно, все формы потенциальной неопределенности и предвидя критику со стороны третьих лиц».

Отчет SAPEA

Ассоциация европейских академий науки для политики SAPEA подробно описывает аудит чувствительности в своем отчете за 2019 год под названием «Осмысление науки для политики в условиях сложности и неопределенности» [3] .

Ссылки

  1. ^ Сальтелли, Андреа, Анджела; Гимараеш Перейра, Йерун П. ван дер Слуйс и Сильвио Фунтович. 2013. «Что я делаю с вашим латиноамериканцем. Аудит чувствительности математического моделирования». Международный журнал предвидения и инновационной политики 9 (2/3/4): 213–34. https://doi.org/10.1504/IJFIP.2013.058610.
  2. ^ ab Европейская комиссия. 2021. «Инструментарий лучшего регулирования». 25 ноября.
  3. ^ ab Научные рекомендации по политике от Европейских академий, Осознание науки для политики в условиях сложности и неопределенности, Берлин, 2019.
  4. ^ Ван дер Слуйс Дж. П., Крей М., Фунтовиц С., Клопрогге П., Равец Дж., Рисби Дж. (2005) Объединение количественных и качественных мер неопределенности в оценке окружающей среды на основе моделей: система NUSAP. Анализ риска 25(2):481-492
  5. ^ ab Funtowicz, SO & Ravetz, JR 1993. Наука для постнормального века. Futures, 25(7), 739–755.
  6. ^ Гиббонс, Майкл; Камиль Лимож; Хельга Новотны; Саймон Шварцман; Питер Скотт; Мартин Троу (1994). Новое производство знаний: динамика науки и исследований в современных обществах. Лондон: Sage. ISBN  0-8039-7794-8 .
  7. ^ Funtowicz, SO и Jerome R. Ravetz (1991). «Новая научная методология для глобальных экологических проблем». В Ecological Economics: The Science and Management of Sustainability. Ed. Robert Costanza. New York: Columbia University Press: 137–152.
  8. ^ ab Funtowicz, SO, & Ravetz, JR 1992. Три типа оценки риска и возникновение постнормальной науки. В S. Krimsky & D. Golding (ред.), Социальные теории риска (стр. 251–273). Westport, CT: Greenwood.
Взято с "https://en.wikipedia.org/w/index.php?title=Аудит_чувствительности&oldid=1223567228"